기술 요약: 강화 학습 에이전트의 범진단적 장애 유사 표현형 공간

문제 정의

헬스케어 및 인간 대면 시스템에 배치되는 강화 학습(RL) 에이전트는 정서적 안정성을 갖추어야 합니다. 가치 추정 오류는 회피, 지속(perseveration), 또는 무모함과 같은 치명적인 실패 모드로 이어질 수 있습니다. 심리적 장애를 에이전트에 모델링하려는 기존 연구들은 다음과 같은 세 가지 주요 약점을 가지고 있습니다:

1. 기계적 근거의 결여: 조작 방식이 계산 정신의학적 설명에서 도출된 것이 아니라 수동으로 조정된 휴리스틱에 의존하여, 임상적 구성 개념과의 매핑이 느슨합니다.
2. 사후 라벨링: 행동이 사전 등록된 기준에 따라 측정되는 것이 아니라 관찰 후에 라벨링됩니다 (예: "이것은 OCD처럼 보인다"). 이는 확증 편향을 초래합니다.
3. 엄격성 부족: 결과가 제어 변수, 대조군 또는 용량-반응 분석 없이 단일 실행 결과로만 보고됩니다.

또한, 기존의 계산 정신의학 모델들은 추상적인 과업을 행동에 맞출 수는 있지만, 건강에서 병리로, 그리고 다시 건강으로 돌아가는 전체 궤적을 연속적으로 조작하거나 관찰할 수는 없습니다.

방법론

AG-PPO 아키텍처

저자들은 AG-PPO(Appraisal-Guided Proximal Policy Optimization)를 소개합니다. 이 에이전트는 평가 이론(Appraisal Theory; Lazarus, 1991; Scherer, 2001)을 RL 루프에 통합합니다.

• 아키텍처: 공유 컨볼루션 인코더가 자기중심적 기호 관측값(7×7×3)을 처리합니다. 출력은 Actor와 Critic 모두에게 전달됩니다.
• 평가 벡터 ($\zeta$): Critic은 매 단계마다 계산되는 6차원 평가 벡터 $\zeta_t$를 추가로 소비합니다:
  1. 동기적 관련성 ($\zeta_{MR}$): 에이전트 목표와의 거리 함수.
  2. 목표 일치도 ($\zeta_{GC}$): 목표와의 기하학적 정렬.
  3. 확실성 ($\zeta_{C}$): 정책 엔트로피로부터 도출.
  4. 신규성 ($\zeta_{N}$): 균등 정책(uniform policy)에 대한 KL 발산으로부터 도출.
  5. 대처 잠재력 ($\zeta_{CP}$): 에이전트 시야 밖에 있는 위협의 비율.
  6. 예측 ($\zeta_{A}$): 차기 보상 예측 오차(Next-Reward Estimation 네트워크에 의해 공급됨)의 보합(complement).
• 보상 형성(Reward Shaping): 환경 보상 $r_t$는 $r'_t = r_t - \sum w_i g_i(\zeta_t) + \text{특정 항들}$ 형태의 형성 함수에 의해 수정됩니다. 결정적으로, 각 장애는 이 방정식의 정확히 하나의 항을 활성화하거나 할인 계수 $\gamma$를 수정함으로써 유도됩니다.

장애 메커니즘 ("노브(Knobs)")

일곱 가지 장애는 특정 계산 정신의학적 설명에 근거한, 용량 조절이 가능한 "노브"로서 모델링됩니다:

1. 불안(Anxiety): 낮은 대처 잠재력에 대해 페널티를 부여함 (위협에 대한 과각성).
2. 조증(Mania): 높은 대처 잠재력에 대해 페널티를 부여함 (보상 과민성/위협 추구).
3. 강박 장애(OCD, 확인 행동): 체크포인트를 재방문할 때 점진적으로 감소하는 보너스를 부여함 (안심의 감소 모델링).
4. 우울증(Depression): 움직임에 대해 단계별 노력 비용을 부과함 (행동 활성화 감소).
5. 충동성(Impulsivity): 할인 계수 $\gamma$를 감소시킴 (급격한 지연 할인).
6. 중독(Addiction): 약물 타일에 비습관화 보너스를 추가함 (제한 없는 유인 살성).
7. 외상 후 스트레스 장애(PTSD): 트라우마 타일에 조건화된 충격을 적용하여 회피의 일반화를 유발함.

실험 프로토콜

• 환경: 네 가지 위협/공간 그리드 월드(Dynamic-Obstacles, LavaGap, LavaCrossing, Approach-Avoidance, Temporal-Choice, Addiction, Trauma)와 하나의 3D 픽셀 환경(MiniWorld).
• 분석(Assay): 각 장애에 대해 주요 증상 분석이 사전 등록되었습니다 (예: 불안을 위한 위험-목표 선택, OCD를 위한 확인율).
• 대조군: 네 가지 대조 조건이 사용되었습니다: 표준 PPO, Critic-노이즈(무작위 벡터), PPO+RND(내재적 동기), 그리고 평가 Critic이 없는 Appraisal Critic.
• 통계적 엄격성: 실험은 10개의 시드에 대해 1,375개의 구성을 실행하였으며, 95% 신뢰 구간을 적용했습니다.

주요 결과

1. 단계적 용량-반응 (Graded Dose-Response)

모든 일곱 가지 장애에 대해, "노브" 용량을 높임에 따라 주요 증상 분석에서 단계적이고 단조로운 반응이 나타났습니다. 대조군들은 이러한 표현형을 재현하지 못했으며, 이는 효과가 일반적인 내재적 동기나 노이즈가 아니라 특정 형성 메커니즘에서 기인함을 확인시켜 줍니다.

2. 창발적 범진단적 구조 (Emergent Transdiagnostic Structure)

장애들은 명시적으로 인코딩되지 않았음에도 불구하고, 2차원 정서적 공간(보상-접근 vs 위협-회피)으로 스스로 조직화되었습니다:

• 조증과 불안은 원점을 기준으로 서로 정확히 대칭되는 모습으로 나타났습니다 (탈억제된 과잉 추구 vs 과각성된 회피).
• OCD는 주요 평면에 직교하는 별도의 차원(강박성)을 차지했습니다.
• 우울증은 철수로, 중독과 충동성은 과잉 추구로 매핑되었습니다.

3. 치료 해리 (Treatment Dissociation: 구제 vs 저항)

저자들은 훈련 후 병리적 노브를 제거함으로써 "치료"를 테스트했습니다:

• 보상 왜곡 장애 (조증, OCD, 중독): 노브 제거 즉시 증상이 **완화(remission)**되었습니다 (목표 구배가 다시 지배함).
• 습관/회피 장애 (불안, PTSD, 우울증, 충동성): 증상이 수동적 제거에 **저항(resistance)**했습니다. 에이전트들은 회피 행동이 불일치하는 증거를 만나는 것을 방지했기 때문에 부적응적 정책을 유지했습니다.
• 해결: 저항성 장애(불안, PTSD)는 회피 경로를 페널티로 주는 단계적 노출 커리큘럼을 통해서만 회복되었습니다. 이는 임상적 노출 치료를 모방합니다.

4. 공병 (Emergent Comorbidity)

두 개의 노브를 동시에 활성화했을 때, 상호작용은 **비가산적(non-additive)**이었습니다:

• 조증 × 충동성: 충동성(급격한 할인)이 조증의 치명성을 억제했습니다. 조증 에이전트의 무모한 접근은 다단계 헌신을 요구하지만, 근시안적인 충동적 에이전트는 이를 수행하지 못했습니다.
• 불안 × 우울증: 심각한 우울증(높은 노력 비용)이 불안 출력을 압도했습니다. 에이전트는 행동을 완전히 중단하여 회피의 표현을 방지했습니다.

5. 3D 픽셀 환경으로의 일반화

세 가지 장애(우울증, 중독, 불안)가 표준 CNN 에이전트를 사용하여 (평가 Critic 없이) 3D 픽셀 환경(MiniWorld)으로 전이되었습니다.

• 동일한 표현형 징후가 나타났습니다 (예: 우울증은 전진 행동을 감소시킴, 중독은 약물 점유를 증가시킴).
• **교차 분석 해리(Cross-assay dissociation)**가 유지되었습니다: 우울증 노브는 약물 점유를 증가시키지 않았고, 불안 노브는 이동성을 억제하지 않았습니다. 이는 메커니즘이 그리드 월드나 특정 평가 Critic 아키텍처에 국한된 것이 아니라 보상 구조의 속성임을 확인시켜 줍니다.

의의 및 주장

본 논문은 인공 에이전트에서 정서적 표현형을 연구하기 위한 제어 가능하고 근거 있는 기질을 구축한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 기술에서 조작으로: 장애 모델링을 사후 라벨링에서, 단일하고 해석 가능한 파라미터를 통해 심각도를 연속적으로 조절할 수 있는 검증 가능한 과학으로 전환했습니다.
2. 창발적 임상 평행 구조: 복잡한 임상 현상(예: 회피 장애의 수동적 스트레스 요인 제거에 대한 저항성, 공병의 비가 additive 성격)을 명시적으로 프로그래밍하지 않고도 재현했습니다. 이는 에이전트의 학습 역동성과 형성된 보상 사이의 상호작용에서 발생하는 창발적 속성입니다.
3. 통합된 프레임워크: 단일 에이전트 아키텍처가 여러 장애의 유도, 구조적 조직화(범진단적 공간), 그리고 치료(구제/소거)를 동시에 모델링할 수 있음을 보여줍니다.
4. 기계적 특이성: 해리 결과는 특정 "노브"가 교차 오염 없이 특정 증상 차원을 타겟팅함을 확인하며, 이 접근법의 기계적 근거를 입증합니다.

저자들은 평가 가중치가 동일한 메커니즘이 장애를 유도할 수 있는 동시에 치료 또한 모델링할 수 있는 공간을 매개변수화하며, 이는 정서적 제어의 실패 양상에 대한 새로운 테스트베드이자 렌즈를 제공한다고 결론짓습니다.