Empathy Modeling in Active Inference Agents for Perspective-Taking and Alignment

1. 문제 제기 (Problem)

기존의 인공지능 공감 모델은 표면적인 패턴 인식이나 스크립트화된 감정 반응에 의존하여, 진정한 인간 공감의 현상학적 기반을 결여하고 있습니다. 이로 인해 AI 는 형식적으로는 적절해 보이지만 실제 이해를 반영하지 못하는 '공감의 간극 (Empathy Gap)'이 발생합니다. 특히, 다중 에이전트 환경에서 협력적 행동을 유도하기 위해 외부 보상 설계나 명시적 통신에 의존하는 것은 한계가 있으며, 에이전트 내부에서 타인의 복지를 고려하는 구조적 동기 (Structural Motivation) 가 필요합니다.

2. 방법론 (Methodology)

가. 생성 모델과 관점 수용 (Generative Model & Perspective-Taking)

• 구조적 일치 (Structural Match): 각 에이전트는 타인을 모델링할 때 자신과 동일한 생성 모델 구조 (상태 공간, 관측 모델, 추론 기구) 를 재사용합니다. 이는 '시뮬레이션 이론 (Simulation Theory)'에 기반하며, 타인의 행동과 가치 매개변수를 잠재 변수 (Latent Variables) 로 간주하여 베이지안 추론을 통해 온라인으로 추론합니다.
• 사회적 기대 자유 에너지 (Social Expected Free Energy, EFE): 에이전트의 의사결정은 자기 중심적 (Egocentric) 평가와 타인 중심적 (Allocentric) 평가의 가중 합으로 정의됩니다.
  $$G_{social} = (1 - \lambda) G_{self} + \lambda E[G_{other}]$$
  여기서 $\lambda$ (공감 파라미터) 는 $[0, 1]$ 범위 내에서 타인의 복지가 에이전트의 의사결정에 얼마나 반영될지를 조절합니다.
  • $\lambda = 0$: 순수 이기적 에이전트.
  • $\lambda = 1$: 순수 이타적 에이전트.
  • 중간값: 자기 이익과 타인 복지의 균형.

나. 이론적 마음 (Theory of Mind, ToM) 및 학습

• ToM 모듈: 에이전트는 상대방의 행동과 가치 매개변수 (협력 편향, 상호성 민감도, 정밀도, 공감 가중치 등) 를 입자 필터 (Particle Filter) 를 사용하여 베이지안 업데이트합니다.
• 예측 gating: 학습된 모델 (Particle Filter) 과 정적 ToM 사전 (Static ToM Prior) 을 신뢰도 (Reliability) 에 따라 가중치하여 상대방의 행동을 예측합니다. 초기에는 데이터가 부족하므로 정적 사전에 의존하다가, 학습이 진행됨에 따라 학습된 모델을 더 많이 반영합니다.

다. 실험 환경

• 반복 죄수의 딜레마 (Iterated Prisoner's Dilemma, IPD): 두 에이전트가 동시에 협력 (C) 또는 배신 (D) 을 선택하는 게임.
• 시나리오: 다양한 $\lambda$ 조합 (대칭적, 비대칭적), 학습 유무, 그리고 계획 수평 (Planning Horizon, $H=1$ vs $H>1$) 을 변화시키며 상호작용을 분석했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 협력의 위상 전이 (Phase Transition of Cooperation)

• 임계값 존재: 공감 파라미터 $\lambda$가 특정 임계값 (약 0.25~0.30) 을 넘어서면, 상호 배신 (D, D) 에서 상호 협력 (C, C) 으로 급격히 전환되는 위상 전이 현상이 관찰되었습니다.
• 비대칭적 착취: 공감 수준이 다른 에이전트 간 (비대칭적) 상호작용에서는 공감도가 낮은 에이전트가 높은 에이전트를 체계적으로 착취합니다. 이는 공감이 상호성 (Reciprocity) 하에서만 협력을 안정화함을 보여줍니다.

나. 역동적 회복 및 암묵적 소통

• 회복 역학: 높은 공감 수준을 가진 에이전트들은 우연한 배신 (Stochastic Defection) 이 발생하더라도 빠르게 협력 상태로 회복하는 '사과 - 용서' 주기를 보입니다.
• 동기화: 높은 공감 환경에서는 에이전트 간 행동 동기화 (Synchronization) 가 빠르게 이루어지며, 이는 공유된 끌개 (Shared Attractor) 로 작용하여 협력을 안정화합니다.

다. 학습과 공감의 분리 (Dissociation of Learning and Empathy)

• 학습의 한계: 상대방의 유형을 정확히 학습 (Bayesian Updating) 하더라도, 공감 파라미터 $\lambda$가 낮으면 협력은 발생하지 않습니다. 오히려 정확한 학습은 상대방이 협력할 것이라는 확신을 주어, $\lambda$가 낮을 경우 착취를 더 정교하게 만듭니다.
• 결론: 협력은 상대방에 대한 '지식 (Belief)'이 아닌, 상대방의 복지를 목적 함수에 포함시키는 '공감 구조 (Empathic Structure)'에 의해 주도됩니다.

라. 계획 수평 (Planning Horizon) 의 역설적 효과

• 고도화된 계획의 역설: 단기적 계획 (Myopic, $H=1$) 보다 장기적 계획 (Sophisticated, $H>1$) 을 수행할수록, 중간 정도의 공감 수준 ($\lambda \approx 0.3 \sim 0.5$) 에서 협력률이 감소했습니다.
• 이유: 장기적 계획은 배신의 누적 이득 (Temptation Payoff) 을 더 잘 예측하게 하여, 공감 수준이 충분히 높지 않으면 배신이 더 매력적인 전략으로 작용하기 때문입니다.
• 시사점: 에이전트의 계획 능력 (Capability) 을 높이는 것만으로는 정렬 (Alignment) 이 보장되지 않으며, 오히려 공감 (Motivation) 을 함께 강화하지 않으면 비협력적 행동을 악화시킬 수 있습니다.

마. 임계점 근처의 동역학

• 협력 임계값 근처에서는 긴 과도기 (Long Transients), 진동, 높은 변동성 (Variance) 이 관찰되었습니다. 이는 위상 전이 이론에서의 임계 감속 (Critical Slowing) 과 유사한 현상으로, 작은 무작위 교란이 상호작용의 안정성을 쉽게 붕괴시킬 수 있음을 의미합니다.

4. 의의 및 결론 (Significance & Conclusion)

이 연구는 적극적 추론 (Active Inference) 을 기반으로 한 공감 모델링이 AI 의 사회적 정렬을 위한 강력한 기초가 될 수 있음을 증명했습니다.

1. 구조적 정렬: 외부 규칙이나 보상 설계가 아닌, 에이전트 내부의 목적 함수 (Social EFE) 에 타인의 복지를 구조적으로 통합함으로써 협력과 정렬을 유도할 수 있습니다.
2. 인지와 동기의 분리: 타인의 상태를 이해하는 '인지적 공감 (ToM)'과 타인의 복지를 원하는 '동기적 공감 (Empathic Concern, $\lambda$)'은 분리되어 작동하며, 진정한 협력은 후자에 의해 결정됩니다.
3. AI 안전성 시사점: AI 의 계획 능력 (Planning Capability) 을 향상시킬 때, 이에 상응하는 친사회적 동기 (Prosocial Motivation) 가 강화되지 않으면 오히려 협력적 행동이 저해될 수 있음을 경고합니다. 이는 더 똑똑한 AI 가 반드시 더 협력적인 AI 는 아님을 의미하며, AI 정렬 연구에서 '능력'과 '동기'의 균형을 강조합니다.

결론적으로, 이 프레임워크는 AI 가 행동의 모방을 넘어 타인의 관점을 내부적으로 시뮬레이션하고 그 복지를 고려하여 행동하는 진정한 사회적 에이전트를 구축하기 위한 이론적 토대를 제공합니다.