Selective Deficits in LLM Mental Self-Modeling in a Behavior-Based Test of Theory of Mind

논문 요약: 행동 기반 심리 이론 (ToM) 테스트에서의 LLM 의 선택적 자아 모델링 결손

1. 연구 배경 및 문제 제기 (Problem)

• 심리 이론 (Theory of Mind, ToM): 타인과 자신을 지식, 의도, 믿음 상태로 구성된 주체 (agent) 로 인식하고 이를 바탕으로 행동을 예측하거나 조작하는 인간의 핵심 능력입니다.
• LLM 의 ToM 능력에 대한 논쟁: 기존 연구들은 대규모 언어 모델 (LLM) 이 훈련 데이터에 포함된 ToM 관련 텍스트를 학습하여 유사한 행동을 모방할 수 있음을 보여주었습니다. 특히 '거짓 믿음 (False Belief)' 테스트에서 최신 모델들이 인간 수준의 성능을 보인다는 보고가 있었습니다.
• 기존 테스트의 한계:
  • 모방 (Mimicry) 의 위험: LLM 이 실제 심리 모델을 구축한 것이 아니라, 훈련 데이터에 존재하는 패턴을 단순히 매칭 (pattern matching) 하여 정답을 유출했을 가능성이 큽니다.
  • 언어적 기술 의존: 기존 테스트가 "캐릭터가 어디를 볼 것인가?"와 같은 기술적 질문에 의존하여, 실제 행동 선택 능력을 평가하지 못했습니다.
• 연구 목적: LLM 이 훈련 분포 (training distribution) 를 벗어난 새로운 환경에서, 타인뿐만 아니라 자신의 심리 상태 (자아 모델링) 를 전략적으로 모델링하고 행동할 수 있는지 검증하기 위해 새로운 실험 패러다임을 개발합니다.

2. 방법론 (Methodology)

• 행동 기반 텍스트 게임 패러다임:
  • 참가자 (플레이어) 는 방 안에 있는 여러 컨테이너와 물체의 이동, 그리고 다른 캐릭터 (팀메이트, 적대자) 의 출입 상황을 관찰합니다.
  • 플레이어는 질문 (Ask), 정보 제공 (Tell), 패스 (Pass) 중 하나를 선택해야 합니다.
    • Ask/Tell: 0.5 점 비용 발생 (정답 시 1 점 획득).
    • Pass: 비용 없음.
  • 목표: 게임 종료 시 특정 캐릭터 (자신, 팀메이트, 또는 적대자) 가 컨테이너의 최종 내용을 맞추도록 돕거나 방해하는 전략적 행동을 취하는 것입니다.
• 평가된 4 가지 인지 구성 요소:
  1. 자아 지식 (Self Knowledge): 플레이어가 자신의 지식 상태를 인식하고, 자신이 정보를 모를 때 팀메이트에게 질문 (Ask) 할지 판단.
  2. 타인 지식 (Teammate Knowledge): 팀메이트가 정보를 알고 있는지, 아니면 잘못된 믿음을 가지고 있는지 판단하여 정보 제공 (Tell) 여부 결정.
  3. 진실 vs 거짓 믿음 (True vs False Belief): 팀메이트의 믿음이 현실과 일치하는지 확인. (거짓 믿음일 때만 Tell)
  4. 팀메이트 vs 적대자 (Teammate vs Opponent): 상대방의 의도 (협력 vs 경쟁) 를 파악하여 정보를 공유할지, 거짓말을 할지, 혹은 패스할지 결정.
• 실험 대상:
  • 2024 년 5 월 이후 출시된 28 개의 LLM (Open/Closed Source, Reasoning/Non-reasoning 모델 포함).
  • Non-thinking (비사고): 단일 프론트패스 (forward pass) 로 행동 결정.
  • Thinking (사고): 체인 오브 씽킹 (Chain-of-Thought, CoT) 을 사용하여 추론 과정을 거쳐 행동 결정.
  • 기준: 인간 참가자 (n=10) 와 비교.
• 부하 (Load) 테스트:
  • 이벤트 부하 (Event Load): 관련 없는 사건 수 증가.
  • 인지 상태 전이 부하 (Epistemic State Transition Load): 지식/믿음 상태가 변경되는 횟수 증가.

3. 주요 결과 (Key Results)

• 비사고 (Non-thinking) 모델의 성능:
  • 타인 모델링: 2025 년 중반 이전에 출시된 모델은 모든 작업에서 실패했으나, 최근 모델들은 타인의 심리 상태 모델링 (Other-modeling) 에서 인간 수준의 성능을 보임.
  • 자아 모델링 (Self-modeling): 모든 비사고 LLM 이 자아 지식 (Self Knowledge) 작업에서 실패함. 이는 모델이 자신의 지식 한계를 인식하거나, 자신이 게임의 규칙 하에 놓인 '플레이어'로서 타인과 동일한 조건을 가진 존재로 인식하는 데 실패했음을 시사합니다.
  • 상관관계: 비사고 모델에서 타인 모델링 능력과 자아 모델링 능력은 서로 상관관계가 없었음 (자아 모델링이 독립적으로 결손됨).
• 사고 (Thinking) 모델의 성능:
  • CoT 를 허용할 경우, 최신 모델들은 모든 작업 (자아 및 타인 모델링 포함) 에서 인간 수준의 성능을 달성함.
  • 사고 과정은 특히 부적절한 'Tell' 행동을 억제하는 데 결정적인 역할을 함 (예: 팀메이트가 이미 진실을 알고 있을 때, 또는 적대자에게 정보를 줄 때).
  • 전략적 기만 (Strategic Deception): 사고 모델은 적대자가 진실을 믿고 있을 때 거짓말을 하거나, 적대자가 잘못된 정보를 믿고 있을 때 패스하는 등 전략적 기만을 능숙하게 수행함.
• 부하 (Load) 효과:
  • 비사고 모델은 불필요한 사건 (Event Load) 에는 영향을 받지 않았으나, 인지 상태 전이 (Epistemic State Transitions) 가 증가하면 성능이 저하됨. 이는 LLM 이 제한된 작업 기억 (working memory) 을 사용하여 심리 상태를 추적하고 있음을 시사.
  • 사고 모델은 자아 모델링 작업에서 부하 효과 (Load effect) 를 보이지 않음. 이는 사고 과정이 온라인 추론이 아닌 다른 메커니즘 (예: 메모리 기반 패턴 매칭 또는 추론의 재구성) 을 통해 성공을 거둘 수 있음을 암시.

4. 주요 기여 (Key Contributions)

1. 행동 기반 ToM 평가 패러다임 도입: LLM 이 심리 상태를 단순히 '기술'하는 것이 아니라, 전략적 행동 선택을 통해 심리 모델을 활용하는지 평가하는 새로운 실험 설계.
2. 자아 모델링의 선택적 결손 발견: LLM 이 타인의 심리 상태를 모델링하는 능력은 발전했으나, 자신의 심리 상태를 모델링하는 능력 (특히 비사고 모델에서) 은 여전히 결여되어 있음을 규명. 이는 인간 아동의 발달 단계 (약 6 세 이후에 발달하는 메타인지 능력) 와 유사한 패턴을 보임.
3. 사고 (CoT) 의 역할 규명: 추론 과정 (Chain-of-Thought) 이 LLM 의 심리 모델링 능력을 극적으로 향상시키며, 특히 전략적 기만과 정보 억제 능력을 가능하게 함을 입증.
4. 메커니즘에 대한 통찰: 사고 모델이 성공하는 이유는 단순히 패턴 매칭이 아니라, 1 인칭 관점 (First-person perspective) 을 채택하고 상황을 재구성하는 과정에서 비롯될 가능성이 높음을 제시.

5. 의의 및 결론 (Significance)

• 안전 및 신뢰성: LLM 이 사회적 상호작용에서 타인의 의도를 파악하고, 자신의 지식을 인식하며, 전략적으로 기만 (Deception) 할 수 있는 능력을 갖췄다는 점은 AI 안전 (AI Safety) 측면에서 중요한 시사점을 줍니다.
• 모델 평가의 재정의: 기존 ToM 벤치마크는 LLM 의 모방 능력을 과대평가했을 수 있으며, 실제 심리 모델링 능력을 평가하려면 행동 기반의 전략적 과제가 필수적입니다.
• 향후 연구 방향: LLM 이 자아 모델링을 수행하는 내부 메커니즘 (예: 특정 뉴런의 활성화, 메모리 구조 등) 을 규명하고, 더 다양한 ToM 태스크로 일반성을 검증할 필요가 있습니다.

결론적으로, 이 연구는 최신 LLM 이 타인의 마음을 읽는 능력은 인간에 근접했으나, '자신의 마음을 아는' 능력과 이를 전략적으로 활용하는 능력은 여전히 제한적이며, 이를 극복하기 위해서는 명시적인 추론 과정 (Chain-of-Thought) 이 필수적임을 보여줍니다.