Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting

게타체우와 사파로브의 논문 "언어 모델이 당신을 이해하지 못할 수 있습니다: 스토리 프롬프팅을 통한 마음 이론 평가"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 추론 작업 (수학, 코딩, 논리) 에서 상당한 개선을 보였으나, 타인의 정신 상태, 신념, 관점을 귀속시키는 능력인 **마음 이론 (Theory of Mind, ToM)**에 대한 추론 능력은 여전히 불확실합니다.

• 데이터 오염: 기존 ToM 벤치마크 (예: 설리 - 앤 테스트, TOMI) 는 현대 LLM 의 사전 학습 데이터에 존재할 가능성이 높습니다. 따라서 모델들은 진정한 추론이 아닌 답을 "암기"하고 있을 수 있으며, 이로 인해 성능 지표가 과장될 수 있습니다.
• 통제 부족: 기존 합성 벤치마크는 종종 LLM 이 자체적으로 스토리를 생성하도록 의존하는데, 이는 불일치를 초래하고 특정 변수 (예: 등장인물의 관점 대 사건 타이밍) 를 분리하기 어렵게 만듭니다.
• 격차: LLM 이 정신 상태를 진정으로 모델링할 수 있는지, 아니면 휴리스틱 (예: 최근성 편향) 과 암기에 의존하는지 평가할 수 있는 견고하고 오염이 없는 프레임워크가 필요합니다.

2. 방법론: StorySim 프레임워크

저자들은 ToM 과 세계 모델링 (World Modeling, WM) 능력을 평가하기 위한 새로운 스토리를 생성하도록 설계된 프로그래밍 가능한 합성 프레임워크인 StorySim을 소개합니다.

핵심 구성 요소

• STORYBOARD: $D = (C, \phi, G, E, n)$으로 정의된 고수준의 상징적 명세입니다. 여기서:
  • $C$: 등장인물 집합.
  • $G$: 위치와 연결성을 나타내는 방향 그래프.
  • $E$: 결정론적이고 타임스탬프가 찍힌 주요 사건 집합 (예: "t=5 에 등장인물 A 가 2 번 방으로 이동함").
  • $n$: 총 사건 수.
  • $\phi$: 행동 유형 (예: enter, move).
• 생성 과정:
  1. 상징적 생성: StorySim 은 STORYBOARD 제약 조건을 엄격히 준수하는 일련의 사건을 생성합니다. 논리적 일관성 (예: 등장인물은 인접한 위치로만 이동 가능) 을 보장하면서 비결정적 세부 사항을 무작위로 채웁니다.
  2. 번역: 사건은 템플릿을 사용하여 자연어로 변환됩니다.
  3. 개사 (선택 사항): 스토리는 언어적 자연스러움을 높이기 위해 LLM(GPT-4o-mini) 에 의해 추가로 개사될 수 있지만, 핵심 논리는 상징적 스토리보드에 고정된 상태로 유지됩니다.
• 신규성: 스토리가 특정 제약 조건과 무작위 변형을 포함하여 알고리즘적으로 생성되므로, 생성된 어떤 스토리가 사전 학습 데이터에 나타날 확률은 "천문학적일 정도로 작습니다."

실험 설계

저자들은 서로 다른 인지 능력을 분리하기 위해 세 가지 특정 프롬프트 유형을 설계했습니다:

1. ToM 프롬프트: 한 등장인물이 다른 등장인물의 위치에 대해 가지는 신념에 대해 질문합니다 (예: "밥은 알리스가 어디에 있다고 생각합니까?"). 이는 현실과 다른 관점을 모델링하는 능력을 테스트합니다.
2. WM-Human 프롬프트: 관찰된 사건을 기반으로 등장인물의 객관적 위치에 대해 질문합니다 (예: "밥이 방에 있었을 때 알리스는 어디로 갔습니까?"). 이는 관점 수용이 필요 없는 세계 모델링을 테스트합니다.
3. WM-Inanimate 프롬프트: WM-Human 과 유사하지만 외부 힘에 의해 이동하는 무생물을 사용합니다. 이는 모델의 추론이 에이전트의 "생동감" 있는 특성에 민감한지 테스트합니다.

조작된 주요 변수:

• 오도 거리 (Mislead Distance): 한 등장인물 ($S1$) 이 다른 등장인물 ($T$) 의 이동을 마지막으로 본 시점과 $T$의 최종 위치 사이의 시간 단계 수입니다. 이는 최근성 편향(마지막으로 관찰된 위치가 아닌 가장 최근의 위치를 예측하는 것) 을 테스트합니다.
• ToM 의 차수: 1 차 (A 는 B 가 X 에 있다고 생각함) 대 2 차 (A 는 B 가 C 가 X 에 있다고 생각한다고 생각함).
• 등장인물 수: 단순하고 익숙한 스토리 구조를 넘어 일반화를 테스트하기 위해 등장인물의 수를 변화시킵니다.

3. 주요 기여

1. StorySim 프레임워크: 데이터 오염 위험을 제거하고 내러티브 변수 (관점, 타이밍, 그래프 구조) 의 정밀한 조작을 가능하게 하는 완전히 제어 가능한 합성 벤치마크.
2. ToM 과 WM 의 분리: ToM 을 일반적인 세계 모델링과 독립적으로 평가할 수 있는 방법을 제공하여, 모델들이 종종 물리적 사건 추적 (WM) 에는 뛰어나지만 정신 상태 추적 (ToM) 에는 실패함을 규명했습니다.
3. 휴리스틱 식별: 해당 프레임워크는 "첫 번째 공통 위치 휴리스틱"(현재 위치가 아닌 등장인물들이 처음 만난 장소를 예측하는 것) 과 최근성 편향과 같은 특정 실패 모드를 성공적으로 식별했습니다.
4. 종합적 벤치마킹: 제로샷 (zero-shot) 및 퓨샷 (few-shot) 설정에서 광범위한 모델군 (GPT-4, GPT-5.4, Llama 3.1/3.2/3.3, R1, Qwen) 을 평가했습니다.

4. 주요 결과

• ToM 대 WM 불일치: 대부분의 모델은 세계 모델링 (WM) 작업에서 마음 이론 (ToM) 작업보다 높은 정확도를 달성했습니다. 이는 LLM 이 타인의 주관적 관점을 시뮬레이션하는 것보다 물리적 상태를 추적하는 데 더 능숙함을 시사합니다.
• "인간" 효과: 모델들은 무생물에 비해 인간 대상이 포함된 WM 작업에서 훨씬 더 잘 수행되었으며, 이는 "에이전트"의 존재가 더 정확하고 다른 추론 경로를 촉발함을 시사합니다.
• 모델 크기 상관관계:
  • Llama 3.1 계열에서는 모델 크기 (파라미터) 와 ToM 성능 사이에 명확한 양의 상관관계가 있었습니다.
  • DeepSeek R1은 전체적인 ToM 정확도가 가장 높았으며 ToM 과 WM 성능 간의 격차가 가장 작았습니다.
  • GPT-5.4는 WM 에 뛰어났으나 ToM 에서는 어려움을 겪었으며, 이는 원시 추론 능력이 자동으로 사회적 추론을 의미하지는 않음을 강조합니다.
• 설리 - 앤 테스트 실패: 표준 설리 - 앤 설정에서 테스트했을 때 모델들은 100% 정확도를 달성했습니다. 그러나 동일한 길이의 무작위 생성 스토리로 테스트했을 때 정확도는 크게 하락했습니다 (예: 약 75-87% 로 감소). 이는 데이터 오염으로 인해 고전적인 테스트가 진정한 ToM 의 부적절한 측정 도구임을 확인시켜 주었습니다.
• 휴리스틱 의존성:
  • 최근성 편향: 연구 결과, 모델들이 주요 실패 모드로서 최근성 편향 (마지막으로 알려진 위치를 예측하는 것) 에 의존한다는 유의미한 증거는 발견되지 않았습니다. "오도 거리"가 변해도 성능은 안정적으로 유지되었습니다.
  • 첫 번째 공통 위치 휴리스틱: 지배적인 오류 패턴은 실제 이동을 추적하는 대신 등장인물들이 처음 교차한 위치를 예측하는 것이었습니다.
  • 컨텍스트 길이 문제: R1 과 같은 추론 중심 모델은 긴 사고 체인 생성 시 불충분한 컨텍스트 길이로 인해 빈번히 실패하여 "프롬프트 거부"나 환각 오류를 일으켰습니다.
• 복잡성: 스토리의 등장인물 수를 늘리는 것이 최상위 모델들의 ToM 성능을 크게 저하시키지는 않았으며, 이는 복잡한 사회적 그래프를 처리하는 데 있어 견고함을 시사합니다.

5. 의의 및 향후 작업

• 벤치마크 재정의: 이 논문은 설리 - 앤과 같은 정적이고 잠재적으로 오염된 데이터셋을 벗어나 StorySim 과 같은 동적 합성 벤치마크로 이동하여 LLM 의 능력을 진정으로 평가해야 한다고 주장합니다.
• 안전성 시사점: 견고한 ToM 의 부재는 중요한 안전 문제입니다. LLM 이 사용자가 다른 관점이나 숨겨진 의도를 가지고 있음을 이해하지 못한다면, 해로운 시나리오를 감지하지 못하거나 사용자를 조작할 수 있습니다.
• 향후 방향: 저자들은 StorySim 을 사용하여 반사실 추론, 목표 귀속, 선호도 모델링과 같은 더 복잡한 시나리오를 탐구할 것을 제안합니다. 또한 복잡한 ToM 작업에 필요한 더 깊은 추론 체인을 지원하기 위해 모델 컨텍스트 처리 능력을 개선할 필요성을 강조합니다.

결론적으로, 이 논문은 LLM 이 개선되고 있지만 여전히 마음 이론에 필요한 특정 인지적 도약에 어려움을 겪고 있음을 보여줍니다. 모델들은 종종 휴리스틱에 의존하거나 객관적 세계 상태와 주관적 신념을 구분하지 못합니다. StorySim 은 이러한 능력을 엄격하게 측정하고 개선하는 데 필요한 도구를 제공합니다.