기술 요약: LLM과 그들의 제한적인 마음 이론 (Theory of Mind)

문제 정의

효과적인 인간 팀 성과는 작업, 목표, 그리고 잠재적 신념 상태에 대한 일관된 이해인 **공유 정신 모델 (Shared Mental Model, SMM)**에 의존한다. 인간은 상황에 따른 대화의 함축적 의미(가정, 의도, 지식)를 암묵적으로 파악하는 반면, 대규모 언어 모델(LLM)이 오직 대화 상호작용만을 바탕으로 이러한 내부 신념 상태를 정확하게 추론하고 주석을 달 수 있는지는 불분명하다. LLM의 마음 이론(ToM)에 대한 현재의 평가들은 정적인 탈맥락적 과제(예: 객관식 질문)에 의존하는 경우가 많으며, 이는 상황에 맞는 조율을 위해 요구되는 역동적이고 실시간적인 추론 능력을 포착하지 못한다. 본 논문은 상호작적인, 접지된(grounded) 팀 맥락에서 신념 상태를 추적하는 LLM의 능력을 평가하는 데 존재하는 간극을 다룬다.

방법론

저자들은 정신 모델 트레이스(mental model traces)를 생성하는 생성기로서의 LLM과, 불일치를 탐지하는 자동 탐지기로서의 LLM을 평가하기 위한 새로운 2단계 프레임워크를 제안한다.

1. 데이터셋 및 설정

• 코퍼스: 본 연구는 환경 내에 물리적으로 존재하는 '탐색자(searcher)'와 불완전한 지도를 보는 원격지의 '디렉터(director)' 사이의 상황 기반 작업 상호작용을 포함하는 CReST (Cooperative Remote Search Task) 코퍼스를 활용한다.
• 그라운드 트루스 (Ground Truth): 그라운드 트루스 정신 모델 트레이스를 구축하기 위해 비디오 녹화본(탐색자의 헤드캠 및 디렉터의 화면)이 동반된 6개의 대화가 선택되었다.
• 트레이스 생성기: 세 가지 독립적인 LLM (OpenAI o3-mini, Anthropic Claude Sonnet 4, Google Gemma 8.5B)과 두 그룹의 인간 주석가가 6개의 대화에 대한 정신 모델 트레이스를 생성하는 과업을 수행했다.
  • 나이브 조건 (Naive Condition): LLM과 한 쌍의 인간 주석자는 비디오 없이 오직 오디오 전사(transcript)만을 제공받았다.
  • 그라운드 트루스 조건 (Ground Truth Condition): 두 번째 인간 주석 쌍은 전사본과 함께 비디오 증거를 제공받아 그라운드 트루스 트레이스를 구축했다.
• 주석 스키마: 트레이스는 비교 가능성을 보장하기 위해 특정 동사 어휘를 사용하여 각 발화에 대한 신념, 목표, 전념(commitment) 상태를 업데이트하는 JSON 객체로 생성되었다.

2. 불일치 분석 프레임워크

별도의 "LLM 판사(LLM judge)"가 오디오 전용 트레이스(LLM 및 나이브 인간으로부터 생성된 것)를 비디오에 근거한 그라운드 트루스 트레이스와 비교하였다. 이 프레임워크는 네 가지 구체적인 불일치 유형을 정의한다:

1. 신념 모순 (Belief Contradictions): 트레이스 내의 에이전트가 보유한 명제와 그라운드 트루스가 서로 배타적인 경우.
2. 거짓 신념 (False Beliefs): 트래이스 내의 명제가 그라운드 트루스와 일치하지 않는 경우 (직접적인 부정형이 아니더라도 포함).
3. 근거 없는 신념 (Unsupported Beliefs): 트레이스 내의 명제가 그라운드 트루스에 근거(evidential basis)가 없는 경우 (환각 현상).
4. 누락 (Omissions): 그라운드 트루스에는 존재하지만 트레이스에는 없는 신념/목표 업데이트.

가중 불일치 점수($S_{m,d}$)는 대화 길이와 오류 심각도를 고려하여 [0, 1]로 정규화되어, 그라운드 트루스와의 정렬 정도를 정량화하기 위해 계산되었다.

주요 기여

• 최초의 연구: 저자들이 알기로는, LLM의 ToM을 평가하기 위한 렌즈로서 실제 작업 기반 대화의 신념 상태 트레이스를 사용한 최초의 연구이다.
• 새로운 프레임워크: 누락된 지각 정보와 추론 오류를 구분하여 SMM 일관성을 평가하는 재현 가능한 2단계 평가 파이프라인을 도입하였다.
• 데이터셋 공개: 향후 상황적 ToM 연구를 가능하게 하기 위해, 인간 및 LLM의 정신 모델 트레이스와 비디오로부터 도출된 그라운드 트루스 트레이스를 포함하는 데이터셋을 구축하였다.
• 불일치 분류 체계: 네 가지 별개의 오류 유형(모순, 거짓 신념, 근거 없는 신념, 누락)과 심각도 순위를 정의하고 실행 가능한 형태로 만들었다.

결과

6개의 대화(1,142개 발화)에 대한 평가는 모델과 인간 사이의 상당한 성능 격차를 드러냈다:

• 모델 성능:
  • Claude Sonnet 4는 가장 높은 전체 불일치 횟수를 보였으며(대화 3에서 700회 초과), 가장 낮은 정규화 점수를 기록했다. 이 모델은 근거 없는 신념과 신념 모순을 빈번하게 생성하였는데, 이는 추측성 추론과 과잉 일반화 경향을 시사한다.
  • o3-mini와 Gemma 8.5B는 불일치 발생이 현저히 적었다. 그러나 서로 다른 프로필을 보였다: o3-mini는 높은 누락 비율을 보였고, Gemma는 누락은 거의 없었으나 신념 모순 비율이 더 높았다.
  • 거짓 신념은 모든 모델에서 눈에 띄게 적게 나타났으며, 이는 오류가 확신에 찬 오인보다는 근거 없는 확장(extrapolation)에서 비롯됨을 나타낸다.
• 인간 vs. LLM:
  • 나이브 인간 주석가들은 LLM보다 근거 없는 신념(환각)을 제한하는 데 있어 우수한 성능을 보였으나, 신념 모순 및 누락 발생률은 LLM과 비슷하거나 더 높았다.
  • 통계 분석(Two-way ANOVA) 결과, 모델의 주효과($p < 2e-16$)가 강력하게 확인되었으며, Claude는 Gemma 및 o3-mini와 유의미한 차이를 보였다.
• 오류 패턴: 질적 분석 결과, LLM은 공간 추론이나 **전사 수준의 비유창성(disfluencies)**을 해소해야 하는 시나리오에서 체계적으로 오류를 범했다. 오류는 환경적 접지가 중요하지만 텍스트만으로는 불충분한 턴(turn)들에 집중되었다.

의의 및 주장

본 논문은 LLM이 제한적이고 측정 가능한 ToM 유사 행동(내부적으로 일관된 신념 구조 유지)을 시뮬레이션할 수는 있지만, 접지된 상황적 추론(grounded situational reasoning) 능력이 결여되어 있다고 주장한다.

• 제한된 ToM: LLM은 통합된 공간적, 시간적, 인식적 이해보다는 언어적 규칙성으로부터 정신 상태를 추론하는 것으로 보인다. 이들은 단순한 자연어 과제에서는 일관된 트레이스를 생성하지만, 공간적 제약이나 환경적 접지가 요구될 때는 실패한다.
• 대리 과제 검증: 본 연구는 정적인 벤치마크를 넘어, AI 시스템의 ToM 능력을 조사하기 위한 유효한 대리 과제로 상황적 대화 트레이스 생성을 제안한다.
• 시사점: 이러한 결과는 현재의 LLM이 인간의 ToM을 뒷받는 역동적이고 실시간적인 추론보다는 언어적 패턴에 의해 구동된다는 점을 강조한다. 이러한 한계는 정확한 공유 정신 모델이 협업의 필수 요소인 인간-AI 팀 구성 애플리케이션에서 매우 중요하다.

저자들은 LLM의 비결정론적 특성, CReST 서브셋의 특정 규모, 그리고 LLM이 비디오(멀티모달 입력)에 접근하는 조건이 결여되었다는 점을 인정하며, 이를 향후 연구 방향으로 제시하며 겸허한 태도를 유지하고 있다.