기술 요약: OmniToM

문제 제기

대형 언어 모델 (LLM) 의 마음 이론 (ToM) 을 평가하기 위한 현재 벤치마크는 주로 **최종 답변 질문 응답 (QA)**에 의존합니다. 이 패러다임에서 모델은 서사를 제시받고, 사회적 추론 쿼리에 대한 올바른 최종 답변을 생성하는지 여부만으로 점수가 매겨집니다 (예: "밥은 어디를 볼 것인가?"). 저자들은 이러한 접근 방식이 근본적인 인지 과정을 흐리게 한다고 주장합니다. 모델이 실제로 필요한 다중 행위자 정신 상태 표현을 구성하지 않고도, 단축 전략이나 벤치마크의 인공물을 이용하여 정답을 도출할 수 있기 때문입니다.

구체적으로, 최종 답변 QA 는 모델이 다음을 추적할 수 있는지 여부를 드러내지 못합니다:

• 각 행위자가 진실로 여기는 것과 객관적으로 실재하는 것의 차이.
• 정보가 어떻게 분배되는지 (누가 무엇을 접근할 수 있는지).
• 신념의 재귀적 성격 (예: "밥은 앨리스가 ~라고 생각한다"고 믿는다).
• 명시적 진술과 암묵적 추론 간의 차이.

결과적으로 기존 벤치마크는 모델이 실패한 '이유'를 진단할 수 없습니다. 관련 행위를 놓쳤는지, 신념을 잘못 업데이트했는지, 정보 접근을 잘못 식별했는지, 아니면 정신 상태의 출처를 잘못 표기했는지 여부 말입니다.

방법론

OmniToM 벤치마크 구성

OmniToM 은 평가를 최종 답변에서 명시적 신념 구조 모델링으로 전환함으로써 이 격차를 해소합니다. 이 벤치마크는 ToM 추론을 2 단계 프로세스로 운영화합니다:

1. 1 단계: 신념 추출

   • 작업: 이야기 $S$가 주어지면, 모델은 신념 명제 $B$의 구조화된 집합을 추출해야 합니다.
   • 구조: 각 명제는 튜플 $(a_i, b_i, o_i)$로 구성되며, 여기서 $a_i$는 행위자 (또는 서술된 사실의 경우 '세계'), $b_i$는 최소 신념 내용, $o_i$는 재귀 순서 (세계 사실은 0, 1 차 신념은 1, 고차 신념은 2 이상) 입니다.
   • 목표: 세계 사실, 세계에 대한 1 차 신념, 다른 행위자의 정신 상태에 대한 고차 신념을 포함하여 이야기의 사회적 역학에 관련된 전체 행위자별 신념 집합을 복원하는 것입니다.

2. 2 단계: 신념 라벨링

   • 작업: 추출된 명제가 주어지면, 모델은 각 명제에 7 차원 스키마 라벨을 할당합니다.
   • 스키마: ATOMS(마음 이론 공간의 능력)에 기반하여 각 명제를 다음과 같이 분해합니다:
     • 순서 (Order): 재귀 깊이 (0–3).
     • 진실 상태 (Truth Status): 서사적 현실과의 일치 여부 (참, 거짓, 모름).
     • 지식 접근 (Knowledge Access): 정보의 분배 (비공개, 공유, 공개).
     • 표현 (Representation): 명시적 vs 암묵적 (진술됨 vs 추론됨).
     • 내용 유형 (Content Type): 주제 (위치, 인식론적, 욕망, 감정 등).
     • 정신 출처 (Mental Source): 획득 방법 (서술, 지각, 기억, 증언, 추론, 상상).
     • 맥락 (Context): 프레임 조건 (기만적, 시간적, 반사실적, 중립적).

벤치마크 구축

• 소스 데이터: ToMBench에서 파생되었으며, 7 개의 고빈도 카테고리 (예: 거짓 신념 과제, 실례 인식, 힌트 과제) 의 895 개 이야기를 유지합니다.
• 주석 파이프라인: 22,343 개의 신념 명제에 대한 수동 주석의 높은 비용으로 인해, 저자들은 인간 보정, LLM 지원 파이프라인을 도입했습니다.
  • 보정 하위 집합 (21 개 이야기) 은 도메인 전문가에 의해 수동으로 주석되었습니다.
  • 시맨틱 저지 (Semantic Judge): 1 단계 평가에서 인간 시맨틱 정렬 결정과 높은 일치도 (72.03%) 를 보인 GPT-5 가 시맨틱 저지로 선정되었습니다.
  • 주석 모델: 가장 강력한 보정 성능 (1 단계 F1 72.88%, 2 단계 정확도 93.62%) 을 달성한 후 Claude-Sonnet-4.5 가 주요 주석 모델로 선정되었습니다.
• 규모: 최종 벤치마크는 895 개의 이야기와 22,343 개의 라벨링된 신념 명제를 포함하며, 총 156,401 개의 스키마 라벨로 구성됩니다.

평가 프로토콜

• 1 단계 (추출): 엄격한 문자열 매칭 대신 시맨틱 정렬 지표 (MatchCount) 를 사용하여 F1 점수로 측정합니다. 이는 문장 재구성과 복합 신념을 고려합니다.
• 2 단계 (라벨링): 7 차원 스키마 라벨에 대한 정확 일치 (exact-match) 정확도로 측정합니다.
• 베이스라인: TELeR Level 3 프롬프트를 사용하여 제로샷 조건 하에서 다양한 오픈소스 및 클로즈드소스 모델 (예: Llama-3.3, Mistral-Large, GPT-5, Gemini-2.5 Flash) 에 대해 평가되었습니다.

주요 결과

평가 결과, 모든 모델에서 일관된 행위자별 정보 추적 병목 현상이 드러났습니다:

1. 추출 성능 (1 단계):

   • 가장 성능이 좋은 모델은 매크로 F1 **57.69%**를 달성했습니다.
   • 순서 0(세계 사실) 에서 순서 1 및 순서 2+(행위자 신념) 로 이동할 때 성능이 크게 저하됩니다. 모델은 이야기 사실을 특정 행위자의 관점에 매핑하는 데 어려움을 겪습니다.

2. 라벨링 성능 (2 단계):

   • 전체 라벨링 정확도는 **85.95%**에 달했습니다.
   • 그러나 오류는 균일하지 않습니다. **지식 접근 (56.13–74.59%)**과 **표현 (54.33–87.58%)**에서 가장 낮은 정확도가 관찰됩니다.
   • 1 차 신념은 특히 누가 정보에 접근할 수 있는지, 그리고 신념이 명시적인지 추론된 것인지에 관해 올바르게 라벨링하기 가장 어렵습니다 (전체 정확도 71.2%).

3. 병목 현상 식별:

   • 주요 실패 모드는 일반적인 언어 이해 부족이 아니라, 정보 조건을 추적하지 못하는 데 있습니다: 각 행위자가 어떤 사실을 알고 있는지, 그 지식이 어떻게 획득되었는지 (지각 대 추론), 그리고 시간이 지남에 따라 어떻게 진화하는지 판단하는 능력입니다.
   • 모델은 종종 세계에서의 진실과 행위자가 진실로 믿는 것 사이의 구분을 하지 못하며, 특히 그 신념이 구식이거나 잘못된 경우 더욱 그렇습니다.

중요성과 주장

이 논문은 OmniToM 이 LLM 의 ToM 평가에서 결과 기반에서 과정 기반으로의 필수적인 전환을 제공한다고 주장합니다.

• 진단적 힘: 정신 상태 표현을 검사 가능하게 함으로써, OmniToM 은 단순히 잘못된 답변을 관찰하는 대신 구체적인 추론 실패를 식별할 수 있게 합니다 (예: "모델은 정보 접근을 잘못 식별했기 때문에 신념을 업데이트하지 못했습니다").
• 한계 노출: 이 벤치마크는 최종 답변 QA 가 숨길 수 있는 한계를 드러냅니다: 강력한 ToM 추론은 정신 상태를 발생시키는 정보 조건을 추적하는 것을 요구하며, 이는 현재 LLM 이 어려워하는 능력입니다.
• 범위: 저자들은 OmniToM 을 통제된 텍스트 기반 시나리오에 대한 평가 도구로 겸손하게 규정합니다. 그들은 벤치마크가 실제 사회적 지능, 대인 관계 신뢰성, 또는 고위험 상황 (예: 임상 또는 법률 분야) 에서의 안전성을 인증하지 않는다고 명시합니다.
• 향후 작업: 저자들은 향후 방향으로는 더 풍부한 서사로 확장, 더 큰 인간 감사 추출 세트, 3 순서를 넘어선 신념 중첩 처리 등을 제안하며, 동시에 현재 다중 모달 추론 및 장기간 추적의 한계를 인정합니다.

요약하자면, OmniToM 은 LLM 이 종종 서사적 사실을 복원할 수는 있지만, 현재로서는 이러한 사실을 정확하고, 행위자별이며, 시간에 따라 진화하는 정신 상태 표현으로 변환할 수 있는 강력한 메커니즘이 부족함을 보여줍니다.