기술 요약: 추론은 마음 이론(Theory of Mind) 과업에서 강건성을 증진시킨다

문제 정의

대규모 언의 모델(LLM)은 마음 이론(Theory of Mind, ToM) 테스트에서 강력한 성능을 보여주며, 이것이 진정한 추론 능력인지 아니면 단순한 패턴 매칭인지에 대한 논쟁을 불러일으켰다. 초기 모델들은 유망한 성과를 보였으나, 이후의 비판들은 이들의 취약성을 지적했다. 즉, 미세한 프롬프트 변동에도 성능이 저하되는 현상은 "진정한" 이해의 결여를 시사했다. 최근에는 강화 학습 기반의 검증 가능한 보상(RLVR)을 통해 훈련된 새로운 클래스의 "추론 모델"(예: GPT-5, Claude, DeepSeek R1)이 등장했다. 이 모델들은 정답을 내기 전 복잡한 사고 사슬(Chain of Thought, CoT)을 생성하도록 설계되었다. 본 논문이 다루는 핵심 문제는 이러한 추론 모델들이 근본적으로 새로운 ToM 능력을 보유하게 된 것인지, 아니면 다양한 조건 하에서 정답을 찾아내는 강건성(Robustness)이 향상된 결과인지를 결정하는 것이다.

방법론

본 연구는 기존 심리학 실험과 기존 벤치마크 데이터 분석을 결합한 혼합 방법론을 채택하였다.

1. 실험 설정

저자들은 GPT-5, Claude(사고 기능 활성화 및 비활성화 상태), DeepSeek R1, Grok-3-mini를 포함한 최첨단 모델들을 대상으로 실험을 수행하였다. 주요 실험 통제 요소는 다음과 같다:

• 프롬프팅 전략: [31]의 확립된 심리학 테스트와 강건성을 테스트하기 위해 [30]을 기반으로 새롭게 설계된 수정 모델들을 활용하였다.
• 모델 변형: 핵심 구성 요소는 Claude 모델의 "사고(thinking)" 기능을 켜고 끄는 능력을 활용하여, 동일한 아키텍처 내에서 추론형과 비추론형 성능을 직접 비교하는 것이었다.
• 채점: 최종 답변의 정확성과 추론 과정(reasoning trace)의 품질을 모두 고려하여 0-2 척도(0~1로 정규화)로 성능을 평가하였다.

2. 테스트 배터리

• Sally-Anne 테스트 (1차 및 2차 순서): 기초적 및 재귀적 정신 상태 귀인을 평가하기 위한 표준적인 틀린 믿음(false-belief) 테스트.
• Strange Stories (이상한 이야기): 의도 추론을 요구하는 7가지 범주(거짓말, 역할 놀이, 농담, 선의의 거짓말, 오해, 비꼬기, 이중 속임수).
• Imposing Memory (기억 주입): 정신 상태의 다단계 재귀를 포함하는 테스트 (예: A는 B가 C가 D를 원한다고 믿는다고 믿는다).
• 단순 ToM 과업의 수정 모델: 시각적 정신 묘사가 필요한 "투명한 접근(Transparent Access)" 및 "관계 변화(Relationship Change)" 시나리오를 통해 표준적인 의미론적 휴리스틱을 교란하도록 설계된 새로운 과업들.

3. 벤치마크 분석

저자들은 FANToM, BigToM, MMToM-QA, ParaphrasedToMi와 같은 벤치마크를 포함하는 [10]의 결과를 분석하였다. 이 데이터셋들은 증류(distilled) 및 비증류 추론 모델을 포함한 광범위한 모델과 과업에 걸쳐 발견된 사항을 확증하는 데 사용되었다.

주요 기여

• 강건성에 대한 실증적 증거: 본 논문은 추론 모델이 비추론형 모델에 비해 프롬프트 변동 및 과업 섭동(perturbation)에 대해 일관되게 더 높은 강건성을 보인다는 실증적 데이터를 제공한다.
• "진정한" ToM의 재해로: 저자들은 프롬프트 민감도가 ToM 기술의 결여와 동일하다는 견해에 이의를 제기한다. 대신, 기본 모델에 성공의 상한선이 존재하지만, 추론 훈련(RLVR)이 추론 경로를 안정화하여 모델이 방해 요소에 덜 휘둘리게 만든다고 주장한다.
• 창발적 관점 취하기(Perspective Taking): 추론 과정 분석 결과, 추론 모델들은 명시적인 프롬프트 없이도 "관점 취하기" 전략(맥락을 캐릭터의 지식으로 필터링하는 기법)을 자발적으로 사용하는 것으로 나타났다. 이는 이전에는 수동적인 프롬프트 엔지니어링 개입이 필요했던 기술이다.
• 시각적 한계 식별: 연구는 모델이 "정신적 시각 묘사"(예: 투명한 용기)가 필요한 과업에서 어려움을 겪는 특정 실패 모드를 식별하였으며, 이는 현재의 추론 개선이 공간-시각적 측면보다는 주로 의미론적/논리적 측면에 집중되어 있음을 시사한다.

결과

• 심리학 테스트:
  • Sally-Anne: 모델들은 1차 및 2차 순서 테스트에서 완벽에 가까운 점수(1.00)를 기록했다. 주목할 만한 유일한 오류는 캐릭터의 지식을 혼합한 경우(Grok-3-mini)였다.
  • Strange Stories: 7개 카테고리 중 5개에서 결함 없는 성능을 보였다. 미미한 오류는 "비꼬기"와 "이중 속임수"에서 발생했으며, 주로 모델이 장면의 물리적 상태(예: 보이지 않는 곳에 있는 지저질한 주방)를 시각화하는 데 실패했을 때 나타났다.
  • Imposing Memory: Claude(사고 기능 활성화 시)는 비활성화 시보다 우수한 성능을 보였다 (100% vs 92%). 오류는 주로 환각(hallucination)이나 캐릭터의 믿음과 실제 사실을 구분하지 못하는 데서 기인했다.
  • 수정 모델: 현재 모델들은 GPT-3보다 현저히 뛰어난 성능을 보였다. 그러나 두 가지 특정 과업(2A 및 2B)은 모든 모델에게 여전히 어려웠는데, 이는 인간에게는 사소하지만 의미론적으로 도출하기 어려운 공간적 관계를 시각화해야 하기 때문인 것으로 보인다.
• 벤치마크 결과:
  • 추론 모델은 FANToM, BigToM, ParaphrasedToMi 전반에서 비추론 모델을 유의미하게 앞질렀다.
  • 차이는 여러 질문에 걸쳐 일관성이 요구되는 FANToM에서 가장 두드렷하게 나타났으며, 이는 추론 모델의 안정성 향상을 강조한다.
  • 증류된 모델은 다른 추론 모델에 비해 FANToM에서 현저히 낮은 성능을 보였으나, 저자들은 이에 대해 추가 조사가 필요하다고 언급했다.

의의 및 주장

본 논문은 RLVR로 훈련된 추론 모델의 주요 이점이 근본적으로 새로운 추론 능력의 출현이 아니라 강건성 증가라고 결론짓는다.

• 용량보다는 안정성: 이러한 이득은 모델의 표현 용량이 확장된 것이 아니라, 섭동에 직면했을 때 올바른 솔루션 경로를 더 신뢰성 있게 찾는 능력 덕분이다. 추론 경로는 기본 모델의 능력에 의해 제한되지만, 이를 더 일관되게 접근할 수 있게 된다.
• 취약성에 대한 재평가: 저자들은 프롬프트 민감도로 인해 LLM이 "진정한" ToM 기술이 부족하다는 이전의 주장이 과장되었을 수 있다고 주장한다. 모델은 이미 필요한 기술을 보유하고 있었으나, 추론 훈련이 이를 안정적으로 사용할 수 있는 안정성을 제공한 것이다.
• 평가에 대한 시사점: 본 연구 결과는 LLM의 사회적 인지 행동을 평가할 때, 단순히 정적인 벤치마크에 대한 정확도뿐만 아니라 프롬프트 변동에 대한 강건성을 테스트해야 함을 시사한다. RLVR 훈련의 "힘"은 추론 범위를 안정적이고 확률이 높은 경로로 좁히는 데 있으며, 이는 강건한 적용을 위해 바람직한 특성이다.

저자들은 모든 경우에서 가짜 상관관계(spurious correlations)나 메타 지식 휴리스틱을 완전히 배제할 수는 없음을 인정하며 겸허한 태도를 유지하였고, RLVR의 구체적인 기여와 다른 추론 시점 스케일링 기법 간의 비교 연구가 추가로 필요함을 명시하였다.