기술 요약: 지름길에서 추론으로: 강화 학습을 통한 마음 이론(Theory of Mind)의 견고한 사후 학습

1. 문제 정의

마음 이론(Theory of Mind, ToM)—믿음, 욕구, 의도와 같은 잠재적 정신 상태를 추론하는 능력—은 AI 시스템이 현실 세계에서 안전하고 효과적으로 상호작용하는 데 필수적이다. 최근의 사후 학습(post-training) 노력들이 파운데이션 모델의 ToM을 강화하려 시도해 왔으나, 본 논문은 발전을 저해하는 만연한 "지름길(shortcut)" 문제를 식별한다. 많은 인기 있는 ToM 데이터셋(예: Hi-ToM, FANToM)은 모델이 진정한 정신 상태 추론에 관여하는 대신, 부적절한 인과적 상관관계나 절차적 휴리스틱(예: 중간 사건에 관계없이 최종 객체의 위치를 정답이라고 가정하는 것)을 악용하여 높은 정확도(최대 99%)를 달성할 수 있게 한다.

저자들은 이러한 지름길이 취약한 데이터셋으로 학습하는 것이 다음과 같은 결과를 초래한다고 주장한다:

1. 가짜 ToM(False Sense of ToM): 모델이 숙련된 것처럼 보이지만, 논리적으로 타당한 추론 궤적을 생성하는 데는 실패한다.
2. 오도하는 벤치마크(Misleading Benchmarks): 높은 정확도 점수가 서로 다른 학습 전략의 실제 효과를 가려버려, 실무자들이 최적이 아닌 방법(예: 강화 학습보다 지도 미세 조정 선호)을 선택하게 만든다.
3. 낮은 일반화 성능(Poor Generalization): 지름길로 학습된 모델은 분포 외(OOD) 시나리오, 고차원 추론, 또는 반사실적 수정(counterfactual modifications)에 대응하지 못한다.

2. 방법론

2.1. 데이터셋 감사 프레임워크

지름길 문제를 해결하기 위해, 저자들은 학습 전 ToM 데이터셋을 평가하기 위한 경량 감사 프레임워크를 제안한다. 이 프레임워크는 두 가지 구성 요소로 이루어진다:

• LLM/에이전트 유도 규칙 발견: 동결된(frozen) LLM에 프롬프트를 제공하여 후보 지름길 규칙(예: "마지막으로 본 위치", "처음 언급된 에이전트", "선택지 길이")을 나열하도록 한다. 이 규칙들은 제로샷 휴리스틱으로서 평가된다. 만약 특정 휴리스틱이 무작위/다수결 베이스라인보다 유의미하게 높은 정확도를 달성하면($\delta_{abs}=0.2$ 기본 임계값), 해당 데이터셋은 지름길에 취약한 것으로 분류된다.
• 어휘 연관성 점수(Lexical Association Scoring): 표면적 특징(예: 문맥-선택지 중복, 선택지 길이)과 정답 레이블 사이의 부적절한 상관관계를 탐지하기 위해 상호 정보량 점수($S_{lex}$)를 계산한다. $S_{lex} \ge 0.15$인 데이터셋은 지름길에 취약한 것으로 간주된다.

이 프레임워크를 사용하여 저자들은 8개의 인기 있는 벤치마크를 감사하였으며, 그중 4개인 OpenToM(내러티브), ToMATO(대화형), MMToM, 그리고 MuMA-ToM(멀티모달)이 지름길이 없는 것으로 식별되었다. 이 4개의 데이터셋이 후속 사후 학습 연구에 사용되었다.

2.2. 사후 학습 전략

본 연구는 지름길이 없는 데이터셋을 대상으로 세 가지 사후 학습 접근 방식을 비교한다:

1. 지도 미세 조정(Supervised Fine-Tuning, SFT): 모델이 최종 정답을 출력하도록 직접 미세 조정한다.
2. No-Thinking-RFT: 명시적인 추론 체인 없이 정확도 보상만을 사용하는 그룹 상대 선호도 최적화(GRPO) 기반의 강화 미세 조정(Reinforcement Fine-Tuning, RFT)이다.
3. Thinking-RFT: 정답과 일치하는 정확도 보상($R_{accuracy}$)과 추론의 XML 태깅 형식을 위한 포맷 보상($R_{format}$)을 결합하여, 모델이 답변 전 명시적인 사고의 사슬(reasoning chains)을 생성하도록 유도하는 검증 가능한 보상을 사용하는 RL이다.
   • 보상 함수: 추론 및 정답의 올바른 XML 태깅을 위한 포맷 보상($R_{format}$)과 정답 일치를 위한 정확도 보상($R_{accuracy}$)을 결합한다.
   • 최적화: 실험 결과 ToM 작업에는 정규화가 불필요함을 확인하였기에, KL 계수 $\beta=0$인 GRPO를 사용한다.

3. 주요 기여

1. 지름길 현상의 식별: 본 논문은 널리 사용되는 많은 ToM 벤치마크가 사소한 휴리스틱에 취약하며, 이것이 성능 지표를 왜곡하고 진정한 추론 능력 발달을 저해한다는 것을 입증한다.
2. 감사 프레임워크: AI 유도 규칙 발견과 어휘 분석을 결합하여 지름길에 취약한 데이터셋을 정량화하고 필터링하는 재현 가능하고 계산 비용이 적은 프레임워크를 제공한다.
3. Thinking-RFT의 실증적 검증: 지름길이 없는 ToM 벤치마크에서 명시적 추론을 포함한 강화 미세 조정(Thinking-RFT)이 SFT 및 No-Thinking-RFT보다 유의미하게 우수함을 보여주는 종합적인 연구를 수행한다.
4. 메커니즘 분석: 어텐션 시각화와 추론 궤적 분석을 통해, Thinking-RFT가 모델로 하여금 표면적인 상관관계가 아닌 핵심적인 인과적 단서(키워드 및 상태 변화)에 추론을 고정(anchor)하도록 가르침으로써 작동함을 밝힌다.

4. 주요 결과

4.1. 성능 향상

지름길이 없는 데이터셋에서 Thinking-RFT는 SFT와 No-Thinking-RFT를 지속적으로 능가했다:

• 전반적인 개선: 모든 시나리오에서 Thinking-RFT는 SFT 대비 평균 **+6%**의 정확도 향상을 보였다.
• 복잡한 추론: 이득은 고차원 추론(SFT 대비 +10%)과 멀티모달 문맥(SFT 대비 +7%)에서 가장 두드러졌다.
• 모델 스케일링: 3B 및 7B 파라미터 모델 모두에서 이점이 관찰되어, 규모에 관계한 견고함을 입증했다.

4.2. 일반화 및 강건성

• 고차원 일반화: Thinking-RFT를 통해 1차 ToM 작업을 학습한 모델은 보지 못한 2차 쿼리에 대해 훨씬 더 나은 일반화 성능을 보였다(OpenToM에서 SFT 대비 +9%).
• 교차 데이터셋 전이: OpenToM에서 학습된 Thinking-RFT는 보지 못한 데이터셋(ToMATO 및 ExploreToM)에서도 성공적으로 성능을 향상시킨 반면, SFT는 혼재되거나 부정적인 전이를 보였다.
• 반사실적 강건성: 정답을 뒤집기 위해 이야기를 최소한으로 수정한 경우(반사실적 재작성), Thinking-RFT 모델은 높은 정확도를 유지한 반면(약 48% 하락), SFT 모델은 상당한 성능 저하(약 1417%)를 겪었다. 이는 Thinking-RFT가 취약한 단서가 아닌 인과적 요인에 의존함을 나타낸다.

4.3. 추론의 필요성

Thinking-RFT와 No-Thinking-RFT를 비교한 결과, 추론과 RL의 결합 효과가 매우 중요하다는 것이 드러났다. Thinking-RFT는 No-Thinking-RFT보다 평균 7% 더 높은 성능을 보였으며, 이는 명시적인 추론 궤적이 파운데이션 모델에서 ToM 능력을 끌어내는 데 필수적임을 시사한다.

4.4. 작용 메커니즘

• 어텐션 시각화: 어텐션 맵은 Thinking-RFT 모델이 과제를 해결하는 데 필요한 "인과적 힌지(causal hinge)" 문장(예: 특정 욕구나 상태 변화)에 집중적으로 주의를 기울임을 보여주었다. 반면, SFT 및 No-Thinking-RFT 모델은 무관한 세부 사항에 집중하는 등 분산된 어텐션을 보였다.
• 추론 품질: LLM-as-a-judge 평가를 통해, Thinking-RFT가 생성한 추론 궤적이 SFT나 제로샷 베이스라인보다 훨씬 더 논리적으로 일관되고 과제에 충실함을 확인했다.

5. 의의 및 주장

저자들은 본 연구가 현재의 ToM 연구 궤적에 대한 중요한 교정을 제공한다고 주장한다. 지름길 문제를 강조함으로써, 표준 벤치마크에서의 이전의 긍정적인 결과들이 진정한 추론 능력의 향상이 아니라 데이터셋 결함에 의한 산물일 수 있음을 지적한다.

본 논문의 핵심 주장은 다음과 같다:

• 데이터 품질이 최우선이다: 효과적인 ToM 사후 학습을 위해서는 지름길에 취약한 데이터를 제거하는 엄격한 데이터셋 감사가 필요하다.
• Thinking-RFT가 우월하다: 복잡한 정신 상태 추론이 필요한 작업에서는 명시적인 추론 체인을 사용하는 강화 미세 조정이 표준 SFT 및 비추론형 RL보다 가장 효과적인 사후 학습 전략이다.
• 인과성에 기반함: Thinking-RFT의 성공은 모델이 핵심적인 인과적 앵커를 식별하고 추적하도록 가르쳐, 보지 못한 환경과 반사실적 시나리오에서도 견고한 추론을 가능하게 하는 능력에서 기인한다.

결론적으로, 파운데이션 모델에서 ToM 능력을 이끌어낼 수는 있으나, 이를 위해서는 결함이 있을 수 있는 기존 평가 벤치마크에 의존하는 것에서 벗어나 정제된 데이터셋과 추론 중심의 학습 패러다임을 활용하는 방향으로 전환해야 한다.