Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 과 이를 기반으로 한 에이전트가 다양한 분야에서 인간을 보조하고 있지만, 사용자의 의도가 모호하거나 부정확하게 전달될 때 진정한 사용자 요구를 파악하는 데 어려움을 겪고 있습니다.
• 핵심 문제 (인식적 불일치, Epistemic Divergence): 사용자는 제한된 관찰 정보와 개인적인 배경 (선호도, 지식) 에 기반한 주관적 신념 (Subjective Belief) 을 가지고 행동합니다. 이는 종종 객관적인 환경 상태 (True State) 와 불일치합니다.
• 한계: 기존 LLM 의 '마음 이론 (Theory of Mind, ToM)' 평가는 고립된 신념 추론 작업에 치중되어 있으며, 실제 상호작용에서 사용자의 오해를 식별하고 이를 해결하여 태스크 성공으로 이어지는 기능적 유용성 (Functional Utility) 을 평가하지 못했습니다.
• 연구 질문:
  1. ToM 을 고립된 인지 과제가 아닌 실제 시나리오에서의 유용성으로 평가할 수 있는가?
  2. ToM 기반 추론을 어떻게 통합하여 하류 태스크 (Downstream Task) 의 성능을 향상시킬 수 있는가?

2. 방법론 (Methodology)

2.1. 공식화된 프레임워크 (Formalization)

• ToM 의 재정의: LLM 에게 ToM 을 단순히 타인의 마음을 읽는 능력이 아닌, 사용자의 주관적 신념 ($b$) 과 객관적 환경 상태 ($s^*$) 간의 인식적 불일치를 감지하고 해결하는 메커니즘으로 정의했습니다.
• 베이지안 접근: 사용자는 부분 관측 가능 환경에서 자신의 신념 ($b$) 에 기반해 행동 경로를 생성하며, 에이전트는 사용자의 관찰 ($o$), 목표 ($g$), 상호작용 궤적 ($\tau$) 을 바탕으로 사용자의 숨겨진 신념과 프로파일을 추론하여 불일치를 해결해야 합니다.

2.2. 벤치마크: SynchToM

• 데이터 생성 파이프라인:
  • Stage 1 (시나리오 합성): 소프트웨어 공학 (SWE), 선호도 추론, 교육, 문화 차이 등 4 가지 도메인의 원본 데이터를 기반으로 '신념 - 현실 불일치' 시나리오를 생성합니다. (사용자 신념, 프로파일, 관측, 목표, 근본 원인 포함)
  • Stage 2 (궤적 구성): 생성된 시나리오를 바탕으로 사용자의 신념이 어떻게 진화하는지 보여주는 10 턴의 다중 턴 상호작용 궤적을 시뮬레이션합니다.
  • 품질 관리: 행동 충실도, 현실성, 행동 일관성, 추론 가능성, 인지 타당성 등 5 가지 차원에서 LLM 기반 검증 모듈을 통해 데이터를 필터링합니다.
• 평가 지표:
  1. 잠재 신념 설명 (Latent Belief): 사용자의 오해와 그 원인을 정확히 파악하는지.
  2. 사용자 프로파일 모델링 (User Profile): 사용자의 성향과 편향을 일관되게 모델링하는지.
  3. 문제 해결 (Resolution): 신념 불일치를 해결하여 올바른 태스크 수행을 유도하는지.

2.3. 기능 향상 전략

• 강화 학습 (RL): SynchToM 에서 생성된 궤적 데이터를 기반으로 GRPO 알고리즘을 적용하여 모델을 학습시켰습니다. ToM 관련 토큰과 태스크 해결에 대한 보상을 설계하여 모델이 사용자의 신념을 업데이트하도록 유도했습니다.
• 학습 없는 다중 에이전트 협업: 여러 모델이 추론한 신념과 프로파일 중 최적의 것을 선별하여 백본 모델에 제공함으로써 태스크 성능을 향상시키는 프레임워크를 제안했습니다.

3. 주요 기여 (Key Contributions)

1. ToM 의 기능적 정립: ToM 을 추상적인 인지 능력에서 벗어나, 실제 상호작용에서 사용자의 오해를 교정하고 태스크를 성공시키는 실용적 메커니즘으로 공식화했습니다.
2. SynchToM 벤치마크 도입: 4 가지 실용적 도메인과 3,900 개의 고품질 테스트 인스턴스를 포함하는 벤치마크를 구축했습니다. 이를 통해 신념 - 해결 연결 (ToM-Resolution Linkage) 을 입증했습니다. 즉, 정확한 정신 상태 추정이 태스크 성공의 인과적 선행 조건임을 보였습니다.
3. 학습 및 협업 프레임워크 검증: 생성된 데이터를 통한 강화 학습과 다중 에이전트 협업이 ToM 능력과 하류 태스크 성능을 동시에 향상시킬 수 있음을 실증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: 11 개의 주요 모델 (GPT-5, Gemini, Claude, Qwen 등) 을 평가한 결과, 기존 모델들은 사용자의 오해 원인을 식별하는 데 한계를 보였습니다. 특히 '신념 (Belief)' 추론 점수가 '해결 (Solution)' 점수보다 낮게 형성되어, 모델이 지시만 따를 뿐 사용자의 잘못된 전제를 교정하지 못하는 경우가 많았습니다.
• 도메인 민감도: 소프트웨어 공학 (SWE) 과 문화 도메인에서는 상대적으로 성능이 좋았으나, 선호도나 교육과 같이 주관적이고 복잡한 도메인에서는 성능이 저하되었습니다.
• 궤적의 중요성: 상호작용 턴 수가 증가할수록 (5 턴, 10 턴) 모델의 신념 추론 및 해결 능력이 향상되었으며, 긴 상호작용 궤적이 불확실성을 줄이는 데 필수적임을 확인했습니다.
• 강화 학습 효과: SynchToM 데이터로 학습된 모델 (Qwen3-8B 기반) 은 베이스 모델 대비 해결 (Solution) 성능에서 일관된 개선을 보였으며, 특히 다중 턴 환경에서 강건성이 향상되었습니다.
• 다중 에이전트 협업: 다른 모델들이 추론한 최적의 신념/프로파일을 공유하는 방식은 단일 모델의 성능을 넘어서는 개선을 가져왔습니다 (특히 문화 도메인에서 +11.97 점 향상).

5. 의의 및 결론 (Significance)

• ToM 의 실용적 가치 입증: ToM 은 단순한 추론 기술이 아니라, 에이전트가 사용자의 오해를 인지하고 이를 교정하여 실제 문제를 해결하는 데 필수적인 상호작용 메커니즘임을 증명했습니다.
• 에이전트 개발 방향 제시: 향후 LLM 에이전트 개발 시, 사용자의 명시적 지시뿐만 아니라 잠재적 신념과 프로파일을 추론하고 불일치를 해결하는 능력을 핵심 기능으로 통합해야 함을 시사합니다.
• 데이터 및 평가 기준 제공: 실제 상호작용 맥락에서 ToM 을 평가하고 향상시키기 위한 SynchToM 벤치마크와 학습 데이터를 공개하여, 향후 연구의 표준을 제시했습니다.

이 논문은 LLM 에이전트가 인간과 더 자연스럽게 협업하기 위해서는 "무엇을 말했는지"뿐만 아니라 "무엇을 믿고 있는지"를 이해하고 그 신념이 현실과 다를 때 이를 교정할 수 있는 마음 이론의 기능적 구현이 필수적임을 강조합니다.