Infusing Theory of Mind into Socially Intelligent LLM Agents

이 논문은 대화 중 상대방의 심리 상태를 명시적으로 추론하도록 유도하거나, 대화 목표 달성을 위해 최적화된 심리 상태를 생성하도록 학습된 'ToMAgent'를 제안함으로써, LLM 기반 사회성 에이전트의 대화 성과와 전략적 추론 능력을 크게 향상시켰음을 보여줍니다.

핵심

🎭 1. 문제: "말만 잘하는" 로봇의 한계

지금까지의 AI 챗봇들은 자신의 말만 잘하는 '연극 배우' 같았습니다.

• 상황: 두 친구가 추운 캠핑장에서 담요 하나를 두고 싸우고 있습니다.
• 기존 AI: "나 추워. 너도 추우니까 나눠서 쓰자." (단순히 논리적으로 말함)
• 한계: 상대방이 "아니, 나 더 추워! 내 거야!"라고 생각할지, 아니면 "그래, 같이 쓰자"라고 생각할지 상대방의 마음 (감정, 의도, 믿음) 을 고려하지 않고 그냥 말만 내뱉습니다. 그래서 상대방이 화를 내거나 대화는 길어지는데 목표 (친구 유지, 담요 공유) 는 달성하지 못합니다.

이걸 '마음 이론 (Theory of Mind, ToM)' 이 부족하다고 합니다. 즉, "상대방이 지금 무슨 생각을 하고 있을까?" 를 상상하는 능력이 없는 거죠.

🧠 2. 해결책: TOMA (상상력 훈련을 받은 AI)

저자들은 이 문제를 해결하기 위해 TOMA라는 새로운 AI 훈련 방법을 개발했습니다. 이걸 '미래를 내다보는 연기 연습' 이라고 생각해보세요.

🎬 TOMA 의 훈련 과정 (3 단계)

TOMA 는 실제 대화에 나가기 전에, 머릿속으로 수많은 시나리오를 연습합니다.

1. 상상하기 (마음 읽기):
   • "상대방은 지금 너무 추워서 화가 났을까? (감정)"
   • "아니면 담요를 공유하면 따뜻해질 거라고 믿고 있을까? (믿음)"
   • "상대방의 마음을 여러 가지로 상상해 봅니다."
2. 연기해 보기 (대본 작성):
   • "상대방이 화가 났다면, 내가 이렇게 말해볼까? '나도 추운데 같이 쓰면 더 따뜻할 거야'라고?"
   • "상대방이 믿음을 가지고 있다면, 이렇게 말해볼까? '고마워, 같이 쓰자'라고?"
   • 상상한 마음 상태에 맞춰 다양한 말을 만들어냅니다.
3. 예상해 보기 (미래 시뮬레이션):
   • "내가 이 말을 했을 때, 상대방이 어떻게 반응할까? 그리고 결국 담요를 공유할 수 있을까?"
   • AI 는 이 대화의 끝까지를 머릿속으로 빠르게 시뮬레이션해 봅니다.
   • 가장 좋은 결과 (목표 달성 + 관계 유지) 를 가져온 '상상력 + 말하기' 조합만 골라냅니다.

이렇게 가장 성공적인 '마음 읽기 + 말하기' 조합만 모아서 AI 를 다시 훈련시킵니다. 마치 연극 배우가 수많은 시나리오를 연습하고, 가장 성공적인 대본만 골라 무대에 오르는 것과 같습니다.

🏆 3. 결과: 왜 TOMA 가 더 잘할까?

실험 결과 (Sotopia 라는 복잡한 대화 게임에서 테스트), TOMA 는 기존 AI 들보다 훨씬 뛰어난 성과를 냈습니다.

• 전략적 사고: TOMA 는 단순히 "내 말만 내세우는" 게 아니라, 상대방의 마음을 읽어서 타협점 (컴프라이즈) 을 찾습니다.
  • 예시: "너도 추우니까 같이 쓰자"라고 말하기보다, "너는 더 추울 테니 먼저 덮고, 나는 이쪽을 덮자"처럼 상대방의 상황을 고려한 해결책을 제시합니다.
• 장기적인 관계: 대화의 길이가 길어질수록 TOMA 는 실수하지 않고 목표를 달성합니다. 반면 기존 AI 는 같은 말만 반복하다가 대화에서 밀려납니다.
• 상대방도 이득: TOMA 는 자신의 목표만 쫓는 게 아니라, 상대방의 목표도 함께 달성하게 만들어 양측 모두 만족하는 결과를 만듭니다.

💡 4. 핵심 교훈: "마음"을 읽어야 "사람"과 잘 지낸다

이 연구는 우리에게 중요한 메시지를 줍니다.

"AI 가 똑똑해지려면 단순히 지식을 늘리는 게 아니라, 상대방의 마음을 상상하는 능력을 키워야 한다."

마치 좋은 친구가 되려면 상대방의 기분을 헤아려야 하듯, AI 가 사람과 자연스럽게 소통하고 문제를 해결하려면 '상대방의 마음 (ToM)' 을 이해하는 훈련이 필수라는 것입니다.

🚀 요약

• 기존 AI: "내가 말한 대로 해!" (상대방 마음 모름)
• TOMA: "상대방이 지금 이렇게 생각할 거야. 그래서 나는 이렇게 말해서 둘 다 행복하게 만들자!" (상대방 마음 읽기 + 전략적 대화)

이 기술은 앞으로 상담 AI, 교육 튜터, 고객 서비스 등 사람이 직접 대화해야 하는 모든 분야에서, AI 가 훨씬 더 따뜻하고 똑똑한 파트너가 되어줄 수 있는 길을 열었습니다.

기술 요약

1. 문제 정의 (Problem)

• 사회적 상호작용의 한계: 현재 챗봇 및 LLM 기반 사회적 에이전트는 대화의 목표를 달성하는 데 초점을 맞추고 있지만, 대화 상대방의 심리 상태 (신념, 욕구, 의도, 감정 등) 를 이해하는 '마음 이론 (Theory of Mind, ToM)' 능력을 명시적으로 통합하지 못합니다.
• 기존 연구의 부족: 기존 LLM 의 ToM 능력 평가는 주로 정적인 질문 답변 (QA) 태스크에 국한되어 있으며, 실제 동적인 대화 환경에서 ToM 이 목표 달성이나 관계 유지에 어떻게 기여하는지에 대한 연구는 부족합니다. 또한, 단순히 프롬프트를 통해 ToM 을 유도하는 것만으로는 장기적인 전략적 행동과 목표 달성을 최적화하기에 충분하지 않을 수 있습니다.
• 핵심 질문: LLM 에게 사회적 추론을 개선하고 목표 달성을 극대화할 수 있는 효과적인 ToM 능력을 어떻게 부여할 수 있는가?

2. 방법론 (Methodology: TOMA)

저자들은 TOMA (ToMAgent) 라는 새로운 학습 프레임워크를 제안합니다. 이는 대화 시뮬레이션을 통해 '가장 유용한' ToM 추론과 발화를 학습하는 Look-ahead (선제적) 학습 방식입니다.

주요 단계:

1. 시나리오 및 컨텍스트 샘플링: Sotopia-Pi 데이터셋에서 다양한 사회적 시나리오, 에이전트의 개인적 목표, 그리고 대화의 초기 이력을 추출합니다.
2. ToM 가설 및 발화 생성 (Exploration):
   • 대상 에이전트 (학습 대상) 가 현재 상황에서 상대방의 심리 상태에 대한 여러 가지 가설 (K 개) 을 생성합니다. (신념, 욕구, 의도, 감정, 지식 중 최소 3 가지 차원 포함).
   • 각 심리 상태 가설에 기반하여 여러 가지 발화 후보 (J 개) 를 생성합니다.
3. 대화 시뮬레이션 및 평가 (Look-ahead Simulation):
   • 생성된 (심리 상태, 발화) 쌍을 기반으로 상대방 에이전트 (다른 LLM) 와 짧은 대화 (미래 4 턴) 를 시뮬레이션합니다.
   • 시뮬레이션 결과, 양측 에이전트의 목표 달성 점수 (Goal Score) 를 계산합니다.
   • 목표 달성 점수가 높은 (예: 평균 9 점 이상) 쌍을 선별하여 고품질 학습 데이터로 사용합니다.
4. 파인튜닝 (Fine-tuning):
   • 선별된 고품질 데이터 (맥락 $H$, 최적의 심리 상태 $m^*$, 최적의 발화 $u^*$) 를 사용하여 LLM 을 파인튜닝합니다.
   • 학습 목표: 맥락 $H$에서 심리 상태 $m$을 예측하고, $H$와 $m$을 입력받아 발화 $u$를 생성하는 결합 확률 $P(u, m | H)$를 최적화합니다. 이를 통해 모델은 내재된 심리 상태 추론과 전략적 발화 생성을 동시에 학습하게 됩니다.

3. 주요 기여 (Key Contributions)

1. ToM 기반 학습 프레임워크 제안: 단순히 프롬프트로 ToM 을 유도하는 것을 넘어, 대화 시뮬레이션을 통해 목표 달성에 기여하는 '유용한' ToM 추론을 명시적으로 학습시키는 TOMA를 개발했습니다.
2. 전략적 행동 및 장기적 적응성 증대: TOMA 는 단순한 목표 추구를 넘어, 상대방의 심리를 고려한 타협 (compromise), 수용 (accommodation), 해결책 제시 (solution offering) 등의 전략적 행동을 보이며, 대화 턴이 길어질수록 목표를 더 효과적으로 달성하는 장기적 적응 (Long-horizon adaptation) 능력을 입증했습니다.
3. 관계 유지와 목표 달성의 동시 달성: 기존 모델들이 목표 달성을 위해 관계를 희생하는 경향이 있었던 반면, TOMA 는 목표 달성 점수를 높이면서도 상대방과의 관계 (Relationship) 점수를 크게 향상시켰습니다.
4. Sotopia 벤치마크에서의 검증: 다양한 모델 크기 (3B, 7B, 8B) 와 시나리오 유형 (협력, 협상, 설득, 갈등) 에서 기존 베이스라인 및 GPT-5 nano 와 비교하여 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: Sotopia-Eval 벤치마크 (All 및 Hard 세트) 에서 TOMA 는 베이스라인 모델 대비 목표 달성 점수에서 최대 18.9%, **관계 점수에서 6.9%**까지 향상되었습니다. 특히 Qwen2.5-7B 기반 TOMA 는 GPT-5 nano 와 경쟁 가능한 성능을 보였습니다.
• 모델 크기 효과: 3B 및 7B 모델 모두에서 ToM 학습이 효과적이었으며, 7B 모델에서는 더 복잡한 전략적 추론이 가능해졌습니다.
• 시나리오별 성능:
  • 갈등 (Conflict) 및 협상 (Negotiation) 시나리오: ToM 이 특히 중요한 경쟁적 상황에서 TOMA 의 성능 향상이 가장 두드러졌습니다.
  • 장기적 적응: 턴 수가 증가할수록 베이스라인 모델의 성능이 떨어지는 반면, TOMA 는 턴 수가 늘어날수록 점수가 지속적으로 상승하여 전략을 수정하며 적응함을 보였습니다.
• ToM 차원 분석: TOMA 는 베이스라인 모델이 '감정 (Emotion)'에 치중하는 반면, 의도 (Intention) 추론에 더 많이 의존하여 전략적 의사결정을 내리는 것으로 분석되었습니다. 또한, 1 차원 (상대방에 대한 믿음) 추론 비율이 베이스라인보다 높게 나타났습니다.

5. 의의 및 결론 (Significance)

• 사회적 지능의 새로운 패러다임: LLM 의 사회적 지능은 일반적인 추론 벤치마크 점수만으로는 달성할 수 없으며, 상대방의 심리 상태를 명시적으로 모델링하고 이를 대화 전략에 통합해야 함을 보여줍니다.
• 실용적 적용 가능성: 상담, 교육, 고객 서비스 등 인간과 AI 가 상호작용하는 분야에서 더 안전하고, 공정하며, 효과적인 에이전트를 구축하는 데 중요한 기초를 제공합니다.
• 효율성: 추론 시간 (Inference-time) 에 추가적인 계산 비용을 크게 증가시키지 않으면서 (약 4.5 초/턴 증가), 학습된 모델이 컴팩트하고 정보력 있는 중간 표현을 학습하도록 하여 효율적인 사회적 에이전트 개발을 가능하게 합니다.

요약하자면, 이 논문은 LLM 에이전트가 대화 상대방의 마음을 '이해'하고 이를 바탕으로 전략적으로 행동하도록 학습시키는 새로운 프레임워크 (TOMA) 를 제시하며, 이를 통해 목표 달성률과 인간적 관계 유지라는 두 마리 토끼를 모두 잡을 수 있음을 실험적으로 증명했습니다.