Unveiling the Cognitive Compass: Theory-of-Mind-Guided Multimodal Emotion Reasoning

이 논문은 이론적 마음 (ToM) 을 기반으로 한 계층적 벤치마크 'HitEmotion' 과 ToM 기반 추론 체인 및 TMPO 강화 학습 방법을 제안하여, 멀티모달 대규모 언어 모델의 감정 이해 능력을 진단하고 향상시키는 프레임워크를 제시합니다.

핵심

이 논문은 **"인공지능이 감정을 진짜로 이해하려면, 사람의 마음을 읽는 능력 **(심리 이론, Theory of Mind)이라고 주장합니다.

기존의 AI 는 눈이나 귀로 들어온 정보 (표정, 목소리, 말) 를 단순히 분류하는 데는 능숙하지만, **"왜 그 사람이 그렇게 느꼈을까?", "그 말 뒤에 숨겨진 진짜 의도는 무엇일까?"**와 같은 복잡한 심리 과정을 이해하는 데는 여전히 서툴렀습니다.

저희는 이 문제를 해결하기 위해 세 가지 핵심 도구를 개발했습니다. 이를 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제: "감정 읽기 AI"는 여전히 표면만 보고 있습니다

지금까지의 AI 는 마치 무표정한 경찰관과 같습니다.

• 사람이 울고 있으면 "슬픔"이라고 적고, 웃으면 "기쁨"이라고 적습니다.
• 하지만 그 사람이 왜 울고 있는지 (실제로 슬픈지, 아니면 남을 속이려는 농담인지), 혹은 누구를 향해 웃고 있는지 (진심인지, 눈치 보기인지) 는 전혀 고려하지 않습니다.
• 그래서 AI 는 종종 "감정 착각 (Hallucination)"을 하거나, 상황과 맞지 않는 엉뚱한 감정을 추측해냅니다.

2. 해결책 1: 'HitEmotion' (감정 지능의 체력 측정기)

우리는 AI 의 감정 이해 능력을 측정할 수 있는 **새로운 시험지 **(벤치마크)를 만들었습니다. 이를 **'감정 체력 측정기'**라고 부르겠습니다.

이 시험지는 단순히 "얼굴 표정 보기"만 하는 게 아니라, 세 단계의 난이도로 구성되어 있습니다.

• **1 단계 **(표면 감지) "저 사람이 웃고 있네?" (단순 인식)
• **2 단계 **(상황 이해) "저 사람이 웃고 있지만, 주변 분위기가 어색하네? 아마 농담을 하고 있나?" (맥락 파악)
• **3 단계 **(심층 추론) "저 사람이 웃는 이유는 상대방의 실수를 보고 비꼬는 것일까, 아니면 진짜로 재미있어서 웃는 것일까? 그 사람의 과거 경험과 현재 의도를 종합해 보자." (마음 읽기)

이 시험지를 통해 현재 최고의 AI 들조차 3 단계 난이도에서는 많이 망가진다는 사실을 발견했습니다.

3. 해결책 2: 'ToM 가이드 추론 사슬' (마음 읽기 지도)

AI 가 감정을 추론할 때, 단순히 정답만 말하게 하지 않고 생각의 과정을 따라가게 하는 지도를 만들어주었습니다.

• 비유: AI 에게 "정답은 A 야!"라고 외우게 하는 대신, "이 사람은 지금 화가 났어. 왜냐하면 A 라는 말을 들었거든. 하지만 그 말은 B 라는 상황에서 나왔으니, 사실은 C 라는 의도가 있을 거야"라고 단계별로 생각하게 유도하는 것입니다.
• 이 지도를 따라가면 AI 는 감정이 왜 생겼는지, 그 감정이 어떤 의도를 담고 있는지 논리적으로 설명할 수 있게 됩니다.

4. 해결책 3: 'TMPO' (AI 의 마음 훈련 교관)

마지막으로, AI 가 이 '마음 읽기 지도'를 제대로 따라갈 수 있도록 **강화 학습 **(RL)을 통해 훈련시켰습니다.

• 비유: AI 를 신입 사관생도라고 상상해 보세요.
  • 기존 방식: 정답지만 보여주고 "맞으면 점수, 틀리면 감점"만 했습니다.
  • **우리의 방식 **(TMPO) 생도가 생각한 **과정 **(생각의 흐름)을 교관이 하나하나 점검합니다.
    • "아, 여기서는 그 사람의 마음을 잘못 읽었구나. 다시 생각해 봐."
    • "좋아, 이 단계에서는 논리적으로 잘 연결했네."
  • 이렇게 과정 자체를 평가하고 보상해주니, AI 는 단순히 정답을 맞추는 것을 넘어 **진짜로 감정을 이해하는 법 **(심리 이론)을 배우게 되었습니다.

5. 결과: AI 가 이제 '공감'을 시작했습니다

이 새로운 방법 (HitEmotion + TMPO) 으로 훈련된 AI 는 다음과 같은 변화를 보였습니다.

• 정확도 향상: 특히 복잡한 상황 (농담, 반어, 숨겨진 의도) 에서 기존 AI 들보다 훨씬 잘 이해했습니다.
• 이해 가능한 설명: AI 가 왜 그런 감정을 추측했는지, 사람이 이해할 수 있는 논리적인 이유를 말해줍니다.
• 인간 같은 공감: 이제 AI 는 단순히 "화남"이라고 분류하는 것을 넘어, "그 사람은 실수한 걸 깨닫고 부끄러워서 화난 척하는 것 같아"와 같은 인간적인 통찰을 보여줍니다.

요약

이 논문은 **"AI 가 진정한 감정 지능을 갖기 위해서는, 단순히 표정을 보는 것을 넘어 사람의 마음을 읽는 **(심리 이론)라고 말합니다. 우리가 만든 새로운 시험지와 훈련 방법을 통해 AI 가 이제 표면적인 감정이 아닌, 사람의 진짜 마음을 이해하는 단계로 한 걸음 나아갔습니다.

이제 AI 는 당신의 감정을 단순히 '데이터'로 처리하는 것을 넘어, 당신의 마음을 조금 더 깊이 이해하는 친구가 될 수 있는 가능성을 열었습니다.

기술 요약

1. 문제 제기 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 은 다양한 작업에서 괄목할 만한 성과를 보였으나, 심층적인 감정 이해 (Deep Emotional Understanding) 능력은 여전히 제한적입니다. 기존 연구들은 주로 표면적인 감정 인식 (Surface-level recognition) 에 집중하여, 감정이 발생하는 인지적 기반인 심리이론 (Theory of Mind, ToM) 을 명시적으로 모델링하지 못했습니다.

• 주요 한계:
  • 인지적 프레임워크 부재: 기존 벤치마크는 감정 추론 작업을 발달 단계 (1 차, 2 차 등) 에 따라 체계적으로 분류하지 못해, 모델의 정확한 능력 한계 (Ceiling) 와 붕괴 지점 (Breaking point) 을 진단하기 어렵습니다.
  • 비신실한 추론 (Unfaithful Reasoning): 일반적인 Chain-of-Thought (CoT) 를 사용하더라도, 모델은 단순한 템플릿 매칭에 의존하거나 중간 정신 상태 (믿음, 의도 등) 를 일관성 있게 추적하지 못해 논리적으로 일관되지만 사실과 다른 (Hallucination) 추론을 생성합니다.
  • 평가의 단편성: 기존 평가는 증상만 드러낼 뿐, 모델이 왜 감정적 오류를 범하는지에 대한 근본적인 원인을 파악하지 못합니다.

2. 방법론 (Methodology)

이 논문은 감정 이해를 단순한 사실 인출 (Fact Retrieval) 에서 정신 상태 시뮬레이션 (Mental State Simulation) 으로 전환하기 위해 두 가지 핵심 요소를 제안합니다.

A. HitEmotion: ToM 기반 계층적 벤치마크

감정 지능의 인지적 깊이를 진단하기 위해 3 단계 계층 구조로 구성된 새로운 벤치마크를 구축했습니다.

1. Level 1 (감정 지각 및 인식): 시각, 청각, 텍스트 등 명시적인 감정을 분류하는 기초 작업 (예: 표정 인식, 음악 감정 분석).
2. Level 2 (감정 이해 및 분석): 맥락과 관계적 추론을 요구하는 작업 (예: 유머 이해, 설득 기술 탐지, 암시적 속성 추출).
3. Level 3 (감정 인지 및 추론): 원인과 결과, 2 차 추론 (타인의 믿음에 대한 믿음) 을 요구하는 고난도 작업 (예: 감정 유발 원인 추론, 반어법 탐지, 감정 변화 추적).

• 데이터 구성: 24 개의 공개 멀티모달 데이터셋을 수집하여 20,114 개의 인스턴스로 재구성하고, ToM 원칙에 따라 표준화된 QA 형식으로 정제했습니다.

B. TMPO (Theory-of-Mind Preference Optimization)

모델의 추론 능력을 강화하기 위해 제안한 새로운 강화 학습 (RL) 프레임워크입니다.

• ToM 스타일 프롬프팅: 작업의 인지적 난이도 (1 차/2 차/3 차) 에 따라 구조화된 추론 체인 (Reasoning Chain) 을 유도하는 프롬프트를 설계합니다.
• 2 단계 학습 파이프라인:
  1. 지도 미세 조정 (SFT): ToM 원칙에 따라 구조화된 추론 과정 (<thought>) 과 최종 답변 (<answer>) 을 생성하도록 모델을 학습시킵니다.
  2. 선호도 최적화 (GRPO): 그룹별 보상 정책 최적화 (Group-wise Reward Policy Optimization) 를 적용합니다.
• 보상 함수 (Reward Function): 생성된 추론의 품질을 4 가지 차원에서 평가합니다.
  • 구조 (Structure): 추론 단계의 순서와 형식 준수.
  • 내용 (Content): 최종 답변의 정확성.
  • 과정 (Process): ToM 관련 용어 (신념, 의도 등) 사용 여부.
  • 일관성 (Consistency): 내부 모순 및 입력 데이터와의 사실적 불일치 여부 (LLM 판사를 활용).

3. 주요 기여 (Key Contributions)

1. HitEmotion 벤치마크 출시: 감정 이해 능력을 인지적 깊이에 따라 계층적으로 진단할 수 있는 최초의 통합 평가 도구. 24 개의 다양한 과제를 포함하며, 기존 SOTA 모델들의 깊은 감정 추론 결함을 명확히 드러냈습니다.
2. TMPO 프레임워크 제안: 중간 정신 상태를 과정 수준의 감독 신호로 활용하여, 모델이 "일반적으로 나타나는 능력"에서 "도메인 특화 획득 능력"으로 추론 방식을 전환하도록 유도합니다.
3. 실증적 검증: 제안된 방법이 모델의 정확도뿐만 아니라 추론의 신실성 (Faithfulness) 과 논리적 일관성을 크게 향상시킨다는 것을 입증했습니다.

4. 실험 결과 (Results)

• 기존 모델의 한계: SOTA MLLM 들조차 HitEmotion 의 Level 3 (고난도 추론) 작업에서 평균 점수 60 점 미만의 부진을 보였으며, 특히 2 차 추론 및 반어법 이해에서 심각한 결함이 발견되었습니다.
• ToM 프롬프팅의 효과: 강력한 폐쇄형 모델 (GPT-4.1, Gemini-2.5-Pro) 에 ToM 프롬프팅을 적용하면 성능이 유의미하게 향상되었으나, 추론 능력이 부족한 오픈소스 모델은 오히려 성능이 저하되거나 일관되지 않은 결과를 보였습니다.
• TMPO 의 성과:
  • TMPO 를 적용한 모델 (Qwen2.5-Omni-7B 기반) 은 24 개 과제 중 16 개에서 최상위 폐쇄형 모델 (Gemini-2.5-Pro 등) 을 능가하거나 견줄 만한 성능을 달성했습니다.
  • 특히 복잡한 추론이 필요한 Level 3 작업에서 성능 향상이 두드러졌으며, 생성된 추론 과정이 더 논리적이고 사실에 기반한 것으로 확인되었습니다.
  • 효율성: 7B 파라미터 규모의 경량 모델로도 대규모 폐쇄형 모델과 경쟁 가능한 성능을 달성하여, 자원 제약 환경에서의 적용 가능성을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 연구는 멀티모달 AI 가 단순한 패턴 매칭을 넘어 진정한 공감적 AI (Empathetic AI) 로 발전하기 위한 필수 조건인 '심리이론 (ToM)'의 중요성을 강조합니다.

• 평가 패러다임 전환: 감정 이해 능력을 평가할 때 표면적인 정확도뿐만 아니라, 모델이 어떻게 정신 상태를 추론하는지 (인지적 깊이) 를 진단하는 새로운 기준을 제시했습니다.
• 학습 방법론의 혁신: 강화 학습을 통해 중간 추론 과정을 최적화함으로써, 모델이 복잡한 사회적 상황과 감정적 뉘앙스를 더 정확하게 이해하고 설명할 수 있게 되었습니다.
• 향후 방향: HitEmotion 과 TMPO 는 감정 지능이 필요한 인간 중심 AI 시스템 (상담, 교육, 의료 등) 개발을 위한 강력한 툴킷으로 활용될 수 있습니다.

요약하자면, 본 논문은 MLLM 의 감정 이해 능력을 획기적으로 개선하기 위해 '심리이론'을 인지적 나침반으로 삼아, 계층적 벤치마크 (HitEmotion) 와 선호도 최적화 기법 (TMPO) 을 결합한 종합적인 솔루션을 제시했습니다.