Dynamic Theory of Mind as a Temporal Memory Problem: Evidence from Large Language Models

이 논문은 대규모 언어 모델 (LLM) 이 고전적인 거짓 믿음 추론은 수행하지만, 시간이 지남에 따라 신념을 추적하고 업데이트된 후의 이전 상태를 기억하는 동적 이론적 마음 (Dynamic ToM) 능력에서는 일관된 결함을 보인다는 것을 제시하며, 이를 시간적 기억 및 간섭 문제의 관점에서 분석합니다.

핵심

이 논문은 **"인공지능 (AI) 이 사람의 마음을 읽는 능력 (심리 이론, Theory of Mind) 을 얼마나 잘 가지고 있는지"**를 새로운 방식으로 테스트한 연구입니다.

기존의 테스트들은 AI 가 "지금 이 순간 상대방이 무엇을 생각하고 있는가?"를 묻는 정지된 사진 같은 방식이었습니다. 하지만 실제 인간 관계에서는 시간이 흐르며 생각이 바뀌고, 과거의 기억과 현재의 정보가 섞이게 되죠. 이 연구는 AI 가 **"시간이 흐르는 동안 상대방의 생각이 어떻게 변해왔는지"**를 기억하고 추적할 수 있는지 확인했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 핵심 비유: "기억력 좋은 친구 vs. 최신 뉴스만 믿는 친구"

이 연구는 AI 를 두 가지 친구에 비유할 수 있습니다.

1. 기존의 AI (정지된 사진): "지금은 뭐라고 생각하니?"라고 물으면 아주 잘 대답합니다. 하지만 "그런데 5 분 전에는 뭐라고 생각했어?"라고 물으면, **"아, 5 분 전이라니? 그건 기억 안 나. 지금 내가 생각한 게 맞지!"**라고 대답하며 과거를 잊어버립니다.
2. 이 연구가 발견한 사실: AI 는 현재의 생각은 잘 파악하지만, 정보가 바뀌었을 때의 과거 생각을 기억해 내는 데는 매우 서툴다는 것입니다. 마치 최신 뉴스만 믿고, 어제 있었던 일을 완전히 잊어버린 사람과 같습니다.

📝 연구는 어떻게 진행되었나요? (DToM-Track)

연구진은 DToM-Track이라는 새로운 테스트 도구를 만들었습니다. 이를 **'시간 여행하는 대화'**라고 상상해 보세요.

• 상황: 두 명의 AI 가 대화를 나눕니다.
• 비밀: 한 AI 는 속으로 "나는 A 라고 믿어"라고 생각하지만, 입 밖으로는 말하지 않습니다.
• 변화: 대화 중간에 새로운 정보가 들어오면, 그 AI 는 생각을 바꿉니다. "아, 아니야! 사실은 B 였어!"라고 생각을 수정합니다.
• 테스트: 연구진은 다른 AI 에게 질문합니다.
  • "지금 그 친구는 뭐라고 생각하니?" (현재 기억)
  • "그 친구가 생각을 바꾸기 전에 뭐라고 믿었지?" (과거 기억)
  • "그 친구가 언제 생각을 바꿨지?" (변화 시점)

📉 결과는 어땠나요? (가장 중요한 발견)

결과가 아주 흥미롭습니다. 모든 AI 모델 (거대하고 똑똑한 모델일수록) 에서 동일한 패턴이 나타났습니다.

1. 현재는 완벽함: "지금 뭐라고 생각하니?"라는 질문에는 60~70% 이상을 맞췄습니다.
2. 과거는 망각: "변화하기 전엔 뭐라고 믿었니?"라는 질문에는 20~30% 수준으로 급격히 떨어졌습니다. (거의 무작위 추측 수준)
3. 원인: 이는 인간의 뇌에서도 나타나는 '최근성 편향 (Recency Bias)' 때문입니다. 뇌는 가장 최근에 들어온 정보를 가장 강하게 기억하고, 그 정보가 이전 정보를 덮어씌워 (간섭 효과) 잊게 만듭니다. AI 도 똑같은 현상을 보인 것입니다.

💡 이 연구가 왜 중요한가요?

기존에는 AI 가 "거짓 믿음 (False Belief)" 테스트를 잘 통과하면 "AI 는 사람의 마음을 읽는다"고 생각했습니다. 하지만 이 연구는 **"그건 단순히 현재 상황을 읽는 것일 뿐, 시간이 흐르는 복잡한 관계를 이해하는 건 아니다"**라고 말합니다.

• 실생활 예시: 당신이 친구에게 "내일 비가 올 거야"라고 말했는데, 친구가 "아니, 내일 맑을 거야"라고 말하면, AI 는 친구가 '맑을 거야'라고 믿는다는 건 알 수 있습니다. 하지만 **"아까는 비가 온다고 믿었지?"**라고 물으면 AI 는 그걸 기억하지 못합니다.
• 의미: 진정한 인간형 AI 를 만들려면, 단순히 '지금의 마음'을 읽는 것을 넘어, 시간이 흐르며 변하는 마음의 흐름을 기억하고 추적할 수 있어야 합니다.

🎯 결론

이 논문은 **"AI 가 사람의 마음을 읽는 능력은, 과거의 기억을 잊지 않고 현재와 연결하는 '시간의 기억' 문제"**임을 증명했습니다.

지금의 AI 는 최신 뉴스만 믿는 친구처럼 행동합니다. 우리가 더 똑똑한 AI 를 원한다면, 과거의 기억과 현재의 정보를 동시에 잘 다룰 수 있도록 '기억력'을 훈련시켜야 한다는 교훈을 줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 한계: 기존의 마음 이론 (Theory of Mind, ToM) 연구와 대규모 언어 모델 (LLM) 평가는 주로 단일 시점의 정적 판단 (Static Judgment) 에 집중해 왔습니다. 특히 '거짓 믿음 (False Belief)' 테스트를 통해 특정 순간의 신념을 추론하는 능력만 평가하는 경향이 강했습니다.
• 핵심 문제: 실제 사회적 상호작용은 시간의 흐름에 따라 진행됩니다. 대화 중 새로운 정보가 유입되면 신념이 수정, 보완, 또는 대체됩니다. 따라서 LLM 이 단순히 현재 신념을 추론하는 것을 넘어, 시간의 흐름에 따른 신념의 궤적 (Belief Trajectories) 을 추적하고, 업데이트가 발생한 후에도 과거의 신념 상태를 유지 및 회상할 수 있는지가 중요한 과제입니다.
• 가설: 심리학적 연구 (기억의 최근성 편향, 간섭 효과 등) 에 따르면, 새로운 정보가 입력된 후 과거 신념을 회상하는 것은 현재 신념을 추론하는 것보다 인지적으로 더 어려운 과제일 수 있습니다. 본 연구는 LLM 이 이러한 시간적 기억 및 간섭 문제를 해결하는 데 한계가 있는지 규명하고자 합니다.

2. 방법론 (Methodology)

연구진은 DToM-Track이라는 새로운 평가 프레임워크를 제안하여 LLM 의 동적 ToM 능력을 측정했습니다.

• 데이터 생성 (Controlled Conversation Generation):

  • 내면 언어 (Inner Speech) 프롬프팅: 대화의 각 턴에서 에이전트가 말하기 전에 자신의 신념, 의도, 감정 등을 '내면 언어'로 표현하도록 유도합니다. (예: (I believe that...))
  • 정보 비대칭 유도: 내면 언어는 대화 상대방에게는 숨겨지지만, 평가 시스템에는 노출됩니다. 이는 인간 상호작용의 정보 비대칭을 모방하여 '거짓 믿음' 상황을 자연스럽게 생성합니다.
  • 계획된 신념 업데이트: 대화 중 특정 턴 (보통 4~8 턴 사이) 에 에이전트의 신념이 명시적으로 수정되도록 설계합니다. (예: "사실은 A 였는데, B 로 바뀐다"는 식의 언어적 마커 사용)
  • 모델: LLaMA-3-70B-Instruct 를 사용하여 대화 시나리오를 생성했습니다.

• 신념 상태 추적 (Belief State Tracking):

  • 생성된 대화에서 각 신념의 출처 턴, 신념 유형 (신념, 의도, 욕구 등), 업데이트 여부, 그리고 업데이트 전의 내용을 구조화하여 기록합니다. 이를 통해 과거와 현재 신념을 구분하여 질의할 수 있습니다.

• 품질 필터링 (Quality Filtering):

  • 생성된 대화와 질문의 정확성을 검증하기 위해 LLM 기반의 3 단계 필터링 파이프라인을 적용했습니다.
    1. 업데이트 검증: 계획된 신념 변경이 대화에 실제로 반영되었는지 확인.
    2. QA 검증: 질문의 명확성, 답변의 근거, 오답 (distractor) 의 적절성 확인.
    3. 샘플 검증: LLM 이 다중 선택형 답변을 올바르게 생성하는지 확인.

• 평가 모델 및 데이터셋:

  • 모델: 6 가지 LLM (LLaMA 3.3-70B, Mistral Large, Ministral-14B, GPT-4o-mini, LLaMA 3.1-8B, LLaMA 3.2-3B) 을 평가했습니다.
  • 데이터셋: 5,794 개의 다중 선택형 질문으로 구성되었으며, 6 가지 질문 유형 (Temporal, False Belief, Second-Order, Update Detection, Post-Update, Pre-Update) 을 포함합니다.

3. 주요 기여 (Key Contributions)

1. DToM-Track 프레임워크 제안: 정적 ToM 평가를 넘어, 대화 흐름 속에서 신념이 어떻게 유지, 업데이트, 회상되는지를 측정하는 최초의 체계적인 평가 도구입니다.
2. 시간적 신념 추적 (Temporal Belief Tracking) 의 분리: '현재 신념 추론'과 '과거 신념 회상'을 명확히 구분하여 평가함으로써, LLM 의 시간적 기억 및 간섭 문제를 구체화했습니다.
3. 인지 과학적 연결: LLM 의 오류 패턴이 인간의 '최근성 편향 (Recency Bias)' 및 '기억 간섭 (Interference)' 현상과 일치함을 보여주어, LLM 을 인간 인지 메커니즘 연구의 계산적 프로브 (Computational Probe) 로 활용 가능성을 제시했습니다.

4. 실험 결과 (Results)

• 전반적 성능: 모든 모델이 무작위 추측 (25%) 보다 높은 정확도를 보였으나, 질문 유형에 따라 성능 편차가 극명했습니다.
• 질문 유형별 성능 차이:
  • 가장 높은 성능: 업데이트 감지 (Update Detection, 67.5%), 현재 신념 추론 (Post-Update, 63.9%).
  • 가장 낮은 성능: 과거 신념 회상 (Pre-Update, 27.7%). 이는 기존 표준 ToM 태스크인 '거짓 믿음 (False Belief, 44.7%)' 테스트보다도 훨씬 낮은 성능입니다.
• 최근성 편향 (Recency Bias) 확인:
  • 모든 모델 (크기와 관계없이) 에서 현재 신념 추론 능력은 우수했으나, 업데이트 후 과거 신념을 기억하는 능력은 현저히 저하되었습니다.
  • 예: LLaMA 3.3-70B 모델은 현재 신념 추론에서 71.3% 의 정확도를 보였으나, 업데이트 전 신념 회상에서는 40.9% 로 떨어졌습니다.
• 모델 규모와의 관계: 모델의 파라미터 수가 증가한다고 해서 시간적 기억 및 회상 능력이 비례하여 개선되지 않았습니다. 이는 단순한 용량 (Capacity) 의 문제가 아니라, 시간적 표현 및 회상 메커니즘의 구조적 한계임을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• ToM 의 재정의: 마음 이론은 단순히 타인의 신념을 추론하는 능력이 아니라, 시간의 흐름에 따라 신념을 유지, 업데이트, 그리고 회상하는 복잡한 기억 과정임을 재정의했습니다.
• LLM 의 한계 규명: LLM 은 새로운 정보가 들어오면 이전 정보를 쉽게 잊거나 간섭을 받아 과거 신념을 회상하지 못하는 '동적 ToM'의 취약점을 가지고 있음을 증명했습니다. 이는 인간-AI 상호작용에서 사용자의 변화하는 목표와 신념을 장기적으로 추적하는 데 중요한 함의를 줍니다.
• 미래 연구 방향:
  • 미세 조정 (Fine-tuning) 을 통해 최근성 편향을 완화할 수 있는지 연구 필요.
  • 인공적 언어 마커가 아닌 자연스러운 대화에서의 패턴 검증.
  • 인간의 실제 대화 데이터와 LLM 의 성능 비교를 통한 인지 이론 검증.

요약하자면, 이 논문은 LLM 이 "지금 무엇을 생각하는가"는 잘 파악하지만, "과거에 무엇을 생각했는지"를 기억하고 회상하는 데는 심각한 한계가 있음을 보여주었습니다. 이는 LLM 이 사회적 상호작용을 수행할 때 시간적 맥락과 기억의 간섭 효과를 고려한 새로운 아키텍처나 평가 기준이 필요함을 시사합니다.