Theory of Mind in Action: The Instruction Inference Task in Dynamic Human-Agent Collaboration

1. 연구 배경 및 문제 정의 (Problem)

• 핵심 문제: 성공적인 인간 - 에이전트 협업은 에이전트가 인간 (Principal) 의 지시를 이해하는 능력에 달려 있습니다. 그러나 실제 상황에서는 지시가 불완전하거나 모호한 경우가 많습니다. 이러한 경우 에이전트는 공유된 맥락 (Context) 을 통해 말하지 않은 의도를 추론해야 합니다. 이는 마음 이론 (Theory of Mind, ToM) 능력을 요구합니다.
• 기존 한계: 전통적인 자율 에이전트는 맥락적 정보 (Pragmatic Context) 가 부족하여 지시를 문자 그대로 해석하거나, 불완전한 지시 상황에서 실패하는 경향이 있었습니다.
• LLM 의 가능성과 한계: 대규모 언어 모델 (LLM) 은 언어 추론 능력이 뛰어나지만, 기존의 ToM 평가 벤치마크 (거짓 믿음 테스트, 대화적 추론 등) 는 주로 정적인 시나리오에 국한되어 있습니다. 동적이고 목표 지향적인 협업 환경에서 LLM 이 불완전한 지시를 해석하고 적절한 행동을 취할 수 있는지 평가하는 도구가 부족했습니다.

2. 방법론 (Methodology)

2.1. 제안된 태스크: Instruction Inference (지시 추론)

• 환경: "Doors, Keys, and Gems"라는 그리드 기반 협업 환경을 사용했습니다. 에이전트는 인간 (Principal) 의 지시를 듣고, 열쇠를 가져와 문을 열고 보석을 획득하는 목표를 달성해야 합니다.
• 지시 유형: 그라이스 (Grice) 의 대화 공리 (Cooperative Principle) 를 기반으로 지시를 분류했습니다.
  • 명확한 지시 (Clear): 모든 정보가 포함된 지시.
  • 불완전한 지시 (Incomplete): 양 (Quantity) 공리 위반. 핵심 정보가 누락됨 (예: "저걸 가져와 줄래?"라고 말하며 특정 물건을 가리킴).
  • 모호한 지시 (Ambiguous): 방식 (Manner) 공리 위반. 두 가지 이상의 해석이 가능한 지시.
• 평가 지표:
  • 의도 정확도 (Intent Accuracy): 인간이 원하는 목표 (보석 위치) 를 올바르게 추론했는지.
  • 행동 실현 가능성 (Action Feasibility) 및 최적성 (Optimality): 수행한 행동이 환경에서 실행 가능한지, 그리고 효율적인지.
  • 계획 실현 가능성 및 최적성 (Plan Feasibility/Optimality): 에이전트의 행동과 인간의 다음 행동을 포함한 전체 계획의 적절성.

2.2. 에이전트: Tomcat

LLM 기반 에이전트인 Tomcat을 개발하여 두 가지 프롬프트 전략을 비교했습니다.

1. CP (Commonsense Prompt): 문제 해결을 위한 두 가지 상세한 시나리오 (문제 walkthrough) 와 상식적 지식을 기반으로 합니다.
2. Fs-CoT (Few-shot Chain-of-Thought): 7 개의 예시 (Few-shot) 와 체인 오브 씽킹 (CoT) 추론 과정을 포함하여, 에이전트가 구조화된 추론을 따르도록 유도합니다.

2.3. 실험 설계

• 사용 모델: GPT-4o, DeepSeek-R1, Gemma-3-27B 세 가지 LLM 을 사용했습니다.
• 인간 비교군: 52 명의 인간 참가자가 동일한 조건 (CP 변형과 동일한 정보 제공) 에서 태스크를 수행하여 벤치마크를 설정했습니다.
• 데이터: 20 개의 고유한 그리드 - 지시 시나리오로 구성되었습니다.

3. 주요 기여 (Key Contributions)

1. Instruction Inference 태스크 제안: 정적인 대화 시나리오가 아닌, 동적인 협업 환경에서 불완전하거나 모호한 지시를 해석하고 행동으로 옮기는 능력을 평가하는 새로운 ToM 태스크를 도입했습니다.
2. Tomcat 에이전트 개발: 맥락적 추론과 인간 의도 추론을 수행하는 LLM 기반 에이전트와 두 가지 변형 (Fs-CoT, CP) 을 구현했습니다.
3. 인간 - 에이전트 비교 평가: 3 가지 LLM 과 52 명의 인간 참가자를 대상으로 대규모 실험을 수행하여, Fs-CoT 전략이 인간 수준의 ToM 능력을 달성할 수 있음을 입증했습니다.

4. 결과 (Results)

4.1. 성능 비교

• Fs-CoT vs CP: 모든 LLM 에서 Fs-CoT 변형이 CP 변형보다 의도 추론, 행동 최적성, 계획 수립 등 모든 지표에서 우월한 성능을 보였습니다.
• 모델별 성능:
  • GPT-4o (Fs-CoT): 인간 참가자의 성능과 통계적으로 유의미한 차이가 없으며, 거의 동등한 수준을 달성했습니다. 특히 의도 추론 (Intent Accuracy) 에서 85% 를 기록하여 인간 (80.38%) 을 상회했습니다.
  • DeepSeek-R1 (Fs-CoT): 인간 참가자와 유사한 성능을 보였으며, CP 변형보다 크게 개선되었습니다.
  • Gemma-3-27B: Fs-CoT 를 사용해도 CP 대비 개선은 있었으나, 인간 참가자나 다른 대형 모델에 비해 성능이 낮았습니다. 모델 용량의 한계로 복잡한 ToM 추론이 어렵다고 분석됩니다.

4.2. 통계적 분석

• GPT-4o: Fs-CoT 는 CP 대비 의도 정확도에서 70% 향상, 계획 최적성에서 200% 향상을 보였으며, 인간과 유의미한 차이가 없었습니다.
• DeepSeek-R1: Fs-CoT 는 CP 대비 의도 정확도에서 33% 향상, 계획 최적성에서 27% 향상을 보였습니다.
• Gemma-3-27B: Fs-CoT 는 CP 대비 의도 정확도에서 500% 향상 (기저가 매우 낮음) 을 보였으나, 여전히 인간 수준에는 미치지 못했습니다.

4.3. 장애물 수준 (Obstruction Level) 영향

• 그리드의 공간적 복잡도 (장애물 수준) 가 높아질수록 모델 성능에 일관된 경향성이 나타나지 않았습니다. 이는 모델의 성능이 지리적 복잡성보다는 **지시의 모호성 (Ambiguity)**과 **프롬프트 전략 (Fs-CoT 여부)**에 더 크게 의존함을 시사합니다.

5. 의의 및 결론 (Significance)

• ToM 능력의 실증: LLM 이 정적인 테스트를 넘어, 동적인 협업 환경에서 인간의 불완전한 지시를 맥락적으로 추론하고 최적의 행동을 계획할 수 있음을 입증했습니다.
• Fs-CoT 의 효과: 소수의 예시 (Few-shot) 와 구조화된 추론 (Chain-of-Thought) 은 LLM 이 인간의 의도를 파악하고 협업 계획을 수립하는 데 결정적인 역할을 합니다. 특히 GPT-4o 와 DeepSeek-R1 에서는 인간 수준의 협업 능력을 가능하게 했습니다.
• 모델 아키텍처의 중요성: 모델의 크기와 최적화 방식 (RLHF, GRPO 등) 이 ToM 추론 능력에 큰 영향을 미칩니다. GPT-4o 는 프롬프트 정렬에 강하고, DeepSeek-R1 은 자체 추론 경로를 가지며, Gemma 는 지식 증류에 기반하여 각기 다른 반응을 보였습니다.
• 미래 전망: 이 연구는 AI 에이전트가 단순한 지시 수행자를 넘어, 인간의 심리 상태를 이해하고 예측하는 '관계적 인지 에이전트 (Relational Cognitive Agents)'로 발전할 수 있는 가능성을 제시합니다.

이 논문은 인간과 AI 의 자연스러운 협업을 위해 에이전트가 어떻게 '마음 이론'을 구현해야 하는지에 대한 구체적인 방법론과 실증적 근거를 제공한다는 점에서 의의가 큽니다.