기술 요약: AutoToM: 자동화된 에이전트 모델링을 통한 모델 기반 마음 이론 추론의 확장

문제 정의

마음 이론(Theory of Mind, ToM)—관찰된 행동으로부터 정신 상태(목표, 신념, 욕구)를 추론하는 능력—은 사회적 지능을 갖춘 에이전트에게 매우 중요합니다. 현재의 접근 방식은 다음과 같은 이분법적 문제에 직면해 있습니다:

1. 프롬프트 기반 LLM: 유연하지만, 복잡하거나 긴 문맥 또는 재귀적 추론 시나리오에서 체계적인 오류를 범하기 쉽습니다.
2. 모델 기반 추론 (베이지안 역기획 - BIP): 이러한 방법들은 견고하고 해석 가능하지만, 고정되고 수작업으로 설계된 에이전트 모델에 의존합니다. 모든 새로운 도메인이나 시나리오마다 정신적 변수와 인과 구조를 수동으로 지정해야 하므로 일반화 능력이 부족합니다.

핵심 과제는 수동적인 모델 엔지니어링 없이도 다양하고 개방적인 도메인 전반에서 견고한 모델 기반 ToM 추론을 수행할 수 있는 통합된 자동화 방법을 개발하는 것입니다.

방법론: AutoToM

AutoToM은 LLM을 계산 백엔드로 사용하여 베이지안 역기획(BIP)의 전체 파이프라인을 자동화하는 프레임워크입니다. 이는 두 가지 반복적인 구성 요소로 이루어집니다:

1. 자동화된 베이지안 역기획

특정 에이전트 모델(잠재 정신 변수 $V$와 관측 가능한 변수 $X$의 베이지안 네트워크로 정의됨)이 주어졌을 때, AutoToM은 대상 정신 변수 $q$에 대한 $P(q|X)$를 추정하기 위해 추론을 수행합니다.

• 가설 샘플링 (Hypothesis Sampling): 고정된 가설 공간을 가정하는 대신, LLM은 문맥과 쿼리에 따라 각 잠재 변수(예: 가능한 신념 또는 목표)에 대해 소수의 고품질 가설 세트를 생성합니다.
• 가설 축소 (Hypothesis Reduction): 국소적 조건부 확률을 평가하여 불필요한 가설을 필터링합니다(예: 상태가 주어졌을 때 가능성이 낮은 관측 가설을 제거).
• 베이지안 추론 (Bayesian Inference): LLM은 국소적 조건부 확률(예: $P(action | belief, goal)$)을 추정합니다. 그 후 시스템은 대상이 아닌 잠재 변수에 대해 주변화(marginalize)를 수행하여 대상 변수의 사후 분포를 계산합니다. 이는 사전 정의된 구조적 제한 없이 임의 수준의 재귀적 추론(예: I-POMDP)을 지원합니다.

2. 자동화된 에이전트 모델 발견

최적의 에이전트 모델 구조를 사전에 알 수 없으므로, AutoToM은 효용 함수 $U(M, q) = R(M, q) - C(M)$를 최대화하도록 모델을 반복적으로 구축하고 정교화합니다. 여기서 $R$은 추론의 음의 엔트로피(신뢰도)이고 $C$는 계산 비용(모델 복잡도)입니다.

• 초기 모델 제안: LLM은 쿼리와 추출된 관측 변수($X$)를 바탕으로 필수 변수만을 포함하는 최소한의 초기 모델을 제안합니다.
• 모델 조정: 초기 효용이 임계값 미만인 경우, 시스템은 모델을 반복적으로 조정합니다:
  • 변수 조정: 추론의 불확실성을 해결하기 위해 특정 타임스텝에 새로운 잠재 변수(예: 신념, 목표, 관측, 상호작 작용 상태)를 도입합니다.
  • 타임스텝 조정: 현재 문맥이 불충분한 경우, 더 이전의 타임스텝($t_{s-1}$)을 포함하도록 문맥 창을 확장합니다.
• 종료: 모델 효용이 임계값을 초과하거나 더 이상의 유의미한 개선이 불가능할 때까지 루프가 지속됩니다.

주요 기여

1. 통합된 공식화: 다양한 BIP 구현체(MDP, POMDP, I-POMDP)를 단일 확률 프레임워크로 통합하는 모델 기반 ToM 추론의 공식적 정의를 제공합니다.
2. 자동화된 에이전트 모델 발견: BIP를 위한 에이전트 모델 구조를 자동으로 발견하고 정교화하는 최초의 접근 방식으로, 수동적인 도메인 특화 모델 지정의 필요성을 제거했습니다.
3. 확장 가능하고 견고한 프레임워크: 임의의 도메인에서 임의의 정신 변수를 추론할 수 있으며, 임의의 재귀 수준을 지원하고 복잡한 다중 에이전트 시나리오에 적응할 수 있는 시스템입니다.

실험 결과

AutoToM은 5가지 다양한 ToM 벤치마크(ToMi, BigToM, MMToM-QA, MuMA-ToM, Hi-ToM), 고전적 인지 연구, 그리고 체화된 보조 작업(embodied assistance tasks)을 통해 평가되었습니다.

• 벤치마크 성능: AutoToM(GPT-4o를 백엔드로 사용)은 모든 벤치마크에서 최첨단(SOTA) 결과를 달성하며 다음 모델들을 크게 앞질렀습니다:
  • LLM: GPT-4o, Llama 3.1 70B, Gemini 2.0 Pro 포함.
  • 추론 모델: DeepSeek-R1 및 o3-mini-high 포함.
  • 기존 모델 기반 방법: 특히 도메인 간 일반화 및 긴 문맥 처리 측면에서 BIP-ALM 및 LIMP를 능가함.
• 견고성: AutoToM은 다양한 조건(질문 유형, 문맥 길이, 에이전트 수, 재귀 깊이)에서 대규모 추론 모델보다 낮은 변동성을 보여주었습니다.
• 인지적 정렬: 고전적 인지 연구(온라인 목표 추론, 푸드트럭 시나리오)에서 AutoToM의 사후 분포는 인간의 신뢰도 판단과 높은 상관관계를 보였으며, 부분 관측성 작업에서 베이스라인 LLM을 크게 능가했습니다.
• 체화된 보조: Online Watch-And-Help (O-WAH) 벤치마크에서 AutoToM은 메인 에이전트의 목표에 대한 더 정확한 불확실성 추정을 통해, 헬퍼 에이전트가 작업 완료 속도를 27.7% 향상시키도록 하여 무작위 및 GPT-4o 베이스라인을 크게 앞질렀습니다.
• 효율성: AutoToM은 대규모 추론 모델과 비교하여 유사하거나 더 낮은 토큰 비용 및 추론 시간으로 더 높은 정확도를 달 기록했습니다.

의의 및 주장

저자들은 AutoToM이 기계의 마음 이론을 위한 확장 가능하고, 견고하며, 해석 가능한 프레임워크를 구축한다고 주장합니다. 에이전트 모델의 발견을 자동화함으로써, 이 방법은 LLM의 유연성과 모델 기반 추론의 엄밀성 사이의 간극을 메웁니다.

주요 주장은 다음과 같습니다:

• 일반화 가능성: 특정 도메인에 국한된 기존의 모델 기반 방법과 달리, AutoToM은 수동 재설계 없이도 개방형 시나리오에 적용될 수 있습니다.
• 해석 가능성: 에이전트 모델의 명시적 구축을 통해 추론 오류(예: 누락된 변수 또는 잘못된 타임스텝 식별)를 진단할 수 있으며, 모델 결정을 수정하기 위한 인간 참여형(human-in-the-loop) 피드백을 지원합니다.
• 인지적 근거: 인간과 유사한 신뢰도 추정치를 생성하는 능력은 이 방법이 인간의 인지에서 발견되는 미묘한 추론 패턴을 포착하고 있음을 시사합니다.

본 논문은 AutoToM이 인지적으로 근거 있는 ToM 모델링을 향한 유망한 방향임을 결론짓지만, 네이티브 멀티모달 처리의 현재 한계와 암시적 모델 제안(implicit model proposal)을 통한 추론 비용 추가 절감 가능성을 인정합니다.