기술 요약: MindZero

문제 정의

효과적인 실세계 보조를 위해서는 인간의 정신 상태(욕구, 신념, 목표)를 행동으로부터 추론하는 능력인 강력한 **마음 이론(Theory of Mind, ToM)**을 갖춘 AI 에이전트가 필요합니다. 최근 거대 언어 모델(LLM) 및 멀티모달 언어 모델(MLLM)의 발전이 기계적 ToM에 대한 관심을 불러일으켰으나, 기존 방식들은 **온라인 기반의 선제적 보조(proactive assistance)**에 적용할 때 세 가지 결정적인 한계에 직면합니다:

1. 온라인 추론 및 불확incity(Uncertainty): 실세계 보조는 정적인 질문에 답하는 것이 아니라, 시간에 따라 추론을 지속적으로 업데이트하고 여러 경쟁하는 가설들 사이의 불확실성을 추적하는 과정이 필요합니다.
2. 효율성: LLM을 통합하는 모델 기반 추론 방식(예: 베이지안 역계획법, Bayesian Inverse Planning)은 테스트 시점에 광범위한 가설 탐색과 전방향 계획(forward planning)이 필요하기 때문에 실시간 애플리케이션에 적용하기에는 계산 비용이 너무 높습니다.
3. 데이터 부족: 학습 기반 ToM 모델을 훈련시키는 것은 일반적으로 정신 상태에 대한 정답(ground-truth) 주석을 필요로 합니다. 실세계 도메인(예: 가사 또는 웹 보조)에서 잠재적 정신 상태에 대한 대규모의 신뢰할 수 있는 주석을 수집하는 것은 매우 어렵고 비용이 많이 듭니다.

기존 연구들은 통제된 환경, 질의응답 벤치마크, 또는 실시간 사용에는 너무 느리거나 값비싼 주석에 의존하는 방식에 국한되어 왔습니다.

방법론: MindZero

저자들은 명시적인 정신 상태 주석 없이도 효율적이고 견고한 온라인 정신 추론을 수행하도록 멀티모달 언어 모델을 훈련시키기 위해 설계된 자기 지도 강화 학습(Self-Supervised Reinforcement Learning, SSRL) 프레임워크인 MindZero를 소개합니다.

핵심 프레임워크: 자기 지도 강화 학습 (SSRL)

외부 보상에 의존하는 표준 지도 학습이나 일반적인 RL 훈련과 달리, MindZero는 관찰된 사용자 행동에 기반한 자기 지도 신호로부터 보상을 도출합니다.

• 목표: 모델은 관찰된 사용자 행동의 가능성(likelihood)을 극대화하는 정신 상태 가설(예: 목표, 신념)을 생성하도록 훈련됩니다.
• 메커니즘: 모델은 $N$개의 정신 상태 가설 집합 $\{m_t^{(i)}\}$와 그와 관련된 확률 $\{q_t^{(i)}\}$를 출력합니다.
• 보상 함수: 보상은 제안된 가설 하에서 관찰된 행동 시퀀스의 확률 가중 로그 가능도(log-likelihood)에서 엔트로피 정규화 항을 뺀 값으로 계산됩니다.
  $$R(M_t, Q_t) = \sum_{i=1}^N q_t^{(i)} [\log(P(a_{1:t} | m_t^{(i)}, s_{1:t}) \cdot P(m_t^{(i)}))] - \sum_{i=1}^N q_t^{(i)} \log q_t^{(i)}$$
  • 행동 가능도 ($P(a_{1:t} | m_t, s_{1:t})$): 특정 정신 상태가 주어졌을 때 관찰된 행동이 얼마나 발생할 법한지를 결정하기 위해 플래너(GridWorld의 경우) 또는 LLM(Household 도메인의 경우)에 의해 추정됩니다.
  • 정신 상태 사전 확률 ($P(m_t)$): 상식적인 제약 조건(예: 사과를 식기세척기에 넣는 것과 같은 터무니없는 목표를 방지함)을 반영하기 위해 LLM에 의해 추정되거나 균등하게 설정됩니다.
  • 엔트로피 보너스: 가설 분포의 다양성을 장려하여, 단일 모드(mode)로 조기에 수렴하는 것을 방지하고 견고한 불확실성 추정을 보장합니다.

훈련 및 추론

• 훈련: 프레임워크는 자기 지도 보상을 기반으로 MLLM 파라미터를 업데이트하기 위해 GRPO(Group Relative Policy Optimization)를 활용합니다. 모델은 훈련이나 테스트 중에 명시적인 베이지안 추론을 수행하지 않고도 모델 기반 ToM 추론의 숙고적 구조(deliberative structure)를 내재화하는 법을 배웁니다.
• 추론: 훈련 후, MindZero는 단일 패스(single-pass) 추론을 수행합니다. 모델은 새로운 행동이 관찰됨에 따라 가설을 생성하고 그 확률을 업데이트하여, 선제적 보조를 위한 빠른 온라인 의사결정을 가능하게 합니다.

주요 기여

1. MindZero 프레임워크: 정답 정신 상태 주석 없이도 견고한 온라인 정신 추론을 수행하도록 MLLM을 훈련시키는 새로운 SSRL 방법론을 제시합니다.
2. 효율성 vs. 견고성: 이 방법은 느리고 견고한 모델 기반 추론과 빠르지만 오류가 발생하기 쉬운 LLM 추론 사이의 간극을 성공적으로 메웁니다. 모델 기반 추론의 패턴을 빠르고 단일 패스로 동작하는 추론 모델로 내재화합니다.
3. 포괄적인 평가: 저자들은 네 가지 도전적인 환경에 대해 체계적인 평가를 제공합니다:
   • GridWorld 질의응답 (Question Answering)
   • GridWorld 선제적 보조 (Proactive Assistance)
   • Household 질의응답 (MMToM-QA)
   • Household 선제적 보조 (Online Watch-And-Help)
4. 인간 검증: 소형 오픈 웨이트 모델로 훈련된 MindZero가 인간 사용자에게 효과적인 실시간 보조를 제공함을 보여주는 IRB 승인 인간 대상 연구를 포함합니다.

실험 결과

저자들은 base MLLM, 대규모 독점 모델(GPT-5.2, Gemini-3), 그리고 테스트 타임 스케일링 방법(ThoughtTracing, AutoToM)을 포함한 베이스라인들과 MindZero를 비교 평가했습니다.

• 질의응답 (Question Answering): MindZero는 base 모델 및 테스트 타임 스케일링 베이스라인들을 크게 앞질렀습니다.
  • GridWorld QA에서 MindZero는 **95.0%**의 정확도를 달성하여(base Qwen3-VL-4B의 37.7% 대비) 추가적인 추론 비용 없이 2.5배의 이득을 얻었습니다.
  • Household QA에서 MindZero(Llama-3.2-3B 사용)는 **77.8%**의 정확도를 기록하며, 더 큰 규모의 테스트 타임 스케일링 방법들을 능가하고 독점 시스템들과 경쟁할 만한 성능을 보였습니다.
• 선제적 보조 (Proactive Assistance): MindZero는 작업 완료 속도에서 우수한 향상을 입증했습니다.
  • GridWorld에서 MindZero는 **23.0–24.5%**의 속도 향상을 달 Ach성한 반면, 대규모 독점 모델(GPT-5.2, Gemini-3)은 불안정하고 끊임없이 변하는 목표 예측으로 인해 종종 **0%**의 속도 향상을 보였습니다.
  • Household 작업에서 MindZero(Qwen3-4B)는 **19.1%**의 속도 향상을 달성하여, base 모델보다 성능이 뛰어났으며 훨씬 더 큰 독점 모델들의 성능에 필적했습니다.
• 온라인 역학 (Online Dynamics): 작업이 끝날 때까지 불확실성을 유지하는 베이스라인들과 달리, MindZero는 작업이 진행됨에 따라 목표 예측 정확도를 꾸준히 개선하여 적시 개입을 가능하게 했습니다.
• 인간 대상 연구: 12명의 참가자를 대상으로 한 연구에서, MindZero(Qwen3-4B 기반)는 Gemini-3-Flash(23.4%)와 통계적으로 유사한 수준인 **19.7%**의 작업 완료 속도 향상을 달성하면서도 소형 오픈 웨이트 모델을 사용했습니다.

의의 및 주장

본 논문은 정신적 추론이 행동 증거에 기반한 자기 지도 학습 가능한 기술임을 입증한다고 주장합니다. 명시적인 정신 상태 주석의 필요성을 제거함으로써, 이 접근 방식은 기존 학습 기반 ToM 방법의 확장성 및 적용성 병목 현상을 해결합니다.

저자들은 MindZero가 다음과 같은 오랜 격차를 좁힌다고 단언합니다:

1. 견고하지만 느린 모델 기반 추론 (불확실성은 잘 다루지만 계산 비용이 높음).
2. 빠르지만 오류가 발생하기 쉬운 소형 멀티모달 언어 모델의 추론.

모델 기반 추론의 숙고적 구조를 빠른 단일 패스 추론 모델로 내재화함으로써, MindZero는 인간의 의도를 지속적으로 추론하고 동적인 환경에 적응할 수 있는 확장 가능한 실세계 보조 에이전트를 위한 유망한 토대를 제공합니다.

본 논문은 현재 프레임워크가 여러 에이전트 간의 재귀적 추론(recursive reasoning)을 모델링하지 못하며 입력 시퀀스 길이가 길어지는 데 어려움이 있다는 한계를 인정하며, 향후 연구 과제로 멀티 에이전트 재귀 추론 및 더 효율적인 모델 구조를 제시합니다.