기술 요약: MindClaw

문제 정의

현재의 마음 이론(Theory of Mind, ToM) 벤치마크는 텍스트 및 멀티모달 영역에서 정신 상태 인식 기술을 발전시켜 왔으나, 주로 ToM을 오프라인 질의응답 또는 레이블 예측 작업으로 취급해 왔습니다. 이러한 기존의 정식화 방식은 체화된 에이전트(embodied agent)가 변화하는 환경과 연결을 유지하고, 시간에 따라 행위자별 신념을 업데이트하며, 언제 추론이 필요한지 결정하고, 진정으로 도움이 될 때만 개입할 수 있는지를 테스트하는 데 실패합니다.

실제 인간 중심 환경에서, 기본적으로 행동하는 조수는 방해가 되거나 해로울 수 있습니다. 핵심 과제는 단순히 인간의 신념, 욕구, 의도(Belief–Desire–Intention, BDI 프레임워크)를 추론하는 것이 아니라, 개입의 정확한 타이밍을 결정하는 것입니다. 에이전트는 인간이 정상적으로 진행 중인 시나리오(개입이 필요 없는 상황)와 인간이 잘못된 신념이나 숨겨진 목표 하에 행동하고 있는 시나리오(최소한의 유익한 개입이 필요한 상황)를 구분할 수 있어야 합니다. MindPower와 같은 기존의 로봇 중심 프레임워크는 행동 생성 단계로 나아갔으나, 여전히 실시간 폐쇄 루프 인지 제어 시스템이라기보다는 정적이고 최종 단계의 결정 프로세스로 작동합니다.

방법론

저자들은 MindClaw라는 프레임워크를 제안하며, 이는 로봇 중심의 ToM 추론을 정적 계층 구조 완성을 넘어 **정밀 개입(precision intervention)**에 초점을 맞춘 실시간 폐쇄 루프 설정으로 확장합니다. 이 시스템은 실행 가능한 환경(예: VirtualHome, ThreeDWorld 또는 정적 비디오 재생)에 연결된 상태를 유지하며, 메모리를 업데이트할지, 추론할지, 행동할지, 아니면 침묵할지를 동적으로 결정하도록 설계되었습니다.

아키텍처

MindClaw는 세 가지 주요 레이어로 구성됩니다:

1. 입력 인터페이스(Input Interface): 정적 비디오, 라이브 시뮬레이터 스트림, 인간 제어 이벤트를 포함한 다중 소스 입력을 받아 이를 공통된 윈도우 표현 방식으로 정규화합니다.
2. Claw 레이어(제어): 온라인 상태를 유지하고 상호작용 루프를 조율하는 핵심 제어 메커니즘입니다. 여기에는 다음이 포함됩니다:
   • 엔진(Engine): 런타임 루프를 관리하며, 관찰이 트리거 결정에 앞서 수행되도록 보장합니다.
   • 어댑터(Adapter): 다양한 입력 소스를 추론 레이어를 위한 표준 형식으로 변환합니다.
   • 메모리(Memory): 시각적으로 근거가 있는 사실과 행위자별 신념(예: actor_beliefs[actor][object] → location)을 분리하여 저장하는 **신념 테이블(belief table)**을 보유합니다. 이를 통해 시스템은 현실과 행위자의 정신 상태 사이의 불일치를 감지할 수 있습니다.
   • 트리거(Trigger): 현재의 관찰, 메모리, 후보 슬롯을 기반으로 다음 내부 연산($z_t$)을 결정하는 체화된 인지 기술입니다.
3. 추론 레이어(Reasoning Layer, 모델 기반 서비스): 세 가지 모듈형 능력을 제공합니다:
   • 관찰(Observation): 장면의 구조화된 설명을 추출합니다.
   • 정신 추론(Mental Reasoning): 트리거가 결정했을 때만 호출되며, 행위자가 잘못된 신념이나 숨겨진 목표 하에 행동하고 있는지 추론하고 개입 여부를 결정합니다.
   • 행동 생성(Action Generation): 추론 결과를 실행 가능한 로봇 행동 또는 "없음(none/noop)" 명령으로 변환합니다.

체화된 인지 기술로서의 트리거

중심적인 혁신은 트리거를 비디오에서 로봇 행동으로 직접 매핑하는 것이 아니라, 중간 단계의 인지 연산을 선택하는 기술로 정식화한 것입니다. 연산 공간은 다음과 같습니다:

• 시각적 사실 또는 행위자 신념 업데이트.
• 정신 추론 실행.
• 행동 생성 실행.
• Noop(아무것도 하지 않음): 명시적으로 아무것도 하지 않기로 선택.

트리거는 연산 선택(무엇을 할 것인가)과 슬롯 그라운딩(누구/무엇/어디인가)으로 구분되는 기술 조건부 정책($\pi_\theta$)으로 구현됩니다.

기술 수집 및 추론

트리거를 최적화하기 위해 저자들은 올바른 궤적과 잘못된 궤적의 쌍으로부터 "체화된 인지 기술"을 수집합니다. 강력한 LLM은 이를 재사용 가능한 결정 패턴(규칙)으로 요약하며, 다음과 같이 분류됩니다:

• 강력 선호($S^+$): 특정 연산을 강제하는 결정적 조건(예: 정규식 일치).
• 선호($S^\pm$): 연산을 제안하지만 모델의 판단이 필요한 조건.
• 부정($S^-$): 특정 연산을 배제하는 조건.

추론 시, 시스템은 먼저 결정적 매칭을 위해 강력한 규칙을 적용합니다. 강력한 규칙이 적용되지 않으면, 나머지 선호 및 부정 조건을 사용하여 트리거 모델이 연산을 예측합니다.

주요 기여

1. 폐쇄 루프 확장: 본 연구는 로봇 중심의 ToM 추론을 최종 단계의 결정 생성에서, 에이전트가 상태를 유지하고 변화하는 환경에 다시 작용하는 실시간 폐쇄 루프 설정으로 확장했습니다.
2. 정밀 개입: 정밀 개입을 핵심 목표로 설정했습니다. 로봇은 도움이 필요할 때만 유익한 행동을 생성해야 하며, 그렇지 않으면 침묵하여 방해되거나 불필요한 도움을 피해야 합니다.
3. 인지 트리거 기술: 트리거를 관찰, 신념 메모리, 장면 후보에 대한 중간 연산 선택을 수행하는 체화된 인지 기술로 정식화했습니다. 이를 통해 메모리 업데이트, 추론 및 행동 생성의 타이밍을 명시적으로 제어할 수 있습니다.

실험 결과

프레임워크는 잘못된 신념 수정 및 암묵적 목표 추론을 포함하는 590개의 비디오-텍스트 예시가 담긴 MindPower 벤치마크에서 평가되었습니다.

• 베이스라인: 직접적인 비디오-언어 모델(VLM)은 작업 인지 능력(Task Accuracy, TA)과 개입 교정 능력(Precision Intervention Accuracy, PIA) 측면에서 크게 고전했습니다. 많은 베이스라인이 거의 0에 가까운 TA를 기록했는데, 이는 관련 있는 정신 상태 맥락을 식별하는 데 실패했음을 나타냅니다.
• MindClaw 성능: MindClaw는 종합적인 성능에서 가장 우수한 성과를 보였으며, TA(14.36% vs 대부분의 베이스라인 <2%)와 PIA(36.63% vs 대부분의 베이스라인 <20%) 모두에서 직접적인 베이스라인들을 크게 앞질렀습니다.
• 폐쇄 루프 만족도: MindClaw는 100%의 폐쇄 루프/행동 만족도(Closed-loop / Action Satisfaction, CS) 점수를 유지하여, 타이밍과 정밀도의 향상이 행동의 유효성을 희생시키지 않았음을 입증했습니다.
• 절제 연구(Ablation Studies):
  • 신념 테이블: 명시적인 신념 테이블을 제거하면 성능이 급격히 저하되었습니다(예: Qwen3-4B의 TA가 9.51%에서 1.64%로 하락). 이는 행위자별 메모리의 필요성을 확인시켜 줍니다.
  • 기술 가이드: 기술 기반 규칙을 제거하면 정확도가 크게 감소했습니다. 지도 학습 기반 미세 조정(SFT)과 기술 가이드를 결합했을 때 가장 높은 non-noop 정확도(64.14%)를 얻었으며, 이는 기술이 의사결정을 위한 필수적인 구조화된 중간 지식을 제공함을 증명합니다.

의의 및 주장

본 논문은 **트리거-기술 최적화(trigger-skill optimization)**가 폐쇄 루프 체화된 ToM 보조를 위해 얼마나 중요한지를 MindClaw를 통해 보여준다고 주장합니다. 내부적인 인지 제어(트리거)를 외부의 로봇 행동과 분리함으로써, 시스템은 유용함과 방해됨 사이의 균형을 효과적으로 관리할 수 있습니다.

저자들은 실제 체화된 보조가 항상 행동을 생성하는 것과 동일하지 않다는 점을 강조합니다. 인간이 환경과 일치되어 있을 때는 침묵하고, 불일치가 존재할 때만 정밀하게 개입하는 능력은 유용한 상호작용형 도우미를 위한 근본적인 역량입니다. MindClaw는 에이전트가 단순한 정신 상태 인지를 넘어, 언제 추론하고 언제 행동할지를 명시적으로 추론하는 프레임워크를 제공합니다.