기술 요약: EnactToM

문제 제기

대규모 언어 모델 (LLM) 의 마음 이론 (ToM) 에 대한 현재 벤치마크는 주로 문자적 ToM(다른 에이전트의 신념, 욕구, 의도를 명시적으로 보고하는 능력) 을 평가합니다. 그러나 이러한 평가는 기능적 ToM(구체화된 다중 에이전트 환경에서 추론된 정신 상태를 기반으로 최적의 행동을 취하는 능력) 을 측정하지 못합니다. 기존 벤치마크는 다음 세 가지 중요한 속성이 결여되어 있습니다:

1. 기능적: 신념 보고를 측정할 뿐, 해당 신념에 기반한 행동 수행을 측정하지 않습니다.
2. 구체화됨 (Grounded): 텍스트 전용 또는 완전히 관찰 가능한 환경에서 작동하며, 구체화된 협력에 내재된 공간적 제약과 정보 비대칭성이 부족합니다.
3. 포화 저항성: 정적 벤치마크는 모델이 발전함에 따라 사소해지며, 특정 모델 실패 모드에 따라 작업 난이도를 진화시키는 메커니즘이 부족합니다.

따라서 최첨단 모델들은 신념 탐지 (belief probes) 에서 높은 정확도를 보이지만, 공유된 물리적 환경에서 효과적으로 조정하지 못해 불필요한 행동, 제약 무시, 안전 위험을 초래합니다.

방법론: EnactToM 프레임워크

저자들은 3 차원 가정 환경 (HSSD) 에 설정된 300 개의 구체화된 다중 에이전트 작업으로 구성된 진화하는 벤치마크인 EnactToM을 소개합니다. 이 프레임워크는 부분적 관찰성, 비공개 정보, 제한된 통신을 통해 기능적 ToM 을 분리하도록 설계되었습니다.

1. 작업 표현 및 인식적 깊이

작업은 $T = (S, A, \phi, \delta, M, \Sigma, C)$ 튜플로 형식화되며, 여기서:

• $S$: 3 차원 장면.
• $A$: 생성 위치를 가진 에이전트 집합.
• $\phi$: 물리적 술어 (예: is_on_top) 와 인식 연산자($K$) 를 결합한 PDDL 목표 공식.
• $\delta$: 모든 에이전트가 공유하는 자연어 작업 설명.
• $M$: 현실 세계 제약 (예: 방 제한, 대역폭 제한, 제한된 통신 그래프) 을 모델링하는 메커니즘.
• $\Sigma$: 정보 비대칭성을 생성하는 각 에이전트에게 할당된 비공개 비밀 (예: 특정 객체 ID, 방 접근 제한).
• $C$: 작업 카테고리 (협력 또는 혼합 동기).

이 벤치마크는 ToM 복잡성을 정량화하기 위해 인식적 깊이($d$) 를 활용합니다:

• 깊이 1 (자기 인식): 에이전트가 자신의 정보 격차를 인식합니다.
• 깊이 2 (타자 인식): 에이전트가 파트너가 아는 것을 기반으로 행동합니다.
• 깊이 3 (재귀적): 에이전트가 다른 에이전트가 아는 것을 파트너가 아는 것에 대해 추론합니다.
  이 벤치마크는 더 깊은 재귀가 인간에게도 취약하므로 생성을 깊이 3 에서 제한합니다.

2. 에이전트 작업 생성 파이프라인

벤치마크 포화를 해결하기 위해 EnactToM 은 자율 코딩 에이전트를 사용하여 작업을 생성합니다. 파이프라인에는 다음이 포함됩니다:

• 저작: 에이전트는 먼저 형식적 PDDL 목표를 작성한 다음 내러티브와 비밀을 유도하여 목표가 진실의 원천이 되도록 합니다.
• 검증:
  • PDDL 구문 분석: 구문적 유효성과 K-깊이 정렬을 확인합니다.
  • LLM 심사 위원회: 두 모델 (Kimi-K2.5 및 GPT-5.2) 이 에이전트 필요성, 비밀 품질 (전략 누출 없음), 메커니즘 활용도 등의 기준으로 작업을 독립적으로 점수화합니다.
  • 구조적 보정기: 모든 비밀이 모든 에이전트에게 공개되는 기본 시뮬레이션을 실행합니다. 작업이 완전한 정보로도 실패하면 물리적으로 해결 불가능한 것으로 간주하여 거부합니다. 이는 표준 설정에서의 성공이 단순한 구체화된 탐색이 아닌 인식적 추론에 의존하도록 보장합니다.
• 진화: 생성 에이전트는 현재 최첨단 모델 (예: GPT-5.4, O3) 의 실패 모드를 편향한 '시드 작업 (seed tasks)'을 사용합니다. 모델이 개선됨에 따라 시드 풀은 더 어려운 실패 패턴으로 이동하여 생성기 인프라를 수정하지 않고 벤치마크 난이도를 진화시킵니다.

3. 평가 프로토콜

이 벤치마크는 두 가지 분할 (Standard, $\rho=0.8$ 시드 실패 비율; Hard, $\rho=0.9$) 에서 일곱 개의 최첨단 모델을 평가합니다.

• 기능적 지표: 성공은 $\phi$의 물리적 술어를 완료하는 것으로 정의됩니다. 주요 지표는 Pass^3로, 우연을 배제하기 위해 세 번의 독립적 실행 모두에서 성공을 요구합니다.
• 문자적 지표: 각 에피소드 종료 시 에이전트에게 특정 신념에 대해 질의합니다 (예: "agent_0 는 냉장고 상태가 무엇이라고 생각합니까?"). 이는 행동과 무관하게 문자적 ToM 정확도를 측정합니다.

주요 결과

평가 결과, 문자적 ToM 과 기능적 ToM 사이에 극명한 행동 - 보고 격차가 드러났습니다:

• 기능적 실패: Hard 분할에서 평가된 일곱 개의 최첨단 모델 모두 기능적 작업 완료에서 0.0% Pass^3를 기록했습니다. 어떤 모델도 세 번의 실행에서 재현 가능하게 조정하지 못했습니다.
• 문자적 성공: 동일한 모델들은 동일한 작업에서 문자적 신념 탐지에서 평균 **45.0%**를 기록했습니다. 예를 들어, Gemini-Pro 는 Hard 분할에서 63.3% 의 문자적 정확도를 보였지만 기능적 정확도는 6.7% 에 불과했습니다.
• 실패 분석: 40 건의 실패에 대한 수동 감사 결과, **93%**가 인식적 조정 붕괴로 인한 것으로 확인되었으며, 이는 다섯 가지 패턴으로 분류되었습니다:
  1. 중요 정보 withholding: 에이전트가 결정적 사실을 보유하고 있지만 너무 늦게 전달합니다.
  2. 인식적 연결 고리 붕괴: 에이전트가 물리적 행동을 완료하지만 파트너가 그 결과를 알았다는 사실을 확립하지 못합니다.
  3. 비공개 목표 파괴/공개: 혼합 동기 작업에서 에이전트가 비공개 목표를 조기에 공개하거나 공유 목표를 파괴합니다.
  4. 희소 메시지 오분배: 에이전트가 도달 불가능한 파트너나 저우선도 콘텐츠에 제한된 대역폭을 낭비합니다.
  5. 파트너 제약 무시: 에이전트가 필요한 방 접근 권한이나 자원이 없는 파트너에게 작업을 위임합니다.

중요성과 주장

이 논문은 EnactToM 이 구체화된 환경에서 기능적 ToM 에 대한 최초의 엄격하고 진화하는 측정을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 중요한 격차 노출: 텍스트 기반 신념 질문에 대한 높은 성능이 제약된 환경에서 조정을 위해 이러한 신념을 사용하는 능력으로 이어지지 않음을 입증합니다.
2. 새로운 벤치마크 표준 정의: 구체화된(3 차원 환경), 기능적(행동 기반 성공), 진화하는(실패 주도 생성을 통한 포화 저항) 프레임워크를 확립합니다.
3. 구체적 목표 제공: 실패를 특정 인식적 조정 붕괴로 분해함으로써 다중 에이전트 정렬 및 추론에 대한 향후 연구에 명확하고 실행 가능한 목표를 제시합니다.

저자들은 최첨단 모델이 종종 파트너가 무엇을 아는지 진술할 수는 있지만, 현재 통신 및 정보 제약 하에서 해당 지식을 사용하여 신뢰성 있게 행동하는 정책을 갖추지 못했다고 결론지었습니다. 이 벤치마크는 이러한 격차를 해소하는 데 있어 진전을 추적하는 측정 도구 역할을 합니다.