Resumen Técnico: EnactToM

Declaración del Problema

Las métricas actuales para la Teoría de la Mente (ToM) en Modelos de Lenguaje Grandes (LLM) evalúan principalmente la ToM literal: la capacidad de informar explícitamente las creencias, deseos o intenciones de otro agente cuando se les solicita. Sin embargo, estas evaluaciones no miden la ToM funcional, definida como la capacidad de actuar de manera óptima basándose en estados mentales inferidos en entornos multiagente fundamentados. Las métricas existentes carecen de tres propiedades críticas:

1. Funcional: Miden el reporte de creencias en lugar de la ejecución de acciones basadas en esas creencias.
2. Fundamentada: Operan en entornos de solo texto o totalmente observables, careciendo de las restricciones espaciales y la asimetría de información inherentes a la colaboración encarnada.
3. Resistente a la saturación: Las métricas estáticas se vuelven triviales a medida que los modelos mejoran, y carecen de mecanismos para evolucionar la dificultad de la tarea basándose en modos de fallo específicos del modelo.

En consecuencia, los modelos de vanguardia a menudo demuestran una alta precisión en sondas de creencias, pero fallan en coordinarse efectivamente en entornos físicos compartidos, lo que conduce a acciones redundantes, ignorancia de restricciones y riesgos de seguridad.

Metodología: El Marco EnactToM

Los autores presentan EnactToM, una métrica evolutiva compuesta por 300 tareas multiagente encarnadas situadas en un entorno doméstico en 3D (HSSD). El marco está diseñado para aislar la ToM funcional mediante observabilidad parcial, información privada y comunicación restringida.

1. Representación de la Tarea y Profundidad Epistémica

Las tareas se formalizan como tuplas $T = (S, A, \phi, \delta, M, \Sigma, C)$, donde:

• $S$: Una escena 3D.
• $A$: Un conjunto de agentes con posiciones de aparición.
• $\phi$: Una fórmula de objetivo PDDL que combina predicados físicos (por ejemplo, is_on_top) con operadores epistémicos ($K$).
• $\delta$: Una descripción de la tarea en lenguaje natural compartida por todos los agentes.
• $M$: Mecánicas que modelan restricciones del mundo real (por ejemplo, restricciones de habitación, ancho de banda limitado, grafos de comunicación restringidos).
• $\Sigma$: Secretos privados asignados a cada agente (por ejemplo, IDs de objetos específicos, límites de acceso a habitaciones) que crean asimetría de información.
• $C$: Categoría de la tarea (Cooperativa o de motivos mixtos).

La métrica utiliza la profundidad epistémica ($d$) para cuantificar la complejidad de la ToM:

• Profundidad 1 (Autoconsciente): Un agente reconoce su propia brecha de información.
• Profundidad 2 (Consciente del otro): Un agente actúa basándose en lo que sabe un compañero.
• Profundidad 3 (Recursiva): Un agente razona sobre lo que un compañero sabe que otro agente sabe.
  La métrica limita la generación a la profundidad 3, ya que una recursión más profunda es frágil incluso para los humanos.

2. Pipeline de Generación de Tareas Agénticas

Para abordar la saturación de las métricas, EnactToM emplea un agente de codificación autónomo para generar tareas. El pipeline incluye:

• Autoría: El agente escribe primero el objetivo formal PDDL, luego deriva la narrativa y los secretos, asegurando que el objetivo sea la fuente de la verdad.
• Verificación:
  • Análisis PDDL: Verifica la validez sintáctica y la alineación de la profundidad K.
  • Consejo de Jueces LLM: Dos modelos (Kimi-K2.5 y GPT-5.2) califican independientemente las tareas según criterios como la necesidad del agente, la calidad de los secretos (sin filtrado de estrategia) y la utilización de mecánicas.
  • Calibrador Estructural: Ejecuta una simulación de referencia donde todos los secretos son revelados a todos los agentes. Si la tarea falla incluso con información completa, se rechaza como físicamente irresoluble. Esto asegura que el éxito en el entorno estándar dependa del razonamiento epistémico, no solo de la navegación encarnada.
• Evolución: El agente de generación utiliza "tareas semilla" sesgadas hacia los modos de fallo de los modelos de vanguardia actuales (por ejemplo, GPT-5.4, O3). A medida que los modelos mejoran, el conjunto de semillas se desplaza hacia patrones de fallo más difíciles, evolucionando la dificultad de la métrica sin modificar la infraestructura del generador.

3. Protocolo de Evaluación

La métrica evalúa siete modelos de vanguardia en dos divisiones: Estándar ($\rho=0.8$ ratio de fallo de semillas) y Difícil ($\rho=0.9$).

• Métrica Funcional: El éxito se define completando los predicados físicos en $\phi$. La métrica principal es Pass^3, que requiere éxito en las tres ejecuciones independientes para descartar la suerte.
• Métrica Literal: Al final de cada episodio, se consulta a los agentes sobre creencias específicas (por ejemplo, "¿Qué piensa agent_0 que es el estado del refrigerador?"). Esto mide la precisión de la ToM literal independiente de la acción.

Resultados Clave

La evaluación revela una marcada brecha acción–reporte entre la ToM literal y la funcional:

• Fallo Funcional: En la división Difícil, los siete modelos de vanguardia evaluados alcanzaron un 0.0% Pass^3 en la finalización funcional de la tarea. Ningún modelo pudo coordinarse de manera reproducible en tres ejecuciones.
• Éxito Literal: Los mismos modelos promediaron un 45.0% en sondas de creencias literales en las mismas tareas. Por ejemplo, Gemini-Pro alcanzó una precisión literal del 63.3% pero solo una precisión funcional del 6.7% en la división difícil.
• Análisis de Fallos: Una auditoría manual de 40 fallos identificó que el 93% se debió a rupturas en la coordinación epistémica, categorizadas en cinco patrones:
  1. Retención de información crítica: Los agentes poseen hechos decisivos pero los comunican demasiado tarde.
  2. Ruptura de la cadena epistémica: Los agentes completan acciones físicas pero fallan en establecer que los compañeros conocen el resultado.
  3. Sabotaje/difusión de objetivos privados: En tareas de motivos mixtos, los agentes revelan objetivos privados prematuramente o sabotean objetivos compartidos.
  4. Mala asignación de mensajes escasos: Los agentes desperdician ancho de banda limitado en compañeros inalcanzables o contenido de baja prioridad.
  5. Ignorar restricciones del compañero: Los agentes delegan tareas a compañeros que carecen del acceso a la habitación o los recursos necesarios.

Significado y Afirmaciones

El artículo afirma que EnactToM proporciona la primera medición rigurosa y evolutiva de la ToM funcional en entornos encarnados. Su importancia radica en:

1. Exponer una Brecha Crítica: Demostrar que un alto rendimiento en preguntas de creencias basadas en texto no se traduce en la capacidad de utilizar esas creencias para la coordinación en entornos restringidos.
2. Definir un Nuevo Estándar de Métrica: Establecer un marco que es encarnado (entorno 3D), funcional (éxito basado en acciones) y evolutivo (resistente a la saturación mediante generación impulsada por fallos).
3. Proporcionar Objetivos Concretos: Al descomponer los fallos en rupturas específicas de coordinación epistémica, la métrica ofrece objetivos claros y accionables para futuras investigaciones en alineación y razonamiento multiagente.

Los autores concluyen que, aunque los modelos de vanguardia a menudo pueden declarar lo que saben los compañeros, actualmente carecen de la política para utilizar ese conocimiento para actuar de manera fiable bajo restricciones de comunicación e información. La métrica sirve como instrumento de medición para rastrear el progreso en el cierre de esta brecha.