Resumen Técnico: OmniToM

Enunciado del Problema

Las actuales métricas de referencia para evaluar la Teoría de la Mente (ToM) en Modelos de Lenguaje Grandes (LLM) dependen predominantemente de la respuesta a preguntas de punto final (QA). En este paradigma, se presenta al modelo una narrativa y se le califica únicamente en función de si produce la respuesta final correcta a una consulta de razonamiento social (por ejemplo, "¿Dónde buscará Bob?"). Los autores argumentan que este enfoque oscurece el proceso cognitivo subyacente: un modelo puede responder correctamente explotando estrategias de atajo o artefactos de la métrica de referencia sin construir realmente las representaciones de estados mentales multiactor necesarias.

Específicamente, la QA de punto final no revela si un modelo puede rastrear:

• Lo que cada actor considera verdadero frente a lo que es objetivamente real.
• Cómo se distribuye la información (quién tiene acceso a qué).
• La naturaleza recursiva de las creencias (por ejemplo, "Bob cree que Alice piensa...").
• La distinción entre declaraciones explícitas e inferencias implícitas.

En consecuencia, las métricas de referencia existentes no pueden diagnosticar por qué falla un modelo: si omitió un actor relevante, actualizó una creencia incorrectamente, identificó mal el acceso a la información o etiquetó erróneamente la fuente de un estado mental.

Metodología

Formulación de la Métrica de Referencia OmniToM

OmniToM aborda esta brecha desplazando la evaluación de las respuestas de punto final hacia el modelado explícito de la estructura de creencias. La métrica de referencia operacionaliza el razonamiento de ToM como un proceso de dos etapas:

1. Etapa 1: Extracción de Creencias

   • Tarea: Dada una historia $S$, el modelo debe extraer un conjunto estructurado de proposiciones de creencia $B$.
   • Estructura: Cada proposición es una tupla $(a_i, b_i, o_i)$, donde $a_i$ es el actor (o "mundo" para los hechos narrados), $b_i$ es el contenido mínimo de la creencia y $o_i$ es el orden recursivo ($0$ para hechos del mundo, $1$ para creencias de primer orden, $2+$ para creencias de orden superior).
   • Objetivo: Recuperar el conjunto completo de creencias específicas de los actores relevantes para la dinámica social de la historia, incluidos los hechos del mundo, las creencias de primer orden sobre el mundo y las creencias de orden superior sobre los estados mentales de otros actores.

2. Etapa 2: Etiquetado de Creencias

   • Tarea: Dadas las proposiciones extraídas, el modelo asigna una etiqueta de esquema de siete dimensiones a cada una.
   • Esquema: Basado en ATOMS (Habilidades en el Espacio de la Teoría de la Mente), el esquema descompone cada proposición en:
     • Orden: Profundidad recursiva ($0$–$3$).
     • Estado de Verdad: Alineación con la realidad narrativa (Verdadero, Falso, Desconocido).
     • Acceso al Conocimiento: Distribución de la información (Privada, Compartida, Pública).
     • Representación: Explícita vs. Implícita (declarada vs. inferida).
     • Tipo de Contenido: Tema (Ubicación, Epistémico, Deseo, Emoción, etc.).
     • Fuente Mental: Método de adquisición (Narración, Percepción, Memoria, Testimonio, Inferencia, Imaginación).
     • Contexto: Condiciones de encuadre (Engañoso, Temporal, Contrafactual, Neutral).

Construcción de la Métrica de Referencia

• Datos de Origen: Derivados de ToMBench, conservando 895 historias de siete categorías de alto volumen (por ejemplo, Tarea de Creencia Falsa, Reconocimiento de Faux-pas, Tarea de Insinuación).
• Pipeline de Anotación: Debido al alto costo de la anotación manual para 22.343 proposiciones de creencia, los autores emplearon un pipeline asistido por LLM y calibrado por humanos.
  • Un subconjunto de calibración (21 historias) fue anotado manualmente por expertos del dominio.
  • Juez Semántico: GPT-5 fue seleccionado como juez semántico para la evaluación de la Etapa 1 basándose en su alta concordancia (72,03%) con las decisiones de alineación semántica humana.
  • Modelo de Anotación: Claude-Sonnet-4.5 fue seleccionado como el modelo principal de anotación tras lograr el rendimiento de calibración más fuerte (72,88% de F1 en la Etapa 1, 93,62% de precisión en la Etapa 2).
• Escala: La métrica de referencia final contiene 895 historias y 22.343 proposiciones de creencia etiquetadas, sumando un total de 156.401 etiquetas de esquema.

Protocolo de Evaluación

• Etapa 1 (Extracción): Medida mediante la puntuación F1 utilizando una métrica de alineación semántica (MatchCount) en lugar de una coincidencia estricta de cadenas. Esto tiene en cuenta las paráfrasis y las creencias compuestas.
• Etapa 2 (Etiquetado): Medida mediante la precisión de coincidencia exacta para las etiquetas del esquema de siete dimensiones.
• Líneas Base: Evaluadas en diversos modelos de código abierto y cerrado (por ejemplo, Llama-3.3, Mistral-Large, GPT-5, Gemini-2.5 Flash) en condiciones de cero disparos utilizando los prompts de nivel TELeR 3.

Resultados Clave

La evaluación revela un cuello de botella consistente en el rastreo de información específico del actor en todos los modelos:

1. Rendimiento de Extracción (Etapa 1):

   • El modelo de mejor rendimiento logró una F1 macro de 57,69%.
   • El rendimiento disminuye significativamente al pasar del Orden 0 (hechos del mundo) al Orden 1 y al Orden 2+ (creencias de los actores). Los modelos luchan por mapear los hechos de la historia a perspectivas específicas de los actores.

2. Rendimiento de Etiquetado (Etapa 2):

   • La precisión general de etiquetado alcanzó el 85,95%.
   • Sin embargo, los errores no son uniformes. Las precisiones más bajas se encuentran en Acceso al Conocimiento (56,13–74,59%) y Representación (54,33–87,58%).
   • Las creencias de Orden 1 son las más difíciles de etiquetar correctamente (71,2% de precisión general), particularmente en cuanto a quién tiene acceso a la información y si una creencia es explícita o inferida.

3. Identificación del Cuello de Botella:

   • El modo de fallo principal no es una falta de comprensión general del lenguaje, sino un fallo en el rastreo de las condiciones de información: determinar qué hechos conoce cada actor, cómo se adquirió ese conocimiento (percepción vs. inferencia) y cómo evoluciona con el tiempo.
   • Los modelos a menudo fallan en distinguir entre lo que es verdadero en el mundo y lo que un actor cree que es verdadero, especialmente cuando esa creencia está desactualizada o es falsa.

Significado y Afirmaciones

El artículo afirma que OmniToM proporciona un cambio necesario de la evaluación basada en resultados a la evaluación basada en procesos de la ToM en los LLM.

• Poder Diagnóstico: Al hacer inspectables las representaciones de los estados mentales, OmniToM permite a los investigadores identificar fallos específicos de razonamiento (por ejemplo, "el modelo no actualizó la creencia porque identificó mal el acceso a la información") en lugar de simplemente observar una respuesta incorrecta.
• Exposición de Limitaciones: La métrica de referencia expone una limitación que la QA de punto final puede ocultar: un razonamiento robusto de ToM requiere rastrear las condiciones de información que dan lugar a los estados mentales, una capacidad con la que los LLM actuales luchan.
• Alcance: Los autores enmarcan modestamente a OmniToM como una herramienta de evaluación para escenarios controlados basados en texto. Declaran explícitamente que la métrica de referencia no certifica la inteligencia social en el mundo real, la fiabilidad interpersonal o la seguridad en entornos de alto riesgo (por ejemplo, dominios clínicos o legales).
• Trabajo Futuro: Los autores sugieren que las direcciones futuras incluyen la expansión a narrativas más ricas, conjuntos de extracción auditados por humanos más grandes y el manejo de anidación de creencias más allá del orden 3, reconociendo al mismo tiempo las limitaciones actuales en el razonamiento multimodal y el seguimiento a largo plazo.

En resumen, OmniToM demuestra que, aunque los LLM a menudo pueden recuperar hechos narrativos, actualmente carecen del mecanismo robusto para transformar esos hechos en representaciones precisas, específicas de los actores y evolutivas en el tiempo de los estados mentales.