Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) han mostrado mejoras significativas en tareas de razonamiento (matemáticas, programación, lógica), pero su capacidad para razonar sobre la Teoría de la Mente (ToM) —la capacidad de atribuir estados mentales, creencias y perspectivas a otros— sigue siendo incierta.

• Contaminación de Datos: Las actuales métricas de referencia para ToM (por ejemplo, la prueba Sally-Anne, TOMI) probablemente están presentes en los datos de preentrenamiento de los LLM modernos. En consecuencia, los modelos podrían estar "memorizando" respuestas en lugar de razonar genuinamente, lo que lleva a métricas de rendimiento infladas.
• Falta de Control: Las métricas sintéticas anteriores a menudo dependen de LLMs para generar las propias historias, lo que introduce inconsistencias y dificulta aislar variables específicas (por ejemplo, perspectiva del personaje vs. cronología de eventos).
• La Brecha: Existe la necesidad de un marco robusto y libre de contaminación para evaluar si los LLM pueden realmente modelar estados mentales o si dependen de heurísticas (como el sesgo de recencia) y la memorización.

2. Metodología: El Marco StorySim

Los autores introducen StorySim, un marco sintético programable diseñado para generar historias novedosas para evaluar las capacidades de ToM y Modelado del Mundo (WM).

Componentes Principales

• EL GUION (STORYBOARD): Una especificación simbólica de alto nivel definida como $D = (C, \phi, G, E, n)$, donde:
  • $C$: Conjunto de personajes.
  • $G$: Un grafo dirigido que representa ubicaciones y conectividad.
  • $E$: Un conjunto de eventos clave deterministas con marca de tiempo (por ejemplo, "El Personaje A se mueve a la Habitación 2 en $t=5$").
  • $n$: Número total de eventos.
  • $\phi$: Tipos de acciones (por ejemplo, entrar, moverse).
• Proceso de Generación:
  1. Generación Simbólica: StorySim genera una secuencia de eventos que se adhiere estrictamente a las restricciones del GUION. Rellena detalles no deterministas aleatoriamente mientras asegura la consistencia lógica (por ejemplo, los personajes solo pueden moverse a ubicaciones adyacentes).
  2. Traducción: Los eventos se convierten en lenguaje natural utilizando plantillas.
  3. Parafraseo (Opcional): Las historias pueden ser parafraseadas adicionalmente por un LLM (GPT-4o-mini) para aumentar el naturalismo lingüístico, aunque la lógica central permanece anclada al guion simbólico.
• Novedad: Dado que las historias se generan algorítmicamente con restricciones específicas y variaciones aleatorias, la probabilidad de que cualquier historia generada aparezca en los datos de preentrenamiento es "astronómicamente pequeña".

Diseño Experimental

Los autores diseñaron tres tipos específicos de prompts para aislar diferentes capacidades cognitivas:

1. Prompt ToM: Pregunta sobre la creencia de un personaje respecto a la ubicación de otro (por ejemplo, "¿Dónde cree Bob que está Alice?"). Esto prueba la capacidad de modelar una perspectiva que difiere de la realidad.
2. Prompt WM-Humano: Pregunta sobre la ubicación objetiva de un personaje basada en eventos observados (por ejemplo, "¿A dónde fue Alice cuando Bob estaba en la habitación?"). Esto prueba el Modelado del Mundo sin requerir toma de perspectiva.
3. Prompt WM-Inanimado: Similar al WM-Humano pero utiliza objetos inanimados movidos por fuerzas externas. Esto prueba si el razonamiento del modelo es sensible a la naturaleza "animada" de los agentes.

Variables Clave Manipuladas:

• Distancia de Engaño: El número de pasos de tiempo entre la última vez que un personaje ($S1$) vio a otro ($T$) moverse y la ubicación final de $T$. Esto prueba el sesgo de recencia (predecir la ubicación más reciente en lugar de la última ubicación observada).
• Orden de ToM: Primer orden (A piensa que B está en X) vs. Segundo orden (A piensa que B piensa que C está en X).
• Conteo de Personajes: Variar el número de personajes para probar la generalización más allá de estructuras de historias simples y familiares.

3. Contribuciones Clave

1. Marco StorySim: Una métrica de referencia sintética totalmente controlable que elimina los riesgos de contaminación de datos y permite la manipulación precisa de variables narrativas (perspectiva, cronología, estructura del grafo).
2. Desacoplamiento de ToM y WM: El estudio proporciona un método para evaluar ToM independientemente del Modelado del Mundo general, revelando que los modelos a menudo sobresalen en el seguimiento de eventos físicos (WM) pero fallan en el seguimiento de estados mentales (ToM).
3. Identificación de Heurísticas: El marco identificó con éxito modos de fallo específicos, como la "Heurística de la Primera Ubicación Común" (predecir dónde se encontraron los personajes por primera vez en lugar de dónde están actualmente) y el Sesgo de Recencia.
4. Evaluación Exhaustiva: El artículo evalúa una amplia gama de modelos (GPT-4, GPT-5.4, Llama 3.1/3.2/3.3, R1, Qwen) en configuraciones de cero disparos (zero-shot) y pocos disparos (few-shot).

4. Resultados Clave

• Discrepancia ToM vs. WM: La mayoría de los modelos lograron una mayor precisión en tareas de Modelado del Mundo (WM) que en tareas de Teoría de la Mente (ToM). Esto sugiere que los LLM son mejores rastreando estados físicos que simulando las perspectivas subjetivas de otros.
• Efecto "Humano": Los modelos rindieron significativamente mejor en tareas WM que involucraban sujetos humanos en comparación con objetos inanimados, lo que sugiere que la presencia de "agentes" desencadena vías de razonamiento diferentes (y más precisas).
• Correlación con el Tamaño del Modelo:
  • En la familia Llama 3.1, hubo una correlación positiva clara entre el tamaño del modelo (parámetros) y el rendimiento en ToM.
  • DeepSeek R1 mostró la mayor precisión general en ToM y la brecha más pequeña entre el rendimiento de ToM y WM.
  • GPT-5.4 sobresalió en WM pero tuvo dificultades con ToM, destacando que el poder de razonamiento bruto no equivale automáticamente al razonamiento social.
• Fallo en la Prueba Sally-Anne: Cuando se probaron en una configuración estándar Sally-Anne, los modelos alcanzaron un 100% de precisión. Sin embargo, cuando se probaron en historias generadas aleatoriamente de la misma longitud, la precisión disminuyó significativamente (por ejemplo, a ~75-87%), confirmando que la prueba clásica es un mal indicador de ToM genuino debido a la contaminación de datos.
• Dependencia de Heurísticas:
  • Sesgo de Recencia: El estudio no encontró evidencia significativa de que los modelos dependan del sesgo de recencia (predecir la última ubicación conocida) como un modo de fallo primario; el rendimiento se mantuvo estable a través de diversas "distancias de engaño".
  • Heurística de la Primera Ubicación Común: Un patrón de error dominante fue predecir la ubicación donde los personajes primero se cruzaron, en lugar de rastrear sus movimientos reales.
  • Problemas de Longitud de Contexto: Los modelos con razonamiento pesado (como R1) fallaron frecuentemente debido a una longitud de contexto insuficiente al generar cadenas largas de pensamiento, lo que llevó a "rechazo del prompt" o errores alucinatorios.
• Complejidad: Aumentar el número de personajes en una historia no degradó significativamente el rendimiento de ToM para los modelos de primer nivel, lo que sugiere robustez en el manejo de grafos sociales complejos.

5. Significado y Trabajo Futuro

• Redefinición de Métricas de Referencia: El artículo argumenta que el campo debe alejarse de conjuntos de datos estáticos y potencialmente contaminados (como Sally-Anne) hacia métricas de referencia dinámicas y sintéticas como StorySim para evaluar verdaderamente las capacidades de los LLM.
• Implicaciones de Seguridad: La falta de una ToM robusta es una preocupación crítica de seguridad. Si un LLM no puede entender que un usuario tiene una perspectiva diferente o una intención oculta, podría fallar en detectar escenarios dañinos o manipular usuarios.
• Direcciones Futuras: Los autores sugieren utilizar StorySim para explorar escenarios más complejos, incluido el razonamiento contrafáctico, la atribución de objetivos y el modelado de preferencias. También destacan la necesidad de mejorar el manejo del contexto del modelo para soportar cadenas de razonamiento más profundas requeridas para tareas complejas de ToM.

En conclusión, el artículo demuestra que, aunque los LLM están mejorando, aún luchan con el salto cognitivo específico requerido para la Teoría de la Mente, a menudo dependiendo de heurísticas o fallando en distinguir entre estados objetivos del mundo y creencias subjetivas. StorySim proporciona la herramienta necesaria para medir y mejorar rigurosamente estas capacidades.