Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points

Resumen Técnico: Más allá de Sally-Anne: Evaluando la Teoría de la Mente en LLMs mediante Puntos de Schelling Epistémicos

Planteamiento del Problema
Las evaluaciones actuales de la Teoría de la Mente (ToM) en Modelos de Lenguaje de Gran Escala (LLMs) dependen predominantemente de pruebas cognitivas estáticas basadas en texto, adaptadas de la psicología humana, como la tarea de falsa creencia de Sally-Anne. Los autores argumentan que estos parámetros de referencia sufren dos fallos metodológicos críticos:

1. Contaminación por Preentrenamiento: Los LLMs pueden "engañar" estas pruebas reconociendo las estructuras de las tareas o pistas lingüísticas de sus datos de entrenamiento en lugar de inferir genuinamente los estados mentales.
2. Falta de Robustez Funcional: El alto rendimiento en parámetros de referencia estáticos no indica necesariamente la capacidad de aplicar la ToM en entornos dinámicos y naturalistas. Específicamente, no está claro si los modelos pueden rastrear coherentemente los estados mentales para tomar decisiones contextualmente apropiadas en escenarios interactivos.

La literatura existente sugiere que, si bien los LLMs funcionan bien en estas tareas, la robustez de sus inferencias y su capacidad de razonamiento social generalizado e interactivo no han sido verificadas.

Metodología: La Tarea de Schelling de (A)simetría Epistémica (EAST)
Para abordar estas limitaciones, los autores introducen EAST, un juego de coordinación de dos jugadores basado en texto, diseñado para evaluar la ToM funcional.

• Mecánica del Juego: Dos agentes LLM, cada uno con una identidad (persona) distinta (por ejemplo, un sastre y un cirujano), se les presenta una lista de cuatro palabras: dos palabras específicas de la identidad ($w_{p1}, w_{p2}$), una palabra compartida ($w_s$) y una palabra no relacionada de alta frecuencia ($w_u$). Los agentes deben seleccionar independientemente la misma palabra sin comunicación.
• Condiciones Epistémicas: La tarea varía la "transparencia epistémica" entre los jugadores para probar diferentes niveles de razonamiento social:
  • Simétrica: Ambos jugadores conocen las identidades del otro. La solución normativa es la palabra compartida ($w_s$).
  • Asimétrica: Solo el Jugador 1 conoce la identidad del Jugador 2; el Jugador 2 es "ciego". La solución normativa requiere que el Jugador 1 modele la ignorancia del Jugador 2 y seleccione la palabra de la identidad del Jugador 2 ($w_{p2}$), mientras que el Jugador 2 debe anticipar la acomodación del Jugador 1.
  • Conocimiento Cero: Ningún jugador conoce la identidad del otro. La solución normativa es la palabra no relacionada ($w_u$), ya que cualquier asociación específica de la identidad es epistémicamente arbitraria.
• Configuración Experimental: El estudio evaluó 14 modelos, que van desde 1B hasta 31B de parámetros (incluyendo modelos de pesos abiertos como Gemma, Llama, Mistral, Qwen y DeepSeek) y modelos de frontera (Gemini 3.1 Pro). Cada modelo jugó 90 juegos a través de 10 escenarios, tres condiciones epistémicas y tres estrategias de prompting (Directo, Cadena de Pensamiento Estándar y ToM Estratégica).
• Análisis: Los autores emplearon un enfoque de "LLM como juez" para anotar los rastros de razonamiento según la profundidad de la ToM (que va desde la inferencia superficial hasta la ToM recursiva) y la coherencia con las restricciones epistémicas. También categorizaron los fallos de coordinación en fallos cognitivos específicos, incluyendo errores de identidad/semántica, errores de rastreo epistémico y fallos de ejecución estratégica.

Resultados Clave

1. Brecha de Capacidad: Existe una brecha de rendimiento significativa entre los modelos de frontera y los modelos más pequeños o de pesos abiertos. Solo los modelos de frontera (específicamente Gemini 3.1 Pro) navegaron con éxito las demandas de razonamiento social en todas las condiciones. Los modelos más débiles fallaron sistemáticamente en las condiciones de Asimetría y Conocimiento Cero, que son más cognitivamente exigentes.
2. El Rastreo Epistémico como Cuello de Botella: Se identificó que el principal motor del fallo fue el error de rastreo epistémico. Los modelos frecuentemente confundieron su propio conocimiento privado con el conocimiento mutuo o fallaron al representar con precisión el estado epistémico del compañero. Por ejemplo, en la condición Asimétrica, los jugadores que "sabían" fallaron al no tener en cuenta la ignorancia del jugador "ciego", seleccionando la palabra de su propia identidad en lugar de la del compañero.
3. Razonamiento vs. Rendimiento: Aunque el prompting de Cadena de Pensamiento (CoT) y de ToM Estratégica redujo los emparejamientos "accidentales" o heurísticos, el razonamiento profundo solo se tradujo en una coordinación exitosa para los modelos más capaces. Los modelos más débiles a menudo incurrieron en un razonamiento de ToM incoherente que contradecía las restricciones epistémicas del prompt.
4. Limitaciones de los Parámetros de Referencia Estáticos: El estudio demuestra que el alto rendimiento en los benchmarks tradicionales no se correlaciona con la capacidad de realizar una inferencia social robusta en entornos interactivos donde los agentes deben suprimir los sesgos autorreferenciales para lograr la coordinación.

Significancia y Contribuciones
El artículo realiza cuatro contribuciones primarias:

1. Benchmark EAST: Introduce un nuevo benchmark multi-agente que mitiga la contaminación por preentrenamiento y evalúa el razonamiento social robusto bajo diversas restricciones epistémicas.
2. Evidencia Empírica de Brechas: Revela una brecha de capacidad significativa en el razonamiento social robusto en el panorama actual de modelos, destacando que incluso los modelos grandes tienen dificultades con la ToM funcional en entornos de información asimétrica.
3. Análisis Diagnóstico: A través del análisis de los rastros de razonamiento, identifica los erroos de rastreo epistémico (específicamente el fallo al desacoplar el conocimiento propio del conocimiento ajeno) como un cuello de botella crítico.
4. Direcciones Futuras: Los autores proponen la robustez epistémica —la capacidad de mantener representaciones robustas de los estados epistémicos de otros y desacoplarlos de los propios— como un objetivo concreto para la evaluación y alineación futura de modelos. Sugieren que el entrenamiento en entornos interactivos y multi-agente donde la toma de perspectiva es intrínseca al éxito puede ser más efectivo que el ajuste fino en narrativas estáticas.

Los autores mantienen una postura modesta, señalando que EAST es una primera iteración consolidada del paradigma. Reconocen limitaciones como el uso de díadas homogéneas (auto-juego) y la falta de información engañosa, sugiriendo que el trabajo futuro debería explorar interacciones heterogéneas y ruido adversarial para estresar aún más estas capacidades.