Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models

Resumen Técnico: Trayectorias de Desarrollo del Modelado de Situaciones y la Mentalización en Modelos de Lenguaje Transformer

Planteamiento del Problema
Estudios recientes sugieren que los Grandes Modelos de Lenguaje (LLM) exhiben sensibilidad a los estados de creencia de los agentes descritos en el texto, medida típicamente mediante la Tarea de Falsa Creencia (FBT, por sus siglas en inglés). Sin embargo, las persistentes preocupaciones sobre la validez de constructo cuestionan si estos modelos poseen realmente capacidades de "mentalización" o si simplemente están explotando heurísticas superficiales y dependientes de la tarea. Los autores argumentan que las evaluaciones transversales son insuficientes para resolver estas dudas. En su lugar, proponen una perspectiva de desarrollo para rastrear la emergencia del comportamiento de mentalización a través de las etapas de entrenamiento, examinando si dicho comportamiento sigue una secuencia de desarrollo lógica (precedida por un modelado de situación básico) y si permanece robusto bajo condiciones de pruebas de estrés.

Metodología
El estudio emplea un marco de análisis de desarrollo a través de múltiples puntos de control de entrenamiento de dos suites de modelos de pesos abiertos: Olmo2 (específicamente 1B, 7B y 13B de parámetros) y Pythia (que oscila entre 14M y 12B de parámetros). La suite Pythia sirve como control para modelos con significativamente menos tokens de entrenamiento (un orden de magnitud menos que sus contrapartes de Olmo2).

El diseño experimental involucra dos índices de comportamiento primarios:

1. Mentalización (Tarea de Falsa Creencia): Utilizando un conjunto de estímulos de 192 pasajes (Trott et al., 2023), los modelos predicen la ubicación de búsqueda de un agente "Objetivo" que posee una Creencia Verdadera o una Falsa Creencia sobre la ubicación de un objeto. La tarea varía según el Estado de Conocimiento (Creencia Verdadera/Falsa) y la Pista de Conocimiento (referencia explícita a creencias, ej. "piensa", vs. implícita, ej. "busca").
2. Modelado de Situación (Pruebas de Estrés): Para evaluar la coherencia de la representación interna del modelo de la escena, los autores modificaron los estímulos para consultar propiedades fácticas que no requieren mentalización:
   • Seguimiento de la Creencia del Antagonista: Consultar la ubicación donde el "Antagonista" (quien siempre conoce la ubicación real) buscaría.
   • Seguimiento de la Estructura Causal: Consultar las ubicaciones iniciales/finales de los objetos y la identidad de los agentes que los movieron.

El rendimiento se mide mediante el logaritmo de las probabilidades (log-odds) de los tokens correctos frente a los incorrectos. Los autores utilizan modelos lineales de efectos mixtos para analizar la interacción entre el tamaño del modelo, los tokens de entrenamiento acumulados y las propiedades del estímulo a través de las etapas de preentrenamiento y postentrenamiento (SFT, DPO, Ajuste de Instrucciones).

Contribuciones Clave

• Mapeo de la Trayectoria de Desarrollo: El artículo proporciona una línea de tiempo granular de cuándo emerge el rendimiento de la FBT en relación con el tamaño del modelo y el volumen de entrenamiento, yendo más allá de las evaluaciones estáticas de "punto de control final".
• Análisis de Precondición: Investiga si el "modelado de situación" (seguimiento de propiedades fácticas básicas) precede y sustenta la "mentalización" (razonamiento sobre falsas creencias), una hipótesis fundamentada en la psicología del desarrollo.
• Marco de Pruebas de Estrés: El estudio introduce pruebas de estrés específicas para sondear la coherencia de los modelos de situación, revelando que los modelos pueden tener éxito en tareas de mentalización complejas mientras fallan en consultas fácticas más simples sobre el mismo escenario.

Resultos Clave

1. Emergencia de la Mentalización: El rendimiento por encima del azar en la FBT no está garantizado únicamente por el tamaño del modelo. Requiere una combinación de capacidad de modelo suficiente (ej. Olmo2 7B/13B) y un volumen de entrenamiento sustancial. Los modelos subentrenados (Pythia) operan al nivel del azar independientemente de su tamaño, mientras que los modelos Olmo2 más pequeños y bien entrenados no logran aprovechar eficazmente sus datos de entrenamiento.
2. Emergencia Tardía y Fragilidad: El comportamiento de mentalización emerge relativamente tarde en el preentrenamiento. Crucialmente, el rendimiento es altamente frágil:
   • Los modelos son sensibles a los verbos no fácticos (ej. "piensa"). Incluso en condiciones de Creencia Verdadera, la presencia de "piensa" aumenta las atribuciones de falsa creencia.
   • Las intervenciones de postentrenamiento (SFT, DPO) mejoran el rendimiento específicamente en la condición más diagnóstica (Falsa Creencia, Implícita), pero no eliminan la fragilidad respecto a los verbos no fácticos.
3. El Modelado de Situación Precede a la Mentalización: La precisión al reportar propiedades fácticas básicas (Modelado de Situación) generalmente precede y supera la precisión de la FBT. Esto respalda la hipótesis de que el seguimiento de los hechos de la escena es una precondición para el razonamiento de creencias.
4. Incoherencia en los Modelos de Situación: A pesar de la precedencia del desarrollo, los modelos de situación resultan incoherentes en aspectos específicos:
   • Sesgo del Antagonista: Cuando se pregunta sobre el Antagonista (quien siempre conoce la verdad), Olmo2 13B asigna incorrectamente las probabilidades basándose en el estado de conocimiento del Objetivo y se ve sesgado por verbos no fácticos, lo que sugiere un fallo en mantener una representación consistente de la omnisciencia del Antagonista.
   • Confusión de Identidad del Agente: El modelo tiene dificultades para identificar al agente que movió un objeto a la ubicación inicial (el Objetivo), tendiendo a menudo hacia el Antagonista, a pesar de que puede rastrear con éxito las creencias del Objetivo en la FBT.

Significancia y Reivindicaciones
El artículo sostiene que estos resultados ofrecen una visión matizada de las capacidades de los LLM, sugiriando que, si bien los modelos más grandes y suficientemente entrenados construyen modelos de situación "parcialmente coherentes" en una secuencia de desarrollo apropiada, estos modelos muestran una "fragilidad sorprendente".

Los autores argumentan que el comportamiento observado probablemente refleja una colección de sensibilidades superpuestas a características superficiales (como los verbos no fácticos) y patrones de entrenamiento específicos, en lugar de un constructo de "Teoría de la Mente" unificado y robusto. El estudio concluye que la entrada lingüística por sí sola, incluso a escalas masivas, puede ser insuficiente para producir un comportamiento de mentalización generalizable.

Metodológicamente, el artículo aboga por la adopción de enfoques de desarrollo y de pruebas de estrés como un estándar para evaluar las capacidades de los LLM. Al trazar la ontogenia de los comportamientos junto con sus precondiciones y probar su robustez, los investigadores pueden distinguir mejor entre capacidades genuinas de tipo cognitivo y heurísticas superficiales, abordando así las largas preocupaciones sobre la validez de constructo en la evaluación de IA.