Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs

1. Planteamiento del Problema

La investigación actual sobre el razonamiento de estados mentales (Teoría de la Mente) en Modelos de Lenguaje (LMs) enfrenta limitaciones metodológicas críticas que obstaculizan la validación de teorías cognitivas humanas y la evaluación precisa de las capacidades de los LMs:

• Muestras reducidas y cerradas: La mayoría de los estudios se basan en un número pequeño de modelos de código cerrado (closed-source), lo que impide la reproducibilidad y el análisis de propiedades internas.
• Riesgo de contaminación de datos: Los modelos cerrados dificultan la detección de si los datos de prueba han estado presentes en su conjunto de entrenamiento, cuestionando la validez de los resultados.
• Falta de generalización: Estudiar solo uno o dos modelos no permite determinar si los hallazgos son generalizables o específicos de una arquitectura particular.
• Hipótesis central: El artículo investiga si la exposición a las estadísticas distribucionales del lenguaje es suficiente para explicar el razonamiento de estados mentales en humanos, utilizando LMs como "organismos modelo" para probar esta hipótesis.

2. Metodología

Los autores replicaron y extendieron un estudio previo (Trott et al., 2023) utilizando una muestra mucho más amplia y diversa.

• Tarea: Se utilizó la Tarea de Falsa Creencia (False Belief Task). En esta tarea, un personaje mueve un objeto de una ubicación inicial ("Start") a una final ("End") sin que otro personaje lo vea. El modelo debe inferir dónde cree el personaje que está el objeto (en la ubicación inicial, incorrecta, o final, correcta).
• Manipulaciones:
  • Estado de Conocimiento (Knowledge State): Creencia Verdadera vs. Falsa.
  • Pista de Conocimiento (Knowledge Cue): Uso de verbos no factivos explícitos ("John thinks...") vs. pistas implícitas ("John looks for...").
• Modelos (Muestra): Se evaluaron 41 modelos de peso abierto (open-weight) de 5 familias distintas (Gemma, Llama 3, OLMo, Pythia, Qwen 2.5).
  • Se incluyeron variantes "Base" e "Instruct" (ajustadas con instrucciones).
  • El rango de parámetros varió desde millones hasta decenas de miles de millones.
• Procedimiento:
  • Los modelos se ejecutaron localmente en hardware NVIDIA DGX-H200.
  • Se calculó la Probabilidad Logarítmica (Log Prob) de los tokens que representan la ubicación inicial vs. la final.
  • Se derivó un Log Odds (diferencia de log-probabilidades) para medir la sensibilidad del modelo al estado de conocimiento.
  • Se compararon los resultados con datos humanos públicos (613 participantes) del estudio original.
• Análisis Estadístico: Se utilizaron modelos lineales de efectos mixtos (LMM) y regresiones para analizar la sensibilidad, la precisión y el poder predictivo psicométrico (PPP).

3. Contribuciones Clave

1. Escala sin precedentes: Es uno de los primeros estudios que evalúa sistemáticamente una muestra grande (41 modelos) de LMs abiertos en una tarea de cognición social, permitiendo análisis de varianza entre modelos.
2. Validación de la Hipótesis Distribucional: Proporciona una línea base cuantitativa sobre qué efectos humanos pueden ser explicados puramente por las estadísticas del lenguaje (mediante la distribución de efectos de los LMs).
3. Nueva Hipótesis Cognitiva: Genera y prueba una hipótesis novedosa sobre el papel de los verbos no factivos (como "pensar") en la atribución de creencias falsas, tanto en humanos como en máquinas.
4. Reproducibilidad: Al usar modelos de peso abierto y publicar código/datos, se elimina la opacidad de los modelos cerrados y facilita la ciencia reproducible.

4. Resultados Principales

A. Sensibilidad al Estado de Conocimiento (RQ1)

• Solo el 34% (14 de 41) de los modelos mostraron sensibilidad estadísticamente significativa a las manipulaciones del estado de conocimiento.
• La dirección del efecto fue correcta: los modelos asignaron mayor probabilidad a la ubicación incorrecta en condiciones de falsa creencia.
• Precisión: Los mejores modelos alcanzaron un 74.5% de precisión, superando a modelos anteriores (como GPT-3), pero aún por debajo del rendimiento humano (~82.7%).

B. Explicación del Efecto Humano (RQ2)

• Ningún modelo "explicó completamente" (explain away) el efecto de los humanos.
• Incluso al controlar por las estadísticas del lenguaje (Log Odds del modelo), la manipulación del estado de conocimiento seguía explicando una varianza significativa en las respuestas humanas.
• Conclusión: Las estadísticas distribucionales del lenguaje, por sí solas, son insuficientes para explicar la sensibilidad humana completa a la falsa creencia.

C. Factores Predictivos del Rendimiento (RQ3 y RQ4)

• Tamaño del Modelo: El número de parámetros fue el único predictor significativo del rendimiento.
  • Cada orden de magnitud de aumento en parámetros se asoció con un aumento del ~8% en la precisión.
  • Los modelos más grandes también mostraron un mayor Poder Predictivo Psicométrico (PPP), es decir, sus patrones de error se correlacionaron más fuertemente con los patrones de error humanos.
• Ajuste de Instrucciones: Las variantes "Instruct" no mostraron una ventaja consistente sobre las versiones "Base" en esta tarea específica, aunque hubo variabilidad.

D. Sesgo por Verbos No Factivos (RQ5 - Hallazgo Novel)

• Se descubrió que tanto humanos como LMs muestran un sesgo hacia atribuir creencias falsas cuando se utilizan verbos no factivos explícitos ("John thinks...") en comparación con pistas implícitas ("John looks...").
• Comparación de Efectos:
  • Para el efecto principal de Estado de Conocimiento, el efecto humano fue mucho mayor que cualquier efecto observado en LMs.
  • Para el efecto de Pista de Conocimiento (verbos no factivos), la magnitud del efecto humano cayó dentro de la distribución de los tamaños de efecto de los LMs.
• Implicación: Esto sugiere que las estadísticas distribucionales del lenguaje sí pueden explicar el sesgo hacia verbos no factivos (posiblemente debido a una "anti-presuposición" aprendida: "X piensa P" implica que P podría no ser cierto), pero no explican la capacidad completa de razonamiento de estados mentales.

5. Significado e Implicaciones

• Límites de las Estadísticas del Lenguaje: El estudio demuestra que, aunque los LMs pueden aprender ciertas regularidades lingüísticas relacionadas con la mente (como el uso de verbos epistémicos), la capacidad humana de razonar sobre estados mentales requiere factores adicionales más allá de la exposición al lenguaje (ej. interacción social, grounding, restricciones biológicas).
• Eficiencia de Muestreo: Los humanos logran un rendimiento superior en la tarea de falsa creencia con una fracción minúscula de datos lingüísticos en comparación con los LMs, lo que sugiere una eficiencia de muestreo superior en la cognición humana.
• Metodología Futura: El uso de grandes muestras de modelos abiertos es esencial para distinguir entre capacidades inherentes a la arquitectura/entrenamiento y artefactos específicos de un modelo.
• Teoría Cognitiva: Los resultados apoyan la idea de que la exposición al lenguaje contribuye al razonamiento mental, pero no es el único mecanismo subyacente. La asimetría encontrada (humano > LM en estado de conocimiento; humano $\approx$ LM en pistas verbales) ofrece una vía para descomponer los componentes de la Teoría de la Mente.

En resumen, el paper establece que los LMs modernos muestran una sensibilidad emergente a los estados mentales que escala con el tamaño, pero que esta sensibilidad es cualitativamente diferente y menos robusta que la humana, excepto en aspectos puramente lingüísticos (como el uso de verbos no factivos), donde las estadísticas del lenguaje parecen ser suficientes para explicar el comportamiento humano.