Heterogeneous Neural Predictivity from Language Models During Naturalistic Comprehension

Resumen Técnico: Predictividad Neuronal Heterogénea de los Modelos de Lenguaje durante la Comprensión Naturalista

Planteamiento del Problema
Los modelos de lenguaje (LM) se han convertido en sondas cuantitativas eficaces para la comprensión del lenguaje naturalista, ya que sus representaciones (p. ej., embeddings contextuales, surprisal) predicen con éxito las respuestas neurales en fMRI, MEG, EEG y electrofisiología intracraneal. Sin embargo, existe una brecha crítica para distinguir entre diferentes niveles de inferencia soportados por esta predictividad. La predicción neural positiva puede surgir del seguimiento de propiedades generales del estímulo (temporales, acústicas o léxicas) en lugar de computaciones específicas de procesamiento del lenguaje o de una organización neural compartida. Debido a que los estímulos naturalistas contienen variables altamente intercorrelacionadas (tasa de palabras, envolvente acústica, posición en la oración, predictibilidad del token) y los modelos de lenguaje modernos son de alta dimensión y dependientes del contexto, no está claro si el éxito predictivo observado refleja ventajas específicas del modelo, una organización representacional compartida o una sensibilidad a candidatas computaciones lingüísticas. Este estudio aborda la necesidad de separar la "utilidad predictiva" de afirmaciones más fuertes sobre la "organización neural compartida" o las "interpretaciones de computación específica".

Metodología
El estudio realizó un análisis secundario de datos preprocesados y derivados de tres conjuntos de datos de lenguaje naturalista:

1. Brain Treebank: electrofisiología intracraneal (iEEG) de 10 participantes viendo películas naturalistas.
2. Podcast ECoG: respuestas intracraneales de 9 participantes escuchando podcasts hablados.
3. MEG-MASC: respuestas de MEG de 11 participantes escuchando historias naturalistas.

Diseño Experimental y Controles:

• Modelos: Se evaluaron ocho modelos de lenguaje congelados (DistilGPT-2, GPT-2, GPT-2 Medium, Pythia-160M/410M, Qwen2.5-0.5B/1.5B, Qwen3-1.7B).
• Codificación: Se entrenaron modelos de codificación lineal con regularización Ridge utilizando validación cruzada por bloques para prevenir la fuga temporal debida a estímulos autocorrelacionados.
• Cantidades Candidatas: Las características operacionalizadas incluyeron surprisal de palabras, transición semántica, actualización de contexto, integración de dependencias, límites sintácticos/discursivos y actualización de contexto.
• Familias de Control: Para aislar contribuciones específicas, el estudio empleó controles emparejados extensos, incluyendo:
  • Características de molestia (nuisance) (acústicas, temporales).
  • Características aleatorias con dimensionalidad emparejada.
  • Características aleatorias con autocorrelación emparejada.
  • Desplazamientos circulares, reinicios de oración, contextos revertidos y permutaciones de capa-etiqueta.
  • Mezclas de orden de tokens y mezclas de bloques dentro de la historia.
• Jerarquía de Análisis: El estudio separó la evidencia en distintos niveles:
  1. Predictividad portadora de información: Predicción positiva en el conjunto de prueba o ganancia sobre baselines de bajo nivel.
  2. Ventaja específica del modelo: Puntuaciones de modelos reales que superan a los controles emparejados competitivos.
  3. Organización representacional: Correspondencia del perfil de respuesta entre unidades neurales cruzadas.
  4. Especificidad computacional: Sensibilidad a la ablación de características del lado del modelo.
  5. Magnitud limitada por la fiabilidad: Efectos de perfil relativos a los techos de fiabilidad derivados del cerebro.
• Validación: La sensibilidad a nivel de componente se validó mediante controles de fiabilidad derivados del cerebro, controles de "cerebro como modelo" y simulaciones de señales implantadas (calibración graduada estocástica).

Contribuciones Clave

• Calibración de la Evidencia: El artículo establece una jerarquía rigurosa de evidencia, demostrando que la predicción neural positiva no implica automáticamente una organización neural compartida o mecanismos computacionales específicos.
• Cuantificación de la Heterogeneidad: Cuantifica la medida en que las características de los LM actúan como anotaciones neurales útiles frente a predictores específicos de la computación neural a través de diferentes conjuntos de datos, modelos y capas.
• Sensibilidad de Control: Proporciona una evaluación exhaustiva de cómo diversas familias de control (temporales, acústicas, aleatorias) impactan la interpretación de la predictividad entre el LM y el cerebro.

Resultos

• Predictividad Portadora de Información Generalizada: La predicción positiva en el conjunto de prueba y las ganancias sobre los baselines de molestia de bajo nivel fueron generalizadas en los resúmenes de nivel de fuente (5541/11232 filas tenían puntuaciones brutas positivas; 5819/11232 mejoraron sobre los baselines).
• Ventaja Específica del Modelo Limitada: Bajo un criterio estricto de "solo predictivo" (que requiere que el modelo real supere al control emparejado más competitivo), solo 67 de 432 filas de resumen evaluables pasaron.
  • Brain Treebank: 38/144 filas pasaron.
  • Podcast ECoG: 29/144 filas pasaron.
  • MEG-MASC: 0/144 filas pasaron.
  • Los contrastes medios de predictividad a nivel de participante fueron localizados en lugar de uniformemente positivos, con intervalos de confianza que a menudo cruzaban el cero.
• Organización del Perfil de Respuesta: Aunque las similitudes de perfil bruto modelo-cerebro fueron positivas, los deltas de perfil real menos control fueron negativos en los tres conjuntos de datos. Los controles emparejados (p. ej., características mezcladas o aleatorias) a menudo superaron a los modelos reales en la reproducción de la organización de las unidades neurales cruzadas. Esto sugiere que la organización de la respuesta de perfil compartido no está respaldada por los datos actuales.
• Sensibilidad de Ablación de Características: Las ablaciones del lado del modelo frecuentemente alteraron las puntuaciones de predicción (p. ej., 2133/2700 deltas positivos en Brain Treebank). Sin embargo, estas se interpretaron como sensibilidades diagnósticas en lugar de pruebas de correspondencia computacional específica, ya que carecían del soporte integrado necesario de las ventajas de los controles emparejados y la evidencia de perfil limitada por la fiabilidad.
• Límites de Fiabilidad: Los deltas de perfil normalizados por fiabilidad permanecieron no positivos, indicando que las similitudes brutas positivas no exceden el nivel de evidencia limitado por la fiabilidad.
• Validación: Las simulaciones de señales implantadas confirmaron la capacidad del pipeline para detectar señales conocidas (umbral de detección del 80% con fuerza sintética $\beta=1.49$), y los controles derivados del cerebro confirmaron la sensibilidad de los componentes al tiempo y las estructuras vinculadas.

Significado y Reivindicaciones
El artículo sostiene que las cantidades derivadas de los modelos de lenguaje son útiles predictores neurales y anotaciones informativas para la actividad neural durante la comprensión del habla y el texto natural. Sin embargo, separa explícitamente la utilidad predictiva de las afirmaciones sobre la organización neural compartida o las computaciones de procesamiento del lenguaje.

• Afirmaciones Modestas: Los hallazgos respaldan la utilidad de las características de los LM como "predictores neurales heterogéneos", pero no apoyan la conclusión de que estos modelos comparten la organización representacional del cerebro o los mecanismos computacionales específicos para el procesamiento del lenguaje bajo la cobertura actual de datos derivados.
• Límites de Interpretación: El estudio argumenta que la predicción positiva por sí sola es insuficiente para conclusiones teóricas. Afirmaciones más fuertes requieren evidencia indexada conjuntamente a través de los criterios de predictividad, perfil de respuesta, ablación de características y límites de fiabilidad, lo cual no estuvo plenamente disponible en la cobertura de datos actual.
• Dirección Futura: El artículo postula que la evaluación futura de cerebro-IA debe reportar por separado estos distintos niveles de evidencia para evitar confundir la utilidad predictiva con explicaciones mecánicas. Hace un llamado a futuros conjuntos de datos con contrastes indexados conjuntamente para permitir interpretaciones integradas completamente co-indexadas.