Do Language Models Align with Brains? Prediction Scores Are Not Enough

Resumen Técnico: "¿Se Alinean los Modelos de Lenguaje con el Cerebro? Las Puntuaciones Predictivas No Son Suficientes"

Enunciado del Problema
El artículo aborda una ambigüedad crítica en NeuroAI: la confluencia de la utilidad predictiva con la alineación estructural o mecanística. Si bien los modelos de lenguaje grandes (LLM) se utilizan rutinariamente para predecir respuestas neuronales ante estímulos lingüísticos naturalistas, una puntuación de predicción alta no implica necesariamente que las representaciones internas del modelo capturen computaciones relevantes para el cerebro. Una característica del modelo podría predecir datos neuronales simplemente porque comparte propiedades estadísticas de bajo nivel con el estímulo (por ejemplo, autocorrelación temporal, frecuencia léxica o sincronización del estímulo) en lugar de reflejar la estructura organizativa del cerebro. Los autores argumentan que las prácticas actuales de evaluación a menudo sobreinterpretan las puntuaciones de codificación positivas como evidencia de alineación biológica, sin controles suficientes para descartar estas explicaciones inespecíficas.

Metodología: El Marco L-PACT
Para resolver esta ambigüedad, los autores introducen L-PACT (Prueba de Límites de Turing, Causal, de Patrón de Alineación y Predictiva del Lenguaje). L-PACT no es una única puntuación de referencia, sino una jerarquía estructurada en cuatro niveles y con puertas, diseñada para separar la evidencia predictiva débil de las afirmaciones sólidas de alineación. El marco opera sobre un conjunto bloqueado de artefactos neuronales y derivados de modelos procedentes de conjuntos de datos primarios (Brain Treebank, Podcast ECoG, MEG-MASC) y aplica una regla de decisión conjuntiva: una fila de modelo debe superar los cuatro niveles simultáneamente para ser considerada una candidata de alineación.

Los cuatro niveles de evidencia son:

1. Adecuación Predictiva (Nivel 1): Determina si las características reales del modelo mejoran la predicción neuronal retenida en comparación con las líneas base de confusión y los controles severos. Los controles severos incluyen características aleatorias con dimensionalidad coincidente, características aleatorias coincidentes con autocorrelación, desplazamientos circulares, características de reinicio de oración, características de contexto invertido, permutaciones de etiquetas de capa y mezclas de orden de tokens.
2. Adecuación Relacional (Nivel 2): Evalúa si los perfiles de alineación de modelo a cerebro reproducen los patrones de alineación de cerebro a cerebro. En lugar de simplemente coincidir con un único objetivo, el modelo debe replicar la organización relacional entre unidades neuronales (por ejemplo, cómo se relaciona la Unidad A con la Unidad B) mejor de lo que lo hacen los perfiles de control severo.
3. Adecuación de Despojo Mecanístico Contrafactual (Nivel 3): Evalúa si la eliminación de un mecanismo candidato (por ejemplo, sorpresa, transición semántica, límite sintáctico) de la representación del modelo produce un déficit selectivo para coincidir con objetivos neuronales. Esto prueba la necesidad específica del mecanismo dentro del predictor, distinguiendo la degradación específica de la pérdida genérica de calidad de la característica.
4. Adecuación Acotada por Fiabilidad (Nivel 4): Normaliza la evidencia del modelo frente a los techos de fiabilidad cerebro-cerebro (por ejemplo, mitad de división, de ejecución a ejecución, o de sujeto a sujeto). Las puntuaciones del modelo deben acercarse a la variabilidad observada entre las propias mediciones cerebrales para ser consideradas fiables.

Contribuciones Clave

• Marco L-PACT: Una arquitectura de evaluación rigurosa y auditada en origen que separa las puntuaciones predictivas de las afirmaciones relacionales, específicas de mecanismo y acotadas por fiabilidad. Define explícitamente la "alineación" como una afirmación calificada por puertas que requiere robustez ante controles, organización relacional y especificidad de mecanismo, distinta de la mera "correspondencia".
• Elegibilidad de Conjuntos de Datos Auditados en Origen: El estudio implementa una auditoría estricta de la cadena de artefactos, clasificando los conjuntos de datos como primarios, secundarios, diagnósticos o solo de validación, basándose en la disponibilidad de series temporales cerebrales, eventos de palabras, características de modelo, controles severos y estimaciones de fiabilidad. Cabe destacar que el popular conjunto de datos NaturalStories se excluye de la inferencia primaria debido a cadenas de artefactos incompletas.
• Controles de Sensibilidad del Ensayo: Para asegurar que los resultados negativos no se deban a fallos del ensayo, los autores implementaron controles positivos que no alteran las decisiones reales del modelo. Estos incluyen:
  • Controles de fiabilidad cerebro-cerebro: Verificar una estructura estable en datos cerebrales de mitad de división o de ejecución a ejecución.
  • Controles de cerebro-como-modelo: Probar si un perfil cerebral de una ejecución/sujeto puede predecir otro, superando la puerta relacional.
  • Puertas de bajo nivel neural y de envoltura acústica: Verificar la detección de señales de inicio de palabra, tasa de palabra y envoltura acústica.
  • Simulación determinista de señal implantada: Un control sintético donde se inyecta una señal conocida, demostrando que las puertas de L-PACT pueden superarse cuando está presente la estructura.

Resultados
El análisis cubrió un conjunto bloqueado de 146 filas de decisión integradas derivadas de 414 filas de control predictivo, 2.304 relacionales, 4.320 de despojo de mecanismo y 420 de techo cerebro-cerebro.

• Ninguna Aprobación Integrada: Cero filas reales de modelo superaron la regla de decisión integrada de L-PACT. Todas las 146 filas integradas se clasificaron como explicadas por controles.
• Degradación de Positivos Aparentes: Bajo reglas menos estrictas de criterio único, surgieron muchos positivos aparentes (por ejemplo, 35 filas con puntuaciones de Pearson crudas positivas, 1.224 filas con similitud de perfil cruda positiva). Sin embargo, L-PACT degradó estos resultados porque no sobrevivieron a los controles severos, no reprodujeron la estructura relacional, no mostraron necesidad específica de mecanismo ni se acercaron a los techos de fiabilidad cerebro-cerebro.
• Sensibilidad del Ensayo Confirmada: Los controles positivos tuvieron éxito. Los controles de fiabilidad cerebro-cerebro mostraron una estructura estable; los controles de cerebro-como-modelo superaron la puerta relacional para Brain Treebank (744/864 filas); las puertas neuronales y de envoltura acústica de bajo nivel detectaron las señales esperadas; y la simulación sintética de señal implantada superó las cuatro puertas. Esto confirma que el ensayo es capaz de detectar estructura cuando está presente, validando el resultado negativo para los modelos de lenguaje reales.
• Fallos Específicos:
  • Predictivo: Las puntuaciones reales de los modelos fueron frecuentemente igualadas o superadas por controles severos (por ejemplo, desplazamientos circulares o características aleatorias coincidentes con autocorrelación).
  • Relacional: Los perfiles de modelo a cerebro no reprodujeron los patrones de alineación de cerebro a cerebro mejor que los perfiles mezclados o de control.
  • Despojo de Mecanismo: Eliminar mecanismos no produjo déficits selectivos; las caídas observadas fueron inespecíficas o no respaldadas por puertas aguas arriba.
  • Fiabilidad: La evidencia del modelo no se acercó al techo de fiabilidad cerebro-cerebro.

Significado y Afirmaciones
La afirmación central del artículo es que las puntuaciones de predicción por sí solas son evidencia insuficiente para la alineación estructural o específica de mecanismo entre los modelos de lenguaje y el cerebro. Los autores enfatizan que esto es una restricción sobre la fuerza de la evidencia, no un veredicto universal de que los modelos nunca pueden alinearse con el cerebro.

• Distinción de Afirmaciones: El estudio distingue entre correspondencia (asociación estadística reproducible útil para la predicción) y alineación (una afirmación más fuerte que requiere robustez ante controles, organización relacional y especificidad de mecanismo).
• Resultados Negativos Accionables: Al convertir los positivos aparentes en una "taxonomía auditable explicada por controles", L-PACT proporciona un estándar claro para el trabajo futuro. Una afirmación positiva futura debe localizarse en la puerta específica que satisface por primera vez en lugar de afirmarse a partir de una puntuación agregada.
• Postura Conservadora: Los autores declaran explícitamente que no afirman que todas las posibles comparaciones modelo-cerebro sean negativas, ni que los modelos actuales nunca se alineen. La conclusión se limita al conjunto de artefactos derivados analizado, a los modelos específicos probados (incluyendo variantes de DistilGPT-2, GPT-2, Pythia y Qwen) y a los controles configurados. El marco está diseñado para juzgar afirmaciones fuertes, lo que significa que intercambia sensibilidad por interpretabilidad para evitar la sobreinterpretación de la utilidad predictiva.

En resumen, el artículo argumenta que sin controles severos, pruebas de perfiles relacionales, despojo de mecanismos y acotamiento de fiabilidad, las puntuaciones positivas de predicción neuronal corren el riesgo de hacer que los modelos computacionales parezcan más informativos biológicamente de lo que la evidencia respalda. L-PACT proporciona la infraestructura metodológica para separar estas afirmaciones.