Cross-lingual robustness of LLM-brain alignment and its computational roots

Enunciado del Problema
Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado una capacidad robusta para predecir la actividad neural durante la comprensión del lenguaje, persisten varias lagunas críticas en la comprensión de la naturaleza de esta alineación. En primer lugar, no está claro si la alineación LLM-cerebro se extiende más allá de la clásica red del lenguaje perisilviana, lateralizada en el hemisferio izquierdo, para abarcar estructuras subcorticales y redes funcionales corticales distribuidas. En segundo lugar, la superposición espacial de estos patrones de alineación a través de idiomas tipológicamente distintos (por ejemplo, mandarín, inglés, francés) no ha sido caracterizada sistemáticamente. En tercer lugar, las raíces computacionales de esta alineación son objeto de debate: específicamente, si la profundidad del transformador refleja verdaderamente la organización jerárquica del cerebro, y si el procesamiento predictivo (sorpresa) o la compresión de información (dimensionalidad intrínseca) impulsan la predictividad neural observada. Finalmente, la evidencia reciente sugiere que las incrustaciones contextuales pueden no superar consistentemente a las incrustaciones estáticas, desafiando la suposición de que la sensibilidad al contexto es el motor principal de la alineación neural.

Metodología
El estudio empleó un marco de codificación de todo el cerebro multilingüe utilizando datos de fMRI de 112 participantes que escuchaban historias naturalistas ("El Principito") en tres idiomas: mandarín, inglés y francés.

• Datos: Se adquirieron datos de fMRI durante la escucha pasiva de audiolibros. El preprocesamiento implicó pipelines estándar (fMRIPrep), regresión de factores de confusión y mapeo a una parcelación cortical de 400 parcelas (Schaefer) y 16 regiones subcorticales (Atlas de Subcorteza de Melbourne).
• Modelos: Se utilizaron siete modelos: un BERT multilingüe (mBERT), tres BERT monolingües (uno por idioma) y tres modelos FastText estáticos (uno por idioma).
• Codificación: Se utilizó regresión de crestas para mapear las incrustaciones del modelo (tanto estáticas como contextuales) a las series temporales de fMRI. Las incrustaciones contextuales se derivaron de las 12 capas del transformador de mBERT, con ventanas de contexto definidas por oraciones completas.
• Análisis:
  • Alineación Espacial: Las regiones de interés (ROI) significativas se identificaron mediante pruebas t de una muestra con corrección FDR. La superposición entre idiomas se visualizó en superficies corticales.
  • Análisis por Capas: Pruebas de permutación pareadas evaluaron las diferencias en las puntuaciones cerebrales a través de las capas del transformador. Se identificaron las capas preferidas para cada ROI.
  • Métricas Computacionales: Para probar hipótesis mecanicistas, los autores calcularon la sorpresa (incertidumbre predictiva) y la dimensionalidad intrínseca (ID) (compresión representacional) por capas para mBERT. Estas métricas se compararon con los perfiles observados de puntuaciones cerebrales por capas.
  • Comparación de Modelos: El rendimiento contextual (mBERT) frente al estático (FastText) se comparó utilizando pruebas de permutación y modelos lineales de efectos mixtos.

Resultados Clave

1. Alineación Distribuida y Subcortical: Los modelos basados en transformadores predijeron la actividad neural en un amplio paisaje distribuido, incluidas las áreas canónicas del lenguaje (IFG, STG, MTG), la Red de Modo Predeterminado (DMN), redes límbicas y estructuras subcorticales (cuerpo estriado, putamen, amígdala). Esto confirma que la alineación LLM se extiende más allá de la red cortical del lenguaje.
2. Estabilidad Translingüística: Los patrones de alineación espacial mostraron una superposición sustancial entre mandarín, inglés y francés. Las regiones significativas compartidas incluyeron el STG posterior, MTG, IFG, IPL, PCC, mPFC, ACC y la amígdala. Aunque existían algunas variaciones específicas del idioma, se identificó un espacio representacional robusto y agnóstico al idioma.
3. Estabilidad a Través de las Capas: Contrario a la hipótesis de una jerarquía estricta de capa a corteza, el estudio no encontró una progresión sistemática de la alineación desde regiones sensoriales tempranas hasta áreas de orden superior a través de las capas del transformador. Los patrones de alineación espacial permanecieron mayormente estables a través de la profundidad del modelo. En algunas regiones, las capas tempranas o intermedias rindieron de manera comparable o mejor que las capas más profundas.
4. Incrustaciones Estáticas vs. Contextuales: Contrario a la literatura anterior que sugiere que las incrustaciones contextuales superan a las estáticas, este estudio encontró que las incrustaciones estáticas de FastText a menudo produjeron un rendimiento de codificación más alto que las incrustaciones contextuales de mBERT en los tres idiomas.
5. Desajuste de Métricas Computacionales: Ni la sorpresa ni la dimensionalidad intrínseca (ID) reflejaron los perfiles observados de puntuaciones cerebrales por capas. Mientras que las puntuaciones cerebrales exhibieron un perfil en forma de U a través de las capas (con un pico en las capas intermedias), la sorpresa disminuyó monótonamente y la ID alcanzó su punto máximo en la décima capa. Esto indica que la incertidumbre predictiva y la compresión representacional no son los impulsores principales de la alineación observada.
6. Sensibilidad a la Jerarquía Funcional: Aunque faltó una progresión por capas, la magnitud de las puntuaciones cerebrales a través de las redes funcionales reflejó los gradientes organizativos a gran escala del cerebro. La alineación fue más fuerte en redes transmodales (límbica, atención ventral, DMN) y más débil en redes sensoriales/motoras primarias, lo cual es consistente con el gradiente cortical principal.

Significado y Afirmaciones
El artículo afirma que la alineación cerebro-LLM es espacialmente robusta y translingüísticamente estable, generalizándose a través de idiomas tipológicamente distintos y extendiéndose a regiones subcorticales. Sin embargo, los autores concluyen modestamente que esta alineación no refleja necesariamente una organización computacional jerárquica compartida entre los transformadores y el cerebro humano.

Específicamente, el estudio desafía la visión de que la profundidad del transformador refleja la jerarquía cortical o que la alineación es impulsada por el procesamiento predictivo (sorpresa) o la compresión de información (ID). En cambio, los autores proponen que la predictividad neural surge principalmente de correspondencias léxico-semánticas distribuidas que se generalizan a través de los idiomas. La alineación puede reflejar estructuras estadísticas compartidas del lenguaje natural en lugar de objetivos computacionales compartidos (como minimizar el error de predicción o comprimir información). Los hallazgos sugieren que, aunque los LLM capturan aspectos de la jerarquía funcional del cerebro (por ejemplo, procesamiento transmodal frente a sensorial), lo hacen a través de mecanismos distintos de las dinámicas computacionales específicas por capas hipotetizadas anteriormente.