Brain-LLM Alignment Tracks Training Data, Not Typology

Resumen Técnico: La Alineación Cerebro-LLM Rastrea los Datos de Entrenamiento, No la Tipología

Enunciado del Problema
Si bien la red lingüística del cerebro humano es neuroanatómicamente universal en 45 idiomas, la medida en que los Modelos de Lenguaje Grandes (LLM) se alinean con esta red a través de idiomas tipológicamente diversos sigue siendo incierta. Investigaciones anteriores han establecido una fuerte alineación cerebro-LLM utilizando casi exclusivamente datos en inglés, creando un posible punto ciego respecto a la universalidad de estas representaciones. Un factor de confusión crítico en la literatura existente es la incapacidad de distinguir si los patrones de alineación son impulsados por una inherente "ventaja del inglés", la distancia tipológica entre idiomas o la dominancia de idiomas específicos en los datos de entrenamiento de un modelo. Además, se desconoce si la variación interlingüística en la alineación se concentra en regiones de procesamiento sintáctico o semántico, una cuestión con implicaciones para la Gramática de Construcciones (CxG) y las teorías de la universalidad del lenguaje.

Metodología
El estudio utiliza datos de fMRI de 112 participantes escuchando El Principito en tres idiomas: inglés ($n=49$), chino mandarín ($n=35$) y francés ($n=28$). Los autores emplean un diseño experimental controlado que compara siete LLM:

1. Dominantes en inglés: GPT-2 Medium y LLaMA-2-7B.
2. Dominantes en chino: Baichuan2-7B.
3. Multilingües: mBERT, XLM-R Large, BLOOM-7B y Qwen2.5-7B.

Crucialmente, el estudio empareja a LLaMA-2-7B y Baichuan2-7B, los cuales comparten una arquitectura idéntica y conteos de parámetros (7B, 32 capas) pero difieren principalmente en la composición de sus idiomas de entrenamiento (~90% inglés frente a ~55% chino).

La tubería de análisis implica:

• Modelos de Codificación: Regresión ridge a nivel de vóxel para predecir la actividad neural a partir de los estados ocultos del LLM, normalizada contra los techos de ruido inter-sujeto.
• Métricas Tipológicas: Distancia tipológica cuantitativa calculada utilizando Grambank (195 características gramaticales binarias), complementada por WALS y lang2vec.
• Análisis de Tokenización: Medición de la "fertilidad de tokenización" (subpalabras por palabra ortográfica) para evaluar su impacto en la dinámica de capas.
• Marco Estadístico: Modelos de efectos mixtos lineales (LMM) que controlan la proporción de datos de entrenamiento, con remuestreo de conglomerados a nivel de idioma para abordar los grados de libertad limitados (3 idiomas).

Contribuciones y Resultados Clave

1. La Dominancia del Idioma de Entrenamiento Impulsa los Gradientes de Alineación:
   El hallazgo central es que la "ventaja del inglés" en la alineación cerebro-LLM es un artefacto de la composición de los datos de entrenamiento, no una propiedad inherente del inglés o del cerebro.

   • Inversión del Gradiente: Baichuan2-7B, dominante en chino, invierte el gradiente de alineación observado en LLaMA-2-7B. Baichuan2 se alinea mejor con los cerebros chinos ($\tilde{r} = .85$) y peor con el inglés ($\tilde{r} = .59$), mientras que LLaMA-2 muestra el patrón opuesto.
   • Uniformidad Multilingüe: Los modelos multilingües (por ejemplo, XLM-R) exhiben una alta uniformidad entre idiomas ($\tilde{r} \approx .81-.83$), lo que sugiere que el entrenamiento multilingüe crea representaciones que trascienden la dominancia de idiomas específicos.

2. La Distancia Tipológica Formal Covaría con la Alineación:
   Más allá de la dominancia del entrenamiento, la distancia tipológica formal predice independientemente la degradación de la alineación.

   • En modelos de efectos mixtos que controlan la proporción de entrenamiento, la distancia de Grambank se asocia con una disminución en el rendimiento de alineación ($\beta = -0.41$).
   • Los autores consideran esto un patrón descriptivo bien respaldado que requiere confirmación en $\ge10$ idiomas debido a los grados de libertad limitados.

3. La Fertilidad de Tokenización Explica los Desplazamientos de Capa:
   El estudio identifica un desplazamiento hacia la derecha en la capa de codificación óptima para el chino (con un pico en la capa 18 frente a la capa 15 para el inglés/francés).

   • El análisis de fertilidad de tokenización revela que el chino requiere significativamente más subpalabras por palabra (2.4 tokens/palabra para XLM-R) en comparación con el inglés (1.4 tokens/palabra).
   • Controlar por la fertilidad explica aproximadamente el 60% de este desplazamiento de capa, lo que indica que lo que parece ser una diferencia de procesamiento interlingüístico es sustancialmente un artefacto de tokenización.

4. Gradientes Neuronales Específicos de Región (Sintaxis vs. Semántica):
   El gradiente tipológico no es uniforme en toda la red lingüística.

   • El Giro Frontal Inferior (GFI), asociado con el procesamiento sintáctico, muestra un gradiente tipológico 2.3 veces más pronunciado que el Lóbulo Temporal Posterior (LTP), asociado con el procesamiento léxico-semántico.
   • Esto sugiere que la divergencia interlingüística se concentra en el procesamiento estructural/sintáctico, mientras que las representaciones semánticas permanecen más universales.

Significado y Afirmaciones
El artículo afirma resolver el debate sobre la "ventaja del inglés" al demostrar que los patrones de alineación son impulsados por la dominancia del idioma de entrenamiento. La aparente superioridad del inglés en estudios anteriores refleja la predominancia de modelos dominantes en inglés y datos de fMRI en inglés, no una relación neurocognitiva especial entre el inglés y el cerebro.

Los resultados apoyan una visión matizada de la universalidad: los procesadores de lenguaje biológicos y artificiales convergen en representaciones semánticas compartidas (universales entre idiomas y modelos) pero divergen en representaciones estructurales/sintácticas, donde la distancia tipológica y la distribución del entrenamiento importan. Los hallazgos también destacan que los artefactos de tokenización pueden hacerse pasar por diferencias de procesamiento interlingüístico, instando al campo a reportar la fertilidad de tokenización junto con los resultados de codificación.

Los autores notan explícitamente que, si bien el gradiente GFI/LTP es consistente con la Gramática de Construcciones (que postula variación en los pares forma-función), también es derivable de teorías genéricas de disociación sintaxis-semántica o cuentas de control cognitivo. Por lo tanto, el artículo afirma que los resultados son consistentes con la CxG pero no la prueban de manera única sin un análisis a nivel de construcción. De manera similar, el efecto de la distancia tipológica se presenta como un patrón descriptivo que requiere validación a mayor escala en lugar de una prueba causal definitiva.