Brain-LLM Alignment Tracks Training Data, Not Typology

Sintesi Tecnica: L'Allineamento Cerebro-LLM Traccia i Dati di Addestramento, Non la Tipologia

Enunciato del Problema
Mentre la rete linguistica del cervello umano è neuroanatomica universale in 45 lingue, rimane incerto il grado in cui i Modelli Linguistici di Grande Dimensione (LLM) si allineano a tale rete attraverso lingue tipologicamente diverse. La ricerca precedente ha stabilito un forte allineamento cervello-LLM quasi esclusivamente utilizzando dati in inglese, creando un potenziale punto cieco riguardo all'universalità di queste rappresentazioni. Un fattore confondente critico nella letteratura esistente è l'incapacità di distinguere se i modelli di allineamento siano guidati da un intrinseco "vantaggio inglese", dalla distanza tipologica tra le lingue o dal dominio di lingue specifiche nei dati di addestramento di un modello. Inoltre, è sconosciuto se la variazione cross-linguistica nell'allineamento sia concentrata nelle regioni di elaborazione sintattica o semantica, una questione con implicazioni per la Grammatica Costruttiva (CxG) e le teorie dell'universalità linguistica.

Metodologia
Lo studio utilizza dati fMRI da 112 partecipanti che ascoltavano Il Piccolo Principe in tre lingue: inglese ($n=49$), cinese mandarino ($n=35$) e francese ($n=28$). Gli autori impiegano un disegno sperimentale controllato che confronta sette LLM:

1. Dominanti in inglese: GPT-2 Medium e LLaMA-2-7B.
2. Dominanti in cinese: Baichuan2-7B.
3. Multilingue: mBERT, XLM-R Large, BLOOM-7B e Qwen2.5-7B.

Crucialmente, lo studio accoppia LLaMA-2-7B e Baichuan2-7B, che condividono architettura identica e conteggio dei parametri (7B, 32 livelli) ma differiscono principalmente nella composizione della lingua di addestramento (~90% inglese vs ~55% cinese).

La pipeline di analisi prevede:

• Modelli di Codifica: Regressione ridge voxel per voxel per prevedere l'attività neurale dagli stati nascosti degli LLM, normalizzata rispetto ai limiti di rumore inter-soggetto.
• Metriche Tipologiche: Distanza tipologica quantitativa calcolata utilizzando Grambank (195 caratteristiche grammaticali binarie), integrata da WALS e lang2vec.
• Analisi della Tokenizzazione: Misurazione della "fertilità della tokenizzazione" (sottoparole per parola ortografica) per valutarne l'impatto sulla dinamica dei livelli.
• Quadro Statistico: Modelli lineari a effetti misti (LMM) che controllano la proporzione dei dati di addestramento, con ricampionamento bootstrap a grappolo a livello di lingua per affrontare i gradi di libertà limitati (3 lingue).

Principali Contributi e Risultati

1. Il Dominio della Lingua di Addestramento Guida i Gradienti di Allineamento:
   La scoperta centrale è che il "vantaggio inglese" nell'allineamento cervello-LLM è un artefatto della composizione dei dati di addestramento, non una proprietà intrinseca dell'inglese o del cervello.

   • Inversione del Gradiente: Il Baichuan2-7B dominante in cinese inverte il gradiente di allineamento osservato in LLaMA-2-7B. Baichuan2 si allinea meglio con i cervelli cinesi ($\tilde{r} = .85$) e peggio con l'inglese ($\tilde{r} = .59$), mentre LLaMA-2 mostra il pattern opposto.
   • Uniformità Multilingue: I modelli multilingue (ad es. XLM-R) mostrano un'alta uniformità tra le lingue ($\tilde{r} \approx .81-.83$), suggerendo che l'addestramento multilingue crea rappresentazioni che trascendono il dominio specifico di una lingua.

2. La Distanza Tipologica Formale Covaria con l'Allineamento:
   Oltre al dominio dell'addestramento, la distanza tipologica formale predice indipendentemente il degrado dell'allineamento.

   • Nei modelli a effetti misti che controllano la proporzione di addestramento, la distanza Grambank è associata a una diminuzione delle prestazioni di allineamento ($\beta = -0.41$).
   • Gli autori considerano questo un modello descrittivo ben supportato che richiede conferma su $\ge10$ lingue a causa dei gradi di libertà limitati.

3. La Fertilità della Tokenizzazione Spiega gli Spostamenti di Livello:
   Lo studio identifica uno spostamento verso destra nel livello di codifica ottimale per il cinese (che raggiunge il picco al livello 18 rispetto al livello 15 per inglese/francese).

   • L'analisi della fertilità della tokenizzazione rivela che il cinese richiede significativamente più sottoparole per parola (2.4 token/parola per XLM-R) rispetto all'inglese (1.4 token/parola).
   • Il controllo per la fertilità spiega circa il 60% di questo spostamento di livello, indicando che ciò che appare come una differenza di elaborazione cross-linguistica è sostanzialmente un artefatto della tokenizzazione.

4. Gradienti Neurali Specifici per Regione (Sintassi vs Semantica):
   Il gradiente tipologico non è uniforme attraverso la rete linguistica.

   • Il Giro Frontale Inferiore (IFG), associato all'elaborazione sintattica, mostra un gradiente tipologico 2,3 volte più ripido del Lobo Temporale Posteriore (PTL), associato all'elaborazione lessico-semantica.
   • Ciò suggerisce che la divergenza cross-linguistica è concentrata nell'elaborazione strutturale/sintattica, mentre le rappresentazioni semantiche rimangono più universali.

Significato e Affermazioni
Il paper afferma di risolvere il dibattito sul "vantaggio inglese" dimostrando che i modelli di allineamento sono guidati dal dominio della lingua di addestramento. La presunta superiorità dell'inglese negli studi precedenti riflette la predominanza di modelli dominanti in inglese e di dati fMRI in inglese, non una speciale relazione neurocognitiva tra inglese e cervello.

I risultati supportano una visione sfumata dell'universalità: i processori linguistici biologici e artificiali convergono su rappresentazioni semantiche condivise (universali tra lingue e modelli) ma divergono nelle rappresentazioni strutturali/sintattiche, dove la distanza tipologica e la distribuzione dell'addestramento contano. Le scoperte evidenziano inoltre che gli artefatti della tokenizzazione possono mascherarsi come differenze di elaborazione cross-linguistica, sollecitando il settore a riportare la fertilità della tokenizzazione insieme ai risultati di codifica.

Gli autori notano esplicitamente che, sebbene il gradiente IFG/PTL sia coerente con la Grammatica Costruttiva (che postula variazioni nelle coppie forma-funzione), è anche derivabile da teorie generiche di dissociazione sintassi-semantica o da account di controllo cognitivo. Pertanto, il paper afferma che i risultati sono coerenti con la CxG ma non la provano in modo unico senza un'analisi a livello di costruzione. Analogamente, l'effetto della distanza tipologica è presentato come un modello descrittivo che richiede una validazione su larga scala piuttosto che una prova causale definitiva.