Cross-lingual robustness of LLM-brain alignment and its computational roots

Enunciato del Problema
Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano dimostrato una capacità robusta di prevedere l'attività neurale durante la comprensione del linguaggio, rimangono diverse lacune critiche nella comprensione della natura di tale allineamento. In primo luogo, non è chiaro se l'allineamento LLM-cervello si estenda oltre la classica rete linguaria perisilviana, lateralizzata a sinistra, per includere strutture sottocorticali e reti funzionali corticali distribuite. In secondo luogo, la sovrapposizione spaziale di questi pattern di allineamento tra lingue tipologicamente distinte (ad esempio, mandarino, inglese, francese) non è stata caratterizzata sistematicamente. In terzo luogo, le radici computazionali di questo allineamento sono oggetto di dibattito: nello specifico, se la profondità dei transformer rispecchi davvero l'organizzazione gerarchica del cervello e se l'elaborazione predittiva (sorpresa) o la compressione dell'informazione (dimensionalità intrinseca) guidino la prevedibilità neurale osservata. Infine, evidenze recenti suggeriscono che gli embedding contestuali potrebbero non superare costantemente gli embedding statici, mettendo in discussione l'assunzione che la sensibilità al contesto sia il motore principale dell'allineamento neurale.

Metodologia
Lo studio ha adottato un framework di codifica dell'intero cervello multilingue utilizzando dati fMRI provenienti da 112 partecipanti che ascoltavano storie naturalistiche ("Il Piccolo Principe") in tre lingue: mandarino, inglese e francese.

• Dati: I dati fMRI sono stati acquisiti durante l'ascolto passivo di audiolibri. Il pre-processing ha coinvolto pipeline standard (fMRIPrep), regressione dei confondenti e mappatura su una parcellizzazione corticale a 400 parcelle (Schaefer) e 16 regioni sottocorticali (Atlante Melbourne Subcortex).
• Modelli: Sono stati utilizzati sette modelli: un BERT multilingue (mBERT), tre BERT monolingue (uno per lingua) e tre modelli FastText statici (uno per lingua).
• Codifica: La regressione ridge è stata utilizzata per mappare gli embedding del modello (sia statici che contestuali) alle serie temporali fMRI. Gli embedding contestuali sono stati derivati da tutti i 12 livelli del transformer di mBERT, con finestre di contesto definite da intere frasi.
• Analisi:
  • Allineamento Spaziale: Le regioni di interesse (ROI) significative sono state identificate tramite test t su un campione con correzione FDR. La sovrapposizione tra le lingue è stata visualizzata sulle superfici corticali.
  • Analisi per Livelli: Test di permutazione a coppie hanno valutato le differenze nei punteggi cerebrali tra i livelli del transformer. Sono state identificate le livelli preferiti per ciascuna ROI.
  • Metriche Computazionali: Per testare ipotesi meccanicistiche, gli autori hanno calcolato, per mBERT, la sorpresa (incertezza predittiva) e la dimensionalità intrinseca (ID) (compressione rappresentazionale) a livello di strato. Queste metriche sono state confrontate con i profili osservati dei punteggi cerebrali per livello.
  • Confronto tra Modelli: Le prestazioni degli embedding contestuali (mBERT) rispetto a quelli statici (FastText) sono state confrontate utilizzando test di permutazione e modelli lineari misti ad effetti.

Risultati Chiave

1. Allineamento Distribuito e Sottocorticale: I modelli basati su transformer hanno previsto l'attività neurale su un ampio paesaggio distribuito, incluse le aree linguistiche canoniche (IFG, STG, MTG), la Rete in Modalità Default (DMN), le reti limbiche e le strutture sottocorticali (nucleo caudato, putamen, amigdala). Ciò conferma che l'allineamento LLM si estende oltre la rete linguaria corticale.
2. Stabilità Cross-Linguistica: I pattern di allineamento spaziale hanno mostrato una sostanziale sovrapposizione tra mandarino, inglese e francese. Le regioni significative condivise includevano lo STG posteriore, MTG, IFG, IPL, PCC, mPFC, ACC e l'amigdala. Sebbene esistessero alcune variazioni specifiche della lingua, è stato identificato uno spazio rappresentativo robusto e agnostico rispetto alla lingua.
3. Stabilità tra i Livelli: Contrariamente all'ipotesi di una gerarchia rigorosa livello-corteccia, lo studio non ha rilevato una progressione sistematica dell'allineamento dalle regioni sensoriali primarie alle aree di ordine superiore attraverso i livelli del transformer. I pattern di allineamento spaziale sono rimasti sostanzialmente stabili attraverso la profondità del modello. In alcune regioni, i livelli iniziali o intermedi hanno performato in modo comparabile o migliore rispetto ai livelli più profondi.
4. Embedding Statici vs. Contestuali: Contrariamente alla letteratura precedente che suggerisce che gli embedding contestuali superino quelli statici, questo studio ha rilevato che gli embedding FastText statici hanno spesso prodotto prestazioni di codifica superiori rispetto agli embedding contestuali mBERT in tutte e tre le lingue.
5. Disallineamento delle Metriche Computazionali: Né la sorpresa né la dimensionalità intrinseca (ID) hanno rispecchiato i profili osservati dei punteggi cerebrali per livello. Mentre i punteggi cerebrali hanno mostrato un profilo a U attraverso i livelli (con picchi nei livelli intermedi), la sorpresa è diminuita in modo monotono e l'ID ha raggiunto il picco al 10° livello. Ciò indica che l'incertezza predittiva e la compressione rappresentazionale non sono i motori principali dell'allineamento osservato.
6. Sensibilità alla Gerarchia Funzionale: Sebbene fosse assente una progressione per livelli, la magnitudine dei punteggi cerebrali attraverso le reti funzionali ha riflesso i gradienti su larga scala dell'organizzazione del cervello. L'allineamento è stato più forte nelle reti transmodali (limbiche, attenzione ventrale, DMN) e più debole nelle reti sensoriali/motorie primarie, coerentemente con il principale gradiente corticale.

Significato e Affermazioni
Il paper afferma che l'allineamento cervello-LLM è spazialmente robusto e cross-linguisticamente stabile, generalizzando tra lingue tipologicamente distinte e estendendosi nelle regioni sottocorticali. Tuttavia, gli autori concludono con modestia che tale allineamento non riflette necessariamente un'organizzazione computazionale gerarchica condivisa tra i transformer e il cervello umano.

Nello specifico, lo studio sfida la visione secondo cui la profondità del transformer rispecchia la gerarchia corticale o che l'allineamento sia guidato dall'elaborazione predittiva (sorpresa) o dalla compressione dell'informazione (ID). Invece, gli autori propongono che la prevedibilità neurale derivi principalmente da corrispondenze lessico-semantiche distribuite che si generalizzano tra le lingue. L'allineamento potrebbe riflettere strutture statistiche condivise del linguaggio naturale piuttosto che obiettivi computazionali condivisi (come la minimizzazione dell'errore di previsione o la compressione dell'informazione). I risultati suggeriscono che, sebbene gli LLM catturino aspetti della gerarchia funzionale del cervello (ad esempio, elaborazione transmodale rispetto a sensoriale), lo fanno attraverso meccanismi distinti dalle dinamiche computazionali specifiche per livello ipotizzate in precedenza.