Cross-lingual robustness of LLM-brain alignment and its computational roots

Probleemstelling
Hoewel Large Language Models (LLM's) een robuust vermogen hebben aangetoond om neurale activiteit tijdens taalbegrip te voorspellen, blijven er enkele kritieke hiaten in het begrijpen van de aard van deze uitlijning. Ten eerste is het onduidelijk of de uitlijning tussen LLM's en de hersenen zich uitstrekt buiten het klassieke, links-lateraliseerde perisylvische taalnetwerk om subcorticale structuren en verspreide corticale functionele netwerken te omvatten. Ten tweede is de ruimtelijke overlap van deze uitlijningspatronen over typologisch verschillende talen (bijvoorbeeld Mandarijn, Engels, Frans) niet systematisch gekarakteriseerd. Ten derde worden de computationele wortels van deze uitlijning betwist: specifiek, of transformer-diepte werkelijk de hiërarchische organisatie van de hersenen weerspiegelt, en of voorspellende verwerking (surprisal) of informatiedruk (intrinsieke dimensionaliteit) de waargenomen neurale voorspelbaarheid drijft. Tot slot suggereert recent bewijs dat contextuele embeddings niet consequent beter presteren dan statische embeddings, wat de aanname uitdaagt dat contextgevoeligheid de primaire drijver is van neurale uitlijning.

Methodologie
De studie hanteerde een meertalig, heelhersenen-encodingframework met behulp van fMRI-data van 112 deelnemers die luisterden naar naturalistische verhalen ("De Kleine Prins") in drie talen: Mandarijn, Engels en Frans.

• Data: fMRI-data werden verkregen tijdens passief luisteren naar audioboeken. Preprocessing omvatte standaardpipelines (fMRIPrep), regressie van verstorende factoren, en mapping naar een corticale parcellatie van 400 parcels (Schaefer) en 16 subcorticale regio's (Melbourne Subcortex Atlas).
• Modellen: Zeven modellen werden gebruikt: één meertalige BERT (mBERT), drie monolinguale BERT's (één per taal), en drie statische FastText-modellen (één per taal).
• Encoding: Ridge-regressie werd gebruikt om model-embeddings (zowel statisch als contextueel) te mappen naar fMRI-tijdreeksen. Contextuele embeddings werden afgeleid van alle 12 transformer-lagen van mBERT, waarbij contextvensters werden gedefinieerd door volledige zinnen.
• Analyse:
  • Ruimtelijke Uitlijning: Significante gebieden van interesse (ROI's) werden geïdentificeerd via t-toetsen voor één steekproef met FDR-correctie. Overlap tussen talen werd gevisualiseerd op corticale oppervlakken.
  • Lagenanalyse: Paarsgewijze permutatietests beoordeelden verschillen in hersenscores tussen transformer-lagen. Preferente lagen voor elke ROI werden geïdentificeerd.
  • Computationele Metrieken: Om mechanistische hypothesen te toetsen, berekenden de auteurs per laag surprisal (voorspellende onzekerheid) en intrinsieke dimensionaliteit (ID) (representatieve compressie) voor mBERT. Deze metrieken werden vergeleken met de waargenomen profielen van hersenscores per laag.
  • Modelvergelijking: De prestaties van contextuele (mBERT) versus statische (FastText) embeddings werden vergeleken met behulp van permutatietests en lineaire gemengde-effectmodellen.

Belangrijkste Resultaten

1. Verspreide en Subcorticale Uitlijning: Op transformers gebaseerde modellen voorspelden neurale activiteit over een breed verspreid landschap, inclusief canonieke taalgebieden (IFG, STG, MTG), het Default Mode Network (DMN), limbische netwerken, en subcorticale structuren (caudatus, putamen, amygdala). Dit bevestigt dat LLM-uitlijning zich uitstrekt buiten het corticale taalnetwerk.
2. Taaloverstijgende Stabiliteit: Ruimtelijke uitlijningspatronen toonden aanzienlijke overlap tussen Mandarijn, Engels en Frans. Gedeelde significante regio's omvatten de posterior STG, MTG, IFG, IPL, PCC, mPFC, ACC, en de amygdala. Hoewel er enkele taal-specifieke variaties bestonden, werd een robuuste, taal-agnostische representatieve ruimte geïdentificeerd.
3. Stabiliteit over Lagen: In tegenstelling tot de hypothese van een strikte laag-naar-corticale hiërarchie, vond de studie geen systematische progressie van uitlijning van vroege sensorische regio's naar hogere orde gebieden over transformer-lagen. Ruimtelijke uitlijningspatronen bleven grotendeels stabiel over de modeldiepte. In sommige regio's presteerden vroege of intermediaire lagen vergelijkbaar met of beter dan diepere lagen.
4. Statische versus Contextuele Embeddings: In tegenstelling tot eerdere literatuur die suggereert dat contextuele embeddings beter presteren dan statische, vond deze studie dat statische FastText-embeddings vaak een hogere encoding-prestatie opleverden dan contextuele mBERT-embeddings over alle drie de talen.
5. Mismatch in Computationele Metrieken: Noch surprisal, noch intrinsieke dimensionaliteit (ID) weerspiegelden de waargenomen profielen van hersenscores per laag. Terwijl hersenscores een U-vormig profiel vertoonden over de lagen (piekend in intermediaire lagen), nam surprisal monotoon af, en piekte ID bij de 10e laag. Dit geeft aan dat voorspellende onzekerheid en representatieve compressie niet de primaire drijvers zijn van de waargenomen uitlijning.
6. Gevoeligheid voor Functionele Hiërarchie: Hoewel er geen progressie per laag was, weerspiegelde de grootte van hersenscores over functionele netwerken de grootschalige organisatiegradiënten van de hersenen. Uitlijning was het sterkst in transmodale netwerken (limbisch, ventrale attention, DMN) en zwakker in primaire sensorische/motorische netwerken, consistent met de principale corticale gradiënt.

Betekenis en Beweringen
Het artikel beweert dat hersen-LLM-uitlijning ruimtelijk robuust en taaloverstijgend stabiel is, en zich generaliseert over typologisch verschillende talen en uitstrekt tot subcorticale regio's. Echter, concluderen de auteurs met bescheidenheid dat deze uitlijning niet noodzakelijkerwijs een gedeelde hiërarchische computationele organisatie tussen transformers en het menselijk brein weerspiegelt.

Specifiek daagt de studie het beeld uit dat transformer-diepte de corticale hiërarchie weerspiegelt of dat uitlijning wordt gedreven door voorspellende verwerking (surprisal) of informatiedruk (ID). In plaats daarvan stellen de auteurs voor dat neurale voorspelbaarheid primair voortkomt uit verspreide lexicaal-semantische correspondenties die zich over talen generaliseren. De uitlijning kan gedeelde statistische structuren van natuurlijke taal weerspiegelen in plaats van gedeelde computationele doelen (zoals het minimaliseren van voorspellingsfouten of het comprimeren van informatie). De bevindingen suggereren dat, hoewel LLM's aspecten van de functionele hiërarchie van het brein vastleggen (bijvoorbeeld transmodaal versus sensorische verwerking), ze dit doen via mechanismen die verschillen van de specifieke per-laag computationele dynamiek die eerder werd gehypotheetiseerd.