Brain-LLM Alignment Tracks Training Data, Not Typology

Technische Samenvatting: Brain–LLM Alignment Tracks Training Data, Not Typology

Probleemstelling
Hoewel het taalnetwerk van het menselijk brein neuroanatomisch universeel is over 45 talen heen, is de mate waarin Large Language Models (LLM's) met dit netwerk overeenkomen over typologisch diverse talen onduidelijk. Eerdere onderzoek heeft sterke brain–LLM-overeenkomsten bijna uitsluitend vastgesteld met behulp van Engelse data, wat een potentieel blinde vlek creëert met betrekking tot de universaliteit van deze representaties. Een kritieke verstorende factor in de bestaande literatuur is het onvermogen om te onderscheiden of overeenkomstpatronen worden gedreven door een inherent "Engels voordeel", de typologische afstand tussen talen, of de dominantie van specifieke talen in de trainingsdata van een model. Bovendien is onbekend of cross-linguïstische variatie in overeenkomst geconcentreerd is in syntactische of semantische verwerkingsgebieden, een vraag met implicaties voor Construction Grammar (CxG) en theorieën over taalsuniversaliteit.

Methodologie
De studie maakt gebruik van fMRI-data van 112 deelnemers die luisterden naar Le Petit Prince in drie talen: Engels ($n=49$), Mandarijn Chinees ($n=35$) en Frans ($n=28$). De auteurs hanteren een gecontroleerd experimenteel ontwerp waarbij ze zeven LLM's vergelijken:

1. Engels-dominant: GPT-2 Medium en LLaMA-2-7B.
2. Chinees-dominant: Baichuan2-7B.
3. Meertalig: mBERT, XLM-R Large, BLOOM-7B en Qwen2.5-7B.

Cruciaal is dat de studie LLaMA-2-7B en Baichuan2-7B koppelt, die identieke architectuur en parameteraantallen delen (7B, 32 lagen) maar voornamelijk verschillen in de samenstelling van de trainings-talen (~90% Engels versus ~55% Chinees).

De analysepijplijn omvat:

• Encoding-modellen: Voxelwise ridge-regressie om neurale activiteit te voorspellen vanuit LLM verborgen staten, genormaliseerd tegen inter-subject ruisplafonds.
• Typologische metrieken: Kwantitatieve typologische afstand berekend met Grambank (195 binaire grammaticale kenmerken), aangevuld met WALS en lang2vec.
• Tokenisatie-analyse: Meting van "tokenisatie-fruitbaarheid" (subwoord-tokens per orthografisch woord) om de impact op laaddynamiek te beoordelen.
• Statistisch kader: Lineaire mixed-effects modellen (LMM) die controleren voor de verhouding trainingsdata, met cluster-bootstrap resampling op taalniveau om beperkte vrijheidsgraden aan te pakken (3 talen).

Belangrijkste Bijdragen en Resultaten

1. Dominantie van Trainingsdata Drijft Overeenkomstgradiënten:
   De centrale bevinding is dat het "Engels voordeel" in brain–LLM-overeenkomst een artefact is van de samenstelling van trainingsdata, geen inherente eigenschap van Engels of het brein.

   • Omkering van Gradiënt: Het Chinees-dominante Baichuan2-7B keert de overeenkomstgradiënt om die bij LLaMA-2-7B wordt waargenomen. Baichuan2 stemt het beste overeen met Chinese hersenen ($\tilde{r} = .85$) en het slechtste met Engels ($\tilde{r} = .59$), terwijl LLaMA-2 het omgekeerde patroon vertoont.
   • Meertalige Uniformiteit: Meertalige modellen (bijv. XLM-R) vertonen hoge uniformiteit over talen heen ($\tilde{r} \approx .81-.83$), wat suggereert dat meertalige training representaties creëert die specifieke taaldominantie overstijgen.

2. Formele Typologische Afstand Covarieert met Overeenkomst:
   Buiten trainingsdominantie voorspelt formele typologische afstand onafhankelijk degradatie van overeenkomst.

   • In mixed-effects modellen die controleren voor trainingsverhouding, wordt Grambank-afstand geassocieerd met een afname in overeenkomstprestaties ($\beta = -0.41$).
   • De auteurs behandelen dit als een goed onderbouwd beschrijvend patroon dat bevestiging vereist over $\ge10$ talen vanwege beperkte vrijheidsgraden.

3. Tokenisatie-fruitbaarheid Verklaart Laadverschuivingen:
   De studie identificeert een verschuiving naar rechts in de optimale encoding-laag voor Chinees (piekend bij laag 18 versus laag 15 voor Engels/Frans).

   • Tokenisatie-fruitbaarheidsanalyse toont aan dat Chinees aanzienlijk meer subwoord-tokens per woord vereist (2.4 tokens/woord voor XLM-R) vergeleken met Engels (1.4 tokens/woord).
   • Controleren voor fruitbaarheid verklaart ongeveer 60% van deze laadverschuiving, wat aangeeft dat wat lijkt op een cross-linguïstisch verwerkingsverschil grotendeels een tokenisatie-artefact is.

4. Gebieds-specifieke Neurale Gradiënten (Syntaxis versus Semantiek):
   De typologische gradiënt is niet uniform over het taalnetwerk.

   • De Inferior Frontale Gyrus (IFG), geassocieerd met syntactische verwerking, vertoont een typologische gradiënt die 2.3 keer steiler is dan de Posterioor Temporale Lobus (PTL), geassocieerd met lexico-semantische verwerking.
   • Dit suggereert dat cross-linguïstische divergentie geconcentreerd is in structurele/syntactische verwerking, terwijl semantische representaties universeler blijven.

Betekenis en Claims
Het artikel claimt de "Engels voordeel"-debat op te lossen door aan te tonen dat overeenkomstpatronen worden gedreven door dominantie van trainings-talen. De schijnbare superioriteit van Engels in eerdere studies weerspiegelt de overheersing van Engels-dominante modellen en Engelse fMRI-data, niet een speciale neurocognitieve relatie tussen Engels en het brein.

De resultaten ondersteunen een genuanceerd beeld van universaliteit: biologische en kunstmatige taalprocessors convergeren op gedeelde semantische representaties (universeel over talen en modellen) maar divergeren in structurele/syntactische representaties, waar typologische afstand en trainingsverdeling belangrijk zijn. De bevindingen benadrukken ook dat tokenisatie-artefacten kunnen lijken op cross-linguïstische verwerkingsverschillen, wat de sector ertoe aanzet tokenisatie-fruitbaarheid naast encoding-resultaten te rapporteren.

De auteurs merken expliciet op dat hoewel de IFG/PTL-gradiënt consistent is met Construction Grammar (die variatie in vorm-functie koppelingen postuleert), deze ook afleidbaar is uit generieke syntaxis–semantiek dissociatie-theorieën of cognitieve controle-rekeningen. Daarom claimt het artikel dat de resultaten consistent zijn met CxG, maar deze niet uniek bewijzen zonder analyse op constructieniveau. Evenzo wordt het effect van typologische afstand gepresenteerd als een beschrijvend patroon dat grootschalige validatie vereist in plaats van een definitief causaal bewijs.