When word order matters: human brains represent sentence meaning differently from large language models

Een studie met 7T fMRI-data toont aan dat, hoewel transformer-modellen beter presteren dan modellen zonder woordvolgorde, hun representatie van zinsbetekenis significant afwijkt van die van het menselijk brein en inferieur is aan modellen die expliciete structurele relaties tussen woorden coderen.

De kern

Titel: Waarom de hersenen anders "lezen" dan een supercomputer

Stel je voor dat je twee boeken hebt. Het ene is geschreven door een slimme, maar iets te letterlijke robot. Het andere is geschreven door een mens. Als je de robot vraagt: "Wat is het verhaal over?", geeft hij een antwoord dat klinkt als een mens. Maar als je hem vraagt: "Wat is het verschil tussen deze twee zinnen?", faalt hij vaak op een heel specifieke manier.

Dat is precies wat dit nieuwe wetenschappelijke onderzoek ontdekt. De onderzoekers wilden weten: denken computers (zoals de AI die je nu gebruikt) op dezelfde manier als onze hersenen als het gaat om taal?

Het korte antwoord is: Nee, niet helemaal. Computers zijn goed in woorden, maar ze missen het gevoel voor de structuur van een zin, iets wat onze hersenen heel goed doen.

Hier is hoe ze dit hebben ontdekt, verteld met een paar simpele vergelijkingen:

1. Het Experiment: De "Woord-Verwisselings" Test

De onderzoekers bedachten een slimme truc. Ze maakten 108 zinnen, maar ze waren heel zorgvuldig ontworpen.

• De "Robot-Valstrik": Ze namen een zin zoals: "De cameraman bracht de apparatuur naar de regisseur."
• Vervolgens maakten ze een tweede zin met exact dezelfde woorden, maar in een andere volgorde: "De regisseur bracht de cameraman naar de apparatuur."

Voor een mens is het duidelijk: in de eerste zin is de cameraman de actie-uitvoerder. In de tweede zin is de regisseur de actie-uitvoerder. De betekenis is totaal anders, maar de woorden zijn hetzelfde.

Voor een computer (een zogenaamde "Transformer", zoals de technologie achter ChatGPT) zijn dit twee zinnen die heel veel op elkaar lijken. De computer kijkt vooral naar de woorden die erin staan, niet zozeer naar wie wat doet.

2. De Hersen-Scan: Wat gebeurt er in je hoofd?

De onderzoekers lieten 30 mensen deze zinnen lezen terwijl ze in een MRI-scan lagen (een soort supersterke camera voor je hersenen). Ze keken naar welke delen van de hersenen oplichtten.

Het resultaat was verrassend:

• De "Woord-lijst" computer: Als je een computer neemt die alleen naar woorden kijkt (zonder te kijken naar de volgorde), leek die totaal niet op de hersenen.
• De "Moderne AI" (Transformers): Deze waren beter, maar nog steeds niet goed genoeg. Ze zagen de zinnen met verwisselde woorden als "bijna hetzelfde", terwijl de hersenen dachten: "Nee, dit is compleet anders!"
• De "Structuur-Expert": De computer die het beste leek op de hersenen, was een model dat speciaal was gebouwd om te kijken naar wie wat doet (de rollen in de zin). Deze "rol-georiënteerde" computer zag de verwisseling van woorden als een groot verschil, precies zoals onze hersenen dat doen.

3. De Metafoor: De Lego-blokken

Om het nog duidelijker te maken, stel je voor dat woorden Lego-blokken zijn.

• De moderne AI (Transformer) kijkt naar de kleur en vorm van de blokken. Als je een rood blok en een blauw blok hebt, denkt de AI: "Ah, dit is een huisje." Als je de blokken verwisselt, denkt hij: "Nog steeds een huisje, misschien ietsje anders, maar het is wel hetzelfde."
• De menselijke hersenen kijken naar hoe de blokken aan elkaar geklikt zijn. Als je de blokken verwisselt, is het huisje nu een bootje. De hersenen zien direct: "De structuur is veranderd, dus de betekenis is veranderd."

De onderzoekers ontdekten dat onze hersenen zich meer gedragen als de Lego-bouwer die de structuur ziet, en minder als de AI die alleen naar de kleur van de blokken kijkt.

4. Waarom is dit belangrijk?

Vroeger dachten veel mensen: "Oh, AI wordt zo slim dat hij precies denkt als een mens." Dit onderzoek zegt: Niet zo snel.

AI is fantastisch in het voorspellen van het volgende woord en het genereren van tekst die klinkt als menselijk taalgebruik. Maar als het gaat om het diepe begrijpen van wat er gebeurt in een zin (de logica en de rollen), werkt het anders dan onze hersenen.

De conclusie in één zin:
Onze hersenen zijn niet alleen een woordenboek; ze zijn een architect. Ze bouwen betekenis op door te kijken naar de structuur en de verhoudingen tussen de woorden, terwijl de slimste AI's van vandaag nog steeds te veel leunen op een simpele lijst van woorden.

Dit betekent dat we nog veel te leren hebben over hoe onze eigen hersenen werken, en dat we misschien nog een stukje weg hebben voordat computers echt "menselijk" gaan denken.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLMs) gebaseerd op de Transformer-architectuur (zoals GPT-4, Llama, Gemini) mensachtige taal kunnen genereren, is het onduidelijk of ze taalkundige betekenis op een mensachtige manier coderen en verwerken. Bestaande neuroimaging-onderzoeken die taalmodellen vergelijken met hersenactiviteit, gebruiken vaak natuurlijke stimuli die niet gecontroleerd zijn voor specifieke linguïstische variabelen. Dit maakt het moeilijk om te onderscheiden of modellen hersenactiviteit voorspellen vanwege lexicale informatie (woordbetekenis) of vanwege structurele informatie (zinsopbouw en syntaxis). Een cruciale vraag is of Transformer-modellen zinsstructuur op een manier representeren die vergelijkbaar is met het menselijk brein, of dat ze voornamelijk afhankelijk zijn van woordvolgorde en contextuele patronen zonder diepe structurele integratie.

Methodologie

De auteurs voerden een gecontroleerd fMRI-experiment uit met een unieke experimentele opzet om lexicale en structurele variabelen te ontkoppelen.

1. Stimuli-ontwerp:

   • Er werden 108 handgemaakte zinnen ontwikkeld, verdeeld in zes blokken.
   • Binnen elk blok werden zinnen systematisch gemodificeerd om verschillende niveaus van lexicale en semantische gelijkenis te creëren, met name door elementen te verwisselen (bijv. onderwerp en object ruilen).
   • Dit resulteerde in een "block-diagonale" dataset waarin zinsparen een hoge lexicale overlap hebben maar een fundamenteel verschillende betekenis door de verwisseling van semantische rollen (bijv. "De cameraman bracht de apparatuur naar de regisseur" vs. "De regisseur bracht de cameraman naar de apparatuur").

2. Computational Modellen:
   De auteurs vergeleken vier verschillende benaderingen voor zinrepresentatie:

   • Mean: Een baseline-model dat zinsbetekenis berekent als het elementsgewijze gemiddelde van statische woord-embeddings (negeert woordvolgorde en grammatica).
   • Transformer: Een ensemble van vijf verschillende Transformer-modellen (o.a. OpenAI, Llama 3, ERNIE, SentBERT).
   • Graph: Modellen gebaseerd op Abstract Meaning Representation (AMR), specifiek met de Smatch-metriek, die de structuur van semantische grafieken vergelijkt.
   • Hybrid (VerbNet-CN): Een model dat statische woord-embeddings combineert met expliciete semantische rollen (Agent, Patient, Theme, etc.) afgeleid van een semantische parser.

3. Data-verzameling:

   • fMRI: 30 deelnemers lasen de zinnen in een 7T fMRI-scanner. De hersenactiviteit werd gemeten en verwerkt met GLMSingle om responspatronen per stimulus te schatten.
   • Gedragsdata: 502 online deelnemers beoordeelden de semantische gelijkenis van zinsparen op een schaal van 1-7.
   • Analyse: Representational Similarity Analysis (RSA) werd gebruikt om de correlatie te berekenen tussen de representatieruimtes van de modellen en de neurale/gedragsmatige representaties, waarbij gecontroleerd werd voor zinslengte.

Belangrijkste Bijdragen

• Eerste fMRI-evaluatie met gecontroleerde stimuli: Dit is het eerste onderzoek dat specifiek ontworpen stimuli gebruikt om het effect van lexicale semantiek van zinsstructuur te scheiden in een neuroimaging-context.
• Unificatie van modeltypen: Het biedt een kwantitatieve vergelijking binnen één raamwerk tussen statische embeddings, Transformer-netwerken, grafische semantische parsers en hybride modellen.
• Ontmaskering van Transformer-tekortkomingen: Het onderzoek toont aan dat, ondanks hun prestaties in natuurlijke taal, Transformer-modellen structurele informatie niet op een manier integreren die overeenkomt met de menselijke hersenen, vooral wanneer lexicale overlap hoog is.

Resultaten

De resultaten tonen duidelijke verschillen in hoe modellen de hersenrepresentaties nabootsen, vooral bij de "block-diagonale" zinsparen (waar lexicale overlap hoog is maar betekenis verschilt door structuur):

1. Correlaties met Hersenactiviteit (fMRI):

   • Mean-model: Toonde een sterke negatieve correlatie (-0,204) met hersenactiviteit in het taalnetwerk. Dit suggereert dat het brein zinnen die lexicale overlap hebben maar structuur verschillen, als zeer verschillend ziet, terwijl dit model ze als gelijk ziet.
   • Transformer-modellen: Toonden een zwakke negatieve correlatie (-0,045). Hoewel ze beter presteerden dan het Mean-model, bleven ze significant verwijderd van de menselijke representatie. Ze waren niet gevoelig genoeg voor het verwisselen van semantische rollen.
   • Hybrid (VerbNet-CN) & Graph (AMR-Smatch): Toonden de hoogste positieve correlaties (respectievelijk 0,070 en 0,047). Deze modellen, die expliciet semantische rollen en structuur coderen, kwamen het dichtst in de buurt van de menselijke hersenpatronen.

2. Gedragsdata:

   • De resultaten waren consistent met de fMRI-data, maar met hogere absolute correlaties (minder ruis).
   • Menselijke beoordelaars waren gevoeliger voor structurele veranderingen dan Transformer-modellen, maar minder extreem dan het VerbNet-CN-model.

3. Regionale Analyse:

   • De correlaties waren het sterkst in het taalnetwerk (temporale kwab, angular gyrus, frontale kwab).
   • Er werd een interessant effect gevonden van "minimale zinslengte": langere zinnen veroorzaakten zeer vergelijkbare hersenactiviteit, ongeacht de inhoud, wat mogelijk wijst op een cognitieve last of visuele gelijkenis.

Betekenis en Conclusie

De studie concludeert dat zinsstructuur een kritieke rol speelt in hoe het menselijk brein betekenis representeert, en dat huidige state-of-the-art Transformer-modellen deze structuur niet adequaat integreren in hun interne representaties.

• Critische Inzichten: Hoewel Transformers beter presteren dan statische woord-embeddings, zijn hun representaties nog steeds een slechte match voor het menselijk brein wanneer lexicale confounden worden gecontroleerd. Het brein is extreem gevoelig voor de verwisseling van semantische rollen (wie doet wat aan wie), terwijl Transformers dit vaak over het hoofd zien of onderschatten.
• Implicaties: Dit werpt twijfel op de claim dat Transformers een cognitief model zijn voor menselijke taalverwerking. Het succes van hybride modellen (zoals VerbNet-CN) suggereert dat expliciete codering van semantische rollen essentieel is voor het nabootsen van menselijke semantische representaties.
• Toekomst: Het onderzoek benadrukt de noodzaak van transparantere, interpreteerbare modellen (zoals grafische of hybride benaderingen) om de mechanismen van semantische verwerking in de hersenen beter te begrijpen, in plaats van te vertrouwen op "black box" Transformer-architecturen.