A geometric foundation for word meaning in the brain

Dit onderzoek toont aan dat semantische betekenissen in de menselijke hersenen een geometrische basis hebben, waarbij consistente vectoriële richtingen parallelogram- en prismatische structuren vormen die overeenkomen met patronen in taalmodellen.

De kern

De Geometrische Kaart van Woorden in Ons Brein

Stel je voor dat je brein niet werkt als een grote, rommelige bibliotheek waar boeken (woorden) willekeurig op planken liggen. In plaats daarvan werkt het meer als een 3D-kaart of een ruimtelijk landschap. Dit is de boodschap van een nieuw, fascinerend onderzoek van wetenschappers uit de VS en Nederland. Ze hebben ontdekt dat ons brein de betekenis van woorden niet alleen opslaat, maar ze ook geometrisch ordent, net als in de slimste computerprogramma's van vandaag.

Hier is hoe ze dit hebben ontdekt en wat het betekent, vertaald in begrijpelijke taal:

1. Woorden als pijlen in een ruimte

In de wereld van kunstmatige intelligentie (zoals ChatGPT of BERT) worden woorden omgezet in reeksen getallen, die we vectoren of pijlen kunnen noemen.

• Als je de pijl van "koning" aftrekt van de pijl van "koningin", krijg je een specifieke richting: vrouwelijkheid.
• Als je diezelfde richting toepast op "knaap", land je automatisch bij "meisje".

Dit heet een parallelogram: een geometrische vorm die laat zien dat de relatie tussen twee woorden (zoals man/vrouw) overal hetzelfde is, ongeacht welk paar je kiest.

2. Het brein doet precies hetzelfde

De onderzoekers keken naar de hersenen van mensen die al een operatie ondergingen voor epilepsie. Ze hadden kleine elektroden in hun hersenen (in het hippocampus, de ACC en de OFC) die konden luisteren naar individuele neuronen terwijl de mensen luisterden naar verhalen (podcasts).

Ze ontdekten iets verbazingwekkends:

• De neuronen gedragen zich als pijlen. Als een woord als "koning" wordt gehoord, vuren bepaalde neuronen. Als "koningin" wordt gehoord, vuren ze anders.
• Het verschil tussen deze twee activiteitspatronen vormt een pijl in de hersenen.
• En het mooiste is: de pijl van "koning" naar "koningin" wijst in exact dezelfde richting als de pijl van "jongen" naar "meisje".

Het brein gebruikt dus een soort geometrische regel om relaties tussen woorden te begrijpen. Het is alsof het brein een onzichtbare liniaal heeft waarmee het woorden meet en ordent.

3. De "Prisma" van voornaamwoorden

Het onderzoek ging nog een stap verder met voornaamwoorden (ik, jij, hij, wij, hen, etc.). Deze hebben meerdere eigenschappen:

• Persoon: Ik (1e persoon) vs. Hij (3e persoon).
• Aantal: Ik (enkelvoud) vs. Wij (meervoud).
• Vorm: Ik (onderwerp) vs. Mij (voorwerp).

De onderzoekers zagen dat deze combinaties in het brein een prisma-vorm vormen.

• Stel je een kubus voor. Als je van "ik" naar "wij" gaat (aantal veranderen), is dat één kant van de kubus.
• Als je van "ik" naar "mij" gaat (vorm veranderen), is dat een andere kant.
• Het brein kan deze veranderingen combineren. Of je nu eerst het aantal verandert en dan de vorm, of andersom, je komt op hetzelfde punt uit. Dit heet commutativiteit. Het bewijst dat het brein deze regels los van elkaar kan hanteren en ze dan weer samenplakt, net als een legpuzzel.

4. Verschillende gebieden, verschillende specialisaties

Niet alle delen van het brein doen precies hetzelfde. Het is alsof je een bedrijf hebt met verschillende afdelingen:

• Het hippocampus (de geheugen-afdeling) is heel goed in het vinden van deze geometrische patronen voor algemene betekenissen en voornaamwoorden.
• De ACC (een deel van de voorkant van de hersenen) bleek echter de specialist te zijn voor werkwoorden in de tijd (bijvoorbeeld het verschil tussen "gelopen" en "lopend").
• De OFC (orbitofrontale cortex) was juist goed in het begrijpen van sociale relaties, zoals de relatie tussen een leraar en een leerling.

Dit betekent dat het brein zijn werk deelt: sommige gebieden zijn gespecialiseerd in specifieke soorten "woorden-geometrie".

5. De link met computers

Het meest verrassende is dat de afwijkingen in het menselijk brein (waar de lijnen niet perfect parallel lopen) voorspeld kunnen worden door grote taalmodellen (zoals BERT of GPT).

• Als een computermodel een beetje "twijfelt" over de relatie tussen twee woorden, twijfelt het menselijk brein daar ook over op dezelfde manier.
• Dit suggereert dat de manier waarop we leren en denken, fundamenteel lijkt op de manier waarop de slimste AI-systemen leren.

Conclusie: Waarom is dit belangrijk?

Vroeger dachten we dat het brein misschien een soort lijstje had met losse feiten. Dit onderzoek toont aan dat het brein een hoogwaardige, geometrische structuur gebruikt.

Het is alsof het brein geen woordenboek is, maar een 3D-ruimte waarin we kunnen "reizen". Als we een nieuw woord leren, weten we al waar het in die ruimte hoort, omdat we de regels van de geometrie al kennen. Dit helpt ons om:

• Analogieën te maken (als ik dit begrijp, begrijp ik dat ook).
• Nieuwe dingen te leren zonder alles opnieuw te hoeven memoriseren.
• Snel te schakelen tussen verschillende betekenissen.

Kortom: ons brein is een meester in het tekenen van lijnen en vormen om de complexe wereld van taal te begrijpen. En het doet dat op een manier die verrassend veel lijkt op de slimste computers die we hebben gebouwd.

Technische samenvatting

Probleemstelling

De semantische representatie van woordbetekenis in de menselijke hersenen is een fundamenteel maar onopgelost vraagstuk in de cognitieve neurowetenschap. Hoewel er sterke theorieën zijn dat woorden in vectoriële ruimtes worden gecodeerd (zoals in Large Language Models of LLM's), waarbij semantische relaties (zoals "man/koning" en "vrouw/koningin") parallelogram-achtige structuren vormen, ontbreekt er direct bewijs voor deze geometrische principes op het niveau van individuele neuronen in de menselijke hersenen. Bestaande studies met fMRI hebben beperkte ruimtelijke en temporele resolutie, waardoor het moeilijk is om de fijne neurale coderingsprincipes tijdens natuurlijke spraak te ontrafelen. De auteurs onderzoeken of de hersenen, net als LLM's, gebruikmaken van consistente semantische assen (richtingen in de neurale ruimte) die over verschillende woorden heen worden hergebruikt, en of deze geometrie de basis vormt voor analogisch redeneren.

Methodologie

De studie combineert intracraniële neurofysiologische opnames met computationele modellering:

1. Datacollectie:

   • Deelnemers: 14 patiënten met epilepsie die diepe hersenelektroden (Behnke-Fried probes) hadden voor chirurgische monitoring.
   • Regio's: Opnames van enkele neuronen in de hippocampus (HPC, n=437), de anterior cingulate cortex (ACC, n=241) en de orbitofrontale cortex (OFC, n=51).
   • Stimuli: 47 minuten aan natuurlijk gesproken Engels (podcast-fragmenten van "The Moth").
   • Analyse: De auteurs berekenden de vuursnelheid (firing rate) van neuronen binnen een tijdvenster na het begin van elk woord.

2. Identificatie van Semantische Assen:

   • Er werden 15 specifieke semantische relaties (analogieën) gedefinieerd, waaronder geslacht (man/vrouw), meervoud, ontkenning, voorzetsels, en grammaticale gevallen (nominatief/accusatief).
   • Voor elke relatie werden woordparen geïdentificeerd (bijv. "boy"/"girl", "king"/"queen").

3. Geometrische Analyse:

   • Neurale Embeddings: De populatie-responsen van neuronen voor elk woord werden omgezet in vectoriële embeddings.
   • Parallelogram-structuur: Er werd getest of de vectoriële verschuiving tussen woordparen binnen een categorie (bijv. $\vec{boy} \to \vec{girl}$) parallel loopt aan andere paren in dezelfde categorie (bijv. $\vec{king} \to \vec{queen}$). Dit werd gemeten met cosine-similariteit.
   • Cross-Condition Generalization Performance (CCGP): Een lineaire classifier werd getraind op een subset van woordparen om een relatie (bijv. geslacht) te onderscheiden en getest op een volledig nieuw, vastgehouden paar om abstracte generalisatie te meten.
   • Prisma-structuur (Pronomen): Voor voornaamwoorden werd getest of de combinatie van persoon, getal en geval een gesloten prisma-vormige structuur vertoont (commutativiteit: de volgorde van transformaties maakt niet uit).

4. Vergelijking met LLM's:

   • De neurale data werd vergeleken met embeddings van BERT en GPT-2, verwerkt op dezelfde tekst.
   • Er werd een lineair gemengd effectmodel (LME) gebruikt om te testen of afwijkingen van parallelisme in de hersenen voorspeld kunnen worden door afwijkingen in de LLM.

5. Specialisatie-analyse:

   • Er werd onderzocht of specifieke neuronen gespecialiseerd zijn in bepaalde analogieën (disentangled coding) versus gemengde selectiviteit, en of er regionale specialisatie is tussen HPC, ACC en OFC.

Belangrijkste Bijdragen en Resultaten

1. Geometrische Fundamenten van Woordbetekenis:

   • De auteurs vonden dat neurale populaties in de hippocampus consistente vectoriële richtingen gebruiken voor semantische relaties. Woordparen met dezelfde relatie (bijv. geslacht) vormen parallelogrammen in de neurale ruimte.
   • Dit geldt voor 15 verschillende semantische categorieën, inclusief grammaticale (meervoud, negatie) en semantische (geslacht, antoniemen) relaties.

2. Kruisconditie Generalisatie (CCGP):

   • De hersenen tonen significant vermogen om abstracte relaties te generaliseren naar nieuwe woordparen die niet in de trainingsset zaten. Dit bewijst dat de codering factorisatie (disentanglement) toont, waarbij de relatie onafhankelijk is van de specifieke woorden.

3. Prisma-structuur voor Voornaamwoorden:

   • Voor voornaamwoorden (persoon $\times$ getal $\times$ geval) werd een complexe, prisma-achtige geometrische structuur gevonden.
   • De structuur vertoonde commutativiteit: het toepassen van transformaties (bijv. van enkelvoud naar meervoud en van nominatief naar accusatief) leverde hetzelfde eindpunt op, ongeacht de volgorde.
   • Deze structuur was het sterkst wanneer de antecedent-reactivering (het mentale ophalen van de referent van het voornaamwoord) sterk was, wat suggereert dat deze geometrie dynamisch afhankelijk is van de cognitieve staat.

4. Correlatie met Large Language Models (LLM's):

   • Hoewel de hersenen minder dicht bevolkt zijn met gespecialiseerde eenheden dan LLM's (BERT/GPT-2), vertonen de hersenen een vergelijkbare geometrische structuur.
   • Cruciaal: De mate waarin woordparen afwijken van perfecte parallelisme in de hersenen, kan worden voorspeld door de afwijkingen in GPT-2. Dit suggereert een diepe structurele overeenkomst tussen biologische en computationele semantische ruimtes.

5. Regionale Specialisatie:

   • Er is een gedeelde taakverdeling tussen hersengebieden:
     • Hippocampus (HPC): Uitstekend in pronomen, naamwoordelijk getal en geslacht.
     • Anterior Cingulate Cortex (ACC): Sterker in werkwoordelijke aspecten (bijv. verleden tijd vs. voortdurend aspect: -ed vs. -ing).
     • Orbitofrontale Cortex (OFC): Toonde sterkere structuren voor sociale relaties (bijv. "beschermer/beschermeling").

6. Neuronale Specialisatie:

   • Neuronen tonen een gedeeltelijke specialisatie: specifieke subpopulaties zijn sterker betrokken bij bepaalde analogieën dan bij andere (lage overlap in IoU), wat wijst op een efficiënte, energiebesparende codering. Dit contrasteert met de sterkere verspreide codering in LLM's, hoewel LLM's ook tekenen van specialisatie vertonen in diepere lagen.

Significantie

Deze studie levert het eerste directe, neurale bewijs dat de menselijke hersenen woordbetekenis coderen via een geometrisch fundamenteel systeem dat lijkt op vectoriële ruimtes in AI-modellen.

• Mechanisme voor Redenering: De gevonden parallelogram- en prisma-structuren bieden een mechanistische verklaring voor hoe het brein analogisch redeneren en abstracte generalisatie uitvoert zonder expliciete symbolische regels.
• Biologisch-AI Convergentie: De bevinding dat afwijkingen in de hersen-geometrie voorspelbaar zijn door LLM's, ondersteunt het idee dat zowel biologische als kunstmatige systemen vergelijkbare inductieve bias gebruiken om semantische structuur te leren.
• Rol van de Hippocampus: Het onderzoek bevestigt en uitbreidt de rol van de hippocampus niet alleen als geheugen, maar als een centrum voor het vormen van abstracte, factorisatie conceptuele kaarten.
• Dynamische Representatie: De afhankelijkheid van de prisma-structuur van antecedent-reactivering suggereert dat deze complexe geometrie niet statisch is, maar dynamisch wordt geconstrueerd tijdens actieve taalverwerking.

Samenvattend biedt dit werk een brug tussen computationele linguïstiek en systemische neurowetenschap, en toont aan dat de hersenen semantische kennis organiseren volgens strikte algebraïsche en geometrische principes.