A population code for semantics in human hippocampus

Dit onderzoek toont aan dat de menselijke hippocampus woordbetekenis tijdens het luisteren naar spraak codeert via gedistribueerde patronen van neuronale activiteit die sterk overeenkomen met de contextuele semantische structuren van moderne taalmodellen zoals GPT-2.

De kern

De "Populaire" Woordcode in het Hersenen: Hoe je Hippocampus Betekenis Begrijpt

Stel je voor dat je hersenen een enorme bibliotheek zijn. In deze bibliotheek zit een speciale afdeling, de hippocampus. Vroeger dachten wetenschappers dat deze afdeling werkte als een archief met losse dossiers: één dossier voor het woord "hond", één dossier voor "auto", en één voor "liefde". Als je het woord "hond" hoorde, zou alleen dat ene dossier openvallen.

Maar dit nieuwe onderzoek, gedaan door wetenschappers die rechtstreeks in de hersenen van patiënten keken (tijdens epilepsie-metingen), laat zien dat het veel leuker en complexer werkt. Het is meer als een gigantisch orkest dan als een archief.

Hier is wat ze ontdekten, vertaald naar alledaags taal:

1. Geen solisten, maar een koor

In plaats van dat één enkel neurone (een hersencel) alleen reageert op het woord "hond", werkt het als een koor.

• Het idee: Als je het woord "hond" hoort, springen er honderden verschillende neuronen tegelijkertijd op en neer.
• De analogie: Denk aan een orkest. Als je "hond" hoort, spelen niet alleen de violen, maar ook de trompetten, de fluiten en de slagwerkers, maar allemaal op een heel specifieke manier. Als je het woord "kat" hoort, spelen ze weer een ander liedje.
• Het verrassende: Een enkele cel in dit orkest is niet vastgeplakt aan één woord. Dezelfde cel kan meespelen bij "hond", maar ook bij "liefde", "regen" en "auto". Het is alsof één muzikant in het orkest meespeelt in een rocknummer, een klassiek concert én een jazzstuk. De betekenis zit niet in één instrument, maar in het geheel van het geluid.

2. Context is de chef-kok

Woorden hebben vaak meerdere betekenissen, afhankelijk van waar ze staan.

• Het voorbeeld: Het woord "scherp". In "een scherp mes" betekent het iets anders dan in "een scherp verstand".
• De ontdekking: De hersencellen in de hippocampus zijn slimme chef-koks. Ze weten precies wat ze moeten doen afhankelijk van de rest van de zin. Ze gebruiken niet één vaste receptuur voor "scherp", maar passen het gerecht aan op basis van de ingrediënten (de andere woorden) die eromheen staan.
• De vergelijking met AI: De onderzoekers vergeleken dit met moderne kunstmatige intelligentie (zoals ChatGPT of BERT). Die AI's werken ook zo: ze kijken naar de hele zin om te begrijpen wat een woord betekent. De hersenen blijken te werken op precies dezelfde manier! Ze gebruiken een "contextuele code".

3. De "Ruimte" van Betekenis

De onderzoekers keken naar hoe dicht bij elkaar woorden in de hersenen liggen.

• De analogie: Stel je een grote, driedimensionale ruimte voor. Woorden met een vergelijkbare betekenis (zoals "vader" en "pa") liggen dicht bij elkaar in deze ruimte. Woorden die niets met elkaar te maken hebben (zoals "vader" en "ijsje") liggen ver uit elkaar.
• Het resultaat: De activiteit van de neuronen in de hersenen vormt precies zo'n ruimte. Als twee woorden semantisch dicht bij elkaar liggen, lijken de patronen van de hersencellen ook op elkaar.
• De uitzondering (Het contrast): Voor woorden die bijna hetzelfde zijn (zoals "broer" en "zus", of "acht" en "negen"), doen de hersenen iets slimme: ze maken ze juist verder uit elkaar. Dit noemen ze "contrastieve codering". Het is alsof de hersenen zeggen: "Ze lijken op elkaar, maar we moeten ze goed uit elkaar houden zodat we ze niet verwarren." Ze duwen ze uit elkaar in de ruimte om verwarring te voorkomen.

4. Veelgebruikte woorden zijn lastiger

Interessant genoeg gedragen veelgebruikte woorden (zoals "de", "het", "en") zich anders dan zeldzame woorden.

• De analogie: Veelgebruikte woorden zijn als de "centrum" van de stad. Ze liggen allemaal dicht bij elkaar en overlappen een beetje, omdat ze in zoveel verschillende situaties voorkomen (ze hebben veel betekenissen). Zeldzame woorden zijn als afgelegen dorpjes; ze staan verder uit elkaar en zijn makkelijker te onderscheiden.
• De reden: Veelgebruikte woorden hebben vaak meer betekenissen (polysemie). Het woord "bank" kan een zitmeubel zijn of een geldinstelling. Omdat de betekenis zo afhankelijk is van de context, is het patroon in de hersenen voor deze woorden veel complexer en minder vast.

Conclusie: Een dynamisch netwerk

Kortom, deze studie laat zien dat onze hersenen geen statische woordenlijst zijn. Ze zijn een dynamisch, wervelend netwerk van activiteit.

• Betekenis wordt niet opgeslagen in één cel, maar in het patroon van duizenden cellen die samenwerken.
• De hersenen zijn net als een super-slimme vertaler die altijd naar de hele zin kijkt om te weten wat er bedoeld wordt.
• En ze zijn slim genoeg om bijna-identieke woorden uit elkaar te houden om verwarring te voorkomen.

Het is een prachtig bewijs dat onze hersenen werken als een geavanceerd, contextueel systeem, vergelijkbaar met de meest geavanceerde computerprogramma's die we vandaag de dag hebben, maar dan gemaakt van levend weefsel.

Technische samenvatting

Probleemstelling

De manier waarop neuronen betekenis (semantiek) coderen, blijft grotendeels onbegrepen. Traditionele hypotheses suggereren dat het brein ofwel "enkele-neuron-codes" gebruikt (waarbij specifieke neuronen reageren op specifieke woorden of categorieën) ofwel een populatiecode (waarbij betekenis wordt vertegenwoordigd door patronen van activiteit over een groot aantal neuronen). Hoewel er groeiende interesse is in populatiecodering, mede door parallellen met Large Language Models (LLM's), ontbreekt het aan direct bewijs op het niveau van enkele neuronen in de menselijke hippocampus tijdens natuurlijk taalgebruik. Een specifiek probleem is dat taal sterk contextafhankelijk is; de betekenis van een woord verandert afhankelijk van de omringende zinnen, wat moeilijk te vangen is met statische woordembeddings.

Methodologie

De onderzoekers voerden een experiment uit met intracraniële opnames van enkele neuronen in de hippocampus van tien patiënten met epilepsie die zich in een epilepsie-monitorenunit bevonden.

• Stimuli: Patiënten luisterden naar 47 minuten aan natuurlijk, narratief spraakmateriaal (verhalen van The Moth Podcast, totaal 7.346 woorden). Een subset van patiënten luisterde ook naar "Jabberwocky"-stimuli (zinsconstructies met betekenisloze woorden die fonetisch en syntactisch correct zijn, maar semantisch leeg).
• Data-opname: Er werden 356 geïsoleerde enkele neuronen opgenomen. De spike-activiteit werd gemeten in reactie op woordopkomsten.
• Modellering en Analyse:
  • Encoderingsmodellen: Er werden Poisson GLM's (Generalized Linear Models) met ridge-regressie gebruikt om de spike-aantallen van neuronen te voorspellen op basis van:
    • Semantische embeddings: Uit Word2Vec (statisch), BERT en GPT-2 (contextueel). De auteurs gebruikten de eerste 100 hoofdcomponenten (PCA) van deze embeddings om collineariteit te verminderen.
    • Fonetische kenmerken: IPA-phonemen.
    • Andere linguïstische factoren: Woordduur, frequentie, polysemie (aantal betekenissen), en syntactische posities.
  • Populatiegeometrie: De auteurs berekenden de kosinus-afstand tussen neurale responsvectoren (de "neurale embedding") en vergeleken deze met de semantische afstand in de taalmodellen.
  • Decodering: Er werden Reduced Rank Regression (RRR) en Support Vector Machines (SVM) gebruikt om te testen of neurale populatieactiviteit semantische embeddings kan decoderen.
  • ROC-analyse: Gebruikt om te bepalen hoeveel neuronen significant reageren op specifieke woorden.

Belangrijkste Bijdragen

1. Directe validatie van populatiecodering: Het artikel biedt direct bewijs dat semantische informatie in de menselijke hippocampus wordt gecodeerd door gedistribueerde patronen van activiteit over grote populaties neuronen, in plaats van door strikt gespecialiseerde "concept-cellen".
2. Contextafhankelijkheid: Het toont aan dat de hippocampus niet alleen statische woordbetekenissen codeert, maar specifiek reageert op contextuele betekenissen, zoals vastgelegd in moderne LLM's (BERT en GPT-2).
3. Contrastieve codering: De studie identificeert een uniek coderingsmechanisme waarbij zeer semantisch vergelijkbare woorden juist verder uit elkaar liggen in de neurale ruimte dan verwacht, om verwarring te voorkomen.
4. Rol van polysemie: Er wordt een link gelegd tussen de frequentie van woorden, hun polysemie (meervoudige betekenissen) en de variabiliteit in neurale responsen.

Resultaten

• Gedistribueerde en gemengde selectiviteit:

  • Woorden worden niet door één neuron, maar door grote populaties gecodeerd (gemiddeld 37 neuronen per woord).
  • Individuele neuronen tonen gemengde selectiviteit: ze reageren op woorden uit diverse, vaak ongerelateerde semantische categorieën (bijv. een neuron dat reageert op "lot", "remember", "even", "they").
  • Er is weinig overlap tussen neuronen die semantisch verwante woorden coderen (bijv. "vader" en "papa"), wat suggereert dat de codering context-specifiek is en niet puur op categorie gebaseerd.

• Verband tussen neurale en semantische afstand:

  • Er is een significante positieve correlatie tussen de semantische afstand (in de embedding-ruimte) en de neurale afstand (in de populatie-ruimte).
  • Context is cruciaal: Deze correlatie is sterk voor contextuele modellen (GPT-2 en BERT), maar zwak of negatief voor statische modellen (Word2Vec). Dit bevestigt dat de hippocampus contextuele betekenissen volgt.
  • De correlatie met GPT-2 (r = 0,09) bereikte 76% van de theoretische "ruis-ceiling", wat aangeeft dat een groot deel van de semantische structuur door het brein wordt vastgelegd ondanks de ruis in enkele-neuron-data.

• Contrastieve codering (Contrastive Coding):

  • Voor zeer vergelijkbare woorden (kleine semantische afstand, r < 0,35) keert de correlatie om: neurale responsen worden juist verder uit elkaar geduwd dan hun semantische afstand zou voorspellen. Dit dient waarschijnlijk om verwarring tussen bijna-synoniemen (zoals "broer" en "zus") te minimaliseren.

• Invloed van frequentie en polysemie:

  • Veelvoorkomende woorden (hoge frequentie) hebben vaak meer betekenissen (polysemie). Deze woorden vertonen een grotere variabiliteit in hun neurale responsen afhankelijk van de context.
  • Hoogfrequente woorden clusteren dichter bij het centrum van de neurale ruimte, maar hebben een grotere vectoriële afstand binnen hun categorie, wat leidt tot lagere decodatieprestaties voor deze categorieën vergeleken met zeldzame woorden.

• Fonetiek vs. Semantiek:

  • Semantische voorspellers verklaarden significant meer variantie in de neurale activiteit dan fonetische voorspellers. Neurale responsen lijken dus primair de betekenis en niet de klankstructuur van woorden te coderen.

Betekenis en Conclusie

De studie levert een neurocomputational account voor hoe de menselijke hippocampus semantiek verwerkt tijdens natuurlijk taalgebruik. De belangrijkste conclusies zijn:

1. Populatiegeometrie: Betekenis wordt niet vastgehouden in individuele neuronen, maar in de geometrie van de activiteit van de hele populatie. Woorden met vergelijkbare betekenissen veroorzaken vergelijkbare activiteitspatronen, terwijl verschillende woorden divergente patronen veroorzaken.
2. Context is koning: De hippocampus werkt als een dynamisch systeem dat de betekenis van woorden aanpast aan de context, wat beter wordt gemodelleerd door moderne LLM's (zoals GPT-2) dan door statische woordenboeken.
3. Verschil met andere hersengebieden: In tegenstelling tot de linker posterior middle frontal gyrus (pmFG), waar neuronen vaak selectief zijn voor specifieke semantische domeinen (bijv. alleen "acties"), gebruikt de hippocampus een flexibele, contextuele en gedistribueerde code. Dit ondersteunt de rol van de hippocampus in relationeel geheugen en het integreren van informatie.
4. Biologische beperkingen: Het fenomeen van contrastieve codering (waarbij het brein zeer vergelijkbare woorden juist verder uit elkaar duwt) suggereert dat het brein mechanismen heeft om ruis en verwarring te minimaliseren, iets dat niet noodzakelijk in kunstmatige taalmodellen voorkomt.

Samenvattend toont dit onderzoek aan dat de menselijke hippocampus een gedistribueerd, contextueel en vectorieel coderingssysteem voor semantiek bezit dat fundamenteel overeenkomt met de principes van moderne taalmodellen, maar met specifieke biologische aanpassingen voor nauwkeurigheid en onderscheidingsvermogen.