A Hierarchical Energy-Based Model for Multimodal Cognition

De geheime weerkaart van het brein

Stel je voor dat je probeert te begrijpen hoe een stad werkt. Je zou elke individuele baksteen in elk gebouw kunnen bestuderen, of je zou naar de verkeerspatronen, het weer en de stroom mensen kunnen kijken om te begrijpen hoe de stad voelt en beweegt. In de wereld van de hersenwetenschap is er een grote discussie over welke aanpak beter is. Sommige wetenschappers willen elk neuron in kaart brengen als een baksteen-voor-baksteen blauwdruk. Anderen, zoals de auteur van dit artikel, suggereren dat we naar het "weer" van de geest moeten kijken. Zij stellen voor dat onze gedachten en percepties niet slechts een verzameling vurende draden zijn, maar eerder een stroom van toestanden die zich over een landschap van energie bewegen, net zoals een bal die een heuvel afrolt of een rivier die haar weg naar de zee vindt.

Dit idee rust op een concept genaamd predictive processing (voorspellende verwerking). Denk aan je brein niet als een camera die simpelweg registreert wat hij ziet, maar als een superintelligente gokker. Elke seconde doet je brein constant voorspellingen over wat er hierna gaat gebeuren—welk geluid je zult horen, welke vorm je zult zien, of welk woord volgt in een zin. Wanneer je zintuigen overeenkomen met de gok, voelt alles vloeiend. Maar wanneer de realiteit je verrast (zoals een hond die blaft terwijl je stilte verwacht), moet je brein harder werken om zijn gok bij te werken. Dit artikel bouwt voort op het idee dat het brein deze "verrassing" of "fout" minimaliseert door voortdurend zijn interne modellen aan te passen. Het is als een thermostaat die probeert de kamer op de perfecte temperatuur te houden, maar dan in plaats van warmte, probeert het je begrip van de wereld accuraat te houden.

De Grote Breinhub: IM-LEPP

Maak kennis met IM-LEPP (Integrated Multimodal Latent Energy-based Predictive Processing), een nieuw model voorgesteld door Subir Varma. Stel je je brein voor als een enorm, bruisend vliegveld. In dit vliegveld worden verschillende terminals afgehandeld voor verschillende soorten informatie: één terminal voor visie (de wereld zien), een andere voor taal (woorden horen en lezen), en andere voor gevoelens en geluiden. Een lange tijd vroegen wetenschappers zich af hoe deze aparte terminals met elkaar communiceren. Hoe verbindt het zien van een rode appel direct met het woord "appel" en het gevoel van honger?

Varma's artikel suggereert dat al deze terminals hun rapporten sturen naar een centrale "Controle toren" die zich in een specifief deel van de hersenen bevindt, de Anterior Temporal Lobe (ATL). Deze toren fungeert als een gigantische hub waar alle verschillende informatiestromen samensmelten tot één verenigd beeld van de werkelijkheid. Het model wordt "Hub-and-Spoke" genoemd omdat de terminals (de spaken) de centrale hub voeden, en de hub instructies terugstuurt naar de terminals.

Hier is de magische truc: het model suggereert dat het brein niet simpelweg een enorme lijst opslaat van elk woord dat het ooit heeft gehoord of elk beeld dat het ooit heeft gezien. In plaats daarvan gebruikt het een "diffusieproces", wat lijkt op een langzame, zorgvuldige dans van mogelijkheden. Wanneer je een scène ziet, maakt je brein niet alleen een foto; het genereert een voorspelling van hoe het volgende moment eruit zal zien. Als je kijkt naar een stuiterende bal, voorspelt je brein waar de bal zich nu zal bevinden. Als je een zin leest, voorspelt het het volgende woord.

Wat IM-LEPP bijzonder maakt, is hoe het omgaat met het verschil tussen zien en spreken. Je ogen zien de wereld in een continue stroom, zoals een video. Maar taal komt in brokjes, als een reeks stapstenen (woorden). Het model lost dit op door de visuele terminal constant te laten updaten, terwijl de taalterminal in uitbarstingen werkt. De centrale hub fungeert als een vertaler, die de snel bewegende visuele stroom en de langzaam bewegende woordstroom samenvoegt tot één vloeiende ervaring. Dit verklaart waarom je een auto langs ziet rijden en direct de zin "De auto is rood" begrijpt zonder dat je brein in de war raakt door de verschillende snelheden van de twee zintuigen.

Waarom dit ertoe doet: Het oplossen van de "Blinde Vlek" en de "Garden Path"

Het artikel gebruikt dit model om enkele zeer vreemde dingen uit te leggen over hoe wij denken.

Ten eerste, overweeg Inattentional Blindness (onoplettendheidsblindheid). Je kent die beroemde video wel waarbij mensen een basketbal passen, en een persoon in een gorilla-kostuum door de scène loopt, maar de helft van de kijkers de gorilla niet ziet? Het artikel suggereert dat dit gebeurt omdat je brein alleen een gedetailleerde "pipeline" bouwt voor de dingen waar je actief aandacht aan besteedt. Als je gefocust bent op de bal, bouwt je brein een sterk voorspellingsmodel voor de bal. De gorilla, die buiten je focus valt, krijgt geen toegewezen pipeline. Het is gewoon onderdeel van de achtergrond"ruis" totdat het iets verrassends doet dat je voorspelling doorbreekt. Het model laat zien dat je brein in essentie "blind" is voor dingen die het niet heeft besloten te volgen.

Ten tweede legt het model Garden-Path Sentences (tuinpadzinnen) uit. Dit zijn zinnen die je op het verkeerde been zetten, zoals "The horse raced past the barn fell" (Het paard dat langs de schuur rende, viel). Wanneer je dit leest, voorspelt je brein dat "raced" de belangrijkste actie is. Maar dan kom je bij "fell", en je brein moet een plotselinge, schokkerige U-bocht maken om te beseffen dat het paard eigenlijk degene was die werd gerend, en niet degene die aan het rennen was. Het artikel suggereert dat dit niet zomaar een fout is; het is een fysieke "energie-sprong". Je brein komt vast te zitten in een laag-energetisch dal (de verkeerde betekenis) en heeft een grote duw van verrassingsenergie nodig om over een heuvel te springen en in het juiste dal te landen (de juiste betekenis).

Het verschil tussen menselijke hersenen en AI

Het artikel trekt een scherp onderscheid tussen hoe mensen taal leren en hoe moderne AI (zoals de chatbots die je misschien kent) leert. AI-modellen zijn als studenten die het hele internet hebben gelezen, maar nog nooit een echte appel hebben gezien of de zon hebben gevoeld. Ze leren taal puur door te kijken naar welke woorden naast elkaar verschijnen. Ze weten niet hoe een "appel" voelt.

IM-LEPP suggereert dat menselijke kinderen anders leren. Omdat onze taal-hub verbonden is met onze visuele en voelbare hubs, leert een kind het woord "appel" te koppelen aan de echte, visuele en tactiele ervaring van een appel. Dit wordt grounding (verankering) genoemd. Het artikel suggereert dat dit de reden is waarom kinderen kunnen leren spreken met veel minder data dan AI nodig heeft. Ze zijn niet alleen patronen aan het memoriseren; ze koppelen woorden aan een rijk, reeds bestaand landschap van de echte wereld.

Wat het artikel (nog) niet zegt

Het is belangrijk om op te merken dat dit artikel een voorstel is, een blauwdruk voor hoe de hersenen zouden kunnen werken. De auteur heeft nog geen volledig functionerende robot-hersenen gebouwd die kunnen zien en spreken zoals een mens. Ze hebben aangetoond dat hun wiskundige model zaken kan verklaren zoals waarom we in de war raken door lastige zinnen of waarom we de gorilla in de video missen. Ze suggereren dat als we een computerprogramma zouden bouwen met deze exacte regels, het zich als een menselijk brein zou gedragen in deze specifieke aspecten.

Het artikel geeft ook toe dat er nog steeds mysteries zijn. Het legt bijvoorbeeld niet volledig uit hoe de hersenen langetermijnherinneringen van specifieke gebeurtenissen (zoals je verjaardagsfeestje) versus algemene feiten (zoals wat een hond is) opslaan. Het stelt een systeem voor waarbij de hersenen herinneringen pas opschrijven wanneer er iets verrassends of emotioneels gebeurt, maar de exacte details van dit "geheugen-archiveringssysteem" blijven open voor toekomstig onderzoek.

Kortom, IM-LEPP biedt een speelse, energieke manier om over de geest na te denken: niet als een statische computer, maar als een dynamisch, rollend landschap waar onze aandacht, onze zintuigen en onze woorden constant botsen en samensmelten om het verhaal van onze realiteit te creëren. Het suggereert dat het geheim van menselijke intelligentie niet alleen het hebben van een grote database is, maar het hebben van een slimme, gegronde manier om te voorspellen wat er nu gaat komen.