Structural generalization and continual learning enabled by factorized entorhinal-hippocampal memory and entorhinal-parietal action circuits

Om de wereld te navigeren, verricht het menselijk brein een technische prestatie die nog onovertroffen wordt door standaard recurrente neurale netwerken bij specifieke navigatietaken. Het moet specifieke plaatsen onthouden — een favoriet café, een ouderlijk huis — terwijl het tegelijkertijd de abstracte regels begrijpt van hoe ruimte werkt, waardoor we die kennis kunnen toepassen in een nieuwe stad die we nog nooit hebben bezocht. Deze vaardigheid berust op twee afzonderlijke maar verbonden systemen in het brein. Eén systeem, gecentreerd in de hippocampus, fungeert als een archiefkast met een hoge capaciteit voor specifieke gebeurtenissen en locaties, waarbij de unieke details van wat we hebben gezien worden opgeslagen. Het andere systeem, dat de entorinale cortex betreft, biedt een universeel rooster, een mentaal coördinatensysteem dat afstand en richting meet, ongeacht waar men daadwerkelijk naar kijkt. Hoewel wetenschappers al lang weten dat deze systemen bestaan, bleef het een mysterie hoe ze samenwerken om ons snel te laten leren, te laten generaliseren naar nieuwe situaties en alles te laten onthouden zonder oude herinneringen te overschrijven.

Een team van onderzoekers van MIT en elders heeft nu de lagen van dit mysterie blootgelegd door te testen hoe mensen, apen en computermodellen omgaan met een specifieke navigatie-uitdaging. Ze ontwierpen een taak waarbij proefpersonen door een sequentie van afbeeldingen moesten bewegen, zoals stapstenen, van een beginfoto naar een doelafbeelding. De onderzoekers testten drie niveaus van moeilijkheid. Eerst vroegen ze proefpersonen om te navigeren met visuele aanwijzingen, en daarna zonder deze aanwijzingen, wat het brein dwong de reis intern te simuleren. Ten tweede testten ze of proefpersonen konden navigeren tussen fotopaartjes die ze nog nooit eerder hadden geoefend. Ten derde introduceerden ze geheel nieuwe sets afbeeldingen om te zien of het brein zijn navigatievaardigheden kon overdragen naar een compleet nieuwe omgeving. De resultaten waren duidelijk: terwijl mensen en apen alle drie de uitdagingen met gemak beheersten, faalden standaard recurrente neurale netwerkmodellen volledig. Echter, toen de onderzoekers een nieuw soort computermodel bouwden dat de specifieke architectuur van het brein nabootste — door de "kaart" te scheiden van het "geheugen" — slaagden zij waar anderen faalden.

Het experiment begon met een eenvoudige opstelling. Menselijke vrijwilligers en twee apen zaten voor een scherm dat een vaste reeks afbeeldingen toonde, zoals een serie onderscheidende objecten. Ze kregen een beginafbeelding en een doelafbeelding en moesten met een joystick door de sequentie bewegen totdat ze het doel bereikten. In de eerste fase scrolden de afbeeldingen voorbij, wat constante visuele feedback gaf. Zodra de proefpersonen de volgorde van de afbeeldingen hadden geleerd, verwijderden de onderzoekers de visuele aanwijzingen. De proefpersonen moesten nu de joystick bewegen terwijl het scherm donker werd, waarbij ze volledig vertrouwden op hun interne gevoel van hoe ver ze waren gereisd. Dit staat bekend als mentale navigatie. De proefpersonen voerden dit moeiteloos uit, wat aantoonde dat ze een mentale kaart van de sequentie hadden opgebouwd. Vervolgens testten de onderzoekers transitieve generalisatie door proefpersonen te vragen te navigeren tussen begin- en eindpunten die ze nooit samen hadden geoefend. Ten slotte introduceerden ze een derde omgeving met een compleet andere set afbeeldingen om structurele generalisatie te testen.

De prestaties van de biologische proefpersonen waren opmerkelijk. Mensen en apen navigeerden niet alleen de nieuwe routes en nieuwe omgevingen met een hoge nauwkeurigheid, maar behielden ook hun vermogen om de oorspronkelijke omgeving te navigeren zonder deze te vergeten. Dit gebrek aan "catastrofale vergetelheid" is een cruciaal kenmerk van biologisch leren waar kunstmatige systemen moeite mee hebben. Wanneer de onderzoekers probeerden dit gedrag na te bootsen met standaard recurrente neurale netwerken, faalden deze modellen bij elke test. Ze konden de visuele taak met feedback leren, maar op het moment dat de visuele aanwijzingen werden verwijderd, of de route veranderde, of de omgeving nieuw was, stortten de modellen in. Ze konden niet generaliseren, noch konden ze oude lessen onthouden terwijl ze nieuwe leerden.

De doorbraak kwam toen de onderzoekers een model construeerden dat de voorgestelde structuur van het brein weerspiegelde. Dit model, dat ze de Vector-HaSH augmented Action policy noemen, bestaat uit twee hoofdonderdelen die samenwerken. Het eerste deel is een gestructureerd geheugensteunpunt gebaseerd op gridcellen. Denk aan dit als een rigide, inhoudsonafhankelijke liniaal die afstand en richting meet. Het geeft niet om wat de afbeeldingen zijn; het geeft alleen om de ruimte tussen hen. Het tweede deel is een beleidsnetwerk (policy network) dat leert hoe te bewegen op basis van de gemeten afstand door de liniaal. Omdat de liniaal vast en universeel is, kan de beleidsstrategie die in één omgeving is geleerd, onmiddellijk worden toegepast op een nieuwe omgeving. Het model koppelt nieuwe afbeeldingen aan deze liniaal via een snel, eenmalig leerproces, vergelijkbaar met de hippocampus van het brein.

Toen dit nieuwe model werd getest, reproduceerde het het volledige spectrum van menselijk en aapachtig gedrag. Het navigeerde zonder visuele feedback, nam nieuwe routes en paste zich onmiddellijk aan nieuwe omgevingen aan, terwijl het de oude omgevingen ook bleef onthouden. De onderzoekers keken vervolgens in het model om te zien hoe het werkte en vergeleken de interne activiteit met de werkelijke elektrische signalen die werden opgenomen uit de hersenen van de apen die de taak uitvoerden. Ze vonden een exacte overeenkomst. Het "afstand"-module van het model, die bijhield hoe ver de proefpersoon van het doel verwijderd was, gedroeg zich exact als de neuronen in de entorinale cortex van de aap. De "actie"-module van het model, die besliste wanneer er bewogen moest worden en wanneer er gestopt moest worden, kwam overeen met de activiteit in de posterieure pariëtale cortex. Dit bevestigde dat het brein de taak van navigatie waarschijnlijk opsplitst in twee verschillende berekeningen: één die de afstand meet en één die de actie bepaalt.

Eén laatste ontdekking onthulde hoe het brein dit systeem kalibreert. De onderzoekers ontdekten dat voor het model om perfect te werken, het een specifieke schaleringsfactor moest leren om de interne liniaal uit te lijnen met de tussenruimte van de afbeeldingen. Als de streepjes van de liniaal te ver uit elkaar of te dicht bij elkaar stonden in verhouding tot de afbeeldingen, kreeg het model problemen. Echter, wanneer het model de mogelijkheid kreeg om deze schaleringsfactor tijdens het leren aan te passen, vond het snel de perfecte uitlijning, precies zoals het brein dat doet. Dit suggereert dat het brein zijn interne gevoel van snelheid en afstand actief afstemt op de structuur van de omgeving die het verkent.

De studie concludeert dat het vermogen van het brein om te leren, te generaliseren en te onthouden niet het resultaat is van meer data of meer rekenkracht, maar van een specifiek architecturaal ontwerp. Door de invariante structuur van de ruimte te scheiden van de specifieke inhoud van de ervaring, creëert het brein een systeem dat zowel flexibel als stabiel is. De entorinale-hippocampale circuit biedt een universele maatstaf die het brein in staat stelt om lessen uit het verleden toe te passen op nieuwe situaties zonder het verleden uit te wissen. Deze factorisatie van geheugen en actie verklaart hoe we een nieuwe stad kunnen binnenlopen, de weg kunnen vinden en nog steeds de weg naar huis kunnen onthouden, een prestatie die standaard recurrente neurale netwerkmodellen nog niet hebben bereikt.