Emergence of Spatial Representation in an Actor-Critic Agent with Hippocampus-Inspired Sequence Generator

Dit artikel presenteert een actor-critic agent met een door de hippocampus geïnspireerde sequentiegenerator die, dankzij de synergie tussen schaarse inputs en recurrente dynamiek, niet alleen effectief navigeert in mazes zonder geometrische aanwijzingen, maar ook een mechanistische verklaring biedt voor de vorming van plaatscellen en hun sequenties.

De kern

De Navigatie van de Hippocampus: Een Reis met een Geheugen-Buffer

Stel je voor dat je in een gigantisch, grijs labyrint loopt. De muren zien er allemaal hetzelfde uit, en er zijn geen borden of kaarten. Je hebt alleen een camera voor je ogen die een beetje ruis (ruis) ziet. Hoe vind je de weg naar de schat?

Dit artikel onderzoekt hoe een computeragent dit doet, maar dan met een slimme truc die is afgeleid van hoe onze hersenen werken, specifiek het deel dat we de hippocampus noemen.

1. Het Probleem: De "Blinde" Agent

In dit experiment krijgt de agent een heel schraal beeld. Het is alsof je door een mistbril kijkt waarbij slechts 2,5% van de pixels helder zijn en de rest grijs is.

• De analogie: Stel je voor dat je in een donkere kamer loopt en je kunt alleen af en toe een klein stukje van een muur zien. De meeste informatie ontbreekt.
• Het doel: De agent moet door dit labyrint navigeren en een onzichtbare beloning vinden.

2. De Oplossing: De "Hippocampus" als een Trein

De onderzoekers hebben een speciaal onderdeel in de agent gebouwd dat lijkt op de CA3 regio in de hersenen (een onderdeel van de hippocampus). Ze noemen het een "sequentie-generator".

• Hoe werkt het?
  Stel je voor dat de agent een trein heeft.
  1. Het station (DG): De agent krijgt een heel zwak signaal binnen (zoals een flits van een lichtje). Dit is de "dentate gyrus" (DG). Omdat het signaal zo zwak is, wordt het eerst gefilterd en verspreid.
  2. De trein (CA3): Zodra de trein vertrekt, rijdt hij niet alleen vooruit. Hij heeft een lange, vaste treinwagon achter zich aan. Als er een signaal binnenkomt, duwt het dat signaal de trein in.
  3. Het effect: Zelfs als het signaal al lang weg is, blijft het signaal door de treinwagen "glijden". Het duurt even voordat het signaal het einde van de trein bereikt.
  4. De kracht: Dit betekent dat de agent, zelfs als hij op dit moment niets ziet, nog steeds "herinnert" waar hij een seconde geleden was. Het is alsof je een echo hebt van je eigen beweging die langzaam vervaagt.

3. De Grote Vergelijking: Geheugen vs. Ruis

De onderzoekers hebben getest of deze "trein-methode" beter werkt dan de standaard methoden die AI-ontwikkelaars gebruiken (zoals LSTM's, een soort slimme geheugennetwerken).

• Situatie A: Weinig informatie (De mist)

  • Als de agent weinig ziet (zoals in dit experiment), wint de "trein-methode" (hippocampus) het ruimschoots.
  • Waarom? Omdat de trein de zwakke signalen vasthoudt en uitrekt. Het helpt de agent om een beeld te vormen van de route, zelfs als de input onvolledig is.
  • Vergelijking: Het is alsof je in de mist loopt en je herinnert je dat je net linksaf bent gegaan. Die herinnering helpt je om niet in een cirkel te lopen.

• Situatie B: Veel informatie (Duidelijk zicht)

  • Als de agent alles perfect kan zien (geen ruis, veel pixels), wint de standaard methode (LSTM).
  • Waarom? Als je alles ziet, hoef je niet te "gissen" of te herinneren. Je kunt gewoon kijken en reageren. De complexe trein is dan zelfs een beetje overbodig en vertraagt de reactie.

4. Wat leert de Agent? (De "Plaatscellen")

Het meest fascinerende is wat er gebeurt terwijl de agent leert. De onderzoekers keken naar de interne "neuronen" van de agent.

• Plaatsvelden: Na verloop van tijd begonnen bepaalde eenheden in de "trein" te vuren als de agent zich op een specifieke plek in het labyrint bevond. Dit is precies wat plaatscellen doen in de hersenen van ratten en mensen!
• De kaart: De agent bouwde vanzelf een mentale kaart op. Hij leerde dat "hier" betekent "ik ben bij de hoek van de muur", zelfs als hij die hoek nu niet direct zag, maar wel een paar seconden geleden.
• Remapping: Als ze de beloning verplaatsten, veranderde de kaart van de agent. Hij "remapte" zijn geheugen, net zoals een mens dat doet als je een nieuwe route moet vinden.

5. De Grootte van de Trein

De onderzoekers ontdekten dat de lengte van de trein (hoe lang het geheugen is) cruciaal is.

• Een te korte trein (korte termijn geheugen) werkt niet goed; de agent raakt de weg kwijt.
• Een lange trein (lange termijn geheugen) zorgt voor een stabiele navigatie.
• Vergelijking: Als je een lange wandeling maakt, wil je je herinneren waar je bent geweest, niet alleen waar je nu staat.

Conclusie in één zin

Dit onderzoek laat zien dat de hersenen misschien een slimme "echo-methode" gebruiken: door zwakke signalen vast te houden en uit te rekken in de tijd, kunnen we een helder beeld van de wereld vormen, zelfs als onze zintuigen ons niet alles vertellen. Het is een bewijs dat simpelheid (een vaste trein) soms slimmer is dan complexiteit (een alles-weetend brein), vooral als we in de mist lopen.

Kortom: De hersenen gebruiken een interne "rolband" om zwakke herinneringen vast te houden, zodat we ons kunnen oriënteren in een wereld die niet altijd duidelijk is.

Technische samenvatting

Probleemstelling

Hippocampale plaatscellen (place cells) in zoogdieren vuren in sequenties die vaak worden toegeschreven aan sequentiële sensorische input of cognitieve planning. Echter, de mechanistische oorsprong van deze sequenties blijft onduidelijk. Bestaande computationele modellen (zoals successor representations of reservoir-modellen) reproduceren vaak plaats-achtige activiteit, maar adresseren niet expliciet waar deze sequenties vandaan komen of hoe ze ontstaan uit circuitdynamica.

De kernvraag is: Hoe kunnen hippocampale sequenties ontstaan uit intrinsieke recurrente circuitry, zelfs wanneer betrouwbare sensorische input schaars is? Traditionele diepe leermodellen (zoals LSTMs) worstelen vaak met lange-termijn afhankelijkheden bij zeer schaarse input, terwijl biologische systemen dit blijkbaar efficiënt oplossen.

Methodologie

De auteurs presenteren een minimalistisch, mechanistisch model dat een actor-critic agent combineert met een door neurobiologie geïnspireerde hippocampus-module.

1. Omgeving:

   • Een continu virtueel labirint (DeepMind Lab) met willekeurige muren en uniforme visuele texturen.
   • De agent moet navigeren naar een onzichtbare beloning op basis van een egocentrisch visueel perspectief (96x72 pixels).
   • De omgeving is ontworpen zodat ruimtelijke relaties niet triviaal kunnen worden afgeleid uit visuele gelijkenis.

2. Architectuur van de Agent:

   • Visuele Encoder: Een vooringestelde ResNet (vastgehouden tijdens training) die visuele features extrahert.
   • Dentate Gyrus (DG) Module (Sparsificatie): De output van de encoder wordt lineair gemapt naar 16 features en vervolgens gesparsificeerd via batchnormalisatie en een hoge drempelwaarde. Dit resulteert in een activiteit van slechts ~2,5%, wat de biologische realiteit van DG korrelcellen nabootst.
   • CA3 Module (Sequentie Generator): Dit is het kernpunt van het model. In plaats van een trainbare RNN, wordt CA3 gemodelleerd als een vast recurrente shift-register.
     • Het ontvangt de schaarse DG-input.
     • Het projecteert elke input-feature naar een vooraf ingestelde sequentie van lengte $\ell = L + R - 1$ (waarbij $L$ het aantal theta-cycli is en $R$ het aantal actieve eenheden per cyclus).
     • De activiteit verspreidt zich over de tijd (theta-sequenties) zonder dat er externe input nodig is om de sequentie te onderhouden.
     • De recurrente matrix is vast; alleen de DG-projectie en de decoder worden getraind via reinforcement learning.
   • Decoder & Actor-Critic: De uitgebreide CA3-activiteit wordt gelezen door een MLP (Decoder) om waarden (value) en acties te voorspellen.

3. Training:

   • Gebruik van Advantage Actor-Critic (A2C/PPO variant) met Sample Factory.
   • Vergelijkingen met baselines: LSTMs (trainbaar), Random RNNs, en State-Space Models (SSM zoals HiPPO-LegS).

Belangrijkste Bijdragen

1. Mechanistische Interpretatie: Het paper biedt een parsimonische uitleg voor hippocampale sequenties: ze ontstaan uit intrinsieke recurrente circuitry die transient input over lange tijdsperiodes propageert, fungerend als een tijdelijk geheugenbuffer bij schaarse sensorische input.
2. Synergie tussen Sparsiteit en Sequenties: Het model toont aan dat sequentie-genererende dynamica specifiek synergistisch werkt met schaarse input.
3. Emergente Ruimtelijke Representaties: Zonder expliciete ruimtelijke labels of trainingsdoelen voor de plaatscellen, ontstaan er van nature place fields, afstand-afhankelijke kernels en task-afhankelijke remapping.

Resultaten

• Navigatieprestaties:

  • De CA3-agent lost het labyrint betrouwbaar op met schaarse input (16 kanalen, ~2,5% activiteit).
  • Overtreffing van LSTMs: Bij schaarse input presteert de CA3-agent aanzienlijk beter dan LSTMs van vergelijkbare grootte en SSM-modellen.
  • Omgekeerd bij Dichte Input: Bij dichte input (zonder sparsificatie) presteert de LSTM beter dan de CA3-agent. Dit bevestigt dat de CA3-dynamiek specifiek is geoptimaliseerd voor regimes met weinig betrouwbare signalen.
  • Sequentielengte: De prestaties hangen sterk af van de sequentielengte ($L$). Een te korte sequentie (of geen sequentie, $L=1$) leidt tot falen, wat aantoont dat lange-termijn geheugen essentieel is.

• Neurale Representaties:

  • Place Fields: CA3-eenheden ontwikkelen gelokaliseerde place fields die lijken op biologische waarnemingen.
  • Orthogonalisatie: De DG-inputs worden tijdens het leren steeds orthogonaal, wat leidt tot unieke representaties van individuele locaties.
  • Remapping: Wanneer de beloningslocatie verandert, ondergaan de place fields een "remapping" (verschuiving van het zwaartepunt), wat overeenkomt met biologische data.
  • Ruimtelijke Kernels: De populatieactiviteit ontwikkelt een gladde, isotrope kernel die afhankelijk is van de afstand tussen locaties, wat een robuuste ruimtelijke kaart suggereert.

• Causaliteit:

  • Experimenten waarbij de output-weights van eenheden met hoge ruimtelijke informatie (SI) werden permuteren, leidden tot een significante daling in prestaties, wat aantoont dat deze ruimtelijke representaties causaal zijn voor het succes van de navigatie.

Betekenis en Conclusie

Dit onderzoek biedt een brug tussen computationele neurowetenschap en reinforcement learning:

1. Neurobiologische Validatie: Het model verklaart hoe theta-sequenties en place fields kunnen ontstaan zonder complexe externe sturing, puur door intrinsieke circuit-dynamica en schaarse input. Het ondersteunt het idee dat de hippocampus fungeert als een reservoir dat context behoudt wanneer sensorische signalen onbetrouwbaar zijn.
2. Inductieve Bias voor RL: Voor reinforcement learning in navigatietaken met schaarse observaties (zoals in de echte wereld vaak het geval is), biedt een sequentie-genererende, sparsely-actieve architectuur een superieure inductieve bias ten opzichte van standaard recurrente netwerken (zoals LSTMs).
3. Algemene Toepasselijkheid: De bevindingen suggereren dat verschillende recurrente architecturen geschikt zijn voor verschillende sensorische regimes: sequentie-expansie voor schaarse input en mixings-oriëntatie voor dichte input.

Kortom, het paper demonstreert dat een eenvoudige, door de biologie geïnspireerde "shift-register" in combinatie met sparsificatie niet alleen leidt tot succesvolle navigatie, maar ook tot de emergentie van complexe, biologisch plausibele ruimtelijke cognitie.