Technische Samenvatting: Structuurabstractie en Generalisatie in een door Hippocampus-Entorhinale Cortex Geïnspireerd Wereldmodel

Probleemstelling

Mensen beschikken over het vermogen om ervaringen te abstraheren tot gestructureerde representaties, wat patrooninferentie en kennisoverdracht over diverse contexten faciliteert. Hoewel het biologische hippocampus-entorhinale (HPC-MEC) circuit bekend staat om het coderen van zowel ruimtelijke als conceptuele ruimtes, blijven de mechanismen voor het gelijktijdig extraheren van abstracte structuren uit continue, hoogdimensionale dynamica slecht begrepen. Bestaande cognitieve kaartmodellen in de neurowetenschappen hebben vaak moeite met schalen en falen in het aantonen hoe abstracte structuren direct kunnen worden geëxtraheerd uit hoogdimensionale, real-world visuele scènes zonder voorafgaand toezicht. Bovendien verstrengelen huidige wereldmodellen vaak transitiedynamica met sensorische inhoud, wat hun vermogen beperkt om structurele patronen te generaliseren over verschillende objecten en omgevingen.

Dit werk adresseert twee fundamentele vragen:

1. Hoe kan een model tegelijkertijd representaties van concrete sensorische inhoud leren en abstracte structuren extraheren uit sequenties zonder voorafgaand toezicht?
2. Hoe kunnen deze geëxtraheerde structuren worden ingezet om robuuste structurele generalisatie over diverse objecten en omgevingen te faciliteren?

Methodologie

De auteurs stellen een hiërarchisch, door het brein geïnspireerd wereldmodel voor dat de functionele verdeling van het HPC-MEC circuit nabootst. De architectuur bestaat uit twee primaire componenten: een inverse model voor structuurextractie en een HPC-MEC koppelmodel voor voorspellend wereldmodelleren.

1. Overzicht Architectuur

Het model werkt op ruwe videosequenties met behulp van een vooraf getrainde multi-scale VQ-VAE om observatie-embeddings ($s$) te extraheren. De kernverwerking vindt plaats in twee distincte latente ruimtes:

• Hippocampus (HPC): Codeert inhoudsrijke, episodische informatie. Het vangt specifieke sensorische details en context op.
• Mediale Entorhinale Cortex (MEC): Codeert abstracte relationele structuren. Het wordt geïmplementeerd met behulp van Continuous Attractor Neural Network (CANN) dynamica om snelheidsgedreven padintegratie uit te voeren.

2. Het HPC-MEC Koppelmodel

Het model hanteert twee informatiestromen:

• Visuele Inferentiestroom: Invoerframes worden gecodeerd in HPC-embeddings ($p$) en vervolgens gecomprimeerd tot lagerdimensionale MEC-embeddings ($g$). Deze stroom vangt de huidige staat op.
• Generatiestroom: Het model voorspelt toekomstige staten door latente transities toe te passen op de MEC-embeddings. De MEC-dynamica worden gemodelleerd als een CANN, waarbij het netwerk een stabiele "bult" van activiteit handhaaft. Een latente transitie ($z_t$) fungeert als een snelheidsoperator, die deze bult verschuift langs de meetkundige assen van het netwerk om de volgende staat ($g_{t+1}$) te genereren.
  • De updateregel is gedefinieerd als: $g_{t+1} = g_t \oplus f_{forward}(z_t, g_t)$, waarbij $\oplus$ een faseverschuivingsoperator is.
• Visuele Feedback: Om foutaccumulatie inherent aan autoregressieve padintegratie te mitigeren, integreert het model visuele feedback. Wanneer nieuwe observaties beschikbaar zijn, corrigeert de afgeleide MEC-embedding uit de observatie de gegenereerde staat voordat de volgende voorspellingstap plaatsvindt.

3. Inverse Model voor Latente Transitie-inferentie

In plaats van direct te mappen vanuit hoogdimensionale observaties, infereert het inverse model latente transities ($z_t$) uit het verschil tussen opeenvolgende MEC-embeddings ($g_t$ en $g_{t+1}$).

• $z_t = f_{inverse}(g_{t+1} \ominus g_t)$
• Door te opereren op het verschil in de abstracte MEC-ruimte, isoleert het model laagdimensionale transitiedynamica, waarbij redundante visuele kenmerken die in de HPC zijn gecodeerd, worden uitgesloten. Dit ontkoppelt effectief "hoe" een object beweegt (structuur) van "wat" het object is (inhoud).

4. Trainingsparadigma

Het model wordt getraind op een zelftoezichtende manier met uitsluitend observati sequenties, zonder expliciete actielabels. De training verloopt in drie fasen:

1. Fase 1: Training van de visuele inferentiestroom en het decodeerproces om observatie-embeddings te reconstrueren, waarbij consistentie tussen sensorische invoer en zelfbewegingshints wordt afgedwongen via alignerings- en regularisatieverliezen.
2. Fase 2: Training van het inverse model om latente transities te infereren en de transitiedynamica om de volgende MEC-embedding te voorspellen.
3. Fase 3: Gezamenlijk fijnafstemmen van het volledige systeem om autoregressieve generatie uit te voeren met behulp van padintegratie, uitsluitend vertrouwend op de initiële staat en de reeks van afgeleide latente transities.

Belangrijkste Bijdragen

• Zelftoezichtend HPC-MEC Wereldmodel: De auteurs introduceren een raamwerk dat gezamenlijk abstracte structuren infereert en een wereldmodel leert uit ruwe videosequenties zonder dat expliciete priors op dynamica vereist zijn.
• Analyse van Structuurabstractie: Met behulp van primitieve transformatiedynamica (rotatie, translatie, schaling) als benchmark, demonstreert het artikel dat het model succesvol uiterlijk ontkoppelt van dynamica. Het vertoont periodiciteit en in-klasse structuurdeling, waarbij MEC-embeddings gedeelde rotatiekenmerken over verschillende objectinstanties vastleggen, terwijl HPC-embeddings objectspecifieke identiteit behouden.
• Structurele Generalisatie: Het model demonstreert het vermogen om gedeelde structuren te extraheren uit vergelijkbare transitiedynamica en deze flexibel opnieuw te gebruiken over uiteenlopende omgevingen en objectcategorieën (zero-shot transfer). Dit wordt bereikt door abstracte structuren die in de MEC zijn gecodeerd te integreren met inhoudelijke details die in de HPC zijn opgeslagen.

Resultaten

Het model werd geëvalueerd op de Something-Something v2 (SSv2) dataset voor training en getest op Out-of-Distribution (OOD) datasets, waaronder 3D-objecttransities (COIL-100, MIRO, OmniObject3D) en gesimuleerde robotomgevingen (Franka Kitchen, Block Pushing).

• Voorspellingsprestaties: Het model bereikt robuuste één-staps en autoregressieve voorspellingen. Bij autoregressieve taken verbetert de opname van visuele feedback de generatiekwaliteit aanzienlijk door geaccumuleerde padintegratiefouten te corrigeren.
• Structuurabstractie: Kwantitatieve analyse toont aan dat MEC-embeddings ($g$) effectiever zijn in het vastleggen van in-klasse gedeelde structuren dan HPC-embeddings ($p$). Een decoder getraind op MEC-embeddings bereikt een hogere nauwkeurigheid bij het classificeren van objectcategorieën op basis van gedeelde dynamica vergeleken met een decoder getraind op HPC-embeddings.
• Transitie-decodering: Latente transities ($z$) afgeleid van het model bereiken de hoogste nauwkeurigheid (90,64%) bij het decoderen van transitietypes (rotatie, translatie, schaling) vergeleken met statetransities in HPC- of MEC-ruimtes, wat aangeeft dat $z$ hoogsemantisch betekenisvolle, inhoudsvrije structuren vastlegt.
• Generalisatie: Het model slaagt erin latente transities van een bronobject (bijvoorbeeld een gele appel) over te dragen naar een doelobject (bijvoorbeeld een rode appel) of een andere scène, en genereert sequenties die overeenkomen met de dynamica van de bron terwijl de inhoud van het doel wordt behouden. Het presteert beter dan baselines (LAPA, Moto, AdaWorld) in OOD-instellingen, met name in naturalistische omgevingen zoals Franka Kitchen, waar baselines vaak falen of degenereren tot statische voorspellingen.
• Ablatiestudies: Het verwijderen van de hiërarchische scheiding (unified latente ruimte) of de CANN-dynamica (vervangen door standaard MLP) degradeert de prestaties aanzienlijk, wat bevestigt dat de ontkoppelde architectuur en CANN-gebaseerde padintegratie cruciaal zijn voor het isoleren van pure dynamica en het mogelijk maken van generalisatie.

Betekenis en Claims

Dit werk biedt een nieuw computationeel raamwerk voor het begrijpen hoe door het brein geïnspireerd, zelftoezichtend leren van wereldmodellen de acquisitie van herbruikbare abstracte kennis faciliteert. Door de functionele scheiding van de HPC en MEC na te bootsen, demonstreert het model dat abstracte structuren effectief kunnen worden geëxtraheerd uit real-world videosequenties terwijl betekenisvolle hiërarchische latente ruimtes worden behouden.

De auteurs claimen dat hun aanpak een mechanisme biedt voor structurele generalisatie, waardoor systemen in staat zijn om geëxtraheerde structurele representaties flexibel te binden aan nieuwe contexten. Deze capaciteit suggereert een weg naar robuustere transfer learning in embodied AI, waarbij agenten generaliseerbare dynamica kunnen leren uit beperkte data en deze kunnen toepassen op onbekende objecten en omgevingen. Het werk overbrugt de kloof tussen theoretische neurowetenschappelijke modellen van cognitieve kaarten en praktische deep learning-toepassingen in videovoorspelling en latente actie-extractie.