🤖 AI

Flow Equivariant World Models: Memory for Partially Observed Dynamic Environments

Dit artikel introduceert Flow Equivariant World Models, een raamwerk dat tijdgeparameteriseerde symmetrieën binnen een latente geheugen benut om stabiele, langetermijnvoorspellingen in gedeeltelijk geobserveerde dynamische omgevingen mogelijk te maken door ervoor te zorgen dat het geheugen evenwichtig verschuift en transformeert met zelfbeweging en externe objectdynamiek.

Oorspronkelijke auteurs: Hansen Jin Lillemark, Benhao Huang, Fangneng Zhan, Yilun Du, Thomas Anderson Keller

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hansen Jin Lillemark, Benhao Huang, Fangneng Zhan, Yilun Du, Thomas Anderson Keller

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een druk stadsplein loopt. Je kijkt naar een straatartiest die jongleert. Plotseling draai je je hoofd om naar een vriend die net is gearriveerd. Terwijl je ogen op je vriend zijn gericht, blijft de straatartiest jongleren en rijdt er een bus voorbij in de achtergrond. Wanneer je je hoofd terugdraait naar het plein, verwacht je dat de artiest nog steeds aan het jongleren is en dat de bus verderop in de straat is gereden. Je verwacht niet dat de artiest verdwijnt of dat de bus plotseling terugteleporteert naar waar hij was.

Dit is precies het probleem dat Flow Equivariant World Models (FloWM) probeert op te lossen voor kunstmatige intelligentie.

Het Probleem: De "Amnesie" van AI

Huidige AI-systemen die proberen de toekomst te voorspellen (genaamd "World Models") zijn als mensen met een zeer korte concentratieboog. Ze kunnen een video van een paar seconden bekijken en raden wat er daarna gebeurt. Maar als je hen vraagt te voorspellen wat er gebeurt nadat ze "wegkijken" (wat gebeurt wanneer een AI-agent zijn camera beweegt of zijn lichaam draait), raken ze in de war.

Omdat ze op elk moment slechts een klein deel van de wereld zien, vergeten ze wat er buiten hun gezichtsveld gebeurt. Wanneer ze terugkijken, gaan ze vaak "hallucineren" (dingen verzinnen). Ze kunnen denken dat de straatartiest is verdwenen, of ze kunnen een compleet nieuwe bus verzinnen die nooit heeft bestaan, puur om het gat op te vullen. Ze verliezen het spoor van de "flow" van tijd en beweging.

De Oplossing: Een Bewegende Kaart

De auteurs van dit artikel stellen een nieuwe manier voor waarop AI de wereld kan onthouden. In plaats van alleen een statisch beeld op te slaan van wat het voor het laatst zag, bouwt FloWM een gestructureerd, bewegend geheugen.

Denk hierover na als volgt:

Oude AI: Stel je voor dat je een tekening van de stad maakt op een vel papier. Elke keer dat je je hoofd draait, moet je de oude tekening uitgummen en op een nieuw vel papier opnieuw beginnen. Je verliest de context van wat er achter je was.
FloWM: Stel je voor dat je tekent op een groot, transparant glas evenement dat voor je zweeft. Terwijl je loopt en draait, beweegt het glas met je mee. Als er een bus links voorbijrijdt, teken je die op het glas. Wanneer je je hoofd draait, blijft de bus op het glas geschilderd, bewegend langs de flow van de wereld. Wanneer je je hoofd terugdraait, is de bus precies daar waar de natuurkunde zegt dat hij zou moeten zijn.

Dit "glazen blad" is het Flow Equivariant Memory. Het respecteert de regels van beweging (symmetrieën). Het begrijpt dat als jij naar links beweegt, de wereld effectief naar rechts beweegt ten opzichte van jou, en het werkt de interne kaart dienovereenkomstig bij zonder gegevens te verliezen.

Hoe het werkt (De "Velocity Channels")

Het artikel introduceert een slimme truc genaamd "Velocity Channels" (Snelheidskanalen).

Stel je voor dat het geheugen van de AI niet slechts één groot plaatje is, maar een stapel transparante overlays.

Eén overlay houdt zaken bij die stilstaan.
Een andere houdt zaken bij die langzaam naar rechts bewegen.
Een andere houdt zaken bij die snel naar links bewegen.

Wanneer de AI iets ziet bewegen, weet het precies welke "overlay" het moet bijwerken. Zelfs als de AI zijn hoofd draait (eigenbeweging), verschuift het systeem al deze overlays samen, waardoor de relatieve posities correct blijven. Dit stelt de AI in staat om met hoge nauwkeurigheid te voorspellen wat er achter hem of buiten het scherm gebeurt, omdat het geheugen wiskundig is ontworpen om mee te stromen met de tijd en beweging.

Wat ze hebben getest

De onderzoekers hebben dit idee getest in twee belangrijke scenario's:

2D Cijfers: Een eenvoudige wereld waar cijfers (zoals 1, 2, 3) over een scherm rondzweven. De AI moest voorspellen waar ze zouden zijn nadat de AI zijn "ogen" eromheen bewoog.
3D Blokken: Een complexere 3D-ruimte met gekleurde blokken die tegen muren botsen. De AI moest de paden van de blokken voorspellen, zelfs wanneer ze achter muren of buiten het zicht gingen.

De Resultaten

De resultaten waren duidelijk:

Oude AI-modellen verloren snel het spoor kwijt. Na verloop van tijd begonnen ze fouten te maken, dingen te verzinnen of objecten te vergeten. Hun voorspellingen werden wazig en chaotisch.
FloWM bleef zeer lang nauwkeurig. Het kon de beweging van objecten 150 tot 200 stappen in de toekomst voorspellen, ook al was het alleen getraind op korte sequenties. Het hallucineerde niet; het hield de "symfonie van flows" correct aan het spelen.

Waarom dit ertoe doet

Het artikel betoogt dat voor een AI om echt een dynamische wereld te begrijpen (zoals een robot die door een huis navigeert of een auto die door een straat rijdt), een geheugen nodig is dat met de wereld meebeweegt, en niet alleen een geheugen dat statische momentopnames opslaat. Door het geheugen zo te organiseren dat het de natuurlijke wetten van beweging en tijd respecteert, wordt de AI veel beter in het voorspellen van de toekomst, leert het sneller en maakt het minder fouten.

Kortom, FloWM geeft AI een "bewegende kaart" die nooit zijn plek verliest, waardoor het het hele plaatje kan zien, zelfs als het slechts naar een klein deel kijkt.

Technische Samenvatting: Flow Equivariant World Models

1. Probleemstelling

Belichaamde agenten opereren in dynamische omgevingen waarin zij slechts beschikken over een beperkt, eerste-persoons gezichtsveld. Deze partiële observeerbaarheid vormt een aanzienlijke uitdaging voor bestaande wereldmodellen: terwijl de agent een fractie van de omgeving waarneemt, blijven niet-geobserveerde regio's evolueren. Huidige state-of-the-art methoden, inclusief grootschalige latente diffusie-transformers en recurrente modellen, falen vaak in het handhaven van consistentie over lange horizonten in dergelijke settings.

Zonder een geheugenstructuur die de onderliggende symmetrieën van de wereld respecteert, lijden deze modellen aan:

Informatieverlies: Terwijl de agent beweegt, valt relevante informatie uit het verleden buiten het contextvenster (bijv. sliding windows in transformers) en wordt deze weggegooid.
Hallucinatie: Wanneer de agent terugkijkt naar een eerder geobserveerde regio, faalt het model er vaak in de staat van het object te herinneren, en genereert in plaats daarvan nieuwe, gehallucineerde objecten of laat bestaande objecten vervagen.
Gebrek aan Structurele Priors: Bestaande modellen behandelen observaties als statische sequenties of view-afhankelijke data, waarbij ze negeren dat zowel zelfbeweging als externe objectbeweging voldoen aan gladde, tijd-geparameteriseerde symmetrieën (flows).

2. Methodologie: Flow Equivariant World Models (FloWM)

De auteurs stellen FloWM voor, een framework dat flow-equivariantie integreert in de kern van het geheugen van het wereldmodel. De centrale hypothese is dat predictieve representaties krachtiger worden wanneer ze georganiseerd zijn in overeenstemming met de temporele en dynamische structuur van de wereld.

Kernconcept: Flow Equivariance

Het framework breidt statische groep-equivariantie uit naar tijd-geparameteriseerde sequentietransformaties, of "flows".

Definitie: Een model is flow-equivariant als, wanneer de inputsequentie een flow ondergaat (bijv. een verschuiving door tijd of beweging), de outputsequentie transformeert volgens dezelfde flow.
Globale Equivariance: In settings met partiële observeerbaarheid moet het model een latent geheugen onderhouden van de volledige wereldtoestand (geobserveerd en niet-geobserveerd). De latente representatie moet transformeren in overeenstemming met de globale wereldtoestand, niet alleen met de huidige observatie.
Co-bewegend Referentiekader: Om dit te bereiken, wordt het recurrente geheugen getransporteerd door dezelfde flow als de input voordat nieuwe observaties worden geïntegreerd. Dit zorgt ervoor dat kenmerken ruimtelijk uitgelijnd blijven met bewegende objecten in plaats van achtergelaten te worden in een vast kader.

Architecturale Componenten

Het framework wordt geïnstantieerd via een gegeneraliseerde flow-equivalente recursie-relatie:
$h_{t+1}(\nu) = \psi_1(\nu) \cdot U_\theta [h_t(\nu); E_\theta [f_t; h_t] (\nu)]$
Waar:

$h_t(\nu)$ de verborgen toestand vertegenwoordigt die georganiseerd is in "velocity channels" ( $\nu$ ), overeenkomend met verschillende vectorenvelden van beweging.
$E_\theta$ een encoder is die observaties naar de latente ruimte mapt.
$U_\theta$ de update-operatie is.
$\psi_1(\nu)$ de flow-actie over één tijdstap vertegenwoordigt.

Self-Motion Equivariance:
Het model behandelt de zelfbeweging van de agent als een relatieve flow. Door de verborgen toestand te transformeren volgens de actie van de agent ( $T_{a_t}$ ), verschuift het geheugen effectief in het co-bewegende referentiekader van de agent. Dit stelt het model in staat om een gestructureerde "kaart" van de omgeving op te bouwen waarbij nieuwe observaties op basis van de acties van de agent in de juiste relatieve posities worden geïntegreerd.

Twee Instantiaties

Simple Recurrent FloWM (2D): Ontworpen voor 2D-omgevingen (bijv. MNIST World). Het maakt gebruik van convolutionele operaties over verborgen toestanden en ruimtelijke inputs. Het gebruikt een vast venster om te lezen/schrijven naar de verborgen toestand, terwijl de rest van de toestand rond het gezichtsveld van de agent stroomt.
Transformer-Based FloWM (3D): Ontworpen voor complexe 3D-omgevingen (bijv. Block World). Het maakt gebruik van een Vision Transformer (ViT) encoder en decoder. Het latente geheugen is een set ruimtelijk georganiseerde token-embeddings die fungeren als een top-down abstracte kaart.
- Opmerking over Equivariance: Hoewel exacte encoder-equivariantie moeilijk is voor 3D-naar-2D projecties zonder kostbare depth unprojection, demonstreren de auteurs dat de recurrente flow-transformatie ( $T^{-1}_{a_t} \psi_1(\nu)$ ) de encoder aanmoedigt om tijdens training equivariantie te leren, waarbij een hoge getrouwheid wordt bereikt zonder expliciete geometrische beperkingen.

3. Belangrijkste Bijdragen

Formalisering van Flow Equivariance: Het artikel formaliseert hoe tijd-geparameteriseerde symmetrieën (flows) kunnen worden gebruikt om een gestructureerd, persistent geheugen te construeren voor het modelleren van dynamische werelden met partiële observeerbaarheid.
Gestructureerde Geheugenarchitectuur: Introductie van een recurrent geheugen met "velocity channels" dat transformeert en verschuift in overeenstemming met zowel zelfbeweging als de externe objectbeweging, waardoor informatie over buiten het gezichtsveld liggende regio's over de tijd heen uitgelijnd blijft.
Nieuwe Benchmarks: De auteurs introduceren nieuwe benchmarks voor het modelleren van werelden met partiële observeerbaarheid:
- 2D MNIST World: Cijfers die bewegen met willekeurige snelheden bij partiële observatie.
- 3D Dynamic Block World: Gekleurde blokken die stuiteren in een 3D-kamer terwijl een agent navigeert via discrete acties.
Empirische Validatie: Demonstratie dat FloTM significant presteert ten opzichte van state-of-the-art diffusie (DFoT, DFoT-SSM) en recurrente (RSSM) baselines in langdurige voorspelling en lengte-generalisatie.

4. Experimentele Resultaten

De auteurs hebben FloTM geëvalueerd tegen baselines inclusief History-Guided Diffusion Forcing (DFoT), DFoT-SSM en DreamerV3's RSSM.

Prestatie-metrieken

Consistentie op Lange Termijn: In de 2D MNIST World behield FloTM consistente voorspellingen voor 150 tijdstappen voorbij de trainingshorizon (20 tijdstappen), terwijl baselines divergeerden of hallucineerden. In de 3D Block World bleef FloTM consistent voor 210 frames, terwijl baselines het contact met objecten verloren of nieuwe objecten hallucineerden.
Foutreductie: FloTM behaalde aanzienlijk lagere Mean Squared Error (MSE) en hogere PSIM/SSIM-scores vergeleken met alle baselines. Bijvoorbeeld, in de 3D Block World was de MSE van FloTM ~0.0006 (70 frames) versus 0.0117 voor DFoT.
Leer-efficiëntie: Modellen die Self-Motion Equivariance (SME) en Velocity Channels (VC) combineren, vereisten orders van grootte minder trainingsstappen om te convergeren vergeleken met geablateerde versies.
Downstream Planning: In een "zoek de rode blok" planningstaak navigeerde FloTM succesvol naar het doel. Baselines hallucineerden vaak de locatie van het doel, wat leidde tot slechte planningprestaties.
Probe Analyse: Een probe-netwerk getraind om blokposities uit de latente ruimte te decoderen, toonde een nauwkeurigheid van 96% voor FloTM versus <1% voor DFoT, wat bevestigt dat FloTM een gestructureerde, equivariante representatie van objecttrajecten leert.

Ablatie-studies

Het verwijderen van Velocity Channels (VC) of Self-Motion Equivariance (SME) zorgde voor een significante afname in prestaties, waarbij de resultaten vaak gelijk waren aan of lager dan die van baseline diffusiemodellen, wat benadrukt dat beide componenten cruciaal zijn voor het omgaan met partiële observeerbaarheid en dynamiek.

5. Betekenis en Claims

Het artikel claimt dat predictieve representaties fundamenteel krachtiger zijn wanneer ze georganiseerd zijn in lijn met de temporele en dynamische structuur van de wereld.

Theoretisch Fundament: Het werk biedt een theoretisch framework (flow-equivariantie) dat de noodzaak van gestructureerd geheugen voor wereldmodellen in dynamische, gedeeltelijk geobserveerde omgevingen dicteert.
Oplossen van Partiële Observeerbaarheid: In tegenstelling tot eerdere methoden die vertrouwen op het uitbreiden van contextvensters of statische geheugenbanken, handelt FloTM inherent de evolutie van niet-geobserveerde regio's af door een geheugen te onderhouden dat meebeweegt met de wereldtoestand.
Generalisatie: Het framework stelt modellen in staat om te generaliseren naar aanzienlijk langere sequenties dan tijdens de training gezien, een cruciale capaciteit voor echte belichaamde agenten.
Bescheiden Omvang: De auteurs erkennen dat de huidige evaluaties plaatsvinden in gecontroleerde settings met rigide-body geometrische acties. Zij positioneren dit werk als een fundament voor toekomstige uitbreidingen naar open-world datasets, continue actieruimtes en complexere fysieke interacties.

Samenvattend demonstreert FloTM dat door de symmetrieën van beweging expliciet in de geheugenarchitectuur te coderen, wereldmodellen stabiele, accurate en hallucinatievrije voorspellingen kunnen genereren over lange horizonten in gedeeltelijk geobserveerde dynamische omgevingen.