Technische Samenvatting: MemoryVAM

Probleemstelling

Video-world-model policies leren actie-relevante representaties door toekomstige observaties te voorspellen, waarbij ze gebruikmaken van een korte, vaste observatievenster. Hoewel dit effectief is voor ongeveer Markoviaanse taken, faalt dit ontwerp bij langdurige, meerfasige manipulatietaken waarbij de juiste actie afhangt van eerdere gebeurtenissen die niet langer zichtbaar zijn in het huidige venster. In dergelijke scenario's (bijv. "pak drie keer de rode blok") vereisen visueel vergelijkbare staten verschillende acties op basis van verborgen taakvoortgang (bijv. de huidige telling). Zonder episodisch geheugen worden deze taken niet-Markoviaans, wat leidt tot falende policies wanneer zij niet in staat zijn om verschillende stadia van een repetitieve sequentie te onderscheiden of ruimtelijke historie te herinneren.

Methodologie: MemoryVAM

De auteurs stellen MemoryVAM voor, een episodisch geheugenmechanisme dat ontworpen is om historie te integreren in video-world-model policies. De kerninnovatie is dual memory conditioning, waarbij een compacte set geheugentokens zowel de toekomstige voorspellingen van de video-backbone als de controlebeslissingen van de action decoder beïnvloedt.

1. Episode History Encoding

Op elk tijdstip $t$ onderhoudt het systeem een episode-historie $\mathcal{H}_t$ bestaande uit CLIP visuele embeddings van voorgaande frames. Het gebruik van CLIP-embeddings maakt het mogelijk voor het geheugen om taakrelevante semantische veranderingen bij te houden in plaats van laag-niveau pixelverschillen.

2. De Recap-Cue (RC) Module

De RC-module verwerkt de variabele lengte van de historie naar een vaste geheugenrepresentatie:

• Recap Compressor: Een Perceiver-gebaseerde Resampler brengt de episode-historie terug naar een compacte matrix van geheugentokens $\mathbf{G}$. Door gebruik te maken van geleerde queries, wordt er selectief gelet op gebeurtenissen die de taakvoortgang verklaren, waarbij zowel wat er gebeurde als wanneer het gebeurde wordt vastgelegd via order-aware positionele codering.
• Cue Gate: Een lichtgewicht module schat een taakvoltooide-score $q_\omega$ in op basis van gepoolde backbone-features, geheugentokens en taalinstructies. Dit maakt autonome taakbeëindiging mogelijk zonder dat tijdens de training per frame voortgangslabels nodig zijn; supervisie wordt afgeleid van de episode-grenzen in demonstraties.

3. Dual Memory Conditioning (Injection)

De geheugentokens $\mathbf{G}$ worden geïnjecteerd via twee complementaire paden:

• Pad 1 (Video Backbone): $\mathbf{G}$ wordt geïnjecteerd in de cross-attention lagen van de video-backbone.
  • Voor Cosmos DiT backbones worden de geheugentokens toegevoegd aan de tekst-conditioning matrix.
  • Voor SVD UNet backbones (bijv. VPP) wordt een aparte geheugenbranch geïntroduceerd naast de tekstbranch.
  • Effect: Dit zorgt ervoor dat de voorspelde toekomstige frames en de intermediaire backbone-features geconditioneerd zijn op de volledige episode-historie, waardoor de "verbeelding" van het model wordt afgestemd op de taakvoortgang.
• Pad 2 (Action Decoder): Dezelfde geheugentokens $\mathbf{G}$ worden geconcateneerd met de observatie-tokens (afgeleid van de backbone) en gevoed aan de action decoder.
  • Effect: Dit beperkt de actie-distributie direct op basis van het episodisch geheugen, waardoor de policy er zeker van is dat de controles consistent zijn met de historie.

4. Trainingsstrategie

Het model maakt gebruik van een tweefasige trainingsprocedure:

1. Fase 1: Traint de video-backbone en de geheugenmodule met behulp van video-voorspellingsdoelen, een delta-reconstructie hulpverlies (auxiliary loss) en de Cue Gate loss. Dit leert het geheugen informatie te coderen die nuttig is voor het voorspellen van toekomstige staten en het bepalen van taakvoltooiing.
2. Fase 2: Traint de action policy op de resulterende geheugen-geconditioneerde features terwijl de backbone stabiel wordt gehouden.

Het mechanisme is architectuur-agnostisch en is gedemonstreerd op zowel UNet (VPP) als Diffusion Transformer (DiT) (Cosmos) backbones.

Belangrijkste Bijdragen

1. Dual Injection Interface: Een tweepadige methode die compacte Recap-tokens integreert in zowel de video-backbone als de action decoder, waardoor de historie gezamenlijk zowel de verbeelde toekomst als de controle-features beïnvloedt.
2. Recap-Cue (RC) Module: Een nieuwe module die een Perceiver-gebaseerde compressor combineert voor historie-samenvatting met een Cue Gate voor autonome taakbeëindiging, getraind zonder expliciete per-stap voortgangslabels.
3. Backbone Agnosticisme: De methode wordt gevalideerd over verschillende video-backbone paradigma's (UNet en DiT), wat aantoont dat episodisch geheugen een algemene vereiste is voor langdurige video-world-model policies.

Experimentele Resultaten

De auteurs evalueerden MemoryVAM op simulatiebenchmarks en real-robot taken die episodische herinnering vereisen.

• LIBERO-Mem Benchmark:

  • Op taken die episodische herinnering vereisen (tellen, sequentiëren, ruimtelijk redeneren), verbeterde het model het gemiddelde succespercentage van 5% naar 42,5% voor de UNet-backbone en van 3,0% naar 40,5% voor de DiT-backbone.
  • Ablatie-studies toonden aan dat het gebruik van alleen Pad 1 (backbone injectie) een succespercentage van 28,5% opleverde, terwijl Pad 2 (action decoder injectie) alleen slechts 7,5% opleverde. Volledige duale injectie was noodzakelijk voor optimale prestaties.
  • MemoryVAM presteerde beter dan geheugen-geaugmenteerde VLA-baselines (bijv. MemoryVLA, Gated Memory Policy) en geheugenloze baselines.

• Real-Robot Experimenten:

  • Toy Pickup ($k\times$): 78,3% succes op tel-taken (1x, 3x, 5x repetities).
  • Place and Return: 80,0% succes op ruimtelijke herinneringstaken.
  • Shell Game: 75,0% succes op sequentiële tracking-taken waarbij objecten werden afgeschermd.
  • In contrast hiermee stortten geheugenloze policies (0% succes) in op deze taken wanneer de taakvoortgang niet direct observeerbaar was.

• Kwaliteit van Videovoorspelling:

  • Geheugeninjectie verbeterde de getrouwheid van langdurige autoregressieve rollouts aanzienlijk. Bijvoorbeeld, op de UNet-backbone verbeterden de FVD-scores van 43,36 naar 18,32 bij een enkel horizon en van 37,81 naar 19,84 bij een 8x horizon.
  • De Cue Gate slaagde erin de "stop ratio" (beweging na voltooiing) te verminderen, waardoor het model voorkwam dat het onnodige acties verbeeldde nadat een doel was bereikt.

Betekenis en Claims

Het artikel stelt dat episodisch geheugen behandeld moet worden als een integraal onderdeel van de world-model staat, in plaats van louter een hulpbron (auxiliary input) voor de action policy. Door de episode-historie toe te staan zowel wat de robot verbeeldt (toekomstige voorspelling) als hoe de policy handelt (controle-decodering) vorm te geven, pakt MemoryVAM het niet-Markoviaanse karakter van langdurige taken aan.

De auteurs beweren dat deze aanpak een schaalbaar pad biedt voor geheugensystemen, aangezien de geheugenmodule wordt gesuperviseerd door de generatieve video-doelstelling (het voorspellen van toekomstige frames) in plaats van uitsluitend te vertrouwen op actie-gelabelde demonstraties. Dit stelt het geheugen in staat om signalen van taakvoortgang te leren die consistent zijn met de visuele dynamiek van de omgeving. Het werk demonstreert dat expliciet episodisch geheugen cruciaal is voor diverse video-backbone architecturen om te slagen in complexe, meerfasige robotmanipulatie.