Learning World Models for Interactive Video Generation

Titel: Learning World Models for Interactive Video Generation

Auteurs: Taiye Chen, Xun Hu, Zihan Ding, Chi Jin (Peking University, University of Oxford, Princeton University)
Conferentie: NeurIPS 2025

1. Het Probleem

De kernuitdaging bij het ontwikkelen van fundamentele wereldmodellen voor interactieve video-generatie is het behouden van ruimtelijk-temporele coherentie over lange tijdsperiodes terwijl het model reageert op acties. Bestaande modellen voor het genereren van lange video's lijden onder twee fundamentele beperkingen:

1. Cumulatieve fouten (Compounding Errors): In autoregressieve modellen (die frame-voor-frame genereren) stapelen kleine onnauwkeurigheden in vroege voorspellingen zich op. Dit leidt tot een grote afwijking van de plausibele toekomstige toestanden naarmate de video langer wordt. De auteurs concluderen dat dit inherent is aan de huidige autoregressieve paradigma's.
2. Onvoldoende geheugmechanismen: Bestaande modellen missen een effectief mechanisme om objectidentiteiten, ruimtelijke lay-outs en wereldtoestanden consistent te houden over lange duur. Dit resulteert in inconsistente wereldmodellen.

Hoewel technieken die succesvol zijn bij Large Language Models (LLMs), zoals het uitbreiden van het contextvenster (bijv. YaRN) of Retrieval-Augmented Generation (RAG), worden toegepast, blijken deze voor video-generatie inefficiënt. Video-modellen hebben namelijk zwakkere "in-context learning" capaciteiten dan taalmodellen, waardoor het simpelweg toevoegen van meer historische frames of het verlengen van het contextvenster niet leidt tot de gewenste consistentie.

2. Methodologie: VRAG

De auteurs stellen Video Retrieval Augmented Generation (VRAG) voor, een framework dat interactieve video-generatie verbetert door expliciete globale toestandsconditioning en een aangepast geheugenherstelmechanisme.

Kerncomponenten van VRAG:

• Expliciete Globale Toestandsconditioning (Global State Conditioning):
  In plaats van alleen te vertrouwen op pixel- of latent-representaties, voegt het model expliciete informatie toe over de wereldtoestand, zoals de coördinaten (x, y, z) en de oriëntatie (yaw) van het personage. Deze informatie wordt via een leerbaar embeddinglevel en Adaptive Layer Normalization (AdaLN) gekoppeld aan de diffusion transformer (DiT). Dit geeft het model een "grond" (grounding) voor de ruimtelijke consistentie.

• Video Retrieval Augmented Generation (VRAG):
  Het model haalt historische frames op uit een buffer op basis van gelijkenis met de huidige wereldtoestand. In tegenstelling tot standaard RAG bij LLMs, waar het model vaak alleen de context hoeft te lezen, vereist video-generatie een specifiek trainingsparadigma:

  1. Positie-embeddings aanpassen: Herhaalde frames krijgen een temporale offset in hun Rotary Position Embedding (RoPE) om ze te onderscheiden van de huidige context.
  2. Aangepast Ruisniveau: Herhaalde frames krijgen tijdens training een lagere ruis toegevoegd dan de huidige frames, om het model robuust te maken tegen imperfecte historische data.
  3. Geselecteerde Conditionering: De training loss wordt gemaskeerd voor de herhaalde frames (het model moet deze niet "hergenereren", maar ze gebruiken als context). Actie-conditioning wordt voor deze historische frames uitgeschakeld om temporale discontinuïteit te voorkomen.
  4. Conditioning op Toestand: De herhaalde frames worden gekoppeld aan hun oorspronkelijke globale staat, niet aan de huidige acties.

• Basisarchitectuur:
  Het model gebruikt een Latent Video Diffusion Model met een Diffusion Transformer (DiT) backbone. Het trainingsdoel is gebaseerd op Diffusion Forcing, waarbij per frame willekeurige ruis wordt toegevoegd om autoregressieve generatie mogelijk te maken.

3. Belangrijkste Bijdragen

1. Decoupling van Uitdagingen: Het paper analyseert systematisch en ontkoppelt de problemen van cumulatieve fouten en gebrek aan geheugen in autoregressieve video-generatie.
2. VRAG Framework: Introductie van een nieuw framework dat expliciete globale toestandsconditioning combineert met geheugenherstel, wat leidt tot aanzienlijke verbeteringen in ruimtelijk-temporele coherentie.
3. Empirische Validatie van Beperkingen: Het paper toont aan dat technieken voor lange contexten afkomstig van LLMs (zoals YaRN en neurale geheugens) niet effectief overdraagbaar zijn naar video-modellen vanwege de inherente zwakke in-context learning capaciteiten van video-diffusiemodellen.
4. Benchmarks: Het stelt een uitgebreide evaluatiestrategie voor die cumulatieve fouten en geheugentrouw apart meet, in plaats van ze te combineren.

4. Resultaten

De auteurs hebben hun model getraind op 1000 lange Minecraft-gameplay-video's (17 uur) en getest op zowel Minecraft- als RealEstate10K-datasets.

• Wereldcoherentie: VRAG behaalde de beste scores op alle metrics (SSIM, PSNR, LPIPS) voor het behouden van consistentie in 300-frame video's. Het presteerde significant beter dan baselines zoals Diffusion Forcing (DF) met uitgebreide vensters of History Buffer zonder specifieke training.
• Cumulatieve Fouten: Bij het genereren van zeer lange video's (1200 frames) behaalde VRAG een SSIM-score van 0.349, vergeleken met 0.321 voor de beste DF-baseline en slechts 0.188 voor een simpele "History Buffer". Dit toont aan dat VRAG de accumulatie van fouten effectief onderdrukt.
• Ablatie-studies:
  • Het verwijderen van het geheugencomponent (alleen globale staat) leidde tot een daling van 13.8% in SSIM.
  • Het verwijderen van het trainingscomponent (geen in-context learning, alleen inferentie met retrieval) leidde tot een daling van 10.1% in SSIM.
  • Dit bevestigt dat zowel het geheugenmechanisme als de specifieke trainingsstrategie essentieel zijn.
• Generalisatie: Het model toonde succesvolle generalisatie op de RealEstate10K-dataset, wat aantoont dat de aanpak niet beperkt is tot spelomgevingen.

5. Betekenis en Conclusie

Dit werk is significant omdat het de fundamentele obstakels blootlegt bij het bouwen van consistente, interactieve video-wereldmodellen. Het weerlegt de aanname dat het simpelweg toepassen van LLM-technieken (zoals grotere contextvensters) voldoende is voor video-generatie.

De conclusie is dat expliciete conditionering op de wereldtoestand en geheugenherstel met aangepaste training noodzakelijk zijn om de beperkingen van autoregressieve video-modellen te overwinnen. VRAG biedt een schaalbaar kader voor het creëren van betrouwbare wereldmodellen die essentieel zijn voor toepassingen zoals autonome besturing, robotica en interactieve simulaties. Het paper benadrukt ook de ethische risico's van deze technologie (zoals het maken van misleidende content) en pleit voor verantwoord gebruik.