World Action Models are Zero-shot Policies

Het artikel introduceert DreamZero, een World Action Model dat op een video-diffusiebackbone is gebaseerd en door het gezamenlijk modelleren van video en acties, superieure generalisatie en cross-embodiment-overdracht biedt ten opzichte van bestaande Vision-Language-Action-modellen, terwijl het real-time gesloten-lusregeling mogelijk maakt.

De kern

DreamZero: De Robot die Droomt terwijl hij Werkt

Stel je voor dat je een robot wilt leren om een nieuwe taak te doen, zoals een sok vouwen of een ei in een koekenpan bakken. De oude manier was als het geven van een strikte receptboekje: "Pak de sok, til hem op, vouw hem links, vouw hem rechts." Als de sok een beetje anders lag of de robot een andere arm had, raakte hij in de war.

Nieuwe robots (zoals de "VLAs" in de tekst) zijn slimmer. Ze hebben een enorme bibliotheek gelezen en weten wat een "sok" is en wat "vouwen" betekent. Maar ze hebben een groot probleem: ze weten niet hoe het voelt om te bewegen. Ze kunnen het woord "vouwen" begrijpen, maar ze weten niet precies welke spieren ze moeten aanspannen om dat te doen zonder de sok te scheuren.

DreamZero is de nieuwe, slimme oplossing van NVIDIA. Het is een robotgeest die niet alleen leest, maar droomt.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. De Droommachine (Het "World Action Model")

Stel je voor dat je een nieuwe dans wilt leren. Je kunt de instructies lezen ("draai links, spring omhoog"), maar dat helpt niet echt. Wat wel helpt, is dat je je de dans voorstelt in je hoofd. Je ziet in je gedachten hoe je lichaam beweegt, hoe je voeten op de vloer landen en hoe je armen zwaaien.

DreamZero doet precies dit. Het is een robot die droomt terwijl hij werkt.

• De Oude Robots: Kijken naar een instructie en proberen direct een beweging te maken.
• DreamZero: Kijkt naar de instructie, droomt eerst een filmpje van hoe de taak eruit zou zien, en doet dan precies wat hij in dat droomfilmpje ziet.

Het model is getraind op duizenden uren van internetvideo's. Het heeft dus al gezien hoe mensen brood bakken, hoe auto's remmen en hoe mensen knopen losmaken. Het heeft een "gevoel" voor de fysieke wereld.

2. Waarom is dit zo krachtig?

Stel je voor dat je een robot wilt leren om een tijger te temmen.

• De oude robots hebben duizenden uren nodig gehad om te zien hoe een tijger zich beweegt, en ze moeten het dan nog steeds raden.
• DreamZero heeft al duizenden uren video's van tijgers gezien. Als je zegt "tem de tijger", denkt het: "Ah, ik heb dit gezien in een droom. De tijger springt naar links, ik moet mijn hand snel terugtrekken."

Dit betekent dat DreamZero:

• Nieuwe taken kan doen zonder training: Je kunt zeggen "maak een knoop los" (iets dat de robot nooit eerder heeft gedaan), en hij gebruikt zijn "droom" om het te bedenken.
• Nieuwe robots kan worden: Als je de software op een ander robotlichaam zet (bijvoorbeeld van een mens naar een robotarm), kan hij het in 30 minuten leren. Hij kijkt naar de video's van de oude robot en zegt: "Oké, die arm beweegt zo, mijn arm moet dat ook doen."

3. De Snelheid: Van Slak naar Formule 1

Een groot probleem met dit "dromen" is dat het langzaam is. Het dromen van een filmpje duurt normaal gesproken lang. Als een robot 5 seconden moet dromen voordat hij beweegt, is hij te traag voor echte taken.

De onderzoekers hebben een supersnelle motor gebouwd (genaamd DreamZero-Flash).

• Vroeger: De robot droomde een heel filmpje, stap voor stap, wat 5 seconden duurde.
• Nu: De robot heeft geleerd om de droom te "versnellen". Hij gebruikt slimme trucs (zoals het onthouden van eerdere beelden en het voorspellen van de volgende stap in één keer).
• Het resultaat: De robot droomt en beweegt 7 keer per seconde. Dat is snel genoeg om een bal op te vangen of een scherp mes te hanteren zonder te vallen.

4. De "Kopieer"-Truc (Overdracht tussen robots)

Stel je hebt een robot die al jaren in een keuken werkt. Nu krijg je een nieuwe, heel andere robot.

• Oude methode: Je moet de nieuwe robot maandenlang laten oefenen.
• DreamZero methode: Je geeft de nieuwe robot gewoon 12 minuten aan video's van de oude robot (of zelfs van een mens). De nieuwe robot kijkt naar die video's, "droomt" mee, en kan daarna direct de taken uitvoeren. Het is alsof je de nieuwe robot een filmpje laat kijken en zegt: "Kijk goed, en doe net zo."

Samenvatting in één zin

DreamZero is een robot die niet alleen luistert naar wat je zegt, maar eerst in zijn hoofd een filmpje maakt van wat er gaat gebeuren, en dan die droom in de echte wereld uitvoert – en dat allemaal zo snel dat hij niet meer traag is, maar juist een meester in het aanleren van nieuwe vaardigheden.

Het is alsof je een robot geeft die niet alleen een boek leest, maar ook een filmregisseur is die de toekomst ziet voordat hij de eerste stap zet.

Technische samenvatting

Titel: World Action Models zijn Zero-shot Policies (DreamZero)

Auteurs: Seonghyeon Ye, Yunhao Ge, Kaiyuan Zheng, et al. (NVIDIA)
Datum: Februari 2026

---

1. Het Probleem

Bestaande state-of-the-art Vision-Language-Action (VLA) modellen presteren uitstekend in semantische generalisatie (het begrijpen van instructies en objecten), maar kampen met ernstige beperkingen:

• Fysieke Generalisatie: Ze struggle om zich aan te passen aan nieuwe fysieke bewegingen, vaardigheden of omgevingen die niet expliciet in de trainingsdata voorkwamen.
• Afhankelijkheid van Repetitie: Traditionele VLA-modellen vereisen vaak grote hoeveelheden repetitieve demonstraties per specifieke taak om effectief te leren.
• Gebrek aan Dynamisch Inzicht: Hoewel VLM's (Vision-Language Models) weten wat er gedaan moet worden, missen ze de ruimtelijk-temporele priors om te begrijpen hoe bewegingen fysiek uitgevoerd moeten worden (dynamica, geometrie).
• Cross-Embodiment Transfer: Het overbrengen van kennis naar een ander robotlichaam (embodiment) vereist meestal veel nieuwe data of is beperkt tot video-only data zonder actie-labels.

2. Methodologie: DreamZero

Het paper introduceert DreamZero, een 14B parameter groot robot-foundation model dat een nieuw paradigma introduceert: de World Action Model (WAM).

Kernarchitectuur

• Backbone: Gebaseerd op een voorgeprogrammeerde Image-to-Video Diffusion backbone (Wan2.1-I2V-14B).
• Gecombineerde Voorspelling: In tegenstelling tot VLAs die alleen acties voorspellen, voorspelt DreamZero gelijktijdig toekomstige videoframes én motorische acties.
  • Formule: $\pi(o_{l:l+H}, a_{l:l+H} | o_{0:l}, c, q_l)$
  • Hierbij is $o$ de video, $a$ de actie, $c$ de taal-instructie en $q$ de proprioceptieve staat.
• Inverse Dynamica: Door de toekomstige wereldtoestand (video) te voorspellen, leert het model de inverse dynamica (welke actie leidt tot die toekomst) impliciet. De video fungeert als een "visuele planner".
• Autoregressieve Architectuur: Het model genereert data chunk-voor-chunk (autoregressief). Dit biedt voordelen ten opzichte van bidirectionele modellen:
  • Behoudt de native frame-rate (geen subsampling nodig).
  • Vermijdt modale misaligning tussen video en actie.
  • Maakt gebruik van KV-cache voor efficiëntie.
• Training: Gebruikt Flow Matching als trainingsdoel. Het model wordt getraind om ruis te verwijderen uit zowel video-latents als actie-vektoren, conditioneel op schone vorige chunks (Teacher Forcing).

Optimalisaties voor Real-time Besturing

Video-diffusiemodellen zijn normaal gesproken te traag voor gesloten-lus robotbesturing. DreamZero implementeert drie lagen van optimalisatie om 7Hz (real-time) te bereiken:

1. Systeemniveau: Parallelle uitvoering van Classifier-Free Guidance (CFG) op twee GPU's en caching van DiT-velocities.
2. Implementatieniveau: torch.compile met CUDA Graphs, kwantisatie (NVFP4 op Blackwell-architectuur) en versnelde schedulers.
3. Modelniveau (DreamZero-Flash): Een innovatieve techniek waarbij de ruis-schema's voor video en actie worden ontkoppeld.
   • Tijdens training wordt video geconditioneerd op een zeer ruisige staat (hoge noise), terwijl acties naar een schone staat worden gedenoised.
   • Dit stelt het model in staat om schone acties te voorspellen zelfs als de visuele context nog onnauwkeurig is, wat het aantal benodigde diffusiestappen reduceert van 4 naar 1 zonder kwaliteitsverlies.

3. Belangrijkste Bijdragen

1. DreamZero Architectuur: Een 14B WAM die video en actie gezamenlijk leert, waardoor effectief leren mogelijk is vanuit heterogene, niet-repetitieve robotdata.
2. Superieure Generalisatie: Toont meer dan 2x verbetering in zero-shot generalisatie naar nieuwe taken en omgevingen vergeleken met state-of-the-art VLAs.
3. Real-time Prestaties: Door model- en systeemoptimalisaties wordt een inferentie-snelheid van 7Hz bereikt (38x versnelling), wat gesloten-lus besturing mogelijk maakt.
4. Cross-Embodiment Transfer:
   • Video-only Transfer: Het gebruik van alleen video-data (zonder actielabels) van andere robots of mensen (10-20 minuten) verbetert de prestaties op onbekende taken met >42%.
   • Few-shot Adaptatie: DreamZero, getraind op de AgiBot G1, past zich aan op een volledig nieuwe robot (YAM) met slechts 30 minuten aan "play-data", terwijl het zero-shot generalisatie behoudt.
5. Open Source: Het paper maakt de modelgewichten, inferentiecode en benchmarks (RoboArena, PolaRiS) openbaar.

4. Resultaten

De resultaten zijn getest op twee robotplatforms: AgiBot G1 (mobiele bimanuele manipulator) en Franka (single-arm).

• Zero-shot Generalisatie:
  • Op onbekende taken (zoals schoenveters losmaken, een hoed van een mannequin halen, schilderen) behaalde DreamZero een taakvoortgangspercentage van 39,5% op AgiBot.
  • Vergelijkbare VLA-baselines (zowel vanaf scratch als voorgeprogrammeerd) behaalden <1% tot ~16% succes.
  • DreamZero faalt voornamelijk door fouten in de videopredictie, niet in de actie-extractie, wat aantoont dat de kwaliteit van de video-backbone direct de robotprestaties bepaalt.
• Post-training: Na fijnafstemming op specifieke taken (zoals fruit inpakken) behoudt DreamZero zijn generalisatievermogen voor nieuwe omgevingen, terwijl VLAs vaak overfiten op de trainingsdata.
• Data Diversiteit: Training op diverse, niet-repetitieve data (500 uur over 22 omgevingen) leverde aanzienlijk betere resultaten op dan training op repetitieve data, zelfs bij dezelfde hoeveelheid data.
• Schaalbaarheid: Een 14B model presteert significant beter dan een 5B variant (50% vs 21% succes), terwijl het schalen van VLA-modellen (van 5B naar 14B) geen verbetering gaf in het leren van diverse data.

5. Significantie en Toekomstperspectief

• Paradigmaverschuiving: DreamZero bewijst dat robotpolicies niet hoeven te vertrouwen op massale repetitieve demonstraties, maar kunnen leren van "natuurlijke" variatie in data door wereldmodellen te gebruiken.
• Efficiëntie: Het demonstreert dat video-generatie een krachtige prior is voor robotica, waardoor kennis uit internet-video's (fysica, dynamica) direct kan worden overgedragen naar robotacties.
• Schalbaarheid: De mogelijkheid om te leren van video-only data van mensen of andere robots opent de weg voor het gebruik van de enorme hoeveelheid menselijke video-data op het internet om robotvaardigheden te leren zonder dure actielabels.
• Beperkingen: Het model heeft nog moeite met taken die sub-centimeter precisie vereisen (zoals sleutels in een slot steken) en is momenteel beperkt tot korte horizon (6 seconden). Toekomstig werk richt zich op langere horizon-resonering en het verbeteren van de precisie.

Conclusie: DreamZero stelt een nieuwe benchmark neer voor data-efficiëntie, cross-embodiment transfer en zero-shot generalisatie in robotica, door de kracht van video-diffusiemodellen te combineren met directe actievoorspelling.