💻 computer science

Vid2WAM: Distilling Video Diffusion Priors into World Action Models

Vid2WAM is een offline distillatie-framework dat het leren van robotbeleid verbetert door visuele diffusie-priors van grote video-fundamentmodellen over te dragen naar compacte World Action Models, waardoor generalisatie en data-efficiëntie worden verbeterd zonder afhankelijk te zijn van uitgebreide expert-demonstraties.

Oorspronkelijke auteurs: Chenhao Qiu, Ruixiang Wang, Runyi Zhao, Sixu Lin, Songen Gu, Shufeng Nan, Guiliang Liu, Kui Jia, Yanwei Fu, Simo Wu

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chenhao Qiu, Ruixiang Wang, Runyi Zhao, Sixu Lin, Songen Gu, Shufeng Nan, Guiliang Liu, Kui Jia, Yanwei Fu, Simo Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een maaltijd moet koken. Traditioneel zou je de hand van de robot moeten vasthouden en hem fysiek door elke stap moeten leiden – het snijden van de uien, het roeren in de pan, het omdraaien van de pannenkoek – waarbij je duizenden uren aan "expert"-demonstraties opneemt om hem één perfect omelet te laten maken. Dit is de oude manier van robots trainen: laat ze precies zien wat ze moeten doen, keer op keer, totdat ze het uit hun hoofd hebben geleerd. Maar wat als de robot zou kunnen leren door te verbeelden? Wat als de robot, in plaats van alleen naar een mens te kijken die kookt, zijn ogen zou kunnen sluiten, het hele kookproces in zijn geest zou visualiseren, en vervolgens de spierbewegingen zou kunnen uitzoeken die nodig zijn om die visie werkelijkheid te maken? Dit is de opwindende grens van "World Action Models". Dit zijn speciale robotbreinen die niet alleen reageren op het huidige moment, maar de toekomst voorspellen. Ze vragen zich af: "Als ik dit doe, hoe ziet de wereld er dan over vijf seconden uit?" Door te leren de toekomst te voorspellen, begrijpen ze de oorzaak en gevolg van hun acties veel beter dan robots die simpelweg menselijke bewegingen kopiëren en plakken. Er is echter een addertje onder het gras: deze slimme "toekomstvoorspellende" robots hebben meestal nog steeds een enorme bibliotheek aan echte menselijke opnames nodig om te leren hoe ze zich de toekomst correct moeten voorstellen.

Maak kennis met Vid2WAM, een nieuwe methode die fungeert als een magische kortere weg voor robottraining. De onderzoekers stelden een gedurfde vraag: "Hebben we echt een mens nodig om de toekomst aan ons te tonen, of kunnen we gewoon een superintelligente video-AI vragen om het voor ons te dromen?" Ze namen een gigantisch, vooraf getraind videomodel (denk aan een AI die miljoenen uren aan films heeft bekeken en weet hoe objecten bewegen, vallen en interageren) en gebruikten dit als een "leraar". Deze leraar hoeft de specifieke robot niet te zien; hij heeft alleen een afbeelding van de beginscène en een zin zoals "maak een broodje" nodig. De leraar genereert vervolgens een perfecte, denkbeeldige video van wat er daarna gebeurt.

Hier gebeurt de magie. De onderzoekers gebruikten deze denkbeeldige video's niet alleen om de robot te laten zien wat hij moet doen; ze gebruikten ze ook om de robot te leren hoe hij moet denken. Ze bouwden een systeem dat de denkbeeldige toekomst van de leraar neemt en deze opbreekt in twee lessen. Ten eerste leert het de "toekomst-hersenen" van de robot om de visuele veranderingen te voorspellen (het roosteren van het brood, het smelten van de kaas). Ten tweede gebruikt het een slim "reverse-engineering"-instrument (een Inverse Dynamics Model genoemd) om te raden welke bewegingen van de robotarm nodig zouden zijn om die denkbeeldige video te creëren. Dit creëert een reeks "pseudo-acties"—foute maar zeer geïnformeerde gissingen over wat de robot zou moeten doen.

Om ervoor te zorgen dat de robot niet in de war raakt door deze foute gissingen, voegde het team een speciale "ruisonderdrukking"-filter toe. Ze realiseerden zich dat hoewel de video van de leraar geweldig is, het "reverse-engineering"-instrument kleine fouten kan maken. Daarom bouwden ze een systeem dat de algemene regels van beweging leert van echte menselijke data, maar een kleine, aangepaste "correctielaag" toevoegt voor de nepdata. Op deze manier leert de robot de solide basis van mensen en de creatieve, generaliseerbare vaardigheden van de verbeelding van de AI, zonder dat de fouten uit de verbeelding de prestaties in de echte wereld verstoren.

De resultaten zijn indrukwekkend. In simulaties en tests in de echte wereld met robotarmen, zorgde deze nieuwe methode ervoor dat robots veel sneller en met veel minder echte menselijke demonstraties konden leren. Wanneer ze geconfronteerd werden met een volledig nieuwe taak die ze nog nooit hadden gezien—zoals het oppakken van een specif kind type tissue of het hanteren van een nieuw object—slaagden de Vid2WAM-robots aanzienlijk vaker dan eerdere methoden. Ze konden beter generaliseren, wat betekent dat ze niet alleen een specifiek pad uit het hoofd leerden, maar het idee van de taak begrepen. Het beste van alles was dat zodra de robot op deze manier had geleerd, hij de grote video-leraar of het "reverse-engineering"-instrument niet meer nodig had. Het werd een compacte, snelle en efficiënte robot die simpelweg een scène kon bekijken en handelen, waarbij de "wijsheid" van de video-AI in zijn eigen brein is opgenomen. Het artikel suggereert dat door deze krachtige videomodellen als offline leraren te gebruiken, we robots creatiever en aanpasbaarder kunnen maken zonder dat we miljoenen uren aan dure menselijke demonstraties hoeven te filmen.

Technische Samenvatting: Vid2WAM

Probleemstelling

World Action Models (WAMs) verbeteren het leren van robotbeleid door toekomstige visuele dynamiek en acties gezamenlijk te modelleren, wat zorgt voor dichte spatiotemporele supervisie die verder gaat dan statische semantische labels. Echter, huidige WAMs kampen met een kritieke schaalbaarheidsbottleneck: hun toekomstige supervisie is strikt afhankelijk van kostbare, taakspecifieke expertdemonstraties. Deze afhankelijkheid beperkt de generalisatie naar distributies die worden gedekt door opgenomen trajecten en belemmert de adaptatie aan nieuwe taken waar dergelijke data niet beschikbaar is. Hoewel video-fundamentmodellen beschikken over rijke priors met betrekking tot objectbeweging en langetermijndynamiek, behandelen bestaande methoden gegenereerde rollouts vaak slechts als bronnen voor pseudo-actielabels via Inverse Dynamics Models (IDMs). Deze aanpak creëert een informatiebottleneck, waarbij de rijke voorspellende kennis van het videogeneratieproces wordt weggegooid en de policy wordt onderworpen aan fouten van imperfecte actiereconstructie.

Methodologie: Vid2WAM

De auteurs stellen Vid2WAM voor, een offline distillatieframework dat visuele diffusie-priors van een groot video-fundamentmodel overdraagt naar een compacte WAM-student. Het framework werkt in drie stadia:

1. Teacher Adaptatie en Rollout Generatie

Een groot, vooraf getraind video-diffusiemodel (de "teacher") wordt gefinetuned op een beperkte set embodiment-specifieke demonstratievideo's. Deze adaptatie specialiseert de teacher in de fysieke beperkingen en het uiterlijk van de robot, terwijl de algemene bewegingsvoorspellende capaciteiten behouden blijven. Gegeven een initiële observatie en taalinstructie, genereert de bevroren teacher taakgeconditioneerde toekomstige visuele rollouts ( $\hat{v}_{1:T}$ ).

2. Dual-Channel Supervisie

Vid2WAM distilleert de kennis van de teacher naar de student via twee complementaire kanalen:

Toekomstige Visuele Dynamiek: De gegenereerde video-rollouts worden gedecodeerd naar pixels en opnieuw gecodeerd in de latente ruimte van de student ( $\hat{z}_{1:T}$ ). Deze latents bieden directe supervisie voor de toekomstige voorspellingsbranch van de student, waardoor het model de temporele evolutie van de scène kan leren zonder afhankelijk te zijn van echte toekomstige frames.
Embodiment-Specifieke Acties: Een Inverse Dynamics Model (IDM), getraind op actie-gelabelde trajecten, herstelt pseudo-acties ( $\hat{a}_{1:H}$ ) en state-sequenties uit de gegenereerde rollouts. Deze dienen als supervisie voor de actievoorspellingsbranch van de student.

3. Source-Aware Residual Adaptatie

Om de ruis aan te pakken die inherent is aan synthetische pseudo-acties (voortkomend uit video-generatieartefacten en IDM-fouten), introduceert Vid2WAM source-aware residual action adapters.

De student deelt een gemeenschappelijke video- en actie-backbone voor zowel echte demonstraties als pseudo-data.
Lichtgewicht residual adapters worden geplaatst vóór en na de gedeelde actie-backbone, met aparte parameters voor de "echte" en "pseudo" domeinen.
Deze adapters leren domeinspecifieke correcties rond de gedeelde representatie. Tijdens inferentie wordt alleen de real-domain adapter behouden, wat effectief de ruis geassocieerd met de pseudo-actie-distributie filtert terwijl de gedeelde kennis behouden blijft.

Inferentie

Bij deployment worden de video teacher, IDM, toekomstige voorspellingskop en pseudo-source adapters weggegooid. Het systeem vertrouwt uitsluitend op de compacte WAM-student, die een huidige observatie en taalinstruct neemt om direct uitvoerbare actie-chunks te genereren, wat zorgt voor lage-latentie inferentie.

Belangrijkste Bijdragen

Heroverweging van Supervisiebronnen: Het paper daagt de aanname uit dat toekomstige supervisie voor WAMs moet voortkomen uit doel-taak expert-trajecten. Het formuleert een distillatieframework waarbij gegenereerde toekomsten van video-fundamentmodellen als directe supervisie worden gebruikt.
Dual-Channel, Source-Aware Transfer: De auteurs introduceren een strategie die gezamenlijk toekomstige visuele dynamiek en IDM-geïnformeerde acties distilleert. Cruciaal is dat zij residual adapters gebruiken om interferentie van ruisige pseudo-acties te mitigeren, waardoor het model synthetische data kan benutten zonder de robuustheid in gevaar te brengen.
Efficiënte Deployment: Het framework demonstreert dat hoogwaardige toekomstige priors offline kunnen worden gedistilleerd, waardoor het studentmodel sterke generalisatie en data-efficiëntie kan bereiken terwijl de lage-latentie inferentie vereist voor real-time robotcontrole behouden blijft.

Experimentele Resultaten

De auteurs evalueren Vid2WAM op simulatiebenchmarks (RoboTwin 2.0, LIBERO, LIBERO-Plus) en een real-world bimanuele platform.

Generalisatie naar Nieuwe Taken: In het "novel regime" (waar geen expert-trajecten bestaan voor doeltaken), presteert Vid2WAM significant beter dan baselines. Op RoboTwin 2.0 verbeterde het de succesratio op nieuwe taken met 9,7 en 12,5 procentpunten ten opzichte van Fast-WAM onder respectievelijk clean en gerandomiseerde condities. Op LIBERO behaalde het de hoogste gemiddelde succesratio van alle methoden.
Data-Efficiëntie: Onder een low-data regime (beperkte expert-demonstraties), presteerde Vid2WAM consistent beter dan vooraf getrainde VLA-modellen (bijv. $\pi0.5$ , Motus) en andere WAM-baselines, wat een superieure bekwaamheid aantoont om te leren van schaarse echte data aangevuld met synthetische supervisie.
Robuustheid: Vid2WAM toonde verbeterde robuustheid tegen verstoringen in camerastandpunten, robot-initialisatiestaten, taal, verlichting en achtergrondruis, met name in de LIBERO-Plus benchmarks.
Real-World Prestaties: Op een real-world dual-arm robot voerde Vid2WAM succesvol nieuwe taken uit (bijv. het oppakken van een reageerbuis, het pakken van een tissue) waarvoor het geen echte actie-gelabelde trajecten had, maar vertrouwde op de door de teacher gegenereerde supervisie.
Inferentie Latentie: Het gedistilleerde studentmodel behoudt een inferentie-latentie die vergelijkbaar is met Fast-WAM (~212ms op RTX 4090) en is aanzienlijk sneller dan online teacher-policies of grotere modellen zoals Motus.

Betekenis en Claims

Het paper claimt dat Vid2WAM een schaalbaar paradigma vestigt voor het overdragen van de voorspellende capaciteiten van grote multimodale fundamentmodellen naar efficiënte robot-policies. Door de toekomstige supervisie los te koppelen van de noodzaak voor uitgebreide doel-taak demonstraties, stelt de methode robots in staat om zich aan te passen aan nieuwe taken en omgevingen met beperkte real-world data. De auteurs benadrukken dat hun aanpak geen online video-generatie vereist tijdens deployment, wat het praktisch maakt voor real-world robotische systemen. De resultaten suggereren dat grote vooraf getrainde modellen effectieve offline kennisbronnen kunnen dienen, waarmee de kloof tussen algemene visuele begrip en specifieke robotische controle wordt overbrugd.