World2Act: Latent Action Post-Training via Skill-Compositional World Models

World2Act is een nieuw post-training framework dat Vision-Language-Action-beleid direct afstemt op latente dynamiek in plaats van pixels, en door middel van een door LLM's aangestuurde vaardigheidsdecompositie wereldmodellen in staat stelt om robuust te generaliseren over uiteenlopende taakhorizonten.

De kern

Stel je voor dat je een robot wilt leren om complexe taken uit te voeren, zoals koffie zetten of een lade dichtdoen. Tot nu toe was dit lastig, omdat robots vaak "blind" waren voor de fysieke wereld: ze wisten wel wat ze moesten doen (de instructie), maar niet precies hoe hun bewegingen de wereld om hen heen veranderden.

Deze paper introduceert World2Act, een slimme methode om robots beter te laten leren. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Trage" Leraar

Stel je een robot voor als een student die probeert een dansje te leren.

• De oude methode: De leraar (een computermodel) laat de student een video zien van de perfecte dans. De student moet dan proberen elke pixel in die video na te bootsen.
• Het probleem: Computers maken vaak kleine fouten in die video's. Misschien verdwijnt de hand van de danser even, of wordt de vloer een beetje paars. Als de student probeert deze "pixel-fouten" na te bootsen, leert hij slechte gewoontes. Hij wordt verward door de ruis in de video in plaats van de echte beweging te begrijpen.

2. De Oplossing: World2Act (De "Geestelijke" Leraar)

World2Act verandert de aanpak. In plaats van de robot te laten kijken naar de beelden (pixels), laten we hem kijken naar de essentie van de beweging.

• De Analogie: Stel je voor dat je niet naar een tekening van een danser kijkt, maar naar een drie-dimensionaal gevoel van hoe de beweging voelt. Je leert niet "de arm gaat naar links op pixel 100", maar "de arm beweegt soepel naar links".
• Hoe het werkt: Het systeem gebruikt een "Wereldmodel" (een soort droommachine) dat zich voorstelt hoe een taak eruit ziet. In plaats van de robot te laten kijken naar de droombeelden, laten we de robot de gevoelens (de latente dynamiek) van die droom vergelijken met zijn eigen bewegingen. Als de robot beweegt, voelt hij of dat past bij het "gevoel" van de droom. Zo leert hij de fysieke regels van de wereld, zonder gestoord te worden door kleine visuele foutjes in de droom.

3. De Uitdaging: Lange Verhalen vs. Korte Zinnen

Een ander probleem was dat robots taken doen die heel lang duren (bijv. "maak een sandwich"), maar de computermodellen die de dromen maken, zijn getraind op korte clips (bijv. "pak het brood"). Het is als proberen een hele roman te schrijven in één zin; de computer raakt de draad kwijt en de zin wordt onzin.

• De Oplossing (Skill-Compositional): De auteurs gebruiken een slimme AI (een LLM) als een redacteur. Deze redacteur breekt de lange opdracht ("maak een sandwich") op in kleine, beheersbare stukjes: "pak brood", "smeer boter", "leg op bord".
• Het resultaat: De robot leert nu eerst de korte stukjes perfect, en plakt ze daarna aan elkaar. Dit zorgt voor een stabielere en betrouwbaardere droom, waardoor de robot minder snel de weg kwijtraakt.

4. Het Resultaat: Van Theorie naar Praktijk

Door deze twee trucjes te combineren (leren via het "gevoel" in plaats van de pixels, en het opdelen van lange taken in kleine stukjes), krijgen robots een veel beter begrip van hoe de wereld werkt.

• In de simulatie: Robots slaagden veel vaker in moeilijke taken dan voorheen.
• In de echte wereld: Ze testten het op een echte robotarm. Zelfs als de "droom" van de computer een klein visueel foutje had (bijvoorbeeld een handvat dat even verdween in de droom), wist de robot nog steeds wat hij moest doen, omdat hij de beweging had geleerd, niet de afbeelding.

Samenvattend

World2Act is als het geven van een robot een intuïtie voor de fysieke wereld. In plaats van te proberen elke foto perfect na te bootsen (wat lastig is omdat foto's vaak imperfect zijn), leert de robot het gevoel van de beweging. En door lange taken op te splitsen in kleine, makkelijke stappen, blijft de robot de draad niet kwijtraken. Hierdoor worden robots robuuster, slimmer en beter in het uitvoeren van taken in onze echte, chaotische wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "World2Act: Latent Action Post-Training via Skill-Compositional World Models", vertaald en samengevat in het Nederlands.

Titel: World2Act: Latente Actie Post-Training via Vaardigheids-Compositional World Models

Auteurs: An Dinh Vuong et al. (MBZUAI, UAE)

---

1. Het Probleem

Vision-Language-Action (VLA) modellen zijn veelbelovend voor robotica, maar hebben moeite met generalisatie in veranderende omgevingen en bij onbekende contactcondities. Bestaande methoden voor post-training (na het initial trainen) gebruiken vaak World Models (WM) om rollouts (voorspellingen) te genereren en deze te gebruiken als supervisie.

Er zijn echter twee fundamentele beperkingen in de huidige aanpak:

1. Pixel-afhankelijkheid: De meeste WM-gebaseerde methoden trainen het VLA-beleid direct op gegenereerde pixels (via een Inverse Dynamics Model of pixel-reward). Dit maakt beleidsmodellen extreem gevoelig voor "hallucinaties" en artefacten in de gegenereerde video's. Als de WM een fysisch onjuiste pixel-afbeelding genereert, leert het VLA-beleid verkeerde acties.
2. Probleem met willekeurige lengte: Robot-taken variëren sterk in duur, maar video-generatiemodellen zijn meestal getraind op vaste, korte clips. Het genereren van lange, coherente video's voor complexe taken leidt tot cumulatieve fouten en instabiliteit.

2. Methodologie: World2Act

World2Act lost deze problemen op door een tweestapsframework te introduceren dat latente ruimtes gebruikt in plaats van pixels, en een vaardigheids-compositional aanpak voor lange rollouts.

A. Skill-Compositional World Model (De Data Pipeline)

Om het probleem van willekeurige videolengtes op te lossen, stellen de auteurs een automatisch pipeline voor die expert-demonstraties opdeelt in "atomaire vaardigheden" (skills):

• Segmentatie: Een Large Language Model (LLM, specifiek DeepSeek) splitst hoog-niveau instructies op in een lijst van laag-niveau vaardigheids-prompten.
• Synchronisatie: Video-segmenten worden gesplitst op basis van veranderingen in de grijper (open/sluit).
• Datasets: Dit resulteert in twee nieuwe datasets: RoboCasa-Skill en LIBERO-Skill. Deze datasets bevatten korte, consistente videoclips gekoppeld aan specifieke sub-taken.
• Inferentie: Tijdens het genereren wordt een lange taak opgebouwd door achtereenvolgens korte sub-video's te genereren voor elke vaardigheid, waarbij het laatste frame van de vorige sub-video als startpunt dient voor de volgende. Dit zorgt voor temporale consistentie.

B. Latent Action Post-Training (De Leerstrategie)

In plaats van pixels te gebruiken, aligneert World2Act de acties van het VLA direct met de latente dynamica van de World Model.

• Stap 1: Latente Alignering:
  • Er worden twee adapters getraind: een Video Adapter (voor WM-latents) en een Action Adapter (voor robot-acties).
  • Deze adapters projecteren video's en acties naar een gedeelde latente ruimte.
  • Training gebeurt via een contrastieve verliesfunctie (InfoNCE) die ervoor zorgt dat de latente representatie van een video dynamisch overeenkomt met de bijbehorende acties, ongeacht de pixelkwaliteit.
• Stap 2: Post-Training met Residual Policy:
  • Het basis-VLA-beleid (bijv. GR00T-N1.6 of Cosmos Policy) wordt bevroren om catastrofaal vergeten te voorkomen.
  • Er wordt een lichtgewicht Residual Policy getraind die correcties leert op de basisacties.
  • De trainingsdoelstelling is om de latente acties van het beleid te laten aligneren met de latente video-dynamica van de WM. Dit is een "reward-free" methode die alleen op-rollouts van het huidige beleid vertrouwt.

3. Belangrijkste Bijdragen

1. World2Act Framework: Een nieuwe post-training methode die VLA-acties aligneert met WM-video-dynamica in de latente ruimte, waardoor de afhankelijkheid van onbetrouwbare pixel-supervisie wordt verwijderd.
2. Automatische Vaardigheids-Decompositie: Een LLM-gedreven pipeline voor het opsplitsen van lange trajecten in atomaire vaardigheden, wat leidt tot de release van RoboCasa-Skill en LIBERO-Skill.
3. Skill-Compositional WM: Een wereldmodel dat willekeurig lange rollouts mogelijk maakt door globale instructies te decomponeren in sub-doelen en autoregressief korte clips te genereren.
4. State-of-the-Art Resultaten: Significant betere prestaties in zowel simulatie als de echte wereld vergeleken met bestaande VLA-modellen en post-training baselines.

4. Resultaten

De auteurs evalueren hun methode op twee benchmarks: RoboCasa en LIBERO.

• RoboCasa: World2Act bereikt een nieuw state-of-the-art succespercentage (SR) van 66,3% (met Cosmos Policy + 50 echte + 50 gesynthetiseerde trajecten), wat aanzienlijk beter is dan modellen die duizenden echte demonstraties nodig hebben.
• LIBERO: De methode verbetert de prestaties van GR00T-N1.6 van 97,0% naar 98,1%. In vergelijking met andere post-training methoden (zoals DreamGen of VLA-RFT) presteert World2Act consistent beter en is stabieler bij schaling.
• Real-World Transfer: In experimenten met een Franka Research 3-arm in de echte wereld (taak: kopje pakken, kom pakken, lade sluiten) resulteerde World2Act in een gemiddelde verbetering van 6,67% in succespercentage.
• Robuustheid: Zelfs wanneer de gegenereerde video's van de WM visuele artefacten bevatten (bijv. een onzichtbare ladehendel), faalt het VLA-beleid niet. Dit bevestigt dat de latente dynamica robuuster is dan pixel-gebaseerde supervisie.
• Schaalbaarheid: Het verhogen van het aantal post-training trajecten leidt tot lineaire verbeteringen, terwijl concurrenten (zoals DreamGen) instabiel worden door pixel-ruis.

5. Betekenis en Conclusie

World2Act markeert een verschuiving in de robotica-community van pixel-gebaseerde naar latent-gebaseerde post-training.

• Robuustheid: Door hallucinaties in gegenereerde video's te negeren en te focussen op de onderliggende dynamische structuur, worden beleidsmodellen veel betrouwbaarder.
• Efficiëntie: De vaardigheids-decompositie maakt het mogelijk om generatieve modellen te trainen op lange taken zonder dat de kwaliteit verslechtert door cumulatieve fouten.
• Toepasbaarheid: De methode werkt effectief op verschillende VLA-architecturen (GR00T, Cosmos) en slaagt erin om kennis uit simulatie succesvol over te brengen naar fysieke robots.

Kortom, World2Act biedt een schaalbare en robuuste oplossing om wereldmodellen effectief te gebruiken voor het verbeteren van robotbeheersing, zonder de valkuilen van pixel-perfecte generatie te hoeven overwinnen.