💻 computer science

Action Images: End-to-End Policy Learning via Multiview Video Generation

Dit paper introduceert "Action Images", een unificerend wereldactie-model dat beleidsleer voor robots omzet in multikijkvideogeneratie door 7-DoF acties te vertalen naar pixel-gebaseerde actievideo's, waardoor een aparte beleidskop overbodig wordt en zero-shot prestaties aanzienlijk verbeteren.

Oorspronkelijke auteurs: Haoyu Zhen, Zixian Gao, Qiao Sun, Yilin Zhao, Yuncong Yang, Yilun Du, Tsun-Hsuan Wang, Yi-Ling Qiao, Chuang Gan

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haoyu Zhen, Zixian Gao, Qiao Sun, Yilin Zhao, Yuncong Yang, Yilun Du, Tsun-Hsuan Wang, Yi-Ling Qiao, Chuang Gan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om een kopje thee te zetten. De traditionele manier is alsof je de robot een ingewikkeld wiskundig boek geeft met formules over hoe je je arm moet bewegen. De robot moet die formules eerst "vertalen" naar beweging, en dat gaat vaak mis als de situatie anders is dan in het boek.

Deze nieuwe paper, "Action Images", doet het heel anders. Ze zeggen eigenlijk: "Waarom geven we de robot geen filmpje van wat er moet gebeuren, in plaats van een wiskundig boek?"

Hier is de uitleg, vertaald naar alledaags taal en met een paar leuke vergelijkingen:

1. Het Grote Probleem: De "Vertaalprobleem"

Tot nu toe hadden robot-ontwikkelaars twee aparte systemen:

Een slimme film-maker (een AI die kan voorspellen hoe de wereld eruitziet als je iets doet).
Een stuurman (een aparte programmeercode die zegt: "Draai de arm 10 graden naar links").

Het probleem is dat de film-maker en de stuurman niet goed met elkaar praten. De film-maker ziet een mooie toekomst, maar de stuurman begrijpt niet hoe hij die toekomst moet bereiken. Het is alsof je een regisseur hebt die een prachtig script schrijft, maar een acteur die de tekst niet begrijpt.

2. De Oplossing: "Actie als een Foto"

De auteurs van dit paper hebben een slimme truc bedacht. Ze zeggen: "Laten we de beweging van de robot niet zien als getallen, maar als een beeld."

Stel je voor dat je een robotarm hebt. In plaats van te zeggen "Beweeg 5 cm naar rechts", tekenen ze een kleurrijk stipje op een foto op de plek waar de robotarm naartoe moet.

Rood stipje: Waar de hand is.
Groen stipje: De richting waar de hand naartoe wijst.
Blauw stipje: Hoe open of dicht de grijper is.

Ze maken van elke beweging een kleine video van deze stipjes. Voor de robot is dit nu precies hetzelfde als een gewone video van de wereld. De robot hoeft niet meer te "rekenen"; hij hoeft alleen maar te "kijken" en te voorspellen waar de stipjes in de volgende seconde zijn.

3. De "Meer-Kijk" Truc (Multiview)

Eén camera kan soms bedriegen. Als je alleen van voren kijkt, zie je niet goed of een arm naar links of naar rechts gaat (dat noemen we een "diepteprobleem").

De oplossing? Ze gebruiken meerdere camera's tegelijk, alsof je een robot hebt met drie ogen die vanuit verschillende hoeken kijken.

Vergelijking: Stel je voor dat je een poppenkast hebt. Als je alleen van voren kijkt, zie je niet of de pop naar voren of achteren beweegt. Maar als je ook van de zijkant kijkt, zie je precies wat er gebeurt.
Door deze stipjes (de actie) vanuit meerdere hoeken te tekenen, wordt het voor de AI heel duidelijk wat er in de 3D-ruimte gebeurt.

4. De Magie: Eén AI voor Alles

Omdat de beweging nu een "beeld" is, kan de robot één en dezelfde hersenen gebruiken voor alles:

Kijken: Wat zie ik nu?
Voorspellen: Wat gaat er gebeuren als ik dit doe?
Doen: Waar moet mijn arm naartoe?

Het is alsof je een meesterkok hebt die niet alleen recepten kan lezen, maar ook zelf kan koken, en zelfs kan vertellen hoe het gerecht eruit zal zien als je de oven op een andere stand zet. Je hebt geen aparte "kook-assistent" meer nodig; de kok doet het allemaal.

Dit maakt de robot veel flexibeler. Als je de robot in een nieuwe kamer zet met nieuwe objecten (bijvoorbeeld een nieuw soort kopje), hoeft hij niet opnieuw te leren rekenen. Hij kijkt gewoon naar de stipjes op de foto en zegt: "Ah, ik heb dit beeld al eerder gezien, ik weet hoe ik daar naartoe moet bewegen."

5. Wat levert dit op?

In de tests bleek dat deze robot:

Beter kan "zero-shot" leren: Hij kan taken uitvoeren die hij nooit eerder heeft gedaan, alleen omdat hij het concept van "beweging als beeld" begrijpt.
Minder fouten maakt: Omdat hij vanuit meerdere hoeken kijkt, raakt hij niet in de war door schaduwen of hoeken.
Alles in één pakket heeft: Dezelfde AI kan een video maken van een robot die werkt, én tegelijkertijd de bewegingen van die robot beschrijven.

Samenvattend

Deze paper zegt: "Stop met robots wiskunde te leren. Leer ze kijken."
Door robotbewegingen om te zetten in kleurrijke stipjes op een video, maken ze het voor de AI net zo makkelijk om te leren bewegen als om een film te maken. Het is alsof je een robot niet meer een handleiding geeft, maar hem gewoon een tekenfilm laat kijken van wat hij moet doen. En omdat die tekenfilm vanuit meerdere hoeken wordt getekend, kan de robot het zelfs doen in een wereld die hij nog nooit heeft gezien.

Probleemstelling

Bestaande wereldmodellen (World Action Models - WAMs) voor robotica hebben grote vooruitgang geboekt in het voorspellen van toekomstige observaties door gebruik te maken van krachtige video-generatie backbones. Er is echter een fundamentele kloof tussen video-generalisatie (het kunnen genereren van plausible toekomstige frames) en beleidsgeneralisatie (het kunnen beslissen hoe te handelen in onbekende omgevingen).

De huidige benaderingen lijden onder twee hoofdproblemen:

Scheiding van actie en observatie: Veel modellen gebruiken een aparte policy-head of een actiemodule om besturing te decoderen uit videofeatures. Dit creëert een "bottleneck" waar de generalisatie vaak faalt.
Niet-pixel-gegrounde representaties: Acties worden vaak gecodeerd als laag-dimensionale tokens of latente codes die niet direct gekoppeld zijn aan de pixelruimte. Hierdoor kan het vooraf getrainde kennis van video-modellen niet optimaal worden benut voor controle, en is overdracht tussen verschillende gezichtspunten (viewpoints) en robotlichamen (embodiments) moeilijk.

Methodologie: Action Images

De auteurs stellen Action Images voor, een unificerend wereld-actie model dat beleidsleren formuleert als multiview video-generatie. In plaats van acties als abstracte tokens te behandelen, worden robotacties vertaald naar interpreteerbare, pixel-gegrounde "actie-afbeeldingen".

1. Actie als Beeld (Action as Images)

De kern van de methode is het converteren van een 7-DoF (Degrees of Freedom) robotactie naar een visuele representatie die direct in de videoruimte past:

Semantische 3D-punten: Een actie $a_t = [p_t, \theta_t, g_t]$ $a_{t} = [p_{t}, θ_{t}, g_{t}]$ (positie, oriëntatie, gripper-opensluiting) wordt omgezet in drie semantische 3D-punten:
- Positie-punt: De positie van de end-effector.
- Normaal-punt: Een punt loodrecht op het grijperoppervlak.
- Up-punt: Een punt in een canonieke richting binnen het grijpervlak.
Projectie en Rendering: Deze 3D-punten worden geprojecteerd naar 2D-beeldruimte voor meerdere camera-weergaven. Ze worden gerenderd als RGB-Gaussian heatmaps:
- Rood kanaal: Positie-punt.
- Groen kanaal: Normaal-punt.
- Blauw kanaal: Up-punt + Gripper-opensluiting (de gripper-status wordt gecodeerd in de achtergrondwaarden van het blauwe kanaal).
Het resultaat is een "actie-video" die dezelfde spatiotemporale structuur heeft als de robot-observatievideo's.

2. Decodering (Decoding)

Om de gegenereerde actie-afbeeldingen terug te zetten naar continue robotbesturing:

Gripper-status: Wordt direct afgeleid uit de gemiddelde intensiteit van de lage-responsie gebieden in het blauwe kanaal.
3D-reconstructie: De 2D-heatmaps worden gebruikt om de 3D-punten te reconstrueren via een geometrisch proces:
1. Selecteer een 2D-punt uit de hoofdweergave (weighted averaging).
2. Cast een straal (ray casting) vanuit de camera door dit punt.
3. Sample 3D-candidaten langs de straal en projecteer ze naar een zijweergave.
4. Kies het 3D-punt dat het beste overeenkomt met de respons in de zijweergave.
De gereconstrueerde 3D-punten worden teruggezet naar de oorspronkelijke 7-DoF actievector.

3. Unified World-Action Model Training

Het model is een fijngefineerde versie van een grote vooraf getrainde video-generator (Wan 2.2).

Unified Representatie: Observatievideo's en actievideo's worden temporair samengevoegd tot één sequentie.
Diverse Maskering Strategieën: Het model wordt getraind met verschillende maskeringpatronen om meerdere taken te ondersteunen binnen één backbone:
1. Joint Generation: Genereer zowel toekomstige video's als actievideo's op basis van tekst en startframe.
2. Action-Conditioned Video: Genereer video's op basis van gegeven acties.
3. Video-to-Action Labeling: Infer acties uit inputvideo's.
4. Video-only: Genereer video's zonder acties (voor data zonder actielabels).
Multi-view Consistentie: Camera-parameters (Plücker embeddings) worden ingebracht om consistentie tussen verschillende gezichtspunten te waarborgen.

Belangrijkste Bijdragen

Identificatie van de Generalisatiekloof: De auteurs tonen aan dat de kloof tussen video- en beleidsgeneralisatie opgelost kan worden door de representatie van acties aan te passen.
Pixel-Grounding van Acties: Het introduceren van "Action Images" maakt acties native voor video-modellen, waardoor een aparte policy-head overbodig wordt.
Zero-Shot Beleid: Het model fungeert direct als een zero-shot beleid zonder extra modules, wat leidt tot betere overdracht tussen verschillende gezichtspunten en robotlichamen.
Unificatie van Taken: Eén enkel model ondersteunt simultaan video-generatie, actie-generatie, actie-conditioned generatie en actie-labeling.

Resultaten

Het model is geëvalueerd op RLBench (simulatie) en real-world xArm robots.

Zero-Shot Succes: Het model behaalde de hoogste succespercentages in zero-shot evaluaties (op onbekende objecten en omgevingen) vergeleken met state-of-the-art baselines zoals $\pi_0.5$ , MolmoAct, TesserAct en Cosmos-Policy. Bijvoorbeeld, in real-world taken zoals "Pick Unseen Toy" en "Close Box" overtrof het de concurrentie significant.
Kwaliteit van Generatie: In termen van video-kwaliteit (PSNR, SSIM, FVD) en actie-nauwkeurigheid (2D/3D fout) presteerde het model beter dan bestaande wereldmodellen.
Veelzijdigheid:
- Action-Conditioned Video: Superieure resultaten vergeleken met Tora.
- Video-to-Action Labeling: Betere prestaties dan punt-tracking baselines zoals TAPIR en CoTracker.
Robuustheid: Het model slaagde erin om coherent te handelen in volledig onbekende omgevingen en met onbekende objecten, zelfs zonder expliciete training op die specifieke datasets voor die taken.

Betekenis en Conclusie

"Action Images" markeert een paradigmaverschuiving in robotica. Door robotbesturing te vertalen naar een visuele, pixel-gegrounde taal, kunnen de krachtige vooraf getrainde kennis en generalisatie-eigenschappen van moderne video-generatiemodellen direct worden toegepast op controleproblemen.

De belangrijkste implicaties zijn:

Simpliciteit: Geen complexe extra policy-heads nodig; de video-backbone is het beleid.
Generalisatie: Pixel-gegrounde representaties faciliteren natuurlijkere overdracht tussen verschillende camera-hoeken en robottypes.
Unificatie: Het creëert een gemeenschappelijke ruimte voor waarneming en actie, wat de weg vrijmaakt voor meer geavanceerde, generieke robotica-modellen.

Hoewel het huidige systeem voornamelijk open-loop werkt, suggereert de auteurs dat dit een veelbelovende richting is voor toekomstige gesloten-lus controlesystemen, mogelijk versneld door diffusie-technieken.