🤖 AI

Learning Visual Feature-Based World Models via Residual Latent Action

Dit artikel introduceert het RLA-wereldmodel, dat gebruikmaakt van een nieuwe Residual Latent Action-representatie die is geleerd uit DINO-residuen en voorspeld via flow matching om efficiënte, hoogtrouw visuele kenmerkvoorspelling te bereiken en geavanceerd robotleren uit offline video's mogelijk te maken zonder online interactie of handgemaakte beloningen.

Oorspronkelijke auteurs: Xinyu Zhang, Zhengtong Xu, Yutian Tao, Yeping Wang, Yu She, Abdeslam Boularias

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinyu Zhang, Zhengtong Xu, Yutian Tao, Yeping Wang, Yu She, Abdeslam Boularias

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe hij een kopje, een bal of een gereedschap moet verplaatsen. Om dit te doen, heeft de robot een "wereldmodel" nodig – een mentale simulatie die het in staat stelt te raden wat er als volgende zal gebeuren als hij zijn arm op een bepaalde manier beweegt.

Lange tijd probeerden wetenschappers deze mentale simulaties te bouwen door de exacte pixels van het volgende videoframe te voorspellen (alsof je probeert elk zandkorreltje in een zandkasteel te voorspellen voordat het is gebouwd). Dit is computationally zwaar, traag en leidt er vaak toe dat de robot dingen "hallucineert" die niet bestaan, zoals een kopje dat plotseling in een kat verandert.

Andere onderzoekers probeerden visuele kenmerken (zoals de algemene vorm en kleur van objecten) te voorspellen in plaats van ruwe pixels. Dit is sneller, maar resulteert vaak in "wazige" voorspellingen, alsof je door een mistig raam naar een foto kijkt. Bij complexe 3D-taken konden deze voorspellingen soms volledig instorten, waardoor de robot de weg kwijtraakte waar dingen zich bevonden.

Dit artikel introduceert een nieuwe oplossing genaamd RLA-WM (Residual Latent Action World Model). Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. De "Delta"-truc (Residual Latent Action)

In plaats van te proberen de hele volgende afbeelding van de wereld te voorspellen, realiseerden de auteurs zich dat de robot alleen het verschil tussen "nu" en "later" hoeft te leren.

De Analogie: Stel je voor dat je naar een film kijkt. In plaats van te proberen elk enkel frame van het volgende tafereel vanaf nul te onthouden, hoef je alleen te onthouden wat er veranderde. Beweegde de bal naar links? Kreeg het kopje een schuine stand?
De Innovatie: De auteurs creëerden een compacte "wijzigingscode" genaamd Residual Latent Action (RLA). Ze nemen het verschil tussen de huidige afbeelding en de toekomstige afbeelding, comprimeren dit tot een klein, efficiënt vector (een korte lijst van getallen), en noemen dit de "actie".
Waarom dit helpt: Dit is alsof je de robot een "wijzigingslogboek" geeft in plaats van een heel nieuw boek. Het is veel kleiner, sneller te verwerken en vermijdt het "wazige" probleem omdat het zich alleen richt op de beweging.

2. De "Stroom"-machine

Zodra de robot deze "wijzigingscode" heeft, moet het voorspellen hoe die code er in de toekomst uit zal zien.

De Analogie: Denk aan een rivier. Je hoeft niet elke enkele watermolecule te simuleren om te weten waar de rivier vloeit. Je hoeft alleen de stroomsnelheid en de richting van de stroming te kennen.
De Innovatie: Ze gebruiken een techniek genaamd Flow Matching. Het is als een GPS die het gladste pad van "nu" naar "toekomst" berekent op basis van de acties van de robot. Omdat ze dit pad berekenen in de kleine ruimte van de "wijzigingscode" (en niet in de enorme videoruimte), is het ongelooflijk snel en nauwkeurig.

3. Twee superkrachten voor robots

Het artikel toont aan dat dit nieuwe model robots helpt op twee specifieke, krachtige manieren te leren:

A. Leren van "Stille" Video's (Geen Actielabels Nodig)

Het Probleem: Meestal heb je, om een robot te leren, video's nodig waarbij je precies weet welke knoppen zijn ingedrukt (actielabels). Maar de meeste video's op internet (zoals YouTube) tonen alleen hoe de robot beweegt zonder te vertellen hoe hij bewoog.
De Oplossing: Het RLA-model kan naar een stille video kijken, de "wijzigingscode" (RLA) uitzoeken alleen door de beweging te bekijken, en vervolgens een robot leren die beweging na te bootsen. Het is alsof je dansen leert door alleen naar een video van iemand anders te kijken die danst, zonder dat je een choreograaf nodig hebt om je de stappen te vertellen.

B. Trainen in een "Droom" (Visuele Versterkingslering)

Het Probleem: Het trainen van robots in de echte wereld is traag en riskant. Als een robot een kopje laat vallen, moet je het oppakken en het opnieuw proberen.
De Oplossing: De auteurs bouwden een systeem waarbij de robot volledig binnen de simulatie (het wereldmodel) oefent.
- De robot "droomt" van een taak.
- Het probeert een zet in zijn droom.
- De RLA-WM voorspelt het resultaat direct.
- De robot krijgt een "beloning" als de droomuitkomst lijkt op een succesvolle video die hij eerder zag.
- Het herhaalt dit miljoenen keren in zijn hoofd, en leert de perfecte strategie zonder ooit een echt object aan te raken of een mens nodig te hebben om zijn prestaties handmatig te beoordelen.

De Resultaten

Het artikel beweert dat deze methode:

Nauwkeuriger is: Het voorspelt toekomstige toestanden beter dan eerdere methoden die probeerden volledige video's of wazige kenmerken te genereren.
Veel sneller is: Het is ordes van grootte sneller dan videogeneratiemodellen omdat het werkt met de kleine "wijzigingscodes" in plaats van met enorme videobestanden.
Betrouwbaarder is: Het "hallucineert" geen vreemde objecten; het houdt zich aan de fysica van het tafereel.

Kortom, dit artikel leert robots om te stoppen met proberen de toekomst te "schilderen" en begint simpelweg de "stappen" te berekenen die nodig zijn om daar te komen, waardoor ze sneller, slimmer en uit een bredere variëteit aan video's kunnen leren.

Technische Samenvatting: Het Leren van Wereldmodellen op Basis van Visuele Kenmerken via Residuale Latente Actie

Probleemstelling

Wereldmodellen hebben tot doel toekomstige statenovergangen te voorspellen op basis van waarnemingen en acties, en vormen zo een fundament voor het leren van beleidsplanning en redenering. Het huidige dominante paradigma vertrouwt op videogeneratie in pixel-uitgelijnde latente ruimten (bijv. VAE's). Hoewel deze methoden visueel overtuigend zijn, lijden ze onder hoge rekenkundige overhead en een neiging tot hallucinatie (het genereren van fysisch onwaarschijnlijke staten).

Daarentegen voorspellen wereldmodellen op basis van visuele kenmerken (bijv. DINO-WM) toekomstige visuele kenmerken (zoals DINO-tokens) in plaats van ruwe pixels. Deze aanpak is efficiënter en minder vatbaar voor hallucinatie. Echter, bestaande op kenmerken gebaseerde methoden vertrouwen op directe regressie om toekomstige tokens te voorspellen. In complexe 3D-interacties leidt dit tot "regressie naar het gemiddelde", wat resulteert in wazige of ingestorte voorspellingen. Een ogenschijnlijk haalbaar alternatief—het gebruik van generatieve modellen (zoals diffusie) direct in de kenmerkenruimte—wordt gehinderd door de vloek van de dimensionaliteit; DINO-tokens hebben een aanzienlijk hogere dimensionaliteit (bijv. ~~1 miljoen dimensies voor een 512×512 afbeelding) in vergelijking met standaard VAE-latenten (~~16.000), waardoor generatieve modellering rekenkundig onhaalbaar wordt en de efficiëntiedoelen van op kenmerken gebaseerde modellen tenietdoet.

Het artikel adresseert twee kernvragen:

Hoe ontwikkelt men een efficiënt maar nauwkeurig wereldmodel in een visuele kenmerkenruimte dat schaalt naar complexe 3D-manipulatie?
Hoe kan men dergelijke wereldmodellen benutten om downstream robotbeleidsplannen te verbeteren?

Methodologie

1. Residuale Latente Actie (RLA)

De auteurs stellen een nieuwe latente actierepresentatie voor genaamd Residuale Latente Actie (RLA). In plaats van de absolute toekomstige staat $s_{t+h}$ te voorspellen of deze te genereren via zware diffusie, codeert RLA het residu tussen de huidige DINO-tokens ( $s_t$ ) en toekomstige DINO-tokens ( $s_{t+h}$ ) in een compact latente vector $z$ .

Architectuur: Een autoencoder wordt getraind waarbij een encoder $f_{enc}$ het residu $(s_{t+h} - s_t)$ verwerkt samen met leerbare queries om een compacte latente $z$ te produceren. Een decoder $f_{dec}$ reconstrueert $s_{t+h}$ met behulp van $s_t$ en $z$ .
Belangrijkste Eigenschappen:
- Voorspellende Volledigheid: In tegenstelling tot eerdere latente acties die werden gebruikt als zwakke conditionering voor iteratieve generatie, staat RLA nauwkeurige reconstructie van toekomstige tokens toe in een enkele feedforward-pass.
- Generaliseerbaarheid: De RLA-encoder generaliseert naar nieuwe scènes en bewegingspatronen, zelfs wanneer getraind op beperkte, taak-neutrale data.
- Temporele Topologie: De latente ruimte codeert op natuurlijke wijze temporele progressie. Lineaire interpolatie tussen Gaussisch ruis en een RLA-vector levert representaties op die overeenkomen met intermediaire temporele staten.

2. RLA Wereldmodel (RLA-WM)

Op basis van RLA stellen de auteurs RLA-WM voor, een wereldmodel dat de compacte RLA-vector $z$ voorspelt in plaats van de hoogdimensionale $s_{t+h}$ direct.

Flow Matching: Het model gebruikt flow matching om de snelheid te voorspellen die nodig is om Gaussisch ruis te transformeren in de doel-RLA $z$ $z$ .
- Input: Huidige staat $s_t$ en een actiechunk $a_{t:t+h}$ .
- Proces: Een conditioneringsnetwerk verwerkt $s_t$ en acties om conditioneringstokens te genereren. Deze worden geconcentreerd met een verstoord latente $z_\tau$ . Een flow-netwerk voorspelt de snelheid $\hat{v}$ om het ruis iteratief te transformeren in de uiteindelijke RLA $z_1$ .
- Output: De voorspelde RLA $z_1$ wordt gedecodeerd met $s_t$ om de toekomstige staat $s_{t+h}$ te reconstrueren.
Efficiëntie: Door flow matching uit te voeren in de compacte RLA-ruimte (bijv. 2048 dimensies) in plaats van de volledige DINO-tokenruimte, bereikt het model hoge fideliteit met aanzienlijk lagere rekenkosten (FLOPs) in vergelijking met videodiffusiemodellen.

3. Robotleertoepassingen

Het artikel demonstreert twee toepassingen van RLA en RLA-WM:

Minimalistisch Wereld Actiemodel (WAM) voor Actieloze Video's:
- Breidt een standaard Behavior Cloning (BC) beleid (ResNet-18) uit door het toevoegen van een enkele lineaire laag om RLA $z$ te voorspellen op basis van waarnemingen.
- Getraind op een mix van video's met en zonder actielabels. Voor actieloze video's wordt de actieverliesfunctie gemaskeerd, en leert het netwerk het RLA-doel (afgeleid van het videopaar) te voorspellen om het beleid te sturen.
- Dit maakt leren mogelijk uit grote, niet-gelabelde video's zonder het beleid te koppelen aan zware videogeneratie-ruggengraten.
Visueel Versterkend Leren (WMRL) binnen RLA-WM:
- De eerste demonstratie van visueel RL dat volledig binnen een wereldmodel wordt getraind, geleerd uitsluitend van offline video's.
- Er worden geen online interacties, handgemaakte beloningen of aanvullende BC-verlies gebruikt tijdens de RL-fase.
- Video-uitgelijnde Beloning (VAR): De beloning wordt gedefinieerd als de negatieve L1-afstand tussen de DINO-tokens van de roll-out van het model en de ground-truth DINO-tokens van een referentie-offline video (tijdgesynchroniseerd).
- Het beleid (geïnitieerd vanuit BC) wordt geoptimaliseerd via PPO met behulp van roll-outs die volledig binnen RLA-WM worden gegenereerd.

Belangrijkste Bijdragen

Residuale Latente Actie (RLA): Een eenvoudige, compacte latente actierepresentatie geleerd uit DINO-residuen die voorspellend, generaliseerbaar is en temporele topologie codeert.
RLA-WM: Een state-of-the-art wereldmodel op basis van visuele kenmerken dat RLA voorspelt via flow matching. Het presteert beter dan bestaande op kenmerken gebaseerde en videodiffusiemodellen in nauwkeurigheid, terwijl het orde van grootte sneller is.
Nieuwe Toepassingen:
- Een minimalistisch WAM dat imitatie-leren verbetert vanuit actieloze video's.
- Een visueel RL-framework (WMRL) dat beleidsplannen optimaliseert via roll-outs in een geleerd wereldmodel zonder online interactie of handmatige beloningsengineering.

Experimentele Resultaten

Kwaliteit van Voorspelling

Geëvalueerd op de ManiSkill (simulatie) en IWS (real-world bimanuele manipulatie) datasets:

Metingen: RLA-WM behaalde superieure prestaties in LPIPS, SSIM en DINO L1-afstand in vergelijking met baselines waaronder DINO-WM (regressie), RAE (diffusie in kenmerkenruimte), FM-WM (flow matching in kenmerkenruimte) en Vid2World (videodiffusie).
Efficiëntie: RLA-WM vereiste 3,5T FLOPs per inferentie, aanzienlijk lager dan Vid2World (1,1P FLOPs) en RAE/FM-WM (14,3T FLOPs).
Kwalitatief: RLA-WM produceerde fysisch onderbouwde voorspellingen met minimale hallucinatie, terwijl videodiffusiemodellen (Vid2World) vaak scherpe maar fysisch inconsistente trajecten genereerden.

Prestaties in Robotleren

Leren uit Actieloze Video's: In imitatie-lerenstaken met slechts 5% actiegelabelde data, behaalde het op RLA gebaseerde WAM een gemiddeld slagingspercentage van 35,6%, wat beter was dan de BC-baseline (27,2%) en andere latente actiemethoden (bijv. AdaWorld met 33,7%). De verbetering was het meest opvallend bij de uitdagende Push-T-taak (+15,2% ten opzichte van de baseline).
Visueel RL (WMRL): Over 1500 evaluatieseeden verbeterde WMRL significant de beleidsprestaties op XArm- en UR10e-robots in vergelijking met het initiële BC-beleid. Gemiddeld behaalde het een +1,1% winst ten opzichte van BC over vijf taken zonder gebruik te maken van extra real-world interactiedata.

Betekenis en Claims

Het artikel claimt dat RLA-WM een sterke stap voorwaarts vertegenwoordigt voor wereldmodellen op basis van visuele kenmerken. Door over te stappen van directe regressie of zware generatieve modellering naar modellering van residuale latente actie, bereiken de auteurs een balans tussen efficiëntie, nauwkeurigheid en schaalbaarheid die eerder onbereikbaar was in hoogdimensionale kenmerkenruimten.

De betekenis ligt in:

Het Overwinnen van de Dimensionaliteitsvloek: Aantonen dat generatieve modellering in kenmerkenruimte haalbaar is als het doel een compacte residuale representatie is in plaats van de volledige kenmerkenvector.
Het mogelijk maken van Offline-Only RL: Bewijzen dat hoogwaardig visueel RL mogelijk is met uitsluitend offline videodata en een geleerd wereldmodel, waardoor de behoefte aan dure online exploratie of handgemaakte beloningsfuncties wordt geëlimineerd.
Schaalbaarheid naar Ongelabelde Data: Het bieden van een pad om de enorme hoeveelheid ongelabelde robotvideodata te benutten voor beleidsverbetering via de minimalistische WAM-aanpak.

De auteurs erkennen beperkingen, zoals de moeilijkheid om taak-irrelevante achtergrondbeweging (bijv. cameratrillingen) en gedeeltelijke waarneembaarheid (occlusies) te hanteren, en suggereren toekomstig werk in 3D-visionafhankelijke RLA en multi-frame conditionering. Echter, benadrukken ze dat hun resultaten op kleine datasets de door de methode gedreven winsten isoleren van louter dataschaling, en zo een solide fundament leggen voor toekomstige open-wereldtoepassingen.