🤖 machine learning

WorldDiT: A Unified Diffusion Architecture for World and Action Modeling

WorldDiT introduceert een verenigde diffusie-transformerarchitectuur die gelijktijdig continue acties genereert en toekomstige visuele frames voorspelt, waarmee het de staat van de kunst bereikt over meerdere benchmarks voor robotmanipulatie zonder te vertrouwen op grote voorgetrainde visie-taalmodellen.

Oorspronkelijke auteurs: Sen Wang, R. Gnana Praveen, Bidhan Roy, Marcos Villagra

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sen Wang, R. Gnana Praveen, Bidhan Roy, Marcos Villagra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen een rigide lijst met instructies volgen, maar ook echt "dromen" over wat er hierna zal gebeuren. Dit is de grens van robotleren, een veld dat probeert machines te leren hoe ze zich door onze rommelige, echte wereld kunnen bewegen. Een lange tijd kwamen de grootste doorbraken voort uit een specifiek recept: neem een enorme, vooraf getrainde "hersenen" die al alles weet over taal en plaatjes (zoals een superintelligente encyclopedie die ook kan zien) en bevestig een robotarm aan deze hersenen. Het werkt, maar het is alsof je een puppy probeert te leren om een bal te halen door hem eerst te trainen om een professor te zijn; het is zwaar, duur en het is moeilijk te zeggen of de robot de taak leert of gewoon de aantekeningen van de professor kopieert. De grote vraag die wetenschappers stellen is: Kunnen we een robotbrein bouwen dat kleiner, lichter is en leert bewegen én de toekomst tegelijkertijd te voorspellen, zonder dat daar een gigantische, vooraf geladen encyclopedie voor nodig is?

Maak kennis met WorldDiT, een nieuw robotbrein ontworpen door onderzoekers van Bagel Labs. Denk aan WorldDiT niet als een student die een tekstboek kopieert, maar als een jonge kunstenaar die leert schilderen door naar een film van zijn eigen toekomst te kijken. In plaats van te vertrouwen op een gigantisch, vooraf getraind "Vision-Language Model" (een enorme AI die weet hoe ze afbeeldingen en tekst moet beschrijven) om het hem te vertellen, gebruikt WorldDiT één enkele, verenigde motor die twee dingen tegelijkertijd doet. Ten eerste bepaalt het de volgende bewegingen voor de robotarm. Ten tweede probeert het te raden wat de camera een paar seconden later zal zien. Het is als een schaker die niet alleen zijn volgende zet plant, maar ook het bord drie zetten vooruit visualiseert om er zeker van te zijn dat zijn plan klopt.

De onderzoekers trainden dit systeem in een gesimuleerde wereld genaamd LIBERO, waar robots taken moeten uitvoeren zoals het stapelen van blokken of het verplaatsen van objecten. Ze ontdekten dat WorldDiT, dat verrassend klein is (minder dan 400 miljoen parameters, vergeleken met de miljarden die andere topmethoden gebruiken), de toekomstige camerabeelden en de acties van de robot met ongelooflijke nauwkeurigheid kan voorspellen. Sterker nog, toen ze het testten, slaagde de robot in ongeveer 95% van zijn taken over vier verschillende soorten uitdagingen. Het meest opwindende deel? Dit deed het zonder de zware, vooraf getrainde "backbone" die de meeste andere succesvolle robots gebruiken. Het bewees dat je geen gigantisch, vooraf geladen brein nodig hebt om een goede robot te zijn; je hebt alleen een brein nodig dat leert de toekomst te zien terwijl het beweegt.

De "Dromende" Robot

Hoe werkt WorldDiT dan precies? Stel je voor dat je probeert te leren jongleren. De meeste robots van vandaag zijn als studenten die duizend video's van jongleerjongleurs hebben memoriseerd en proberen hen exact na te bootsen. WorldDiks is anders. Het is als een jongleerstudent die geblinddoekt is, maar wel een kristallen bol heeft.

Hier is de truc: Elke keer dat WorldDiT een beweging plant, probeert het ook te "dromen" wat de camera in de toekomst zal zien. Het kijkt naar de huidige staat van de robot, de instructie die het heeft gekregen (zoals "pak het rode blok") en de laatste paar seconden aan video. Vervolgens vraagt het zichzelf tegelijkertijd twee vragen:

"Wat moet de robot nu doen?"
"Als ik dat doe, hoe ziet het plaatje er dan een moment later uit?"

De onderzoekers noemen dit een diffusion transformer. Als dat klinkt als sciencefiction-jargon, denk er dan aan als een "denoising" proces. Stel je een foto voor die bedekt is met statische ruis. WorldDiT begint met een volledig willekeurige, ruizige gok van wat de volgende beweging van de robot moet zijn en hoe het toekomstige plaatje eruit moet zien. Vervolgens verfijnt het stap voor stap die ruis, en polijst het zijn gok totdat het een helder, vloeiend pad naar het doel vindt. Dit doet het voor zowel de acties van de robot als de toekomstige beelden.

De magie gebeurt omdat deze twee taken elkaar helpen. Door te proberen de toekomstige afbeelding te voorspellen, wordt de robot gedwongen om de fysica van de wereld te begrijpen. Als het een beweging plant om een blok te duwen, maar de "droom" van de toekomst laat zien dat het blok in de lucht zweeft, weet het dat het plan fout is. Het moet de actie aanpassen totdat de "droom" overeenkomt met de realiteit. Dit creëert een feedbackloop waarbij de robot de regels van de wereld leert door simpelweg te voorspellen wat er nu volgt.

De Resultaten: Klein Brein, Groot Succes

De onderzoekers testten WorldDiT in vier verschillende simulatie-suites (denk aan vier verschillende hindernisbanen: Spatial, Object, Goal en Long). Ze vergeleken het met 24 andere beroemde methoden voor robotleren.

Hier is de kern: WorldDiT is piepklein. Het heeft ongeveer 399 miljoen parameters (de "neuronen" in zijn brein). Veel van de andere topserende robots gebruiken modellen met 1 miljard of zelfs 10 miljard parameters. Normaal gesproken betekent een groter brein een betere prestatie. Maar WorldDiT verbrak die regel.

In deze simulaties behaalde WorldDiT een gemiddeld succespercentage van 94,9% over alle vier de banen.

Spatial: 98,0% succes
Object: 97,0% succes
Goal: 92,8% succes
Long: 91,8% succes

Wanneer je deze resultaten in een grafiek uitzet, bevindt WorldDiT zich op de "Pareto frontier". In gewone mensentaal betekent dit dat het de meest efficiënte robot in de kamer is. Als je een robot wilt die net zo slim is als WorldDiT maar een kleiner brein gebruikt, kun je er geen vinden. Als je een robot wilt die net zo klein is als WorldDiT maar slimmer, kun je die ook niet vinden. Elke andere robot die beter presteerde dan 94,9%, was aanzienlijk groter en zwaarder.

Waarom dit ertoe doet

Het paper betoogt expliciet tegen het idee dat je moet werken met een massief, vooraf getraind Vision-Language Model (VLA) om goede robotbesturing te krijgen. Een tijdje dacht het vakgebied: "We hebben een gigantisch brein nodig om de wereld te begrijpen." WorldDiT zegt: "Niet noodzakelijkerwijs."

De onderzoekers lieten zien dat door actiegeneratie (bewegen) te koppelen aan wereldmodellering (de toekomst voorspellen), een enkele, verenigde architectuur zeer effectief kan leren om een robot te besturen. Ze suggereerden dit niet alleen; ze maten het in duizenden gesimuleerde episodes. De robot had niet alleen "geluk"; het presteerde consequent beter dan veel grotere modellen.

Er is echter een addertje onder het gras. Deze resultaten komen uit simulaties (computergames waarin robots leven). Het paper merkt op dat hoewel de prestaties sterk zijn, dit een baseline is voor toekomstig onderzoek. We weten nog niet of deze "dromende" robot perfect zal werken in een echte, rommelige keuken met echte zwaartekracht en echte gladde vloeren. Maar de simulatie-resultaten zijn een sterk vermoeden dat we in de toekomst kleinere, goedkopere en efficiëntere robots kunnen bouks — robots die leren door de toekomst te visualiseren, in plaats van alleen het verleden te memoriseren.

Uiteindelijk suggereert WorldDiT dat het geheim van een slimme robot niet alleen het hebben van een enorme bibliotheek aan kennis is; het is het hebben van een brein dat de toekomst in zijn geest kan afspelen om nú betere beslissingen te nemen.

Technische Samenvatting: WorldDiT

Probleemstelling

Recente vooruitgang in robotica-beleersprocessen (policy learning) leunt vaak op het koppelen van actiegeneratie aan grote, vooraf getrainde visie-taalmodellen (VLM's). Hoewel deze aanpak gebruikmaakt van brede perceptie en taalbegrip, vertroebelt het de specifieke bijdragen van modelomvang en architectuur. Wanneer een beleid (policy) bestaat uit meerdere miljarden parameters, wordt het moeilijk om te ontrafelen of sterke besturingsprestaties voortkomen uit het actieontwerp, de vooraf getrainde backbone, of hun combinatie. De auteurs stellen de vraag: Kan een verenigde diffusion transformer-architectuur continue actiegeneratie combineren met een hulpdoel voor toekomstige visuele voorspelling om sterke besturingsprestaties te bereiken zonder te vertrouwen op een grote vooraf getrainde VLM als de actie-backbone?

Methodologie: WorldDiT

WorldDiT is een verenigde diffusion transformer-architectuur die is ontworpen om actiegeneratie te koppelen aan visuele wereldmodellering. In tegen tegenstelling tot autoregressieve wereld-actiemodellen die actietokens sequentieel genereren met behulp van een grote VLM, gebruikt WorldDiT een enkele gedeelde Diffusion Transformer (DiT) backbone om zowel continue robotacties als genormaliseerde RGB-patches uit toekomstige camerabeelden te modelleren.

Architectuur en Codering

Het systeem maakt gebruik van een "bevroren" en "trainbare" hybride aanpak:

Encoders: Bevroren visuele encoders (MAE voor afbeeldingen, CLIP voor tekst) en een trainbare robottoestand-encoder (die arm- en grijpertoestanden afzonderlijk codeert) verwerken de inputs.
Tokenisatie: Het systeem construeert multimodale tokens bestaande uit:
- 34 visuele tokens (34 patches van de primaire camera en de polscamera).
- 1 taaltoken (van de instructie).
- 1 toestandstoken (robottoestand).
- Dit resulteert in 36 schone context-tokens per temporele slot.
Backbone: De kern is een gedeelde DiT-backbone met een diepte van 4, een verborgen grootte van 1024, 16 attention heads en 4 register-tokens. Het maakt gebruik van per-token AdaLN-Zero en strikte blok-causale, actie-veilige attention, wat ervoor zorgt dat actie-queries geen geruisbeladen RGB-targets kunnen lezen.

Trainingsdoel: Flow Matching

WorldDiT wordt getraind met behulp van flow matching. Het trainingsvenster ( $N=10$ ) bestaat uit:

Context ( $C=3$ ): Drie geobserveerde stappen die taal, multi-view RGB en robottoestanden bevatten.
Targets ( $H=7$ ): Een 7-staps actiechunk en een toekomstige genormaliseerde RGB-patch target.

De toekomstige visuele target wordt geconstrueerd uit de primaire camera- en polscamera-frames op een temporele offset van $H$ . Elk 224x224 frame wordt verdeeld in 16x16 patches; 64 gelijkmatig verdeelde patches worden behouden van elke camera, genormaliseerd door hun eigen gemiddelde en variantie, en samengevoegd tot een 128-token target ( $Y_{rgb}$ ).

Het model ontvangt schone context-tokens en gecorrumpeerde target-tokens (actie en RGB-patches) met Gaussische ruis. Het voorspelt de flow-snelheid voor een recht pad van ruis naar de schone target. De totale loss is een gewogen som van de actie-velocity loss en de RGB-patch velocity loss:
$L_{total} = w_{action}L_{action}^{flow} + w_{rgb}L_{rgb}^{flow}$
Cruciaal is dat de RGB-patch voorspelling dient als een hulp-supervisiesignaal tijdens de training, maar afwezig is tijdens de inferentie.

Inferentie

Bij de inzet werkt het systeem op basis van een terugwijkende horizon (receding horizon):

De verenigde backbone ontvangt de historie (taal, observaties, toestanden) tot de huidige stap.
Er worden geen toekomstige RGB-targets of actielabels verstrekt.
Het model genereert een 7-staps actiechunk door numerieke integratie van het geleerde actie-velocityveld van Gaussische ruis ( $\tau=0$ ) naar de schone toestand ( $\tau=1$ ) over 20 Euler-stappen.
De eerste drie acties van de voorspelde chunk worden uitgevoerd, de toestand wordt geobserveerd, en het venster wordt verschoven voor herplanning.

Belangrijkste Bijdragen

Verenigde Architectuur: Een enkele diffusion transformer die gezamenlijk continue actiegeneratie en toekomstige genormaliseerde RGB-patch voorspelling leert zonder een grote vooraf getrainde VLM-backbone.
Training/Deployment Ontwerp: Een nieuw ontwerp waarbij RGB-patch voorspelling supervisie levert tijdens de training, maar wordt verwijderd uit de inferentie-grafiek, wat een compact, actie-georiënteerd deployment-pad mogelijk maakt.
Sub-miljard Parameter Baseline: Een configuratie met ongeveer 399 miljoen totale parameters (135 miljoen trainbaar) die een sterke baseline vormt voor toekomstige schalingstudies.

Resultaten

De auteurs evalueerden WorldDiT op de LIBERO manipulatie benchmark, specifiek over vier suites: Spatial, Object, Goal, en Long (LIBERO-10).

Prestaties: WorldDiT behaalde de volgende gemiddelde succespercentages:
- Spatial: 98,0%
- Object: 97,0%
- Goal: 92,8%
- Long: 91,8%
- Gemiddelde Totaal: 94,9%
Pareto Front: Wanneer uitgezet tegen de totale geïnstantieerde modelparameters, ligt WorldDiT op de gerapporteerde Pareto-front. Onder de methoden die resultaten rapporteren over alle vier de suites, gebruikt elke methode met een hogere gemiddelde succesrate meer totale parameters. Omgekeerd rapporteren methoden met vergelijkbare of minder parameters lagere succesrates.
Vergelijking: WorldDiT presteert beter dan andere methoden die geen grote vooraf getrainde VLM-backbones gebruiken (bijv. DreamVLA, FlowVLA, Octo) en concurreert gunstig met methoden die dat wel doen, ondanks het hebben van aanzienlijk minder parameters.

Betekenis en Claims

Het artikel beweert dat WorldDiT aantoont dat sterke benchmarkprestaties haalbaar zijn zonder een grote vooraf getrainde visie-taalmodel in de actie-backbone te plaatsen. Door actiegeneratie te koppelen aan een toekomstige visuele voorspellingsdoelstelling, bereikt de architectuur een hoge parameter-efficiëntie-tradeoff.

De auteurs positioneren WorldDiT als een "sterke sub-miljard parameter baseline" voor toekomstige schalingstudies. Ze suggereren dat dit resultaat ondersteuning biedt voor verenigde wereld- en actiemodellering als een compacte basis voor schaling over modelcapaciteit, datadiversiteit en deployment-instellingen. Het artikel merkt bescheiden op dat hoewel de resultaten de tradeoff onder één miljard parameters karakteriseren, toekomstig werk nodig is om te bepalen of deze tradeoff standhoudt bij grotere schalen en hoe de genormaliseerde toekomstige RGB-doelstelling de controle specifiek vormgeeft. De auteurs benadrukken ook het potentieel om de gedeelde flow-matching formulering te deconstrueren in onafhankelijk getrainde experts voor heterogene hardware.