🤖 machine learning

WorldBagel: Uncovering the Power of Unified Multimodal Models for Vision-Language-Action-World Modeling

Dit artikel introduceert WorldBagel, een verenigd Vision-Language-Action-World modelleringsframework gebouwd op de BAGEL-architectuur, dat aantoont dat het verenigen van multimodale generatie en wereldmodellering leidt tot superieure prestaties en meer gestructureerde actierepresentaties over diverse robotische manipulatietaken heen in vergelijking met taakspecifieke alternatieven.

Oorspronkelijke auteurs: Zelin Zhao, Min Shi, Bo Yuan, Haotian Xue, Jialuo Li, Lama Moukheiber, Humphrey Shi, Yongxin Chen

Gepubliceerd 2026-07-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zelin Zhao, Min Shi, Bo Yuan, Haotian Xue, Jialuo Li, Lama Moukheiber, Humphrey Shi, Yongxin Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een maaltijd te koken. De meeste huidige robots zijn als chefs die alleen naar het recept (taal) en de ingrediënten (visie) kijken om te beslissen wat ze nu moeten doen. Ze zijn geweldig in het opvolgen van instructies, maar ze "begrijpen" niet echt hoe de keuken werkt. Ze weten niet intuïtief dat als je te hard tegen een pan duwt, deze van het aanrecht zal glijden, of dat er stoom opstijgt uit een kokende pan.

WorldBagel is een nieuw soort robotbrein dat dit verandert. In plaats van alleen een chef te zijn die bevelen opvolgt, fungeert het als een simulator in het hoofd van de robot. Het beslist niet alleen wat het moet doen; het stelt zich constant voor hoe de wereld eruit zal zien nadat het iets heeft gedaan.

Hier is een eenvoudige uitsplitsing van hoe het werkt, gebruikmakend van de eigen claims uit het paper:

1. De "Two-Tower" Brein

Denk aan het brein van de robot als twee gespecialiseerde experts die in hetzelfde kantoor werken:

De "Begrijpende" Expert (UND): Deze expert is erg goed in het bekijken van een afbeelding en het lezen van een zin om te bepalen wat de robot nu moet doen. Het is de "doener".
De "Genererende" Expert (GEN): Deze expert is een dromer. Hij kijkt naar de huidige scène en de beoogde actie van de robot, en vraagt zich dan af: "Als ik dit doe, hoe ziet de keuken er dan over één seconde uitzien?" Hij voorspelt de toekomst.

WorldBagel dwingt deze twee experts om hetzelfde notitieblok te delen. Ze werken niet alleen naast elkaar; ze leren van elkaar. Door te proberen de toekomst te voorspellen, wordt de robot beter in het begrijpen van het heden.

2. Het Geheime Sausje: "Fourier" Acties

Robots bewegen op een vloeiende, continue manier (zoals een hand die door de lucht glijdt), maar computers denken meestal in stappen of blokken. Het paper introduceert een slimme truc genaamd Fourier Feature Tokenization.

Stel je voor dat je een vloeiende golf probeert te beschrijven. Je zou het kunnen proberen met grillige Lego-blokjes (discretisatie), maar dat zou er hobbelig en onnauwkeurig uitzien. Of je kunt de golf beschrijven met een specifieke set muzikale noten (frequenties) die, wanneer ze samen worden gespeeld, de vloeiende golf perfect recreëren.

WorldBagel gebruikt deze "muzikale noot"-aanpak voor de bewegingen van de robot. Het vertaalt de vloeiende fysieke acties van de robot naar een gestructureerde taal van frequenties. Hierdoor kan de robot:

Zijn eigen bewegingen met veel hogere precisie voorspellen.
De "vorm" van een taak beter begrijpen dan andere methoden.

3. De "Sequence Plan" (De Verhalenverteller)

Om deze robot te leren, hebben de onderzoekers de data niet zomaar gevoerd. Ze hebben de leerervaring georganiseerd als een stripverhaal met een specifieke structuur genaamd een Sequence Plan.

Stel je een stripstrip voor waarvan de panelen door elkaar staan. Soms ziet de robot eerst de afbeelding, dan de instructie, dan de actie, en dan het resultaat. Op andere momenten ziet hij eerst het resultaat om te leren wat de oorzaak ervan was. WorldBagel husselt deze "panelen" (beelden, woorden, acties en toekomstvoorspellingen) in verschillende volgordes tijdens de training. Dit helpt de robot te leren dat:

Acties veranderingen in de wereld veroorzaken.
Taal die acties stuurt.
De toekomst een logisch gevolg is van het verleden.

4. Wat hebben ze gevonden?

De onderzoekers hebben WorldBagel getest op drie verschillende "keukens" (robotomgevingen):

LIBIO: Een complexe simulatie met veel verschillende taken.
Language Table: Een echte tafel waar een robot blokken duwt op basis van gesproken commando's.
Franka: Een fysica-zware simulatie met een specifieke robotarm.

De Resultaten:

Beter in alles: WorldBagel was beter in het voltooien van taken dan robots die zich alleen concentreerden op de actie of zich alleen concentreerden op het voorspellen van de toekomst. Het was de "alleskunner" die ze allemaal beheerste.
Scherpere voorspellingen: Wanneer gevraagd werd om te raden hoe het volgende videoframe eruit zou zien, was WorldBagel veel nauwkeuriger dan zijn concurrenten.
Robuuster: Toen de onderzoekers "ruis" toevoegden (zoals het schudden van de hand van de robot of het veranderen van de snelheid van de bewegingen), raakte WorldBagel niet in de war. Het bleef de toekomst correct voorspellen omdat het de fysica van de beweging begreep, en niet alleen het visuele patroon.

De Kernboodschap

Het paper betoogt dat door Visie (zien), Taal (lezen), Actie (doen) en Wereldmodellering (zich de toekomst voorstellen) te combineren in één enkel, verenigd systeem, robots sneller leren en betrouwbaarder worden.

WorldBagel bewijst dat als je een robot leert om de gevolgen van zijn acties te visualiseren, het een veel slimmer en capabeler werker wordt. De code en het model zullen worden vrijgegeven zodat anderen voort kunnen bouwen op deze "verenigde" aanpak.

Technische Samenvatting: WorldBagel

Probleemstelling

World models proberen de dynamiek van de omgeving te vatten om perceptie, redeneren en besluitvorming te ondersteunen, wat een centraal doel is in belichaamde intelligentie en robotica. Hoewel recente Vision-Language-Action (VLA) modellen succes hebben getoond in multi-task leren en generalisatie door taal te integreren, leggen zij de nadruk meestal op actievoorspelling en taakprestaties in plaats van op het expliciete generatieve modelleren van omgevingsdynamiek. Daarentegen richten traditionele inspanningen op world modeling zich vaak op visuele dynamiek en controle zonder taal of grootschalige multimodale kennis diepgaand te integreren.

Het artikel stelt dat er een natuurlijk convergentiepunt bestaat tussen multimodale VLA-leren en world modeling. Een verenigd model zou niet alleen visuele observaties moeten begrijpen en taalinstructies moeten opvolgen, maar ook toekomstige visuele toestanden en acties moeten genereren binnen een gedeelde representatieruimte. Het blijft echter onduidelijk hoe verenigde multimodale modellen moeten worden aangepast of geëvalueerd als algemene Vision-Language-Action-World (VLAW) modellen, met name met betrekking tot actietokenisatie, sequentieplanning en trainingsstabiliteit over heterogene datasets.

Methodologie: WorldBagel

WorldBagel is een verenigd VLAW-framework gebouwd op BAGEL, een modern multimodaal verenigd model met een twee-toren architectuur voorzien van specifieke Understanding (UND) en Generation (GEN) experts. WorldBagel breidt deze architectuur uit om gezamenlijk multimodale begrip, gestructureerde actiemodellering en toekomstige wereldvoorspelling te ondersteunen.

1. Modelarchitectuur

Het framework werkt over een gedeelde multimodale token embedding-ruimte en bestaat uit twee primaire takken:

VLA-tak (Begrip & Actievoorspelling): Visuele toestanden worden gecodeerd via een ViT-encoder en verwerkt door de UND-expert, die gespecialiseerd is in cross-modale gronding. Een gespecialiseerde Fourier Feature Action Decoder (FFAD) is bevestigd om continue controlesignalen te voorspellen.
World Modeling-tak (Actie-geconditioneerde Generatie): Deze tak is geconditioneerd op het verleden van visuele tokens, taalinstructies en gestructureerde actietokens. Het maakt gebruik van de GEN-expert om toekomstige observaties te voorspellen via flow matching, gevolgd door een VAE-decoder.

2. Belangrijke Technische Componenten

Fourier Feature Action Tokenizer (FFAT) & Decoder (FFAD): In plaats van standaard regressie of discrete binning (wat instabiel of datarijk kan zijn), brengt WorldBagel continue actievectoren in kaart naar gestructureerde Fourier-feature embeddings.
- Forward Mapping: Acties worden uitgebreid naar frequentiebanden met exponentieel toenemende schalen om zowel grove als fijne variaties te vangen.
- Voorspelling: Het model voorspelt Fourier-features in de latente ruimte in plaats van ruwe actiewaarden, wat de stabiliteit verbetert.
- Inverse Mapping: Acties worden gereconstrueerd via fase-consistente middeling over frequenties, wat continuïteit en lokale metriekstructuur garandeert zonder iteratieve optimalisatie.
Interleaved VLAW Modellering via Sequentieplannen: Het model organiseert visuele observaties, taalinstructies, actietokens en toekomstige staatvoorspellingen in een verenigde autoregressieve sequentie. Flexibele "sequentieplannen" definiëren de volgorde van deze tokens, waardoor het model getraind kan worden op diverse doelstellingen (bijv. het voorspellen van acties vóór toekomstige observaties of vice versa) binnen één enkele forward pass.
LLM-geïnspireerde Data Sampling: Om om te gaan met heterogene datasets met variërende schalen en supervisiesignalen, gebruikt de auteur:
- Mixture Dataset Sampling: Gesmoothde sampling-kansen op basis van datasetgrootte om te voorkomen dat grote datasets domineren.
- Priority Sequence-Plan Sampling: Een strategie die hogere gewichten toekent aan "joint VLA-plannen" (die zowel actie als wereldvoorspelling superviseren) vergeleken met policy-only plannen, wat ervoor zorgt dat het model regelmatig supervisie krijgt voor zowel controle als omgevingsdynamiek.

3. Trainingsdoelstelling

Het model wordt geïnitialiseerd vanuit een pre-trained BAGEL-checkpoint en wordt gefinetuned met Supervised Fine-Tuning (SFT). De totale loss combineert de actievoorspellingsloss (regressie in de Fourier-ruimte) en de visie-generatieloss (flow matching voor toekomstige frames), gewogen als:
$\mathcal{L} = \mathcal{L}_{action} + 0.1\mathcal{L}_{vision}$

Belangrijkste Bijdragen

Verenigd VLAW Framework: De introductie van WorldBagel, dat de BAGEL twee-toren architectuur uitbreidt om gezamenlijk perceptie, taalgronding, actievoorspelling en toekomstige observatiegeneratie te modelleren.
Fourier Feature Actie Modules: De voorstel van FFAT en FFAD, die continue controlesignalen coderen in gestructureerde tokens die zijn uitgelijnd met de multimodale ruimte, wat de kwaliteit en stabiliteit van de actierepresentatie verbetert.
Systematische Studie van Unificatie: Door middel van multi-task robotmanipulatie en cross-domein experimenten demonstreert het artikel dat unificatie op zichzelf het leren van effectieve VLAW-modellen ten goede komt, wat leidt tot consistente empirische winst en diepere inzichten in multimodale wereldmodellering.

Experimentele Resultaten

De auteurs evalueerden WorldBagel op drie benchmarks: LIBERO (gesimuleerde lange-horizon manipulatie), Language Table (real-world tabletop manipulatie) en Franka (fysica-gebaseerde simulatie).

Multi-task Prestaties: WorldBagel bereikte een gemiddeld succespercentage van 98,0% op de LIBERO benchmark, waarmee het de sterke baseline RynnVLA-002 (+0,6%) en diverse andere VLA-baselines (zoals OpenVLA-OFT, $\pi0.5$ ) versloeg.
Kwaliteit van World Modeling: In actie-geconditioneerde world modeling taken verbeterde WorldBagel consequent de voorspellingsgetrouwheid (lagere FVD, hogere PSNR/SSim, lagere LPIPS) vergeleken met baselines over alle datasets. Op LIBERO verlaagde het bijvoorbeeld de FVD van 389,5 naar 373,1.
Kwaliteit van Actierepresentatie: De Fourier-gebaseerde aanpak (FFAD) verminderde de Action MSE tot 0,028 en behaalde een linear probe nauwkeurigheid van 68,7% voor taakidentiteit, wat aanzienlijk beter is dan regressie (49,8%) en andere tokenisatiemethoden. Dit geeft aan dat de geleerde embeddings meer gestructureerd en semantisch uitgelijnd zijn.
Stabiliteit onder Distributieverschuivingen: Onder verstoringen (Gaussische ruis, actieschaling, temporele verschuivingen) behield WorldBagel een hogere voorspellingsgetrouwheid (PSNR) en lagere LPIPS vergeleken met RynnVLA-002. Eigenwaarde-spectrumanalyse onthulde dat WorldBagel een hogere effectieve rang bezit (33,7 vs. 16,3) en een lagere dominante eigenwaarde ratio, wat wijst op een rijkere en stabielere representatie van de actiedynamiek.

Betekenis en Claims

Het artikel claimt dat unificatie op zichzelf een sleutelcomponent is voor schaalbare world modellen. Door perceptie, taal, actie en toekomstige dynamiek gezamenlijk te modelleren binnen een enkel autoregressief framework, demonstreert WorldBagel dat verenigde architecturen beter kunnen presteren dan taakspecifieke alternatieven.

De auteurs stellen dat hun werk zorgt voor:

Empirische Winsten: Consistente verbeteringen in zowel controleprestaties (policy success) als voorspellend begrip van de omgeving (world modeling fidelity).
Methodologische Inzichten: Bewijs dat Fourier-gebaseerde actietokenisatie en geïntegreerde sequentieplanning cruciaal zijn voor het stabiliseren van heterogene multimodale training en het leren van hoogwaardige, gestructureerde actierepresentaties.
Fundament voor Toekomstig Werk: De resultaten suggeries dat architecturale unificatie zowel policy-leren als voorspellende omgevingsmodellering verbetert, wat een veelbelovend fundament biedt voor schaalbare multimodale world modellen in belichaamde agenten.

Het artikel concludeert dat hoewel recente verenigde visie-taalmodellen ongekende generatieve vermogens vertonen, hun rol als world models grotendeels nog onontdekt is; WorldBagel begint dit gat systematisch te adresseren.