🤖 AI

Grounded World Model for Semantically Generalizable Planning

Dit paper introduceert een Grounded World Model dat visuele en taalgebaseerde instructies in een gedeelde latente ruimte combineert om Model Predictive Control te verbeteren, waardoor het aanzienlijk beter presteert in het plannen van nieuwe taken dan traditionele Vision-Language Agents.

Oorspronkelijke auteurs: Quanyi Li, Lan Feng, Haonan Zhang, Wuyang Li, Letian Wang, Alexandre Alahi, Harold Soh

Gepubliceerd 2026-04-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Quanyi Li, Lan Feng, Haonan Zhang, Wuyang Li, Letian Wang, Alexandre Alahi, Harold Soh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om een taak uit te voeren, zoals "pak die rode kubus en leg hem op de foto van de kat".

In de wereld van robotica is dit een enorme uitdaging. De robot moet niet alleen zien wat er gebeurt, maar ook begrijpen wat de mens bedoelt, en dan plannen welke bewegingen hij moet maken.

Dit paper introduceert een slimme nieuwe manier om dat te doen, genaamd GWM (Grounded World Model). Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

1. Het oude probleem: De robot met de blinddoek

Stel je voor dat je een robot leert met een Model Predictive Control (MPC) systeem. Dit werkt als een simulator in het hoofd van de robot:

De robot denkt na: "Als ik mijn arm zo beweeg, wat gebeurt er dan?"
Hij probeert verschillende bewegingen uit in zijn hoofd.
Hij kijkt naar het resultaat en kiest de beste.

Het probleem: Om te weten of een beweging goed is, moet de robot weten hoe het doel eruitziet.

De oude manier: De robot kreeg een foto van het doel (bijv. een foto van de kubus op de tafel). Maar wat als de robot in een nieuwe kamer staat waar die foto niet bestaat? Dan raakt hij in paniek.
De menselijke manier: Mensen gebruiken taal. "Leg de kubus op de foto van de kat." Dat is veel flexibeler.

Tot nu toe konden robots die taal goed begrijpen (via grote AI-modellen), maar ze waren slecht in het plannen van de bewegingen. Ze konden de instructie wel lezen, maar wisten niet precies welke beweging daar bij hoorde. Ze leerden vaak alleen uit het hoofd (overfitting) en faalden zodra de situatie een beetje anders was.

2. De oplossing: De "Taal-gebaseerde Voorspeller"

De auteurs van dit paper hebben een nieuw systeem bedacht: GWM-MPC.

Stel je dit voor als een receptenboek met een magische voorspeller:

De Magische Voorspeller (Het Wereldmodel): In plaats van te proberen een nieuwe foto te tekenen (wat heel moeilijk en duur is), leert de robot te "voorspellen" in een taal-gebaseerde ruimte. Hij denkt: "Als ik deze beweging doe, zal het resultaat lijken op de betekenis van 'kubus op kat'?"
De Vergelijking: De robot vergelijkt niet de pixel-per-pixel foto's (wat te moeilijk is), maar hij vergelijkt de ideeën. Hij vraagt zich af: "Klopt het idee van mijn toekomstige beweging met het idee van de zin die de mens zei?"

De analogie van de "Taal-gecodeerde Voorspelling":
Stel je voor dat je een film kijkt.

Oude robots: Probeerden elke pixel van de volgende filmframe te tekenen. Als ze één verkeerde pixel hadden, was de hele film fout.
Deze robot (GWM): Kijkt naar de plot. Hij zegt: "Ah, als ik de kubus pak, zal de plot van de film overeenkomen met de zin 'leg de kubus op de kat'." Hij hoeft de film niet perfect te tekenen, hij hoeft alleen het verhaal te begrijpen.

3. Waarom werkt dit zo goed? (De "Geheugen-techniek")

De meeste moderne robot-robots (VLA's) proberen alles in één keer te leren door hun hersenen (neural networks) aan te passen. Dit is als een student die probeert een heel boek uit het hoofd te leren. Als de vraag net anders wordt, vergeet hij het antwoord.

GWM doet het anders:

Het gebruikt een bestaande, super-slimme taalmodel (Qwen3-VL) dat al alles weet over de wereld. Dit model wordt niet aangepast, dus het vergeet niets.
De robot leert alleen hoe hij die kennis moet gebruiken om een beweging te kiezen.
Het is alsof je een slimme assistent hebt die alles weet, en jij leert alleen hoe je de juiste vraag moet stellen om het juiste antwoord te krijgen.

4. Het resultaat: De "WISER" Test

De auteurs hebben een testbedacht (WISER) om te zien of robots echt begrijpen wat ze doen, of dat ze alleen maar uit het hoofd hebben geleerd.

De test: De robot moet kubussen leggen op foto's. In de testfase zijn de kleuren van de kubussen en de foto's helemaal nieuw (bijv. een blauwe kubus op een foto van een hond), maar de beweging (pakken en leggen) is hetzelfde als in de training.
De oude robots: Faalden bijna volledig (slechts 22% succes). Ze waren verward door de nieuwe kleuren en namen.
De nieuwe robot (GWM): Haalde 87% succes. Omdat hij de betekenis van de zin begreep, maakte het niet uit of de kubus rood of blauw was, of dat de foto een kat of een hond was. Hij wist gewoon: "Oh, de zin zegt 'leg op de hond', dus ik moet zoeken naar de hond."

5. Een extra bonus: "Overschakelen op een ander lichaam"

Een van de coolste dingen is dat dit systeem werkt voor verschillende robots.

Stel je voor dat je een robot hebt die een arm heeft, en je wilt dat het systeem ook werkt op een robot met een heel andere arm (bijv. een xArm6).
Omdat het systeem werkt met "ideeën" en niet met specifieke motorische details, kan het de bewegingen van de ene robot vertalen naar de andere zonder opnieuw te hoeven leren. Het is alsof je een danspas leert die je kunt uitvoeren met lange benen of korte benen; het patroon blijft hetzelfde.

Samenvatting in één zin

In plaats van een robot te laten proberen elke mogelijke toekomstige foto te tekenen, laten we hem dromen in taal: hij voorspelt of zijn beweging past bij de zin die de mens zei, waardoor hij veel slimmer en flexibeler is in nieuwe situaties.

Probleemstelling

In de huidige robotics, met name bij Visuomotor Model Predictive Control (MPC), worden wereldmodellen gebruikt om de toekomstige uitkomsten van verschillende actievoorstellen te voorspellen. Deze uitkomsten worden vervolgens gescoord om de optimale actie te selecteren.

Huidige aanpak: Traditionele wereldmodellen (zoals DINO-WM en JEPA-WM) voorspellen toekomstige beelden in een latente ruimte. De scorefunctie is vaak een afstandsmetriek (bijv. MSE) tussen de voorspelde toekomst en een doelbeeld.
Beperkingen:
1. Het is moeilijk om een doelbeeld vooraf te verkrijgen, vooral in nieuwe omgevingen of voor nieuwe taken.
2. Een doelbeeld is minder interactief en minder mensvriendelijk dan natuurlijke taal.
3. Bestaande Vision-Language Action (VLA) modellen, die vaak gebaseerd zijn op het finetunen van Vision-Language Models (VLM's), lijken de semantische kennis van de onderliggende VLM te verliezen ("knowledge forgetting"). Ze overfitten vaak op de trainingsdata en falen bij het generaliseren naar nieuwe visuele signalen of referentietermen (bijv. "pak het rode blok" als het blok in de testset een andere kleur of positie heeft dan in de training).

Methodologie: Grounded World Model (GWM)

De auteurs stellen een nieuwe architectuur voor: het Grounded World Model (GWM), dat werkt in een visueel-taal-uitgelijnde latente ruimte.

Kernconcept: In plaats van een doelbeeld te gebruiken, wordt de scorefunctie gebaseerd op de cosinus-achtigheid tussen de embedding van de voorspelde toekomstige uitkomst en de embedding van de natuurtaalinstructie.
Funderend Model: Het systeem maakt gebruik van Qwen3-VL-Embedding, een voorgeïmplementeerd multimodaal retrieval-model. Dit model kan beelden, video's en tekst in een gedeelde embedding-ruimte coderen.
- De wereldmodel-parameters worden getraind, maar de weights van het basis-model (Qwen) blijven bevroren. Dit behoudt de rijke wereldkennis en visueel-taalbegrip van het foundation model.
MPC Framework:
- Actievoorstel: In plaats van een parametrisch beleid te leren dat acties genereert, worden kandidaat-trajecten opgehaald uit de trainingsdataset via K-Nearest Neighbors (KNN) op basis van huidige joint-posities.
- Rendering-based Action Tokenization (RAT): Acties (joint-posities) worden omgezet in afbeeldingen door de robot-URDF te renderen vanuit het perspectief van de camera. Hierdoor kunnen acties en observaties uniform worden gecodeerd door dezelfde visuele encoder. Dit maakt het systeem embodiment-agnostisch.
- Voorspelling: Het GWM (een transformer) voorspelt de latente embedding van de toekomstige staat ( $z_t$ ) gegeven de huidige observatie en de reeks acties.
- Selectie: De trajectreeks die de hoogste cosinus-achtigheid heeft met de instructie-embedding ( $z_g$ ) wordt geselecteerd voor uitvoering.

Belangrijkste Bijdragen

Grounded World Model (GWM): Een nieuwe aanpak voor planning die wereldmodellen koppelt aan natuurlijke taal in een gedeelde latente ruimte, waardoor semantische generalisatie mogelijk wordt zonder het basis-model te finetunen.
WISER Benchmark: De introductie van de World-knowledge Integrated Semantic Embodied Reasoning (WISER) benchmark.
- Bestaat uit 288 taken verdeeld over 24 categorieën (getallen, voedsel, dieren, oriëntatiepunten).
- De testset bevat volledig nieuwe visuele signalen en referentietermen die niet in de training voorkomen, maar vereisen dezelfde bewegingen als de trainingsdata.
- Dit test specifiek of modellen werkelijke semantische kennis hebben overgenomen of alleen patronen hebben gememoriseerd.
Rendering-based Action Tokenization (RAT): Een trainingsvrije methode om robotacties om te zetten in visuele tokens, wat zero-shot generalisatie naar andere robotplatforms (zoals xArm6) mogelijk maakt.

Resultaten

De resultaten worden getoond op de WISER benchmark en vergeleken met State-of-the-Art (SOTA) VLA-modellen (zoals $\pi_0$ , InstructVLA, GR00T, etc.).

Semantische Generalisatie:
- GWM-MPC: Bereikt een succescijs van 87% op de testset (onbekende visuele signalen en instructies).
- Bestaande VLA-modellen: Bereiken gemiddeld slechts 22% op de testset, hoewel ze vaak >90% halen op de trainingsset. Dit duidt op ernstig overfitten en gebrek aan semantisch begrip.
- Zelfs de beste VLA's (zoals WALL-OSS en InstructVLA) struggle om de juiste objecten te grijpen of op de juiste plekken te plaatsen bij nieuwe instructies.
Cross-Embodiment Generalisatie:
- GWM-MPC, getraind op data van een Franka Panda, slaagt erin om zero-shot te generaliseren naar een xArm6 robot (verschillende kinematica, actie-ruimte en uiterlijk) met een succesrate van 83% op de testset. Dit wordt mogelijk gemaakt door RAT.
Efficiëntie:
- Training is zeer efficiënt (20 GPU-uren).
- Het systeem is robuust tegen hyperparameters, maar de prestaties worden begrensd door de kwaliteit van het foundation model (Qwen3-VL-Embedding).

Betekenis en Conclusie

Dit paper toont aan dat het finetunen van grote VLM's voor robotica vaak leidt tot kennisverlies en slechte generalisatie. In plaats daarvan biedt het trainen van een laten wereldmodel in een "grounded" ruimte (waarbij de basis-encoder bevroren blijft) een veelbelovend alternatief.

Scheiding van zorgen: Het ontkoppelt actiegeneratie (via retrieval/KNN) van semantisch begrip (via het foundation model).
Toekomstperspectief: De prestaties worden momenteel beperkt door het foundation model zelf. De auteurs suggereren dat het finetunen van de embedding-laag van het foundation model met robotdata de volgende stap zou zijn voor verdere verbetering.
Impact: De GWM-MPC benadert het probleem van semantische generalisatie effectiever dan bestaande end-to-end VLA-architecturen, wat een nieuwe richting aangeeft voor het bouwen van robuuste, algemene robotbeheersystemen.