💻 computer science

Toward Hardware-Agnostic Quadrupedal World Models via Morphology Conditioning

Dit artikel introduceert een quadrupedale wereldmodel dat robotmorfologie expliciet conditioneert om zero-shot generalisatie en controle over verschillende vierpotige robotplatforms mogelijk te maken, waardoor de afhankelijkheid van hardware-specifieke trainingen wordt doorbroken.

Oorspronkelijke auteurs: Mohamad H. Danesh, Chenhao Li, Amin Abyaneh, Anas Houssaini, Kirsty Ellis, Glen Berseth, Marco Hutter, Hsiu-Chin Lin

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mohamad H. Danesh, Chenhao Li, Amin Abyaneh, Anas Houssaini, Kirsty Ellis, Glen Berseth, Marco Hutter, Hsiu-Chin Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robottrainer hebt die een hond kan leren lopen. Maar hier is het probleem: als deze trainer eenmaal heeft geleerd hoe een Boston Dynamics Spot (een zware, industriële robot) loopt, is hij volledig vergeten hoe een Unitree Go1 (een lichte, snelle robot) zich beweegt. Als je hem nu op de lichte robot zet, struikelt hij direct en valt om.

Waarom? Omdat de trainer alleen heeft gekeken naar de specifieke "spieren en botten" van de eerste robot. Hij heeft niet geleerd wat lopen eigenlijk is, maar alleen hoe die ene robot loopt.

Dit artikel introduceert QWM (Quadrupedal World Model), een nieuwe manier om robots te leren lopen die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Hardware-Lottery"

Vroeger moest je voor elke nieuwe robot (of zelfs elke nieuwe versie van dezelfde robot) een trainer van nul beginnen. Het was alsof je een voetbaltrainer moest inhuren die alleen maar weet hoe hij een team met grote voeten moet trainen, en dan plotseling een team met kleine voeten krijgt. De trainer weet niet wat hij moet doen en faalt.

2. De Oplossing: De "Bouwpakket-Trainer"

De auteurs van dit artikel hebben een trainer bedacht die niet alleen kijkt naar hoe de robot beweegt, maar ook direct naar het bouwpakket (de specificaties) van de robot.

De Analogie: Stel je voor dat je een simulator hebt voor het bouwen van huizen.
- Oude methode: De simulator probeert uit te vinden of het een klein huisje of een kasteel is door te kijken naar hoe de bewoners zich gedragen. Dit duurt lang en is onzeker.
- Nieuwe methode (QWM): Je geeft de simulator direct de blauwdrukken (de "USD"-bestanden). De simulator zegt: "Ah, dit is een kasteel met zware muren. Ik pas mijn simulatie direct aan."

3. Hoe werkt het? (De Drie Sleutels)

Deze nieuwe "trainer" gebruikt drie slimme trucjes:

Truc 1: De "Fysieke Identiteitskaart" (Physical Morphology Encoder)
In plaats van dat de robot moet raden hoe zwaar hij is of hoe lang zijn poten zijn, krijgt de computer direct een digitale "identiteitskaart" van de robot. Hierop staat: "Ik ben 12 kg, mijn poten zijn 20 cm lang, en ik heb een X-vormige knie." De computer leest dit direct en past zijn gedachten direct aan. Geen gissen meer!
Truc 2: De "Twee-Toren Bouwer"
De computer heeft twee denkprocessen:
1. De Dynamische Toren: Kijkt naar wat er nu gebeurt (beweegt de robot snel? Valt hij?).
2. De Statische Toren: Kijkt naar de identiteitskaart (hoe zwaar is de robot?).
  In oude systemen werd de "statische" informatie vaak overschreeuwd door de snelle bewegingen. Bij QWM worden deze twee processen naast elkaar gezet en dan samengevoegd. Zo weet de computer altijd precies wie hij aan het besturen is, terwijl hij ook wat er gebeurt.
Truc 3: De "Reisgids voor Beloningen"
Soms krijgt een zware robot een "punten" voor het lopen die veel hoger zijn dan voor een lichte robot (alsof een olifant 100 punten krijgt voor een stap, en een muis slechts 1 punt). Als je ze samen traint, luistert de computer alleen naar de olifant.
QWM gebruikt een slimme "reisgids" die de punten voor elke robot normaliseert. Zo krijgt de lichte robot evenveel aandacht als de zware, en leert de computer van iedereen tegelijk.

4. Het Resultaat: "Zero-Shot" Lopen

Dit is het meest indrukwekkende deel. Omdat de trainer de onderliggende fysica van lopen heeft geleerd (zwaartekracht, balans, momentum) en niet alleen de specifieke robot, kan hij:

Direct werken op een nieuwe robot: Je kunt de trainer op een robot zetten die hij nooit eerder heeft gezien (bijvoorbeeld een Unitree Go1, terwijl hij getraind is op een ANYmal).
Zonder oefening: De robot hoeft niet eerst een paar minuten te wankelen om uit te vinden hoe zwaar hij is. Hij start direct met een stabiele loop.
Van simulatie naar realiteit: Het werkt zelfs in de echte wereld, ondanks dat de computer alleen in een virtuele wereld heeft getraind.

Samenvatting in één zin

In plaats van een robottrainer die alleen maar één specifieke robot kent, hebben ze een universele loop-trainer gemaakt die elke viervoeter kan besturen door direct naar de blauwdrukken van de robot te kijken, waardoor hij direct kan werken op robots die hij nog nooit heeft ontmoet.

Het is alsof je een piloot hebt die niet alleen een Boeing 747 kan vliegen, maar die ook direct een Cessna of een helikopter kan besturen, zolang hij maar even in het vliegtuig kijkt om te zien wat voor type het is.

1. Het Probleem: De "Hardware Loterij"

Huidige wereldmodellen (World Models - WMs) in robotica zijn vaak "hardware-locked specialists". Een model dat is getraind op een specifiek robotplatform (bijv. Boston Dynamics Spot) faalt catastrofale op een ander platform (bijv. Unitree Go1) vanwege verschillen in kinematische en dynamische eigenschappen (zoals ledlengte, massa en actuatorkrachten).

Huidige aanpak: Bestaande methoden gebruiken vaak impliciete systeemidentificatie, waarbij het model moet proberen fysieke eigenschappen af te leiden uit de bewegingsgeschiedenis (latent variables).
Nadeel: Dit leidt tot een "adaptatielag". De robot moet eerst gevaarlijke of inefficiënte bewegingen maken om zichzelf te identificeren voordat het een effectief controlebeleid kan leren. Dit maakt zero-shot overdracht (direct inzetten zonder training) onveilig en ondoelmatig.
Doel: Het ontwikkelen van een algemeen toepasbaar wereldmodel dat de onderliggende fysica van locomotie begrijpt, losgekoppeld van de specifieke robotvorm (morphologie), zodat het direct kan worden ingezet op onbekende viervoeters.

2. Methodologie: QWM (Quadrupedal World Model)

De auteurs introduceren QWM, een framework dat wereldmodellen transformeert van specialists naar fysica-gedreven generalisten. De kern van de methode is het expliciet conditioneren van het generatieve dynamische model op de engineering-specificaties van de robot.

Belangrijkste Componenten:

Expliciete Fysieke Morphologie Encoder (PME):
- In plaats van morphologie als een latente variabele te laten afleiden, wordt deze expliciet uit het Unified Robot Description Format (USD) bestand gehaald.
- De PME extrahere statische, schaal-invariante kenmerken zoals kinematica (heupoffset, dij- en onderbeenlengte), geometrie (steunvlak-aspectratio), dynamica (totale massa, massaverdeling) en actuatorkenmerken (koppel-dichtheid).
- Deze kenmerken worden genormaliseerd tot een vector $\mu$ .
Morphologie-Geconditioneerd Wereldmodel:
- Het model is gebaseerd op de DreamerV3 architectuur (Recurrent State-Space Model - RSSM).
- Dual-Tower Encoder: Een dynamische tower verwerkt de hoge-frequentie proprioceptieve data (sensoren), terwijl een statische tower de morphologie-vector $\mu$ verwerkt. Deze worden samengevoegd om de encoder te voeden.
- Expliciete Recurrente Conditionering: De morphologie-vector $\mu$ wordt bij elke tijdstap direct aan de recurrente staat $h_t$ toegevoegd ( $h_t = f(h_{t-1}, z_{t-1}, a_{t-1}, \mu)$ ). Hierdoor hoeft het recurrente geheugen niet statische eigenschappen (zoals beenlengte) te onthouden, maar kan het zich volledig richten op de dynamische toestand (snelheid, contactmomenten).
Adaptieve Beloning Normalisatie (ARN):
- Omdat verschillende robots zeer uiteenlopende beloningsschalen hebben (bijv. een zware robot scoort anders dan een lichte), wordt een Adaptive Reward Normalizer gebruikt.
- Deze gebruikt een Exponentiële Moving Average (EMA) van percentielen per robottype om de beloningssignalen dynamisch te normaliseren, zodat het leerproces stabiel blijft over de heterogene dataset.

3. Belangrijkste Bijdragen

Zero-Shot Generalisatie: Voor het eerst wordt een wereldmodel getoond dat succesvol locomotie kan genereren op volledig onbekende viervoeters zonder enige fine-tuning, warm-up periode of aanpassing van het beleid.
Ontkoppeling van Morphologie en Dynamica: Het paper bewijst dat het expliciet conditioneren op fysieke specificaties leidt tot een beter ontkoppelde latent space, waarbij statische identiteit en dynamische toestand gescheiden worden.
Heterogene Simulatie Infrastructuur: De auteurs ontwikkelden Hetero-Isaac, een omgeving op basis van Isaac Lab die het mogelijk maakt om verschillende robottypes gelijktijdig in parallel te trainen, wat essentieel is voor het leren van universele dynamica.

4. Resultaten

De experimenten werden uitgevoerd op een heterogene dataset van zeven viervoeters (ANYmal B/C/D, Unitree A1/Go1/Go2/B2, Boston Dynamics Spot).

Stabiliteit en Convergentie: QWM convergeert aanzienlijk sneller en stabieler dan bestaande wereldmodellen (zoals DreamerV3, PWM) en model-vrije baselines (PPO) wanneer ze gelijktijdig op de hele heterogene groep worden getraind. Zonder expliciete conditionering "crashen" de baselines vaak of leren ze een gemiddelde fysica die voor geen enkele robot werkt.
Zero-Shot Overdracht (Simulatie):
- Interpolatie: QWM slaagt erin om succesvol locomotie te genereren op robots die binnen het trainingsdomein vallen (bijv. Unitree Go1 en ANYmal-D), met prestaties die vergelijkbaar zijn met gespecialiseerde modellen die specifiek voor die robot zijn getraind.
- Extrapolatie: Bij extreme uitbijters (Unitree B2, veel zwaarder en groter) neemt de prestatie af, wat aangeeft dat het model werkt als een interpolator binnen het trainingsdomein en niet als een universele fysica-engine voor volledig nieuwe schalen.
Real-World Deploy:
- De frozen modellen werden direct ingezet op fysieke hardware (Unitree Go1 en ANYmal-D) zonder enige aanpassing.
- De robots slaagden erin om stabiel te lopen en snelheidscommando's te volgen met een trackingfout van slechts ~10% ten opzichte van gespecialiseerde modellen, en zonder enige valpartijen. Dit bewijst de robuustheid tegenover de "sim-to-real" gap.
Latente Ontkoppeling: Visualisaties (PCA en t-SNE) tonen aan dat de recurrente staat ( $h_t$ ) de robotidentiteit vasthoudt, terwijl de stochastische staat ( $z_t$ ) volledig morphologie-onafhankelijk is en zich richt op de dynamische toestand.

5. Betekenis en Conclusie

Dit werk markeert een paradigmaverschuiving in robotica en reinforcement learning. Het toont aan dat wereldmodellen niet hoeven te worden beperkt tot specifieke hardware, maar kunnen worden opgezet als universele "fysica-adapters".

Efficiëntie: Het elimineert de noodzaak om voor elke robotvariant een nieuw model te trainen, wat enorme rekenkracht en tijd bespaart.
Veiligheid: Het elimineert het risico van gevaarlijke "warm-up" periodes op fysieke robots, omdat het model de fysica al begrijpt via de ingevoerde specificaties.
Toekomst: Hoewel het model momenteel beperkt is tot viervoeters binnen een bepaald bereik, legt het de basis voor een "Universeel Wereldmodel" dat in de toekomst kan worden uitgebreid naar bipeden, manipulatoren en andere gearticuleerde systemen, mits de trainingsdataset voldoende diversiteit in fysica omvat.

Kortom, QWM bewijst dat door expliciete kennis van de robotstructuur te integreren, we robuuste, hardware-agnostische controlebeleid kunnen creëren die direct inzetbaar zijn in de echte wereld.