🤖 AI

DynaWM: Dynamics-Aware Distillation with World Model and Momentum Targets for Smooth Locomotion over Continuous Stairs

Dit artikel introduceert DynaWM, een dynamica-bewust distillatiekader dat een wereldmodel-regularisator en momentum target encoding combineert om de terreinrepresentatie te verbeteren en kennisoverdracht te stabiliseren, waardoor bipedale wieltrobots vloeiende en adaptieve voortbeweging over continue trappen kunnen bereiken.

Oorspronkelijke auteurs: Haidong Hou, Zhangguo Yu, Hengbo Qi, Jianlin Zhang

Gepubliceerd 2026-06-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haidong Hou, Zhangguo Yu, Hengbo Qi, Jianlin Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die deels een fiets en deels een mens is: hij heeft wielen om over vlak terrein te cruisen, maar ook benen om obstakels te overwinnen. Dit is een bipedale wieltjesrobot. Hoewel deze robots geweldig zijn in het afleggen van platte vloeren of enkele treden, struikelen ze vaak bij een lange, aaneengesloten trap. Ze worden wiebelig, verliezen hun evenwicht of kunnen simpelweg niet uitzoeken hoe ze soepel een trap moeten beklimmen.

Het artikel introduceert een nieuwe methode genaamd DynaWM om deze robots te leren hoe ze als een pro een trap te beklimmen. Hier is hoe het werkt, uitgelegd via eenvoudige analogieën.

Het Probleen: De "Black Box" Leraar

Momenteel leren robots bewegen met een "Teacher-Student" systeem.

De Leraar (Teacher): Een superintelligente AI die de trap duidelijk kan zien (met camera's en sensoren) en precies weet hoe het lichaam van de robot moet reageren. Het is als een rijinstructeur die de hele weg kan zien.
De Student: Het eigenlijke brein van de robot, dat alleen zijn eigen lichaam voelt (zoals weten dat zijn gewrichten gebogen zijn), maar de trap niet kan zien. De student moet raden wat hij moet doen op basis van hoe de Leraar handelt.

De Fout: De huidige Leraren zijn te gefocust op de directe beloning (nu de bovenkant van de trede bereiken). Ze negeren het "grotere plaatje" van de vorm van het terrein. Ook omdat de Leraar zijn mening tijdens het leren zeer snel verandert, raakt de Student in de war en maakt hij eenvoudige, repetitieve fouten (zoals een student die probeert een handschrift te kopiëren van een leraar die constant van handschrift verandert).

De Oplossing: DynaWM

De auteurs hebben een nieuw trainingssysteem gebouwd met twee belangrijke upgrades om deze problemen op te lossen.

1. De "Glazen Bol" (Het Wereldmodel)

Om de Leraar slimmer te maken, gaven ze hem een Wereldmodel. Denk aan dit als een glazen bol of een vluchtsimulator in het hoofd van de Leraar.

Hoe het werkt: Voordat de Leraar de Student vertelt wat hij moet doen, vraat hij aan de glazen bol: "Als ik mijn been zo beweeg, hoe ziet het terrein er dan over een seconde uitzien?"
Het Resultaat: Dit dwingt de Leraar om aandacht te besteden aan de werkelijke vorm en fysica van de trap (de "dynamiek"), en niet alleen aan de directe beloning. Het voorkomt dat de Leraar belangrijke details negeert, simpelweg omdat ze geen direct punt opleveren. Het zorgt ervoor dat de robot de geometrie van de trap begrijpt, en niet alleen het doel.

2. De "V steady Hand" (Momentum Targets)

Om te voorkomen dat de Student in de war raakt door de snelle veranderingen van de Leraar, introduceerden ze een Momentum Target.

De Analogie: Stel je voor dat je een dansroutine probeert te leren van een leraar die elke seconde de passen verandert. Je zou nooit leren. In plaats daarvan gebruikt DynaWM een "Steady Hand"-versie van de Lancer. Dit is een traag bewegend gemiddelde van de recente bewegingen van de Leraar.
Het Resultaat: De Student leert van deze kalme, consistente versie. Zelfs als de echte Leraar hectisch is en snel verandert, krijgt de Student een vloeiend, stabiel doel om te kopiëren. Dit voorkomt dat het brein van de Student "instort" in een staat waarin hij stopt met het leren van complexe patronen.

De Resultaten: Soepel Beklimmen

Het team heeft dit getest op een echte robot (genaamd JiaRan) en in simulaties.

De Test: Ze wierpen de robot tegen diverse trappen aan, inclusclusief trappen met onregelmatige randen en hoogtes die hij nog nooit eerder had gezien.
De Uitkomst:
- Betere Visie: De interne "kaart" van de robot van de trappen werd veel duidelijker. In plaats van een rommelige verzameling data, organiseerde de robot de informatie op hoogte, zoals een goed georganiseerde bibliotheek.
- Soepelere Beweging: Vergeleken met oudere methoden klom de robot met veel minder schokken omhoog. Hij bewoog vloeiend, zoals een mens die een trap oploopt, in plaats van een robot die zich een weg omhoog hobbelt.
- Succespercentage: De robot slaagde erin om aaneengesloten trappen tot een hoogte van 20 cm (ongeveer 8 inch) te beklimmen met een succespercentage van 100% in real-world tests, terwijl andere methoden vaak faalden of omvielen.

Samenvattend

DynaWM is als het geven van een rijinstructeur aan een robot die niet alleen de weg kent, maar ook de toekomst simuleert om het terrein beter te begrijpen, terwijl hij tegelijkertijd een kalme, stabiele gids biedt zodat de robot niet overweldigd raakt. Het resultaat is een robot die met vertrouwen en soepel langdurige, lastige trappen kan beklimmen zonder te vallen.

Technische Samenvatting: DynaWM: Dynamics-Aware Distillatie met een Wereldmodel en Momentumdoelen voor Soepele Locomotie over Continue Trappen

Probleemstelling
Hoewel bipedale wiel-gebaseerde robots succes hebben getoond bij het oversteken van hellingen en enkelvoudige treden met behulp van model voorspellende controle (MPC) en deep reinforcement learning, blijft het navigeren door lange, continue trappen een aanzienlijke uitdaging. Huidige oplossingen die vertrouwen op teacher-student distillatiekaders kampen met drie primaire beperkingen:

Verzwakte Dynamics-Aware Representaties: Teacher-encoders die uitsluitend zijn geoptimaliseerd via policy gradients, hebben de neiging om alleen terreinfeatures te coderen die direct relevant zijn voor onmiddellijke beloningen, waarbij bredere geometrische informatie die essentieel is voor het modelleren van gronddynamica wordt genegeerd.
Dimensionale Collaps: Bij gelijktijdige teacher-student training kunnen snelle updates aan de representaties van de teacher ervoor zorgen dat de student-encoder inklapt naar triviale representaties (het fitten van enkel gemiddelde voorspellingen) in plaats van essentiële terreinfeatures te vangen.
Ondoorzichtigheid: De latente ruimte in bestaande kaders fungeert als een "black box", wat het moeilijk maakt om de werkelijke modelleringscapaciteit voor terreinhoogte te verifiëren of om interpreteerbaarheid tijdens de training te waarborgen.

Deze problemen resulteren in een gebrek aan bewegingssoepelheid en terreinaanpassingsvermogen wanneer robots te maken krijgen met continue trappen, wat betrouwbare sim-to-real implementatie belemmert.

Methodologie: DynaWM
De auteurs stellen DynaWM voor (Dynamics-aware distillation with a World model and Momentum targets), een representatieleerframework ontworpen om terreincodering te verbeteren en kennisoverdracht te stabiliseren. Het framework bestaat uit drie onderling verbonden modules:

Wereldmodel als Regularisator:
Om forward-dynamics bewustzijn af te dwingen, wordt een wereldmodel geïntroduceerd als een regularisator voor de teacher-encoder. De teacher-encoder ( $E_{\theta_t}$ ) genereert latente variabelen ( $z_t^t$ ) die, gecombineerd met geprivilegieerde observaties, worden ingevoerd in een wereldmodel ( $W_\omega$ ) om de volgende geprivilegieerde staat ( $\hat{s}_{t+1}$ ) te voorspellen.
- Mechanisme: Een voorspellingsverlies ( $L_{pred}$ ) wordt geminimaliseerd om het wereldmodel te trainen en gradiënten terug te propageren naar de teacher-encoder.
- Effect: Dit dwingt de encoder om informatie te behouden die essentieel is voor forward dynamics (bijv. terreingeometrie en wrijving), in plaats van het te verwerpen als ruis die irrelevant is voor onmiddellijke beloningen. Het wereldmodel is geïmplementeerd als een diep residueel netwerk met Dense-LayerNorm-Swish blokken om langetermijn temporele afhankelijkheden te vangen.
Momentum Target Encoder voor Stabiele Distillatie:
Om de niet-stationariteit van de teacher-encoder tijdens gelijktijdige training aan te pakken, gebruikt het framework een momentum target encoder geïnspireerd door BYOL (Bootstrap Your Own Latent).
- Mechanisme: In plaats van dat de student direct regresseert op de snel veranderende online teacher, leert deze van een target encoder ( $E_{\hat{\theta}_s}$ ) die een exponentieel voortschrijdend gemiddelde (EMA) van de eigen gewichten van de student bijhoudt. Er wordt een predictor head toegevoegd aan de online student om collaps te voorkomen.
- Effect: Dit biedt consistente, stabiele distillatietargets, wat dimensionale collaps voorkomt en de student in staat stelt om robuuste dynamics-aware representaties te leren op basis van louter proprioceptieve historie.
Beloningsontwerp en Training:
De beloningsfunctie wordt uitgebreid met specifieke beperkingen (gewrichtsbereik, wielbasisafstand, basispositie grenzen en beenbalans) om problemen zoals overmatige heupafhankelijkheid en lichaamsoscillatie bij het beklimmen van trappen te verminderen. Er wordt gebruikgemaakt van een Concurrent Teacher-Student (CTS) paradigma met PPO, waarbij domein-randomisatie wordt toegepast over verschillende terreintypes (vlak, hellingen, treden, ongelijkmatig) en fysieke parameters (massa, wrijving, PD-gains) om de sim-to-real kloof te overbruggen.

Belangrijkste Bijdragen

Wereldmodel Regularisatie: De introductie van een wereldmodel om forward-dynamics bewustzijn af te dwingen, waardoor geleerde representaties terreingeometrie en dynamica vastleggen in plaats van enkel beloningen te maximaliseren.
Stabiele Distillatie via Momentum Targets: Het gebruik van een momentum target encoder om stabiele distillatietargets te bieden, wat dimensionale collaps effectief voorkomt die wordt veroorzaakt door de niet-stationaire updates van de teacher.
Transparante Beoordeling: De toepassing van Principal Component Analysis (PCA) en kwantitatieve metrieken (PC-Correlatie, Linear Probing $R^2$ , CCA) om te verifiëren dat de encoders hiërarchisch terreinhoogte vastleggen, wat een transparant beeld geeft van de kwaliteit van de representatie.

Experimentele Resultaten
De methode werd geëvalueerd in simulatie (IsaacGym) en op een echte JiaRan bipedale wiel-gebaseerde robot.

Kwaliteit van Representatie: PCA-visualisaties en kwantitatieve metrieken toonden aan dat de voorgestelde methode een PC-Correlatie van 0,96 bereikte voor terreinhoogte in de teacher-encoder en 0,87 in de student-encoder, wat aanzienlijk beter presteert dan ablaties zonder het wereldmodel of momentum targets (die leden onder verstrengelde representaties of collaps).
Simulatieprestaties: Op diverse continue trappen (variërende breedtes en hoogtes tot 20 cm) bereikte DynaWM een succespercentage tot 100% voor 26 cm brede treden en 89,3% voor 20 cm hoge brede treden, waarmee het baselines zoals CTS en RMA overtrof.
Bewegingssoepelheid: De methode vertoonde superieure bewegingssoepelheid (lagere jerk en basisacceleratie) en vergelijkbaar energieverbruik vergeleken met CTS.
Real-World Implementatie: In real-world experimenten op onbekende terreinen, inclusief onregelmatige trappen met uitsteeksels en continue treden die de trainingshoogtes overschreden, behaalde de robot een succespercentage van 100% (5/5 pogingen) met aanzienlijk soepelere beweging dan de CTS-baseline.

Betekenis en Claims
Het artikel claimt dat DynaWM erin slaagt de kloof tussen geprivilegieerd leren en inzetbare controle voor complex terrein te overbruggen. Door te garanderen dat de encoder de volledige terreingeometrie vastlegt via dynamics-aware regularisatie en door het distillatieproces te stabiliseren, stelt de methode bipedale wiel-gebaseerde robots in staat om lange, continue trappen te doorkruisen met hoge adaptiviteit en soepelheid. De auteurs stellen dat deze aanpak de beperkingen van huidige teacher-student frameworks overwint, die vaak falen in het behouden van bewegingssoepelheid en terreinaanpassingsvermogen in continue traanscenario's. Het werk demonstreert dat expliciete modellering van forward dynamics en stabiele targetgeneratie cruciaal zijn voor robuuste sim-to-real transfer in legged-wheeled locomotie.