💻 computer science

Direct Dynamic Retargeting for Humanoid Imitation Learning from Videos

Dit artikel introduceert Direct Dynamic Retargeting (DDR), een nieuw single-stage raamwerk dat de geometrische biases van traditionele pipelines omzeilt om direct hoogwaardige, dynamisch haalbare humanoid-trajecten te genereren vanuit monoscopische video's, waardoor de imitatie-accuraatheid wordt verbeterd en de convergentie van versterkingslering wordt versneld.

Oorspronkelijke auteurs: Constant Roux, Ludovic De Matteïs, Armand Jordana, Valentin Guillet, Nicolas Mansard, Olivier Stasse, Philippe Souères

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Constant Roux, Ludovic De Matteïs, Armand Jordana, Valentin Guillet, Nicolas Mansard, Olivier Stasse, Philippe Souères

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren dansen of vechtsporten. De makkelijkste manier is om hem een video te laten zien van een mens die de beweging uitvoert. Maar hier zit het probleem: mensen en robots zijn zeer verschillend opgebouwd. Een mens heeft een flexibele ruggegraat en zachte gewrichten; een robot is gemaakt van stijve metalen staven en motoren. Als je de robot simpelweg zegt: "Kopieer de armpositie van de mens exact", probeert de robot misschien zijn metalen lichaam op een manier te draaien waardoor het kapotgaat, omvalt, of simpelweg niet kan omdat zijn motoren niet sterk genoeg zijn.

Dit artikel introduceert een nieuwe methode genaamd Direct Dynamic Retargeting (DDR) om dit "vertaal"-probleem op te lossen. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten:

Het Probleem: De "Slechte Vertaler"

Momenteel gebruiken de meeste robots een tweestapsproces om van video's te leren, wat de auteurs vergelijken met een vertaler die halverwege een zin vastloopt.

Stap 1 (De Geometrie-stap): Eerst kijkt het systeem naar de menselijke video en vraagt: "Wat is de dichtstbijzijnde houding die de robot fysiek kan maken om de arm- en beenposities van de mens te matchen?" Het negeert of de robot in die houding daadwerkelijk in balans kan blijven. Het is alsof je een mens vraagt op één been te staan terwijl hij een zware doos vasthoudt, maar je controleert alleen of hun benen de juiste vorm hebben, niet of ze zullen vallen.
Stap 2 (De Fysica-stap): Vervolgens probeert een tweede systeem de eerste stap te corrigeren. Het neemt die "bijna juiste" houding en probeert deze fysiek mogelijk te maken binnen een computersimulatie.

De Tekortkoming: De auteurs betogen dat de eerste stap een "bias" creëert. Omdat de robot in Stap 1 tot een specifieke vorm werd gedwongen, zit Stap 2 vast. Het kan niet de beste manier vinden om te bewegen, omdat het vastzit in het proberen te herstellen van een vorm die al verkeerd was. Het is alsof je probeert een perfecte cirkel te schilderen, maar je bent begonnen met een vierkante omtrek; hoe hard je ook probeert de randen glad te strijken, het zal nooit een echte cirkel worden.

De Oplossing: De "Directe Architect"

De nieuwe methode van de auteurs, DDR, slaat de tussenpersoon volledig over.

In plaats van te vragen: "Wat is de dichtstbijzijnde robot-houding bij de mens?" en die vervolgens te corrigeren, stelt DDR een andere vraag: "Wat is de beste manier voor de robot om te bewegen die eruitziet als de mens, maar ook de wetten van de fysica respecteert?"

De Analogie: Stel je voor dat je een architect bent die een brug probeert te bouwen die eruitziet als een beroemde hangbrug, maar gemaakt is van andere materialen (staal in plaats van steen).
- Oude Methode: Je kopieert de vorm van de stenen brug exact en probeert deze vervolgens te versterken met staal. Het kan wiebelen of onmogelijke steunen vereisen.
- DDR-Methode: Je kijkt naar de functie van de stenen brug (hoe het de opening overbrugt) en ontwerpt een stalen brug van de grond af die hetzelfde resultaat bereikt, maar perfect stabiel is voor staal. Je dwingt het staal niet om op steen te lijken; je laat de fysica van staal het ontwerp leiden terwijl je het algemene uiterlijk behoudt.

Hoe Het in de Praktijk Werkt

Het systeem gebruikt een "slimme gissers" (een op steekproeven gebaseerde solver) binnen een fysicasimulator. Het berekent niet slechts één pad; het probeert duizenden verschillende manieren waarop de robot zou kunnen bewegen. Het houdt de opties die:

Lijken op de mens in de video.
Niet omvallen.
De motoren van de robot niet breken.
De voeten van de robot stevig op de grond houden (geen glijden).

De Resultaten

Het team testte dit op een echte robot (de Unitree H1-2) en vergeleek het met de oude methoden.

Minder Vallen: De oude methoden genereerden vaak instructies die ertoe zouden leiden dat de robot viel of met zijn voeten schoof. DDR genereerde instructies die 99% van de tijd fysiek veilig waren.
Betere Nauwkeurigheid: Omdat DDR niet vastzat in het proberen te herstellen van een "slechte" startvorm, kon de robot de bewegingen van de mens nauwkeuriger volgen.
Snellere Lering: Toen ze deze nieuwe instructies gebruikten om de robot te trainen met Kunstmatige Intelligentie (Versterkend Leren), leerde de robot veel sneller en presteerde hij beter dan bij gebruik van de oude instructies.
Succes in de Wereld: Ze slaagden erin de robot in de echte wereld in te zetten om complexe bewegingen uit te voeren, zoals een "Pistol Squat" (op één been staan terwijl je hurkt) en een "Kung Fu"-houding, zonder dat ze de code voor elke specifieke beweging handmatig hoefden aan te passen.

Samenvatting

Kortom, dit artikel zegt: Stop met proberen een robot te dwingen de vorm van een mens exact na te bootsen en de fysica later te corrigeren. Laat de robot in plaats daarvan vanaf het begin dynamisch uitzoeken hoe hij moet bewegen, waarbij de menselijke video alleen als leidraad dient voor het algemene uiterlijk. Dit resulteert in robots die veiliger, nauwkeuriger zijn en sneller leren.

Technische Samenvatting: Directe Dynamische Retargeting voor Imitatieleren van Humanoiden vanuit Video's

Probleemstelling

Imitatieleren (IL) biedt een schaalbare route voor het aanleren van complexe vaardigheden aan humanoiden robots door gebruik te maken van expertdemonstraties. Hoewel recente vooruitgang het mogelijk maakt menselijke poses te extraheren uit monoscopische video's, vormt het vertalen van deze menselijke bewegingen naar humanoiden robots een fundamentele uitdaging: morphologische mismatch. Mensen en robots verschillen aanzienlijk in kinematica (ledemaatverhoudingen, gewrichtslimieten) en dynamica (massaverdeling, traagheidsmomenten, actuatielimieten).

Huidige state-of-the-art benaderingen vertrouwen doorgaans op een tweestapsproces:

Geometrische Retargeting (GR): Gebruikt Inverse Kinematica (IK) om menselijke sleutelpunten af te beelden op robotconfiguraties, waarbij dynamische beperkingen worden genegeerd.
Indirecte Dynamische Retargeting (IDR): Verfijnt de GR-uitvoer binnen een fysische simulator om dynamische haalbaarheid te waarborgen.

De auteurs identificeren een kritiek gebrek in dit paradigma: de tussenliggende IK-stap in GR introduceert een geometrische bias. Door de zoekruimte te beperken tot kinematisch geldige maar dynamisch onhaalbare trajecten, wordt de daaropvolgende IDR-optimalisatie bevooroordeeld weg van het ware dynamische optimum. Dit resulteert in suboptimale dynamische gedragingen, volgsfouten en verminderde leerefficiëntie voor downstream versterkingslering (RL) agenten.

Methodologie: Directe Dynamische Retargeting (DDR)

Om de beperkingen van tussenliggende geometrische projecties te overwinnen, stellen de auteurs Directe Dynamische Retargeting (DDR) voor, een eenstapskader dat dynamisch haalbare trajecten direct genereert vanuit ruisbehalende videodata.

Kernkader

Formulering: Het probleem wordt geformuleerd in de taakruimte (sleutelpunttrajecten) in plaats van de configuratieruimte. Het doel is een besturingssequentie $U$ te vinden die de afstand minimaliseert tussen het resulterende robot-sleutelpunttraject en de expertreferentie $x_{ref}$ , onder de beperking dat het traject binnen de Haalbaarheidsset $\mathcal{F}_{q_0}$ moet liggen (trajecten die fysiek bereikbaar zijn door de robot).
Optimalisatieoplosser: De auteurs maken gebruik van de Cross-Entropy Methode (CEM), een op steekproeven gebaseerde Model Predictive Control (MPC) oplosser.
- In tegenstelling tot op gradiënten gebaseerde oplossers (zoals Crocoddyl) die strikt vooraf gedefinieerde contactsequenties vereisen, staat de op steekproeven gebaseerde aard van CEM toe om intrinsiek om te gaan met ambiguïteiten in contactidentificatie die voortvloeien uit ruisbehalende videodata.
- De optimalisatie minimaliseert een uitgebreide afstandsmetriek bestaande uit een ruimtelijke volghterm en een relatieve vorm-matchterm (met behulp van een Laplacian-matrix) om de lokale structurele vorm van de demonstratie te behouden terwijl globale translatie/rotatie wordt bestraft.
Invoergegevens: De pijplijn maakt gebruik van het VideoMimic-kader om menselijke sleutelpunten te extraheren uit monoscopische video's via het SMPL-model. Het referentiesignaal omvat trajecten voor de romp, schouders, handen en voeten.

Integratie van Imitatieleren

Zodra hoogtrouw, dynamisch haalbare referentietrajecten offline zijn gegenereerd, worden deze gedistilleerd naar gesloten-lus RL-beleid.

Beleidstraining: Een Gelimiteerd Markov Beslissingsproces (CMDP) wordt opgelost met een actor-critic architectuur (PPO via de skrl bibliotheek in IsaacLab).
Beloningsstructuur: De beloningsfunctie volgt de DeepMimic-benadering, waarbij afwijkingen in gewrichtsposities, snelheden, root-pose en eind-effector posities worden bestraft, terwijl veiligheidsbeperkingen worden afgedwongen (gewrichtslimieten, koppel, voetslip).
Doel: De resulterende beleidslijnen zijn ontworpen om de DDR-referenties robuust te volgen, te herstellen van variaties in initialisatie en externe verstoringen, om sim-naar-real-overdracht te faciliteren.

Belangrijkste Bijdragen

Nieuw Kader: Introductie van DDR, een op CEM gebaseerd MPC-kader dat de tussenliggende geometrische bias van GR/IDR-pijplijnen omzeilt om dynamisch haalbare humanoid-trajecten direct te genereren vanuit videodemonstraties.
Kwantitatieve Superieure: Aantonen dat het elimineren van de tussenliggende geometrische bias de retargeting-accuraatheid aanzienlijk verbetert. DDR presteert beter dan GR- en IDR-baselines voor diverse wendbare bewegingen in termen van fysieke consistentie en demonstratievolging.
Downstream Leerefficiëntie: Experimenteel bewijs dat het verstrekken van fysiek levensvatbare referenties aan RL-agenten de convergentie van training versnelt en de uiteindelijke uitvoering van wendbare en balancerende gedragingen verbetert.
Real-World Validatie: Succesvolle implementatie op de Unitree H1-2 humanoid robot, waarbij zero-shot sim-naar-real-overdracht wordt bereikt voor complexe bewegingen (squats, kung fu, pistol squat, balanceren) zonder taakspecifieke handmatige afstelling.

Experimentele Resultaten

De auteurs hebben DDR geëvalueerd tegen GR- en IDR-baselines met behulp van een dataset van vijf wendbare bewegingen (Squat, Kung Fu, One-foot Balance, Pistol Squat, Balancing Stick).

Fysieke Haalbaarheid: GR produceerde een hoog percentage fysiek onhaalbare segmenten (bijv. 21,74% voor Squat, 28,38% voor One-foot Balance) vanwege genegeerde contactdynamica. DDR en IDR bereikten bijna perfecte haalbaarheid (0,00% voor de meeste taken).
Contactsequentie Nauwkeurigheid: DDR leverde consistent de laagste foutpercentages voor contactsequenties op vergeleken met de grondwahrheid. IDR presteerde slechter dan DDR, wat bevestigt dat GR-initialisatie een kinematische bias introduceert die de capaciteit van IDR hindert om optimale contactfasen te vinden.
Succespercentage: In stochastische proeven behaalde DDR aanzienlijk hogere succespercentages dan IDR. Bijvoorbeeld, in de taak "Balancing Stick" had IDR een succespercentage van 0%, terwijl DDR 66,67% behaalde. Dit geeft aan dat GR-geïnduceerde drifts IDR-oplossers vaak naar instabiele gebieden trekken.
Volgnauwkeurigheid: Hoewel GR een lage ruwe volgfout liet zien (door haalbaarheid te negeren), behaalde DDR vergelijkbare of betere volgnauwkeurigheid terwijl het fysieke validiteit behield. IDR presteerde consequent slechter dan DDR, wat de negatieve impact van geometrische bias verder valideert.
RL Convergentie: Beleidslijnen getraind op DDR-referenties convergeerden sneller en behaalden hogere uiteindelijke cumulatieve beloningen vergeleken met die getraind op GR- of IDR-referenties. Bijvoorbeeld, in de taak "Pistol Squat" bereikte DDR 90% van de uiteindelijke beloning in 79,6k stappen, vergeleken met 128,4k voor GR en 93,5k voor IDR.

Betekenis en Beperkingen

Het artikel beweert dat DDR een belangrijke stap voorwaarts is door de "geometrische bias" aan te pakken die inherent is aan huidige retargeting-pijplijnen. Door direct te optimaliseren in de taakruimte met een fysisch-bewuste oplosser, biedt DDR hogere-fideliteit referenties die direct vertalen naar robuuster en efficiënter imitatieleren.

Bescheiden Claims en Beperkingen:
De auteurs erkennen dat DDR niet zonder beperkingen is:

Het doel is puur gedefinieerd in de taakruimte, wat kan leiden tot slecht geconditioneerde oplossingen of langzamere convergentie in bepaalde scenario's.
De prestaties blijven gevoelig voor weging in de taakruimte en initialisatie, wat momenteel handmatige afstelling vereist.
Het kader is momenteel beperkt tot specifieke bewegingen en vereist verdere schaling om grote, diverse sets bewegingsvariabelen uit webvideo's uit de wilde natuur te verwerken.

Concluderend stelt het werk vast dat het omzeilen van tussenliggende kinematische projecties toestaat om fysiek levensvatbare referenties te genereren die superieur zijn voor zowel volgnauwkeurigheid als downstream RL-training, gevalideerd door rigoureuze simulatie en real-world implementatie op een full-size humanoid.