🤖 machine learning

A Minimalist Retargeting-Guided Reinforcement Learning Recipe for Dexterous Manipulation

Dit artikel introduceert REGRIND, een minimalistische pijplijn die retargeting-gestuurde reinforcement learning combineert met zero-shot sim-to-real transfer om behendige, contactrijke manipulatietaken op meervingerige robots mogelijk te maken met slechts één menselijke demonstratie.

Oorspronkelijke auteurs: Yunhai Feng, Natalie Leung, Jiaxuan Wang, Lujie Yang, Haozhi Qi, Preston Culbertson

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunhai Feng, Natalie Leung, Jiaxuan Wang, Lujie Yang, Haozhi Qi, Preston Culbertson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm wilt leren hoe hij een schaar moet gebruiken of een schroevendraaier moet draaien. Je zou kunnen proberen elke individuele vingerbeweging handmatig te programmeren, maar dat is alsof je probeert een roman te schrijven door één letter tegelijk te typen met een blinddoek op. In plaats daarvan probeerden de onderzoekers achter dit artikel, REGRIND, een veel simpelere truc: ze vroegen een mens om de taak één keer uit te voeren, namen dit op, en leerden de robot vervolgens om die enkele uitvoering na te bootsen.

Maar hier zit de crux: een menselijke hand en een robothand zijn anders gebouwd. Als je de robot alleen maar vertelt: "Beweeg je vingers om de vorm van de mens te evenaren", dan krijg je misschien een robothand die probeert een schroevendraaier door de tafel heen vast te houden of in de lucht knijpt in plaats van in het gereedschap. Dat is alsof je een kat vertelt om te zwemmen als een hond; de vorm ziet er misschien goed uit, maar de fysica is een ramp.

Het "Interactie-behoudende" Geheime Recept
De belangrijkste bevinding van het artikel is dat om dit te laten werken, je niet alleen de vorm van de hand moet kopiëren; je moet de relatie tussen de hand en het object kopiossen. De auteurs noemen dit "interaction-preserving retargeting" (interactie-behoudende retargeting).

Denk er als volgt over: Als een mens een schaar vasthoudt, zijn hun vingers om de handvatten gewikkeld en staan de bladen open. Als je de robot alleen maar vertelt dat hij zijn vingers op dezelfde plekken moet plaatsen, kan hij per ongeluk de schaar verbrijzelen of hem laten vallen omdat hij de spanning niet "voelt". De REGRIND-methode bouwt een digitaal "veiligheidsnet" (een zogenaamde "interaction mesh") dat de vingers van de robot op de juiste plek ten opzichte van het gereedschap houdt, waardoor wordt voorkomen dat de robot het object op een fysiek onmogelijke manier probeert vast te houden.

Het Recept: Eén Demo, Oneindige Oefening
Het proces is verrassend minimalistisch. Ze namen één enkele menselijke demonstratie (een video van een persoon die het gereedschap gebruikt).

Retargeting: Ze zetten die menselijke beweging om in een robotvriendelijk pad dat de fysica van het vasthouden van het gereedschap respecteert.
Het "Wat als"-spel: Omdat ze slechts één voorbeeld hadden, gebruikten ze een slimme truc om duizenden oefenrondes te creëren. Ze stelden zich voor dat het gereedschap in iets andere posities begon (tot wel 5 cm verder weg of 30 graden gekanteld) en leerden de robot hoe hij zijn pad moest aanpassen om toch succesvol te zijn. Het is als het oefenen van een basketbalworp, niet alleen vanaf de vrije worplijn, maar ook iets links, iets rechts en iets achter de lijn, zodat je niet in paniek raakt als de bal vreemd stuitert.
Simulatie-training: De robot oefende miljoenen keren in een simulatie die lijkt op een videogame, waarbij hij leerde de beweging van het gereiste perfect te volgen.

Werkte het? De Realiteitscheck
De resultaten waren indrukwekkend, maar met een paar belangrijke asterisks. In de simulatie was de robot een superster. Bij taken zoals het gebruiken van een schroevendraaier met de WUJI-hand slaagde hij 99,7% van de tijd. Zelfs bij de lastigere schaartaken haalde hij een succespercentage van 98,7%. De robot leerde vloeiend te bewegen, bijna als een mens.

Echter, toen ze de robot van de videogame naar de echte wereld verplaatsten, werd het een stuk hobbeliger.

Het goede nieuws: In drie van de vier realtime-tests werkte de robot geweldig. Hij gebruikte de LEAP-hand succesvol om te knippen met een schaar (9 van de 10 pogingen) en om een schroevendraaier te draaien (10 van de 10). Hij werkte ook goed met de WUJI-hand bij de schroevendraaiertaak (9 van de 10).
Het slechte nieuws: Hij faalde volledig op de WUJI-Schaars-taak (0 van de 10). De auteurs vermoeden dat dit kwam doordat de echte schaar niet perfect overeenkwam met het digitale model en de motoren van de robot te stijf waren om bij te sturen.
De vergelijking: Ze testten andere methoden die niet gebruikmaakten van hun "interactie-behoudende" truc. Die methoden waren als studenten die de antwoorden uit het hoofd leerden maar de wiskunde erachter niet begrepen. In de echte wereld faalden ze bijna elke keer (0% succes bij de meeste taken), vaak omdat ze probeerden het gereedschap vast te pakken op een manier die ervoor zorgde dat de robot tegen de tafel botste.

Wat dit betekent (en wat het niet betekent)
Het artikel suggereert dat als je wilt dat een robot een complexe, contact-intensieve taak leert zoals het gebruiken van een gereedschap, je de robot moet leren hoe de hand het object aanraakt, en niet alleen waar de vingers heen gaan. Ze bewezen dat een enkele menselijke demo, mits correct verwerkt, genoeg is om een robot deze taken in de echte wereld te leren.

Maar verwacht nog geen robot-butler. Het systeem heeft nog steeds een motion capture-camera nodig om precies aan te geven waar het gereedschap zich in realtime bevindt; het kan het gereedschap nog niet "zien" met een gewone camera. Ook als het object in de echte wereld niet perfect overeenkomt met het digitale model (zoals bij de WUJI-Schaars mislukking), kan de robot vastlopen.

Kortom, de auteurs hebben een recept gevonden dat een enkele menselijke video verandert in een werkende robotvaardigheid, maar de robot heeft nog steeds een beetje hulp nodig van een camera en een perfecte digitale tweeling van het object om dit in de chaotische echte wereld te laten slagen.

Technische Samenvatting: REGRIND – Een Minimalistisch, Door Retargeting Gestuurd RL-Recept voor Dexterous Manipulatie

Probleemstelling

Dexterous manipulatie (behendige manipulatie) omvat complexe, contactrijke dynamiek die een delicate regulatie van contactmodi en krachten vereist. Hoewel de menselijke whole-body controle succesvol een "retarget-dan-leer"-recept heeft geadopteerd (het retargeten van menselijke bewegingen naar robotkinematica en het trainen van Reinforcement Learning (RL) beleid om deze te volgen), heeft deze aanpak zich niet effectief vertaald naar dexterous manipulatie. Huidige manipulatieskills zijn vaak afhankelijk van teleoperatie-demonstraties van echte robots of zijn beperkt tot simulatie.

De kernuitdaging die wordt geïdentificeerd, is dat eenvoudige kinematische retargeting, hoewel het menselijke handhoudingen evenaart, de interactie tussen hand en object vaak negeert. Dit resulteert in fysiek onmogelijke trajecten (bijv. penetratie van hand en object) die dienen als slechte referenties voor downstream RL. Bovendien vertoont dexterous manipulatie een aanzienlijk hogere gevoeligheid voor sim-to-real discrepanties (wrijving, compliantie, geometrie) vergeleken met lokomotie, waardoor zero-shot transfer moeilijk is.

Methodologie: REGRIND

De auteurs stellen REGRIND voor (REtargeting-Guided ReINforcement learning for Dexterous manipulation), een minimalistische pijplijn die dexterous manipulatiebeleid leert van één enkele menselijke demonstratie. De pijplijn volgt een real-to-sim-to-real workflow:

1. Interactie-behoudende Bewegingsretargeting

In plaats van standaard kinematische retargeting, formuleert de methode retargeting als een optimalisatieprobleem dat de ruimtelijke en contactrelaties tussen de hand en het object behoudt.

Interactie-meshes: De methode construeert "interactie-meshes" die semantische sleutelpunten op de menselijke hand en het object (bron) verbinden met overeenkomstige sleutelpunten op de robothand en het object (doel).
Optimalisatie-doelstelling: Het robottraject wordt geoptimaliseerd om de vervormingsenergie tussen de bron- en doel-interactie-meshes te minimaliseren. Dit wordt gemeten door de verandering in de Laplacische coördinaten van de mesh-vertices.
Constraints: De optimalisatie bevat kinematische restricties, botsingsvermijding en een regularisatieterm voor temporele gladheid.
Resultaat: Dit genereert een robot-referentietraject dat geldige contactstructuren behoudt, waardoor de fysiek onmogelijke grepen worden vermeden die gebruikelijk zijn bij standaard Inverse Kinematics (IK) benaderingen.

2. RL-training met Augmentatie

Een residual RL-beleid wordt getraind in simulatie om het geretargeteerde referentietraject te volgen.

Actieruimte: Het beleid leert een residual actie die wordt toegevoegd aan de nominale geretargete configuratie ( $q_{target} = \bar{q}_t + \alpha \odot \pi_\theta(\bar{q}_t, o_t)$ ).
Observatieruimte: De actor gebruikt de objectpose, robotgewrichtsposities, de vorige actie en een fasevariabele. Om de sim-to-real kloof te minimaliseren, vermijdt het beleid het gebruik van ruisgevoelige sensormetingen zoals snelheid.
Beloningsfunctie: De primaire beloning is een nabijheidsmetriek gebaseerd op object-sleutelpunten ( $\epsilon_{object}$ ), wat de robot aanmoedigt om de objectstatus ten opzichte van de referentie te volgen. Dit codeert impliciet interactie-priors zonder expliciete contactbeloningen nodig te hebben.
Data-augmentatie: Om het tekort aan data vanuit een enkele demonstratie aan te pakken, vergroot de methode de referentie-trajecten dynamisch uit. Het verstoort de initiële objectconfiguratie (positie en oriëntatie) en past een tijdvariërende rigide transformatie toe op het gehele geretargeteerde traject. Dit vervormt het begin van het traject richting de nieuwe begintoestand terwijl het soepel terugkeert naar het oorspronkelijke doel, wat diverse trainingssamples creëert zonder de dure retargeting-optimalisatie opnieuw op te lossen.
Curriculum & Randomisatie: Training omvat domein-randomisatie (wrijving, motorische winst), observatieruis en een curriculum bestaande uit willekeurige duwen en geleidelijk toenemende zwaartekracht.

3. Sim-to-Real Transfer

Het getrainde beleid wordt op hardware ingezet met zero-shot transfer. De auteurs benadrukken dat succesvolle transfer niet alleen de retargetingstrategie vereist, maar ook zorgvuldige systeemidentificatie en het gebruik van objectposes van een motion capture-systeem tijdens de inzet, om perceptiefouten als een verstorende factor te elimineren.

Belangrijkste Bijdragen

Een Minimalistisch Framework: Een algemene pijplijn voor het leren van contactrijke dexterous manipulatie vanuit een enkele menselijke demonstratie met behulp van interactie-behoudende retargeting.
Interactie-behoudende Retargeting: Een nieuwe retargeting-doelstelling die de hand-object ruimtelijke en contactrelaties behoudt, wat het falen van pure kinematische retargeting in contactrijke omgevingen aanpakt.
Dynamische Data-augmentatie: Een strategie om diverse referentietrajecten te synthetiseren uit een enkele demo door initiële toestanden te verstoren en het traject te vervormen, wat de robuustheid en generalisatie van het beleid verbetert.
Systematische Analyse: Een evaluatie van de belangrijkste factoren die de sim-to-real transfer in dexterous manipulatie beïnvloeden, waarbij de noodzaak van interactie-behoudende referenties en zorgvuldige systeemidentificatie wordt benadrukt.

Experimentele Resultaten

De methode werd geëvalueerd op vier taken met twee robot handen (16-DoF LEAP en 20-DoF WUJI) en twee gereedschappen (Schaar en Schermijzer).

Kwaliteit van Retargeting: Kwalitatieve resultaten laten zien dat REGRIND menselijke grepen produceert die de interactie-semantiek behouden, terwijl baselines (Mink IK, DexMachina) fysiek onmogelijke penetraties of instabiele grepen produceren.
Prestaties in Simulatie: REGRIND behaalde bijna perfecte succespercentages (98,7%–99,8%) en lage trackingfouten over alle vier de taken. Baselines zoals SPIDER slaagden er niet in RL effectief te initialiseren, en DexMachina had grote moeite met de complexe contactdynamiek van de Schaar-taak.
Sim-to-Real Transfer:
- REGRIND werd succesvol overgezet naar echte hardware op drie van de vier taken (LEAP-Scissors, LEAP-Screwdriver, WUJI-Screwdriver), met succespercentages van 9/10 of 10/10.
- Baselines (DexMachina, Mink IK + RL) slaagden er niet in effectief over te dragen, wat vaak resulteerde in instabiele grepen of botsingen, toegeschreven aan hun afhankelijkheid van simulatie-artefacten en het gebrek aan interactie-behoudende regularisatie.
- De WUJI-Scissors taak faalde voor alle methoden, waarschijnlijk door niet-backdrivable motoren en onnauwkeurige mesh-modellering van de echte schaar.
Generalisatie: Beleid getraind met REGRIND generaliseerde goed naar gerandomiseerde initiële objectconfiguraties in de echte wereld, waarbij de prestaties vergelijkbaar bleven met de gedemonstreerde configuratie.

Betekenis en Claims

Het artikel beweert dat het behoud van interacties tijdens retargeting een cruciale factor is voor het verbeteren van RL-prestaties in contactrijke dexterous manipulatie. De auteurs stellen dat hoewel retargeting-gebaseerd leren effectief is voor lokomotie, manipulatie een meer genuanceerde aanpak vereist vanwege de gevoeligheid voor modelleringsfouten.

De betekenis van REGRIND ligt in het aantonen dat een minimalistische pijplijn — de combinatie van interactie-bewuste retargeting, residual RL en eenvoudige data-augmentatie — robuuste, mensachtige dexterous manipulatie op echte hardware kan bereiken vanuit een enkele demonstratie. Het werk biedt praktische richtlijieden voor de gemeenschap, waarbij wordt gesuggereerd dat succesvolle sim-to-real transfer in manipulatie een holistische aanpak vereist die bestaat uit interactie-behoudende referenties, doordachte observatie/actie-ruimte ontwerpen en zorgvuldige systeemidentificatie, in plaats van enkel het opschalen van simulatie of beloningsengineering.