Technische Samenvatting: Unified Motion Retargeting voor Humanoids met Learned Point Cloud Correspondence

Probleemstelling

Humanoid robots hebben grootschalige, hoogwaardige bewegingsdata nodig om complexe whole-body gedragingen te leren, zoals lopen, manipulatie en fysieke interactie. Hoewel menselijke bewegingsdata een schaalbare corpus biedt, is het direct gebruiken van deze als referentiepaden voor robots onhaalbaar vanwege significante morfologische verschillen, waaronder lichaamsverhoudingen, gewrichtstopologie, vrijheidsgraden (DoF) en kinematische beperkingen.

Bestaande retargeting-methoden zijn overwegend skelet-gecentreerd. Ze vertrouwen op handmatig gedefinieerde, één-op-één koppelingen tussen specifieke menselijke gewrichten en robotonderdelen. Deze aanpak brengt verschillende beperkingen met zich mee:

1. Gebrek aan Schaalbaarheid: Het overstappen naar een nieuwe robot-embodiment vereist het opnieuw definiëren van skeletcorrespondenties en het opnieuw afstemmen van fittingparameters.
2. Spaarzame Begeleiding: Representaties op gewrichtsniveau beperken beweging slechts op discrete punten, wat onvoldoende geometrische informatie biedt voor fijne pose-uitlijning en betrouwbare contactoverdracht.
3. Handmatige Afhankelijkheid: De kwaliteit van retargeting hangt sterk af van handmatig ontworpen semantiek, wat het vermogen om te generaliseren over diverse bewegingsbronnen en robotmorfologieën beperkt.

Hoewel mesh-gebaseerde representaties dichtere geometrische informatie bieden, worstelen huidige methoden vaak met het estabeleceren van consistente oppervlaktecorrespondentie tussen verschillende embodiments zonder vooraf gedefinieerde skeletkaarten.

Methodologie: Unified Motion Retargeting (UMR)

De auteurs stellen Unified Motion Retargeting (UMR) voor, een framework dat retargeting ontkoppelt van bronspecifieke skeletsemantiek en robotspecifieke topologie door de externe puntenwolken (point clouds) als een verenigde interface te behandelen. UMR werkt in twee primaire stadia:

1. Point Cloud Correspondence Learning

Deze fase stelt een herbruikbare, dichte en geordende correspondentie vast tussen het menselijke oppervlak van de bron en het robotoppervlak van het doel.

• Input: Een canonieke T-pose voor zowel de menselijke bron (bijv. SMPL-X, SOMA, gescande meshes) als de doelrobot.
• Proces:
  • De menselijke puntenwolk ($X_h$) is geordend, wat vaste indices biedt.
  • De robotpuntenwolk ($X_r$) is ongeordend.
  • Een PointNet-stijl encoder ($E_\theta$) verwerkt $X_r$ om een latente representatie te creëren.
  • Een MLP-decoder ($D_\theta$) voorspelt een deformatievector voor elk geïndexeerd menselijk punt, waardoor de corresponderende robotpuntenwolk ($\hat{X}_r$) wordt gereconstrueerd.
  • Trainingsdoel: Het model minimaliseert een samengestelde loss ($L_{corr}$) bestaande uit:
    • Chamfer Distance ($L_c$): Zorgt ervoor dat de gereconstrueerde punten de doelgeometrie dekken.
    • Repulsion Term ($L_r$): Voorkomt dat meerdere punten naar dezelfde regio inklappen.
    • Edge Smoothness ($L_e$): Dwingt coherente deformatievectoren af tussen verbonden punten op een geodesische graaf.
• Resultaat: Een vaste set gekoppelde punten die standhouden terwijl de lichamen bewegen, waardoor robotpunten labels van menselijke lichaamssegmenten kunnen overnemen zonder handmatige mapping.

2. Correspondence-Guided Retargeting

Deze fase optimaliseert de gegeneraliseerde coördinaten van de robot ($q_t$) frame voor frame om de bronbeweging te matchen, terwijl aan beperkingen wordt voldaan.

• Optimalisatiedoel: Het systeem minimaliseert een stapel residuen:
  • Pose Residual ($r_p$): Matcht zowel de positie als de lokale oppervlakteoriëntatie van gekoppelde punten.
  • Contact Residual ($r_c$): Transfereert contactkaarten direct. Contactvectoren worden gedefinieerd als het verschil tussen een lichaamspunt en het dichtstbijzijnde punt op de omgeving (of een ander lichaamssegment voor zelfcontact).
• Beperkingen: De optimalisatie is geformuleerd als een geconstraineerd Gauss-Newton Kwadratisch Programmeringsprobleem (QP). Het dwingt af:
  • Gewrichtslimieten ($q^-, q^+$).
  • Vloerdoorlaatbaarheid (voorkomen van penetratie in de vloer).
  • Trust-region radius voor stabiliteit.
• Mechanisme: De geleerde puntenparen dienen als geometrische ankers. Terwijl de bron-mesh deformeert, bieden de gekoppelde robotpunten fijne doelpunten voor de optimizer, wat oppervlakte-uitlijning en directe contactoverdracht mogelijk maakt zonder extra handmatig ontworpen associaties.

Belangrijkste Bijdragen

1. Unified Surface-Centric Framework: UMR leert dichte bron-robot correspondentie vanuit oppervlaktepuntenwolken, waardoor handmatig gedefinieerde skelet- of lichaamsmappings overbodig zijn. Het ondersteunt heterogene bewegingsrepresentaties (SMPL-X, SOMA, gescande meshes) en diverse robot-embodiments.
2. Efficiënte Retargeting Pipeline: Het framework maakt gebruik van een herbruikbare correspondentie-setup die gedeeld wordt over verschillende bewegingen. Het maakt oppervlakte-niveau pose matching en directe contact-map transfer mogelijk, waardoor het retargetingproces wordt ontkoppeld van specifieke bronsemantiek.
3. Systematische Downstream Evaluatie: De auteurs bieden een uitgebreide evaluatie over whole-body tracking, grootschalige policy learning en contact-rijke interactietaken, waarmee de veelzijdigheid van het framework wordt aangetoond.

Experimentele Resultaten

Experimenten werden primair uitgevoerd op de Unitree G1 humanoid robot met behulp van de LAFAN1 dataset voor tracking en BONES-SEED voor policy learning.

• Motion Tracking: UMR presteerde beter dan state-of-the-art baselines (GMR en Unitree's eigen retargeting) in succespercentages voor tracking, met name voor uitdagende bewegingen zoals "Fall and GetUp" en "Fight". Onder domein-randomisatie en Sim2Sim-instellingen behield UMR een superieure prestatie over alle bewegingscategorieën.
• Tracking Nauwkeurigheid: UMR behaalde lagere gemiddelde gewrichtshoekfouten en concurrerende fouten in lichaamsdeelposities vergeleken met de baselines.
• Grootschalige Policy Learning: In het SONIC-framework vertoonden policies getraind op UMR-retargeted data consistente verbeteringen in totale beloning en tracking-fouten vergeleken met die getraind op GMR-retargeted referenties, zelfs zonder de hulp van de SMPL-encoder.
• Contact-rijke Interacties: In taken waarbij interactie tussen robot-object (Carry, Kick, Push) en robot-scène (Stair, Slope) plaatsvindt, presteerde UMR aanzienlijk beter dan OmniRetarget.
  • UMR behield de beoogde contactgeometrieën (bijv. hand-object contact), terwijl OmniRetarget contacten vaak naar onjuiste oppervlakteregio's verschoof.
  • UMR-getrainde policies verminderden gewrichts-trackingfouten met 40–56% in objectinteractietaken.
  • UMR demonstreerde robuustheid bij ruisige menselijke bewegingsbronnen (gereconstrueerd uit video's), waarbij het de baselines overtrof bij traptraverse en helling-taken.
• Real-World Deployment: Door UMR gegenereerde high-fidelity referenties maakten succesvolle policy training en deployment op fysieke robots mogelijk voor high-dynamic bewegingen (spin kicks) en diverse interacties (bal oppakken, trap op de trap).

Betekenis en Claims

Het artikel claimt dat UMR een schaalbare fundering biedt voor het transformeren van grootschalige, heterogene menselijke bewegingsreferenties naar robot-klare trainingsdata. Door de overstap van spaarzame, handmatig ontworpen skeletcorrespondenties naar geleerde dichte oppervlaktecorrespondenties, stelt UMR in staat om:

• De retargeting te ontkoppelen van specifieke bronsemantiek en robot-topologieën, waardoor één enkel framework diverse embodiments kan afhandelen.
• Fijne geometrische uitlijning en directe transfer van interactiecontacten te faciliteren, wat cruciaal is voor complexe manipulatie en scène-interactie.
• Aan te tonen dat dichte oppervlaktecorrespondentie een effectieve interface biedt om de morfologische kloof tussen mensen en humanoids te overbruggen, wat leidt tot een hogere bewegingsgetrouwheid en plausibiliteit dan bestaande state-of-the-art methoden.

De auteurs erkennen huidige beperkingen, specifelijk de aanname van toegang tot mesh-gebaseerde brongeometrie en een canonieke template, en identificeren toekomstig werk voor het uitbreiden van het framework naar ongestructureerde observaties en meer gearticuleerde lichamen zoals dexterous hands (behendige handen).