Technische Samenvatting: HiWET

Probleemstelling

Humanoïde loco-manipulatie vereist het uitvoeren van precieze manipulatietaken terwijl de dynamische stabiliteit tijdens basisonderdelen behouden blijft. Bestaande benaderingen kampen met twee primaire beperkingen:

1. Lichaamsgecentreerde Formulering: De meeste commando-gestuurde methoden opereren in lichaamsgecentreerde frames. Dit faalt inherent in het corrigeren van de cumulatieve drift in het wereldframe die wordt veroorzaakt door gelopen locomotie, wat leidt tot een verslechterde precisie van de end-effector in het globale frame.
2. Optimalisatie in de Gewrichtsruimte: Methoden voor imitatie van bewegingen in het hele lichaam optimaliseren doorgaans fouten in de gewrichtsruimte in plaats van precisie in de taakruimte, waardoor ze een gebrek hebben aan theoretische garanties voor nauwkeurige end-effector tracking en vaak kostbare, dichte referentietrajecten vereisen.
3. Koppelingsuitdagingen: De nauwe koppeling tussen de dynamica van het bovenlichaam en het onderlichaam betekent dat agressieve armbewegingen de gang kunnen destabiliseren, terwijl locomotie-impacten doorwerken naar de end-effectors. Wanneer taken zich buiten de statische bereikbare werkruimte uitstrekken, adresseren lichaamsgecentreerde formuleringen niet expliciet de noodzaak om de basis actief te transporteren om bereikbaarheid te behouden.

Methodologie

De auteurs stellen HiWET (Hierarchical World-Frame End-Effector Tracking) voor, een hiërarchisch reinforcement learning (HRL) framework dat globale redenering ontkoppelt van dynamische uitvoering. Het systeem wordt gemodelleerd als een Semi-Markov Beslissingsproces (Semi-MDP) dat opereert op twee tijdschalen.

1. Hiërarchische Architectuur

• Hoog-niveau Beleid (Commander, $\pi_H$): Werkt op een lagere frequentie (elke $K$ stappen) in het wereldframe. Het fungeert als een taakplanner die globale end-effector targets interpreteert en gestructureerde subdoelen genereert: basissnelheid ($v_{des}^b$), lichaamslengte ($h_{des}$) en end-effector poses relatief aan het lichaam ($bT_{des}$). Het redeneert expliciet over de geometrische koppeling tussen locomotie en manipulatie om de operationele werkruimte te hervormen.
• Laag-niveau Beleid (Tracker, $\pi_L$): Werkt op een hoge frequentie om subdoelen te vertalen naar gewrichtsruimte-commando's. Het waarborgt dynamische stabiliteit en fysieke haalbaarheid. De humanoïde wordt gedecomposeerd in subsystemen voor het bovenlichaam (armen/middel) en het onderlichaam (benen).

2. Belangrijke Technische Componenten

• Kinematic Manifold Prior (KMP): Een vooraf getraind neuraal netwerk dat kinematisch consistente gewrichtsreferenties biedt voor het bovenlichaam op basis van gewenste end-effector poses en een middel-regularisatiegewicht ($\alpha$).
  • Het laag-niveau beleid leert residuele correcties ($\Delta q$) toe te voegen aan de KMP-referentie ($\hat{q}$) in plaats van absolute gewrichtstargets. Dit vermindert de dimensionaliteit van de exploratie en mitigeert kinematisch ongeldige gedragingen.
  • De parameter $\alpha$ stelt het hoog-niveau beleid in staat om de betrokkenheid van de romp te moduleren, waarbij een afweging wordt gemaakt tussen bereikbaarheid (gebruikmaken van de redundantie van de taille) en dynamische balans (stabiliseren van het Zwaartepunt).
• State Estimator: Een neuraal module die getraind is om geprivilegieerde staat variabelen (bijv. lineaire snelheid van de basis, end-effector poses) af te leiden uit observatiegeschiedenis, om te compenseren voor partiële observeerbaarheid tijdens implementatie.
• Importance Sampling (IS): Om de inefficiëntie van uniforme Cartesiaanse bemonstering (die vaak onbereikbare of slecht geconditioneerde targets oplevert) aan te pakken, hebben de auteurs een geprioriteerde dataset samengesteld. Deze dataset is gefilterd door Inverse Kinematics (IK) reconstructiefout en gewogen door een manipuleerbaarheidsindex. De trainingscommando-distributie is een mengeling van uniforme bemonstering en deze gecureerde prior.
• Reward Shaping:
  • Laag-niveau: Bevat KMP-referentietracking, knie-bewuste basishoogte-tracking (asymmetrische weging voor flexie/extensie marges) en regularisatie voor vloeiendheid.
  • Hoog-niveau: Stimuleert werkruimte-optimalisatie (het uitlijnen van de basisrichting met targets), nauwkeurige end-effector tracking in het wereldframe en stabiliteit.

3. Trainingsprocedure

Het framework maakt gebruik van een tweefasig trainingsproces:

1. Fase 1 (Tracker): Het laag-niveau beleid wordt getraind om de base-relative end-effector commando's te volgen met behulp van de KMP en importance sampling.
2. Fase 2 (Commander): Het hoog-niveau beleid wordt getraind terwijl het laag-niveau beleid bevroren is. Een ruimtelijke curriculum wordt gebruikt, beginnend met targets nabij de robotbasis en waarbij het bereik progressief wordt uitgebreid naarmate de trackingfout afneemt.

Belangrijkste Resultaten

Het framework werd gevalideerd op de Unitree G1 humanoïde (29 DoF) in simulatie en via zero-shot sim-to-real transfer.

• Tracking Precisie: In simulatie bereikte HiWET een wereldframe end-effector trackingfout van 12,4 mm met een lage variantie.
• Ablatie-studies:
  • Het verwijderen van de KMP verhoogde de handfout naar 25,2 mm met een 5$\times$ hogere variantie, wat de noodzaak van kinematische begeleiding bevestigt.
  • Het verwijderen van de State Estimator degradeerde de tracking met bijna 10 mm, wat de noodzaak benadrukt van nauwkeurige feedback om locomotie-oscillaties te compenseren.
  • Het verwijderen van Importance Sampling resulteerde in een hogere fout (16,1 mm), wat de waarde bewijst van het focussen op functionele werkruimtegebieden.
• Vergelijking: HiWET presteerde beter dan de HOMIE-baseline, waarbij de RMSE van de lineaire basissnelheid met ongeveer 20% werd verminderd.
• Sim-to-Real: Het laag-niveau beleid werd succesvol overgedragen naar de fysieke robot zonder fine-tuning, wat stabiele locomotie onder diverse manipulatiecommando's demonstreert.
• Long-Horizon Taken: Het systeem volgde succesvol complexe geometrische trajecten (sterren, harten, spiralen) in het wereldframe, waarbij de dynamische stabiliteit werd behouden tijdens het navigeren naar doelgebieden.

Betekenis en Claims

Het artikel claimt dat HiWET een effectieve en schaalbare oplossing biedt voor langdurige humanoïde loco-manipulatie door expliciet de geometrische koppeling tussen de basis en de end-effectors aan te pakken.

• Consistentie in het Wereldframe: Door de taak te formuleren als wereldframe end-effector tracking, compenseert de controller actief voor basisverstoringen en hervormt het de operationele werkruimte door middel van locomotie, een capaciteit die ontbreekt in lichaamsgecentreerde benaderingen.
• Ontkoppelde Controle: De hiërarchische scheiding tussen "waarheen gaan" (globale planning) en "hoe bewegen" (dynamische uitvoering) maakt gespecialiseerde optimalisatie mogelijk voor zowel bereikbaarheid als stabiliteit.
• Efficiëntie: De integratie van de Kinematic Manifold Prior via residual learning fundeert het beleid in geldige manipulatie-manifolds, wat het leren versnelt en de trackingprecisie verbetert zonder de dynamische aanpasbaarheid op te offeren.

De auteurs concluderen dat deze aanpak nauwkeurige, stabiele end-effector tracking in langdurige taken mogelijk maakt en robuuste zero-shot transfer naar echte hardware demonstreert.