Technische Samenvatting: Mind Your Steps: Een Algemeen Leerframework voor Nauwkeurige Humanoid Voetplaatsing

Probleemstelling

Het in staat stellen van humanoïde robots om door complexe, dynamische omgevingen te navigeren blijft een kritieke uitdaging, primair beperkt door de capaciteit om voeten veilig en nauwkeurig te plaatsen. Hoewel reinforcement learning (RL) met op snelheid gebaseerde policies robuustheid heeft bereikt in locomotie, ontbreekt het aan expliciete controle over de plaatsing van de voetplaatsing. Deze beperking leidt vaak tot onveilige gedragingen (bijv. op obstakels of mensen stappen) en onnauwkeurige navigatie, wat daaropvolgende manipulatietaken belemmert.

Daartegenover biedt expliciete voetplaatsings-tracking een veelbelovend alternatief door doelvoetposities direct aan te sturen. Echter, bestaande benaderingen lijden onder aanzienlijke beperkingen:

• Onrealistische Veronderstellingen: Veel methoden vertrouwen op nauwkeurige schattingen van de basistoestand (lokalisatie) of binaire grondcontactvlaggen, die in de echte wereld moeilijk nauwkeurig in te schatten zijn.
• Gebrek aan Generaliteit: De meeste zijn beperkt tot simulatie, beperkt tot eenvoudig voorwaarts lopen op vlak terrein, of ingebed als rigide componenten binnen specifieke, monolithische pipelines, wat naadloze integratie met diverse downstream-taken verhindert.
• Fragiliteit: Methoden die gebruikmaken van doelen in het basisframe (root-frame) zijn zeer gevoelig voor lokalisatiefouten, terwijl methoden die vertrouwen op complexe perceptie-pipelines vaak slecht generaliseren.

Methodologie

De auteurs stellen een nieuw, lichtgewicht, model-vrij framework voor het trainen van algemene 3D voetplaatsings-tracking policies voor. De kerninnovatie ligt in een trainings- en implementatiearchitectuur die de low-level controller ontkoppelt van high-level planners en specifieke terreinveronderstellingen.

1. Doel- en Observatieformulering

De policy is ontworpen om agnostisch te zijn aan de high-level planner. Belangrijke ontwerpkeuzes zijn onder meer:

• Stance-Foot Frame Representatie: In tegen afwijking van eerdere werken, die doelen uitdrukken in het basisframe (root frame) van de robot, drukt dit framework de voetplaatsingsdoelen (positie en yaw-oriëntatie) uit relatief aan de huidige standvoet (stance foot).
  • Voordeel: Het doel blijft constant tijdens de zwaaifase, waardoor de noodzaak voor een nauwkeurige, realtime schatting van de basistoestand om doelen bij te werken, wordt geëlimineerd.
• Input Observaties: De policy vertrouwt uitsluitend op proprioceptie (basisoriëntatie, hoeksnelheid, gewrichtsposities/snelheden), de vorige actie, de gait-fase en het voetplaatsingsdoel.
• Uitsluiting van Contactvlaggen: Het framework vermijdt het gebruik van binaire grondcontactvlaggen, die onbetrouwbaar zijn op hardware, en vertrouwt in plaats daarvan op gait-variabelen om zwaai/stand-transities te beheren.

2. Trainingsarchitectuur

• Algoritme: De auteurs maken gebruik van Asymmetrische Proximal Policy Optimization (PPO).
• Agentstructuur: Een actor-critic architectuur waarbij de actor proprioceptieve observaties ontvangt, en de critic toegang heeft tot geprivilegieerde simulatietoestanden (bijv. lineaire snelheid van de basis).
• Goal Sampler (GS): Een modulaire component die tijdens de training wordt gebruikt om haalbare 3D voetplaatsingsdoelen te genereren.
  • Het samplet bewegingsrichtingen, staplengtes en verticale offsets relatief aan de huidige standvoet.
  • Het maakt gebruik van een "hold-still" modus om stilstaand vermogen mogelijk te maken.
  • Cruciaal is dat de GS alleen in simulatie werkt; tijdens de implementatie wordt deze vervangen door taakspecifieke planners (bijv. visuele estimators of teleoperatie-interfaces).
• Curriculum Learning: De training begint op vlak terrein om een robuuste planaire tracker te leren, gevolgd door verfijning op volledige 3D-terreinen met bewegende pilaren die zich aanpassen aan de gesamplede hoogtes.

3. Reward Design

De beloningsfunctie balanceert tracking-nauwkeurigheid met een natuurlijke locomotie-stijl:

• Voetplaatsing-tracking Termen: Bestraft expliciet fouten in 3D-positie (planaire en hoogte) en yaw-oriëntatie voor de zwaaivoet. De stand-beloning behoudt de nauwkeurigheid bereikt op het moment van contact.
• Voet Zwaai Term: Moedigt voetvrijheid aan tijdens de specifieke zwaaifasevenster gedefinieerd door de gait-klok.
• Zwaai Knie Hoogte Term: Moedigt het optillen van de knie van het zwaaibeen aan om voldoende vrijheid te garanderen voor de doelhoogte, wat botsingen met treden of obstakels voorkomt.
• Locomotie Stijl: Bestraffingstermen (geadapteerd van LocoMuJoCo) dwingen natuurlijke beweging af zonder afhankelijk te zijn van motion capture data.

Belangrijkste Bijdragen

1. Algemeen Bruikbaar Framework: Een model-vrij framework voor het trainen van 3D voetplaatsings-tracking policies die agnostisch zijn aan high-level planners en klaar voor directe implementatie.
2. Robuuste Doelrepresentatie: De introductie van een stance-foot frame formulering die de afhankelijkheid van nauwkeurige basislokalisatie wegneemt, wat de robuustheid tegen staatsschatting-ruis aanzienlijk verbetert.
3. Modulariteit: De policy fungeert als een zelfstandige low-level controller die naadloos kan worden gekoppeld aan diverse high-level generatoren (bijv. visuele planners, teleoperatie).
4. Zero-Shot Sim-to-Real Transfer: Succesvolle implementatie op de Booster T1 humanoïde hardware met behulp van een eenvoudige visuele voetplaatsingsgenerator, wat de levensvatbaarheid van het framework demonstreert zonder externe lokalisatiesystemen.

Experimentele Resultaten

Het framework is uitgebreid geëvalueerd in simulatie en op echte hardware (Booster T1).

Simulatie-experimenten

• Doelbereiking: De voetplaatsings-tracking (FT) policy bereikte doelen aanzienlijk sneller en nauwkeuriger dan een state-of-the-art snelheid-tracking (VT) baseline. Naarmate de succesdrempel strenger werd, degradeerde de prestatie van de VT-policy scherp (18,9% toename in tijd), terwijl de FT-policy stabiel bleef (5,3% toename).
• Frame Ablatie: Wanneer ruis in de basistoestand-schattingen werd geïnjecteerd, degradeerde de prestatie van de root-frame policy (FT-R) scherp, terwijl de stance-foot frame policy (FT) ongevoelig bleef, wat de robuustheid van de voorgestelde formulering valideert.
• Traverseren van Smalle Bruggen: In scenario's met bruggenbreedtes zo smal als 0,15 m (smaller dan de voet), daalde het succespercentage van de VT-controller drastisch, terwijl de FT-controller een bijna perfect succespercentage behield door stappen expliciet te centreren.
• Complexe Omgevingen:
  • Navigatie in Rommelige Omgevingen: Succesvol genavigeerd door omgevingen met tot 20 obstakels met behulp van een A*-planner.
  • Trappen: Toonde robuuste traversie van rechte en spiraalvormige trappen met variërende trephoogtes en -lengtes. De policy paste zich aan verschillende geometrieën aan, waarbij faalmodi verschoof van contact met de treden (korte treden) naar balansproblemen (lange treden).
  • Rampen: Succesvol gegeneraliseerd naar continue hellingen ondanks dat getraind werd op discrete treden (via bewegende pilaren), wat sterke generalisatiecapaciteiten bevestigt.

Implementatie in de Werkelijkheid

• Setup: De policy werd geïmplementeerd op de Booster T1 humanoïde met behulp van een onboard RealSense D455 camera om blauwe cirkelvormige markeringen op de vloer te detecteren.
• Prestaties: Het systeem behaalde een succespercentage van 93,08% bij het stappen op aangewezen doelen, terwijl een stabiele locomotie werd behouden.
• Uitdagingen: De primaire bronnen van fouten waren door beweging veroorzaakte beeldonscherpte en dieptesensoren-artefacten. Een eenvoudig mechanisme voor vertragingscompensatie werd geïmplementeerd om communicatie- en inferentielatenties op te vangen.
• Resultaat: Het experiment verifieerde dat de policy kan worden geïntegreerd met imperfecte visuele perceptie om downstream-taken te ondersteunen zonder afhankelijk te zijn van nauwkeurige lokalisatie.

Betekenis en Claims

Het artikel claimt dat dit werk de fundamentele kloof tussen high-level planning en low-level uitvoering in humanoïde locomotie overbrugt. Door expliciete, robuuste controle over voetplaatsing te bieden, stelt het framework de volgende zaken in staat:

• Veiligheid: De mogelijkheid om voetplaatsingen te beperken tot geldige, veilige contactregio's, wat onveilige gedragingen zoals het stappen op obstakels voorkomt.
• Precisie: Verbeterde nauwkeurigheid in het bereiken van doelen en het doorkruisen van beperkte omgevingen (smalle bruggen, trappen) vergeleken met snelheid-gebaseerde benaderingen.
• Veelzijdigheid: Een fundamentele bouwsteen voor complexe loco-manipulatie taken in veiligheidskritische scenario's, in staat om te opereren in real-world settings zonder behoefte aan nauwkeurige lokalisatie of complexe, taakspecifieke pipelines.

De auteurs benadrukken dat hoewel het framework significante verbeteringen in wendbaarheid en nauwkeurigheid laat zien, het is ontworpen als een algemeen bruikbaar instrument bedoeld om te worden gekoppeld aan diverse upstream planners, in plaats van een monolithische oplossing voor alle navigatieproblemen.