Robust Fall Recovery for Armless Bipedal-Wheeled Robots Via Force-Guided Learning

Technische Samenvatting: Robuust Herstel van Vallen voor Armloze Bipedale Wield-robots via Krachtgestuurd Leren

Probleemstelling
Bipedale wielrobots bieden een unieke combinatie van terreinaanpassingsvermogen en locomotie-efficiëntie, maar worden geconfronteerd met aanzienlijke uitdagingen bij het herstel van een val. In tegenstelling tot humanoids of quadrupeds missen armloze bipedale wielrobots ondersteuning van het bovenlichaam (armen) of extra poten om stabiliserende krachten te genereren tijdens een val. Bijgevolg moeten ze uitsluitend vertrouwen op de beenactuatie van het onderlichaam om te herstellen van willekeurige, onvoorspelbare houdingen. Bestaande datagestuurde methoden, met name die steunen op standaard beloningsgebaseerd reinforcement learning (RL), falen vaak in deze context. Deze methoden hebben de neiging voortijdig te convergeren naar "dead points" (lokale optima) waar de robot er niet in slaagt op te staan, of ze worstelen met het generaliseren over diverse terreinen en initiële houdingen. Traditionele modelgebaseerde benaderingen missen de robuustheid die vereist is voor real-world onzekerheden, terwijl standaard curriculum learning (heuristisch uitfaseren van externe assistentie) kan leiden tot beleidsinstorting voordat stabiel staan is bereikt.

Methodologie: Het FTSR-framework
De auteurs stellen het Force-guided Teacher-student framework with Stage-wise Rewards (FTSR) voor om voortijdige convergentie aan te pakken en robuust herstel zonder externe ondersteuning mogelijk te maken. Het framework integreert drie kerncomponenten:

1. Krachtgestuurd Leren via Constrained Policy Optimization (CPO):
   In plaats van externe krachten te gebruiken als een afnemend curriculum (wat heuristisch is en gevoelig voor falen), formuleren de auteurs externe hulpkrachten ($F$) en momenten ($T$) als optimaliseerbare harde beperkingen binnen een Constrained Markov Decision Process (CMDP).

   • De grootte van deze krachten is expliciet gecorreleerd met de real-time hoogte van het zwaartepunt (CoM) van de robot.
   • Met behulp van CPO wordt de policy getraind om aan deze beperkingen te voldoen terwijl de beloning wordt gemaximaliseerd. De beperkingen zijn ontworpen om "verstrakbaar" te zijn, waarbij de policy wordt gestuurd om de afhankelijkheid van externe assistentie geleidelijk te verminderen naarmate het fysiek haalbare herstelpaden leert.
   • Dit voorkomt dat de policy convergeert naar nutteloze lokale optima door ervoor te zorgen dat de robot zelfs wanneer de externe kracht naar nul wordt beperkt, leert op te staan.

2. Hoogte-progressieve Fase-gewijze Beloningen:
   Om stabiele training en een soepele overgang van herstel naar locomotie te garanderen, is de beloningsfunctie gestructureerd in drie progressieve fasen op basis van de basishoogte van de robot:

   • Oprichten van het Bovenlichaam ($r_u$): Stuurt de robot van een liggende positie naar een rechtopstaande houding.
   • Opstaan ($r_s$): Geactiveerd wanneer een drempelwaarde van agenten een specifieke hoogte overschrijdt, wat het intrekken van de onderste ledematen naar een stabiele staande configuratie aanmoedigt.
   • Lopen ($r_w$): Geactiveerd wanneer de meerderheid van de agenten een hogere staande drempel bereikt, wat aanhoudende locomotie bevordert.
   • Deze fase-gewijze structuur werkt automatisch op basis van batch-hoogtestatistieken in plaats van vaste tijdsduur, wat instabiliteit door vaste doelhoogtes voorkomt.

3. Teacher-Student Architectuur:
   Het framework maakt gebruik van een teacher-student distillatiebenadering om het gat tussen geprivilegieerde informatie en proprioceptieve uitvoering te overbruggen.

   • Teacher: Verwerkt geprivilegieerde observaties ($x_t$), inclusief contactkrachten, volledige lichaamstoestanden en basishoogte, om latente representaties te genereren.
   • Student: Wordt getraind met enkel proprioceptieve historie ($o_{t:t-H}$), zoals gewrichtsposities, snelheden en zwaartekrachtprojecties.
   • De student encoder wordt getraind via Mean Squared Error (MSE) om de latente ruimte van de teacher na te bootsen, waardoor kennis over krachteffecten en hersteldynamiek effectief wordt gedestilleerd zonder dat geprivilegieerde sensoren nodig zijn tijdens de inzet.

Belangrijkste Bijdragen

• Krachtgestuurde Beperkingen: De introductie van hoogte-gecorreleerde externe krachten als optimaliseerbare beperkingen (in plaats van een heuristisch curriculum) om acties te beperken tot fysiek haalbare trajecten, wat robuust herstel mogelijk maakt voor armloze robots.
• Hoogte-progressieve Beloningen: Een nieuw mechanisme voor beloningsvorming dat doelhoogtes dynamisch bijwerkt op basis van de statistieken van de populatie agenten, wat stabiele training en een naadloze overgang naar locomotie garandeert.
• Real-World Validatie: De eerste demonstratie van het herstel van een val voor een armloze bipedale wielrobot vanuit meerdere gerandomiseerde houdingen over diverse terreinen in real-world scenario's, wat de robuustheid en aanpasbaarheid van de aanpak valideert.
• Generaliseerbaarheid: Het framework blijkt effectief te generaliseren naar een high-DOF (23-DOF) humanoïde robot (Unitree), wat bevestigt dat de potentie verder gaat dan het specifieke bipedale wielplatform.

Experimentele Resultaten
De methode werd geëvalueerd in simulatie (IsaacGym) en op een fysieke zelf ontwikkelde "JiaRan" robot.

• Simulatie: Het volledige FTSR-framework bereikte een succespercentage van 99,8% in herstel op vlakke grond, hellingen, treden en ongelijk terrein. Ablatiestudies bevestigden dat het verwijderen van de krachtgestuurde beperkingen of de fase-gewijze beloningen leidde tot significante prestatieverliezen of volledig falen (0% succes in sommige ablatiegevallen). De methode convergeerde naar een krachtvrije, stabiele policy binnen 3.000–4.000 iteraties.
• Real-World Implementatie: De policy werd succesvol geïmplementeerd op de fysieke robot. Het demonstreerde robuust herstel van diverse initiële houdingen (voorzijde, achterzijde, zijwaarts en "dead-point" houdingen) op binnen- en buitenomgevingen (gras, hellingen, grind, trappen).
• Locomotie na Herstel: Experimenten bevestigden dat de robot na het herstellen van een val (zelfs nadat hij een trap heeft gekregen) onmiddellijk de gecommitteerde locomotie-taken kon hervatten, waarbij de volledige bewegingscapaciteit behouden bleef.
• Humanoid Transfer: Het framework slaagde er succesvol in om een 23-DOF humanoïde te trainen om op te staan vanuit willekeurige houdingen, waarbij het de HoST-baseline overtrof in termen van bewegingsvloeiendheid en voetcontrole.

Betekenis en Claims
Het artikel claimt dat het FTSR-framework het cruciale probleem van het herstel van een val voor armloze bipedale wielrobots oplost, een taak waarbij bestaande methoden vaak falen door voortijdige convergentie naar lokale optima. Door externe assistentie te herformuleren als een optimaliseerbare beperking in plaats van een heuristisch curriculum, bereiken de auteurs een policy die zowel robuust is tegen omgevingsonzekerheden als in staat is tot autonoom herstel zonder ondersteuning van het bovenlichaam. Het werk benadrukt de praktische levensvatbaarheid van de aanpak door uitgebreide real-world testen en demonstreert dat de geleerde strategieën overdraagbaar zijn naar complexere, high-DOF humanoïde platforms.