TOLEBI: Learning Fault-Tolerant Bipedal Locomotion via Online Status Estimation and Fallibility Rewards

Dit artikel introduceert TOLEBI, een leerframework voor bipedale locomotie dat online statusschatting en beloningen voor foutgevoeligheid combineert om robots zoals TOCABI in staat te stellen om tijdens het lopen hardwarestoringen en externe verstoringen te overwinnen.

De kern

Stel je voor dat je een robot bouwt die precies zoals een mens op twee benen kan lopen. Dat is al heel moeilijk, maar wat als die robot tijdens het lopen een spierverlamming krijgt, een motor vastloopt of een stroomstoring heeft? Meestal zou de robot dan struikelen en vallen.

Deze paper introduceert TOLEBI, een slimme manier om robots te leren hoe ze niet alleen kunnen lopen, maar ook hoe ze kunnen struikelen zonder te vallen. Het is alsof je een kind leert lopen, maar dan met een speciale training: je laat het kind oefenen terwijl je af en toe één van zijn benen even "vastzet" of de energie eraf haalt, zodat het leert hoe het zijn evenwicht moet bewaren.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Trainingskamp" (Simulatie)

In de echte wereld is het te gevaarlijk om een robot te laten vallen. Daarom trainen de onderzoekers de robot eerst in een virtuele wereld (een computersimulatie).

• Het idee: Ze laten de robot duizenden keren lopen in de computer. Maar ze voegen "chaos" toe. Soms blokkeren ze een knie, soms halen ze de stroom uit een heup.
• De analogie: Denk aan een dansleraar die een danser traint. Normaal doet de danser zijn stappen. Maar de leraar zegt plotseling: "Oké, je linkerbeen is nu stijf, dans nog steeds!" of "Je hebt geen energie meer in je rechterbeen, probeer het maar!" De robot leert hierdoor dat hij niet perfect hoeft te zijn om niet te vallen.

2. De "Zelfdiagnose" (Online Status Schatting)

Een groot probleem bij robots is dat ze vaak niet weten wat er mis is. Ze denken dat alles werkt, terwijl een motor juist vastzit.

• De oplossing: TOLEBI heeft een ingebouwde "dokter" (een software-module). Deze kijkt continu naar hoe de robot beweegt en zegt: "Hé, mijn knie voelt raar aan, die doet het niet meer!"
• De analogie: Stel je voor dat je loopt en je voelt dat je schoen los zit. Je hoeft niet te kijken; je voelt het. TOLEBI heeft dit gevoel. Zodra de robot merkt dat een motor niet werkt, past hij zijn loopstijl direct aan, net als jij je pas aanpast als je merkt dat je hiel pijn doet.

3. De "Veiligheidsnetjes" (Fallibility Rewards)

In het trainen van robots krijg je punten (beloningen) als je goed loopt. Maar wat krijg je als je motor stuk is?

• De truc: De onderzoekers hebben een speciaal puntensysteem bedacht. Als de robot een motor kwijtraakt, krijgen ze geen straf voor het vallen, maar wel punten als ze zachtjes landen of als ze hun loopstijl aanpassen om de schade te beperken.
• De analogie: Stel je voor dat je een bal gooit. Als je hem laat vallen, is dat raar. Maar als je hem laat vallen en hij stuitert zachtjes op een kussen in plaats van op de harde grond, krijg je een compliment. TOLEBI leert de robot om bij een storing "zacht te landen" in plaats van hard te vallen.

4. De "Stap-voor-stap" Methode (Curriculum Learning)

Je zou een pasgeboren baby niet direct laten rennen terwijl je hem op een fiets zet. Je begint met staan, dan stappen, dan rennen.

• De aanpak: TOLEBI begint met perfect lopen. Pas als de robot dat goed kan, beginnen ze met het "vastzetten" van benen. Als hij dat ook goed kan, voegen ze duwtjes toe (alsof iemand hem duwt).
• Het resultaat: De robot bouwt zijn vertrouwen en vaardigheden stap voor stap op, waardoor hij uiteindelijk zelfs trappen kan aflopen, zelfs als één van zijn benen het niet doet.

Wat hebben ze bewezen?

Ze hebben deze robot (die TOCABI heet) getest in de echte wereld.

• Resultaat: De robot kon rechtdoor lopen en zelfs trappen aflopen, zelfs toen onderzoekers expres een motor "kapot" maakten (door hem vast te zetten of de stroom eraf te halen).
• De magie: De robot viel niet. Hij paste zijn gang direct aan, zoals een mens die op één been zou huppelen om niet te vallen.

Waarom is dit belangrijk?

Tot nu toe waren robots heel kwetsbaar. Als er iets misging, was het gedaan. TOLEBI laat zien dat robots veerkrachtig kunnen zijn. Het is een enorme stap naar robots die echt veilig en betrouwbaar kunnen werken in onze huizen of op de bouwplaats, waar onverwachte dingen kunnen gebeuren.

Kortom: TOLEBI is de kunst van het "leren vallen zonder te breken". Het leert robots dat fouten maken oké is, zolang ze maar weten hoe ze er weer bovenop moeten komen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TOLEBI: Learning Fault-Tolerant Bipedal Locomotion via Online Status Estimation and Fallibility Rewards" in het Nederlands.

1. Het Probleem

Binnen de robotica, en specifiek voor humanoïde robots met twee benen, is het besturen van loopbewegingen (locomotie) onder onverwachte storingen een kritieke uitdaging. Hoewel versterkingslering (Reinforcement Learning - RL) succesvol is toegepast voor het genereren van robuuste loopstrategieën, missen bestaande methoden vaak de capaciteit om hardware-fouten tijdens de operatie te hanteren.

• Kwetsbaarheid: In tegenstelling tot viervoeters (quadrupeds), waarbij het falen van één poot vaak nog stabiliteit biedt, kan het falen van één been bij een bipedale robot leiden tot onmiddellijk verlies van balans en vallen.
• Black-box karakter: Lerende algoritmen hebben vaak een "black-box" karakter, wat het voorspellen van gedrag bij onbekende data (zoals nieuwe hardware-fouten) moeilijk maakt.
• Bestaande beperkingen: Bestaande fault-tolerant methoden zijn vaak model-gebaseerd (vereisen handmatige modellering van fouten) of gericht op viervoeters. Deze zijn niet direct toepasbaar op bipedale systemen of kunnen niet omgaan met onvoorspelbare situaties in de echte wereld.

2. Methodologie: TOLEBI

Het paper introduceert TOLEBI (a faulT-tOlerant Learning framEwork for Bipedal locomotIon), een framework dat versterkingslering combineert met online statusschatting om robuuste loopstrategieën te leren die bestand zijn tegen motorstoringen.

Kerncomponenten van het framework:

• Reinforcement Learning (PPO): Het systeem gebruikt Proximal Policy Optimization (PPO) in de Isaac Gym-simulatieomgeving. De agent leert een beleid ($\pi$) om de verwachte beloning te maximaliseren.
• Motorstoringen Simulatie: Tijdens het trainen worden twee soorten storingen gesimuleerd door actiemarkering (masking):
  1. Joint Locking (Vastlopen): De motor wordt vastgezet op de huidige positie (geen beweging mogelijk).
  2. Power Loss (Stroomuitval): De motor kan geen koppel genereren (vrij draaiend, maar geen kracht).
  • 90% van de trainingsomgevingen krijgt willekeurig een storing toegewezen.
• Online Joint Status Estimator:
  • Een GRU (Gated Recurrent Unit) netwerk wordt online getraind parallel aan het beleidsnetwerk.
  • Deze schatter analyseert proprioceptieve waarnemingen (gevoel van de robot zelf) om te voorspellen welke gewrichten defect zijn.
  • De geschatte status wordt toegevoegd aan de waarnemingstoestand ($s_t$), zodat het beleid zijn commando's kan aanpassen op basis van de gezondheid van de motoren zonder extra trainingsfasen.
• Curriculum Learning: In plaats van de robot direct bloot te stellen aan alle storingen, wordt de complexiteit geleidelijk opgebouwd:
  1. Eerst leren op een gezonde robot (nominaal lopen).
  2. Zodra de robot stabiel loopt (>20s), worden motorstoringen geïntroduceerd.
  3. Bij verdere stabiliteit (>24s) worden externe verstoringen (duwen) toegevoegd.
• Fallibility Rewards (Fouttolerante Beloningen): Een cruciaal innovatief onderdeel van de beloningsfunctie ($r_{fall}$):
  • Traject-nabootsing: Straft afwijkingen van de normale loopbaan, zelfs bij storingen, om een "knielende" of onnatuurlijke gang te voorkomen.
  • Contactkracht-tracking: Moedigt aan om de referentie-voetcontactkracht te volgen. Dit voorkomt dat de robot te vroeg of te hard landt op een gewicht, wat valpartijen zou veroorzaken.
  • Fase-modulatie: De actie-ruimte bevat een parameter om de loopfase ($\phi$) dynamisch aan te passen, waardoor de robot de loopcyclus kan verkorten of verlengen om stabiliteit te behouden bij een defect been.
• Sim-to-Real Transfer: Om de overgang naar de echte wereld mogelijk te maken, worden Domein- en Dynamische Randomisatie toegepast (variatie in massa, wrijving, vertragingen, sensorruis en duwkrachten).

3. Belangrijkste Bijdragen

1. Eerste leer-gebaseerde framework voor bipedale fault-tolerantie: Dit is het eerste werk dat een leer-gebaseerde aanpak presenteert voor het hanteren van hardware-fouten specifiek voor humanoïde robots in real-world omgevingen.
2. Online Statusschattingsmodule: Integratie van een online getrainde schatter die de gezondheid van gewrichten in realtime infereert en direct gebruikt als input voor het loopbeleid.
3. Fallibility Rewards: Een nieuwe beloningsstructuur die specifiek is ontworpen om de impact van storingen te mitigeren (zoals verminderen van impulsieve krachten bij contact) terwijl een natuurlijke loopstijl behouden blijft.
4. Curriculum Learning Strategie: Een gestructureerde trainingsaanpak die de agent eerst basisvaardigheden laat aanleren voordat storingen worden geïntroduceerd, wat stabiliteit garandeert.

4. Resultaten

De methoden zijn getest op de humanoïde robot TOCABI in zowel simulatie (Isaac Gym/MuJoCo) als in real-world experimenten.

• Simulatie Resultaten:
  • De volledige TOLEBI-methode bereikte een succespercentage van 81,27% bij gewrichtsvergrendeling en 52,67% bij stroomuitval.
  • Dit is een aanzienlijke verbetering ten opzichte van een baseline (zonder storingstraining) en een versie zonder curriculum/fallibility rewards.
  • Bijvoorbeeld: Bij "knee pitch" locking (knie vastlopen) bereikte de baseline 0% succes, terwijl TOLEBI 81,30% haalde.
• Ablatie Studies:
  • Het verwijderen van de "joint status observation" leidde tot een drastische prestatiedaling, wat aantoont dat het weten van de status van de motor essentieel is.
  • Het verwijderen van de "fallibility rewards" resulteerde in minder robuust gedrag en instabiele contactkrachten.
  • Zonder fase-modulatie kon de robot de loopcyclus niet aanpassen, wat leidde tot slechte prestaties.
• Real-World Validatie:
  • Lopen op vlakke grond: De robot kon stabiel lopen met een snelheid van 0,3 m/s, zelfs bij vastzittende gewrichten of stroomuitval.
  • Trappen afdalen: De robot slaagde erin 9 cm hoge trappen af te dalen onder storingen, zonder dat er specifieke training voor trappen was gedaan (generalisatie).
  • De robot behield stabiele lineaire en hoeksnelheid-tracking, zelfs bij storingen.

5. Betekenis en Conclusie

TOLEBI markeert een doorbraak in de robuuste besturing van humanoïde robots. Het bewijst dat het mogelijk is om versterkingslering toe te passen in real-world scenario's waarbij hardware-fouten onvermijdelijk kunnen optreden, zonder dat de robot direct valt.

• Praktische Toepassing: Het framework maakt humanoïde robots veiliger en betrouwbaarder voor toepassingen in ongestructureerde omgevingen (bijv. reddingsoperaties, industriële inspectie) waar storingen kunnen optreden.
• Wetenschappelijke Impact: Het paper overbrugt de kloof tussen theoretische fault-tolerant control en praktische, leer-gebaseerde implementatie. Het toont aan dat door het combineren van online statusschatting, curriculum learning en specifieke beloningen, de "black-box" aard van RL kan worden verzacht om veilige, adaptieve systemen te creëren.

Kortom, TOLEBI biedt een bewezen, leer-gebaseerde oplossing voor het behoud van balans en voortbeweging bij bipedale robots, zelfs wanneer onderdelen falen.