🤖 machine learning

Learning Fault-Tolerant Locomotion with Adaptive Gait Timing

Dit artikel presenteert een deep reinforcement learning-framework dat een viervoetige robot van 68 kg in staat stelt om stabiele voortbeweging te behouden bij verlies van vermogen in de actuatoren door gebruik te maken van een asymmetrische actor-critic-architectuur met latente uitlijning en een leerbare gangfrequentieparameter om de coördinatie adaptief te reorganiseren zonder vooraf gedefinieerde foutstrategieën.

Oorspronkelijke auteurs: Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

Gepubliceerd 2026-08-10

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen stijve, lompe machines zijn die stoppen met werken zodra ze struikelen of een onderdeel breken. Stel je in plaats daarvan robots voor als veerkrachtige atleten, die in staat zijn om te struikelen, te beseffen dat een spier zwak is, en direct een nieuwe manier te bedenken om te rennen zonder om te vallen. Dit is de droom van "legged robotics", een vakgebied waar wetenschappers machines met poten — zoals honden of paarden — leren om door rommelige, echte plekken te lopen, zoals puin, bossen of ongelijke stadswegen. De grote uitdaging? Wanneer de motor van een robothoofdtje faalt (misschien verliest hij vermogen of komt hij vast te zitten), kan de robot niet gewoon doorgaan met wat hij aan het doen was. Hij moet zijn hele lichaam reorganiseren, zijn gewicht verplaatsen en de manier waarop hij stapt veranderen, allemaal in een fractie van een seconde. Dit is vooral moeilijk voor zware robots; in tegenstelling tot een kleine speelgoedrobot die wild kan stuiteren om een fout te herstellen, is een zware robot als een sumo worstelaar die probeert te dansen. Als hij te snel of te agressief beweegt, kan hij omvallen. Dus, de vraag wordt: hoe leren we een zware robot een gracieuze, adaptieve danser te zijn, zelfs wanneer een van zijn poten gewond is?

Dit artikel presenteert een slimme oplossing met behulp van een type kunstmatige intelligentie dat "deep reinforcement learning" wordt genoemd. Denk hierbij aan een methode voor het trainen van videogames waarbij de robot leert door middel van trial-and-error, maar dan met een speciale twist. De onderzoekers leerden een 68 kg zware viervoetige robot (genaamd Kyon) om te blijven lopen, zelfs wanneer een van zijn motoren plotseling al zijn vermogen verloor. Ze zeiden de robot niet simpelweg: "Als je linkerpoot breekt, doe dan X." In plaats daarvan lieten ze de robot het zelf uitzoeken. Het geheime ingrediënt was een trainingsopstelling waarbij het "brein" van de robot (de actor) moest raden wat er mis was op basis van alleen hoe zijn lichaam voelde (proprioceptie), terwijl zijn "coach" (de critic) tijdens de oefening de exacte waarheid kende. Door het brein te dwingen om de kennis van de coach na te bootsen, leerde de robot zijn eigen blessures af te leiden door simpelweg te voelen aan de veranderingen in zijn bewegingen.

Het team ontdekte dat het simpelweg vertellen van de robot waar hij zijn voeten moest plaatsen, niet genoeg was. Ze voegden een speciale "gait frequency" knop toe aan de besturing van de robot, waardoor hij het ritme van zijn stappen on the fly kon versnellen of vertragen. Dit bleek een gamechanger te zijn. Wanneer een poot faalde, liep de robot niet alleen mank; hij paste zijn timing dynamisch aan, waarbij hij soms overschakelde naar een driepotige tred of zijn staplengte veranderde om in balans te blijven. Ze testten dit in hoogwaardige simulaties op hobbelig, getrapt terrein en zelfs op een echte, vlakke vloer met de daadwerkelijke 68 kg zware robot. De resultaten lieten zien dat de robot plotselinge motorfalingen kon overleven, waarbij hij zijn evenwicht behield en bleef bewegen zonder dat er een vooraf geprogrammeerd "blessureplan" nodig was.

Hier is hoe de magie werkt, uitgelegd aan de hand van alledaagse concepten:

Het "Leraar-Leerling" spel
Stel je voor dat je leert fietsen met zijwieltjes, maar je leraar kan een verborgen kaart van de weg zien die jij niet kunt zien. In de methode van dit artikel is de "critic" de leraar die alles ziet: de exacte positie van de robot, het terrein en zelfs welke motor kapot is. De "actor" is de leerling die alleen de wind en het stuur voelt (de sensoren van de robot). Tijdens de training begeleidt de leraar de leerling, maar de leerling moet leren om te raden wat de leraar ziet door simpelweg de fiets te voelen. De onderzoekers voegden een speciale regel toe: de "gok" van de leerling (een verborgen mentale kaart) moet zo goed mogelijk overeenkomen met de kaart van de leraar. Dit dwingt de robot om extreem gevoelig te worden voor de kleine veranderingen in zijn eigen lichaam die een defecte motor signaleren, waardoor hij kan reageren zonder ooit te horen: "Hé, je poot is kapot!"

Het Adaptieve Ritme
De meeste robots lopen volgens een strikte maat, zoals een fanfare. Als een poot breekt, probeert een robot met een fanfare-ritme misschien dezelfde maat aan te houden, wat meestal tot een crash leidt. De robot uit dit artikel leerde echter een jazzdrummer te zijn. De onderzoekers gaven de robot een "gait frequency" actie, wat een soort volumeknop is voor zijn stapsnelheid. Wanneer de robot een probleem detecteerde (zoals een motor die vermogen verloor), raakte hij niet in paniek; hij paste zijn tempo aan. Als hij op één poot stond (single support), versnelde hij zijn ritme om de volgende voet snel neer te zetten. Als hij op twee poten stond (double support), vertraagde hij om stabieler te zijn. Deze flexibiliteit stelde de zware robot in staat om zijn gewicht veilig te herverdelen, iets waar rigide, vooraf geprogrammeerde robots vaak falen.

De Zwaregewicht Uitdaging
Waarom is dit belangrijk voor een 68 kg zware robot? Het artikel wijst erop dat zware robots anders zijn dan de kleine robots die vaak in laboratoria te zien zijn. Een kleine robot kan snel stuiteren en herstellen, maar een zware robot heeft meer momentum en striktere limieten voor hoeveel kracht zijn motoren kunnen weerstaan. Als een zware robot een plotselinge, agressieve correctie probeert te maken, kan hij zijn eigen gewrichten breken of omvallen. De onderzoekers ontdekten dat de "agressieve" strategieën die werken voor kleine bots, niet opschalen. In plaats daarvan was de sleutel "adaptive gait timing". Door de robot te laten veranderen wanneer hij stapt, in plaats van alleen waar, kon hij stabiliteit behouden zonder een superheld te hoeven zijn.

Wat ze vonden (en wat ze niet vonden)
De experimenten, uitgevoerd in een supernauwkeurige computersimulatie en op een echte robot, lieten zien dat deze methode werkt. De robot kon plotseling vermogensverlies in elk van zijn 12 gewrichten aan. Interessant genoeg ontdekte de robot dat defecten in de kniegewrichten het moeilijkst waren om mee om te gaan, wat hem vaak dwong om over te schakelen op een driepotige "tripod" loop. De onderzoekers testten ook hoeveel "geheugen" de robot nodig had. Ze kwamen tot de conclusie dat het terugkijken naar slechts een paar stappen in het verleden (een geschiedenis van 3 stappen) voldoende was voor de robot om te begrijpen wat er mis was; verder terugkijken hielp niet veel meer.

Er zijn echter grenzen aan dit succes. De robot werd getest op vlakke grond in de echte wereld en op ongelijkmatig, getrapt terrein in de simulatie. De robot had geen camera of LiDAR om de grond te "zien" tijdens de tests in de echte wereld; hij vertrouwde volledig op zijn interne sensoren en een vooraf geladen kaart van de terreinhoogte. Het artikel suggereert dat het toevoegen van een echt waarnemingssysteem (zoals een camera) om de grond in realtime te zien de volgende logische stap zou zijn, maar dat maakte geen deel uit van deze specifieke studie. Ook al overleefde de robot de val en bleef hij doorlopen, de studie richtte zich op locomotie (het lopen), niet op hoe de robot weer op moet staan als hij daadwerkelijk valt.

Kortom, dit artikel suggereert dat door robots te leren om naar hun eigen lichaam te "luisteren" en hun loopritme on the fly aan te passen, we zware, praktische robots kunnen maken die robuust genoeg zijn om met defecte onderdelen om te gaan zonder dat er een handmatige override nodig is. Het is een stap richting machines die niet alleen bevelen opvolgen, maar zich aanpassen zoals levende wezens wanneer er dingen misgaan.

Technische Samenvatting: Leren van Faaltolerante Lokomotie met Adaptieve Gangsturing

Probleemstelling
Gelede robots die worden ingezet in ongestructureerde omgevingen lopen een hoog risico op hardwarefouten, zoals het verlies van vermogen in actuatoren of het blokkeren van gewrichten. Hoewel diep Reinforcement Learning (RL) veelbelovend is gebleken voor faaltolerante controle, kampen bestaande benaderingen met twee primaire beperkingen bij het opschalen naar zwaardere platformen (bijv. 68 kg quadrupeden). Ten eerste vertrouwen veel methoden op vooraf gedefinieerde ganggeneratoren of specifieke strategieën voor defecte poten, wat de capaciteit van de policy beperkt om de resterende aandrijvingsmogelijkheden volledig te benutten en aan te passen aan complex terrein. Ten tweede zijn de meeste experimentele validaties beperkt tot kleine robots op vlak of licht ongelijk terrein. Zwaardere robots bezitten een grotere massa en traagheid, wat dynamische koppeling versterkt en de aandrijvingsmarges verkleint, waardoor agressieve, hoogfrequente compensatiestrategieën minder haalbaar zijn. Bijgevolg is er behoefte aan een controlepolicy die autonoom de coördinatie en gangtiming kan reorganiseren onder actuatordegradatie zonder te vertround op expliciete kennis van de fout of vooraf gedefinieerde herstelstrategieën.

Methodologie
De auteurs stellen een diep RL-framework voor gebaseerd op een asymmetrische actor-critic architectuur, getraind met Proximal Policy Optimization (PPO). Het kerndoel is om een robot in staat te stellen stabiliteit en mobiliteit te behouden bij plotseling verlies van vermogen in een actuator op ongelijk terrein.

Asymmetrische Actor-Critic met Latente Uitlijning: De training maakt gebruik van geprivilegieerde informatie (inclusclusief de grondwaarheid van de gewrichtsfoutmasker en ruisvrije terreindata) die alleen beschikbaar is voor de critic. De actor, die dient als de inzetbare controller, ontvangt alleen proprioceptieve observaties en een geschiedenis van eerdere toestanden. Om de kloof tussen de geprivilegieerde critic en de proprioceptieve actor te overbruggen, introduceren de auteurs een hulpmatige latente uitlijningsverlies (latent-alignment loss). Deze loss stimuleert de encoder van de actor om een latente representatie van de geprivilegieerde informatie te reconstrueren uit de proprioceptieve geschiedenis, waardoor de actor leert om foutcondities impliciet af te leiden.
Adaptieve Gangsturing (Adaptive Gait Timing): In tegenstelling tot traditionele benaderingen die alleen gewrichtspositiedoelen produceren, wordt de actieruimte uitgebreid met een leerbare gangfrequentieparameter ( $a^\nu_t$ ). Deze scalaire actie moduleert de stapfrequentie van een referentiegangpatroon. Dit stelt de policy in staat om autonoom de staptiming en contactplanning te reguleren als reactie op terreinvariaties en actuatordegradatie, in plaats van vast te houden aan een vaste gangcyclus.
Observatie- en Actieruimte: De policy werkt op 50 Hz en produceert gewrichtshoekafwijkingen en de gangfrequentieterm. De observatieruimte bevat proprioceptieve data (gewrichtshoeken, snelheden, basisnelheid, vorige acties) en terreinhoogtekaarten. Cruciaal is dat de actor een geschiedenis van $H$ proprioceptieve observaties verwerkt om de systeemtoestand af te leiden.
Trainingscurriculum: De training maakt gebruik van een curriculumstrategie waarbij de ernst van de fout (gemodelleerd als schaling van het koppel-efficiëntie) progressief wordt verhoogd op basis van de trackingprestaties van de policy. Dit zorgt ervoor dat de agent eerst leert om partiële defecten te hanteren voordat hij volledige vermogensuitval tegenkomt.

Belangrijkste Bijdragen

Foutbewuste Lokomotie vanuit Foutonbewuste Sensoren: Het artikel presenteert een eenfasige trainingsprocedure waarbij een latente uitlijningsverlies de actor in staat stelt om geprivilegieerde foutrepresentaties te reconstrueren uitsluitend uit de proprioceptieve geschiedenis, waardoor de noodzaak voor expliciete foutschattingsmodules of grondwaarheid-foutlabels tijdens de inzet wordt geëlimineerd.
Adaptieve Gangsturing: Door de actieruimte uit te breiden met een leerbare gangfrequentie, stelt de methode de robot in staat om de staptiming dynamisch te moduleren. Dit stelt de robot in staat om de contactplanning aan te passen aan foutcondities en terreingeometrie zonder vooraf gedefinieerde strategieën voor defecte poten.
Analyse van Proprioceptieve Geschiedenis: Het werk onderzoekt de impact van de lengte van de observatiegeschiedenis op het vermogen van de policy om fouten af te leiden, en demonstreert dat een korte geschiedenis voldoende is voor effectieve latente reconstructie.
Sim-to-Real Validatie op Zware Platformen: De aanpak wordt gevalideerd in een high-fidelity simulatie op ongelijk terrein en door real-world experimenten op een 68 kg zware quadruped (Kyon), waarmee de schaalbaarheidsuitdagingen die vaak over het hoofd worden gezien bij studies met kleinere robots, worden aangepakt.

Experimentele Resultaten
De voorgestelde methode werd geëvalueerd tegen verschillende baselines, waaronder een "Oracle" (volledige toegang tot geprivilegieerde informatie), een versie zonder latente uitlijning, en een versie zonder observatiegeschiedenis.

Simulatieprestaties: De volledige voorgestelde methode behaalde prestaties die het dichtst bij de Oracle lagen en presteerde significant beter dan varianten zonder latente uitlijning of observatiegeschiedenis. De policy demonstreerde robuustheid tegen willekeurig verlies van vermogen in de actuatoren over verschillende gewrichten (hip roll, hip pitch, knee pitch) en beenposities.
Generalisatie: In Sim-to-Sim tests met de XBot2 middleware om real-world communicatievertragingen na te bootsen, generaliseerde de policy naar ongeziene terreinprofielen, inclus overlappingen van nieuwe trapdimensies en hellingen met gradiënten tot 13°.
Real-World Validatie: Zero-shot sim-to-real transfer werd gedemonstreerd op vlakke grond. De 68 kg zware Kyon behield succesvol de lokomotie en herstelde de stabiliteit na een plotseling vermogensverlies in het achterste linker knie-pitch gewricht.
Ablatie-studies:
- Geschiedenislengte: Het vergroten van de proprioceptieve geschiedenis van $H=1$ naar $H=2$ leverde de meest significante prestatiewinst op, met afnemende meeropbrengsten boven $H=3$ .
- Gangfrequentie: Vergelijkingen met een "free-gait" controller (die alleen gewrichtsposities uitvoert) toonden aan dat de leerbare frequentieparameter resulteerde in stabielere, periodieke gangpatronen en gladdere gewrichtsacceleraties, met name tijdens de single-support fasen onder foutcondities.

Betekenis en Claims
Het artikel claimt dat voor zwaardere gelede robots de snelle, reactieve strategieën die effectief zijn op lichtere platformen vaak onhaalbaar zijn vanwege striktere aandrijvingslimieten en sterkere dynamische koppeling. Daarom wordt adaptieve gangsturing gepresenteerd als een cruciaal mechanisme voor faaltolerantie onder gedegradeerde aandrijving. Door gebruik te maken van terreininformatie en de gangfrequentie te moduleren, bereikt de voorgestelde policy robuuste lokomotie zonder afhankelijk te zijn van restrictieve beloningsvormgeving (reward shaping) of vooraf gedefinieerde foutstrategieën. Het werk demonstreert dat een enkele policy effectief foutcondities kan identificeren en de coördinatie kan reorganiseren, waarmee de kloof tussen simulatie en realiteit wordt overbrugd voor middelzware tot zware quadrupeden in ongestructureerde omgevingen. Toekomstig werk richt zich op de integratie van on-board perceptie voor terreinreconstructie en het uitbreiden van het framework naar val-herstel en hybride wiel-been systemen.

Meer zoals dit