Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion

Technische Samenvatting: Mixture-of-Experts RL voor Fouttolerante Geknikte Locomotie

Probleemstelling
Geknikte robots zijn steeds belangrijker voor planetaire exploratie en afgelegen operaties vanwege hun vermogen om ongestructureerd terrein te doorkruisen. Lange termijn inzet in deze omgevingen stelt hardware echter bloot aan degradatie en defecten aan actuatoren, wat de mobiliteit ernstig kan compromitteren. Hoewel Reinforcement Learning (RL) robuustheid heeft aangetoond voor geknikte locomotie, worstelen conventionele monolithische policies met het efficiënt representeren van de diverse besturingsstrategieën die vereist zijn voor verschillende foutcondities. Een enkel netwerk dat probeert terreinperceptie, standaard locomotie en meerdere distinctieve herstelgedragingen bij fouten te coderen, lijdt vaak aan representatieve interferentie en verminderde leer-efficiëntie, vooral naarmate de taakcomplexiteit toeneemt.

Methodologie
De auteurs stellen een foutbewuste modulaire controlearchitectuur voor die expliciet gebruikmaakt van foutdiagnose-informatie om gespecialiseerde controle-experts te activeren. In tegenstelling tot standaard Mixture-of-Experts (MoE) benaderingen die vertrouwen op een geleerd gating-netwerk om de operationele modus af te leiden, gebruikt dit framework expliciete foutinformatie om de juiste expert te selecteren.

De controle-pipeline bestaat uit drie hoofdonderdelen:

1. Foutbewuste Mixture-of-Experts Policy: Het policy-netwerk maakt gebruik van een gedeelde encoder om proprioceptieve observaties (lineaire/angulaire basissnelheden, zwaartekrachtprojectie, gewrichtsposities/snelheden) en visuele terreinhoogtekaarten te verwerken. In plaats van een geleerd routingsmechanisme gebruikt het systeem een one-hot selectiemechanisme gebaseerd op de gediagnosticeerde foutconditie $k$. Dit activeert een specifieke expert $\pi_k$ die is afgestemd op die specifieke foutmodus, terwijl andere experts inactief blijven. Dit ontwerp vermindert de actieve inferentiekosten ($C_{active} = C_{enc} + C_k$) vergeleken met dense routing ($C_{dense} = C_{enc} + \sum C_k$).
2. Toestandschatting: Om de breuk van modelgebaseerde aannames tijdens ernstige defecten (bijv. het slepen van het lichaam) op te vangen, gebruikt het framework een op leren gebaseerde toestandsschatter. Dit neurale netwerk voorspelt de lineaire basissnelheid direct vanuit sensorobservaties (inclusief IMU-versnelling) zonder te vertrouwen op expliciete contactmodellering, waardoor dynamische veranderingen veroorzaakt door actuatordefecten kunnen worden opgevangen.
3. Foutdetectie: Een toegewezen neuraal netwerk ($f_{fault}$) wordt getraind als een supervised learning-probleem om de huidige actuatordefectconditie te identificeren vanuit een temporeel venster van de proprioceptieve historie. Dit module levert de categorische distributie van de fouttoestanden die wordt gebruikt om de corresponderende expert te triggeren.

Het systeem werd getraind met Proximal Policy Optimization (PPO) binnen het IsaacLab-framework op een Unitree Go2 robot. De beloningsfunctie bevat taakgerichte doelstellingen (snelheidsvolging, basishoogte/oriëntatie) en regularisatietermen (gewrichtsenergie, vloeiendheid). Cruciaal is dat specifieke beloningstermen dynamisch worden geactiveerd of gedeactiveerd op basis van het aantal defecte poten ($n_f$) om de leerdoelstelling aan te passen aan de ernst van de fout.

Belangrijkste Bijdragen

• Foutbewuste MoE Policy: De voorstel van een modulair RL-framework waarbij gespecialiseerde experts expliciet worden geconditioneerd op gediagnosticeerde actuatordefecten, waardoor de noodzaak voor een geleerd routingfunctie wordt geëlimineerd en conditionele berekening mogelijk wordt gemaakt.
• Efficiëntie onder beperkingen: Een evaluatie die aantoont dat modulaire policies competitieve locomotieprestaties behouden, zelfs met aanzienlijk verminderde netwerkcapaciteit (Small varianten), waarbij ze monolithische baselines van vergelijkbare grootte overtreffen.
• Reproduceerbaarheid: De release van de bijbehorende code om een reproduceerbare baseline voor de gemeenschap te bieden.

Resultaten
Experimenten werden uitgevoerd in simulatie en op een fysieke Unitree Go2 robot over vier scenario's: Geen Fout, Links-Voor (LF) Fout, Links-Achter (LH) Fout, en gelijktijdige Links-Achter + Rechts-Achter (LH+RH) Fout.

• Prestatievergelijking: De voorgestelde MoE-architectuur presteerde consistent beter dan de monolithische PPO-baselines in alle foutscenario's. Hoewel de prestaties vergelijkbaar waren onder nominale condities, werd het voordeel van de MoE-benadering steeds duidelijker naarmate de ernst van de fout toenam. In het meest ernstige scenario (LH+RH Fout), waarbij locomotie vereist dat er gedrag wordt vertoond dat afwijkt van standaard trottelen (zoals slepen), behaalde de MoE-policy aanzienlijk hogere cumulatieve beloningen.
• Gevoeligheid voor Netwerkcapaciteit: Wanneer de netwerkcapaciteit werd verminderd (van Large naar Small architecturen), leed de monolithische baseline onder significante prestatiedegradatie. In contrast hiermee behield de MoE-architectuur een robuuste prestatie, waarbij de "Small" variant resultaten behaalde die vergelijkbaar zijn met de "Large" monolithische baseline. Dit suggereert dat gestructureerde specialisatie effectief leren mogelijk maakt, zelfs met minder actieve parameters.
• Validatie in de echte wereld: Het framework werd succesvol ingezet op een fysieke robot, waarbij succesvolle traversie van rotsachtig terrein werd gedemonstreerd in nominale condities, drie-benige locomotie (LH Fout), en twee-benige slepende locomotie (LH+RH Fout).

Betekenis en Beperkingen
Het artikel stelt dat expliciete foutgeconditioneerde specialisatie een superieur alternatief biedt voor het simpelweg vergroten van de modelgrootte voor fouttolerante locomotie. De architectuur is bijzonder significant voor rekenkracht-beperkte robotplatforms, zoals die gebruikt worden in ruimteverkenning, waar onboard middelen beperkt zijn. Door foutspecifieke gedragingen te ontkoppelen in toegewezen experts, bereikt het systeem een hoge robuustheid zonder de computationele overhead van een massief monolithisch netwerk.

De auteurs erkennen bescheiden een beperking met betrekking tot sample-efficiëntie. Omdat expert-netwerken niet alle parameters delen, zijn de policy-gradient schattingen ruiziger, aangezien elke expert alleen wordt bijgewerkt op trajecten van zijn specifieke foutconditie. Hoewel de huidige experimenten (gebruikmakend van ~4.096 agenten per foutconditie) voldoende waren, kan het opschalen naar een groter aantal foutcondities extra simulatieomgevingen of meer geavanceerde parameter-sharing strategieën vereisen.