Technische Samenvatting: Efficiënt Leren van Robuuste Torque-gebaseerde Locomotie door Reinforcement met Model-gebaseerde Supervisie

Probleemstelling

Het leren van effectieve torque-gebaseerde locomitie-policies voor bipedale robots blijft een aanzienlijke uitdaging. Hoewel torque-controle responsieve en compliant gedrag mogelijk maakt, vereist het een nauwkeurige omgang met complexe, niet-lineaire dynamica. Directe policy-lering op torque-niveau is bijzonder moeilijk in de aanwezigheid van real-world onzekerheden, zoals contactonzekerheid, sensorruis, actuatievertragingen en niet-gemodelleerde dynamica (bijv. gewrichtsfrictie, structurele flexibiliteit).

Traditionele model-gebaseerde controlemethoden (bijv. DCM-trajectplanning met Whole-Body Control) vertrouwen op nauwkeurige systeemmodellen. De prestaties hiervan nemen echter af wanneer de discrepanties tussen het model en het fysieke systeem substantieel worden. Daartegenover staan puur data-gedreven Deep Reinforcement Learning (DRL) benaderingen die, hoewel robuust tegen modelleringsfouten via domain randomization, vaak lijden onder data-inefficiëntie, gevoeligheid voor reward-ontwerp en een gebrek aan interpreteerbaarheid of veiligheidsgaranties. Bestaande hybride strategieën vertrouwen vaak uitsluitend op reward-signalen, wat uitgebreide trial-and-error iteraties vereist en beperkte sturing biedt tijdens de training.

Methodologie

De auteurs stellen een controleframework voor dat model-gebaseerde bipedale locomtie integreert met residual reinforcement learning (RL), versterkt door een nieuwe model-gebaseerde supervisie-mechanisme. De architectuur bestaat uit drie primaire componenten:

1. Base Policy ($\pi_b$): Een model-gebaseerde controller bestaande uit een Divergent Component of Motion (DCM) trajectplanner en een inverse dynamics-gebaseerde Whole-Body Controller (WBC). Deze policy opereert onder een onnauwkeurig dynamica-model en ruisige state-observaties, en dient als een betrouwbare maar imperfect fundament.
2. Oracle Policy ($\pi^*$): Een model-gebaseerde controller met "geprivilegieerde" toegang tot grondwaarheid-systeeminformatie, inclusief exacte robotdynamica, de ware staat (ruisvrij) en motorparameters (bijv. actuatievertragingen, efficiëntie). Deze policy genereert ideale corrigerende acties onder gerandomiseerde condities, maar wordt alleen tijdens de training gebruikt als supervisor.
3. Residual RL Policy ($\pi_r$): Een leerbare policy getraind via Proximal Policy Optimization (PPO) om residual torque-commando's te genereren die de imperfecties van de Base Policy compenseren.

Belangrijke Technische Componenten:

• Domain Randomization: De trainingsomgeving randomiseert sensorruis, robotdynamica (massa, frictie, demping, motorefficiëntie) en omgevingsfactoren (vloerfrictie, oneffenheid) om de policy bloot te stellen aan real-world variabiliteit.
• Supervised Reinforcement Learning: In tegenstelling tot standaard RL dat uitsluitend vertrouwt op reward shaping, introduceert dit framework een supervised loss term ($L_{sup}$). De residual policy wordt expliciet gestuurd om de corrigerende acties van de Oracle policy na te bootsen.
  • De totale loss is een gewogen som: $L_{total} = \omega_{rl} L_{rl} + \omega_{sup} L_{sup}$.
  • De supervised loss moedigt de policy aan om een hoge waarschijnlijkheid toe te kennen aan de residual actie van de Oracle ($\tau^*_t - \tau^b_t$).
• Observation Space: De policy maakt gebruik van een recurrent neuraal netwerk (LSTM) om een historie van ruisige observaties (gewrichtstoestanden, base policy torques, tracking errors) te verwerken. Het critic-netwerk maakt daarnaast gebruik van geprivilegieerde observaties (ware toestanden, Oracle torques) voor een nauwkeurigere waarde-estimatie tijdens de training.

Belangrijkste Bijdragen

Het paper schetst vier primaire bijdragen:

1. Geïntegreerd Controleframework: Een nieuwe architectuur die de gestructureerde betrouwbaarheid van model-gebaseerde controle combineert met de adaptiviteit van residual RL om modelleringsonnauwkeurigheden te mitigeren.
2. Model-gebaseerde Oracle Policy: De introductie van een Oracle policy die gebruikmaakt van geprivilegieerde informatie om nabij-optimale controle-signalen te genereren, dienend als supervisor voor het leerproces.
3. Supervised RL Objective: Een trainingsframework dat Oracle-acties incorporeert in een supervised loss, wat de standaard RL-objective complementeert om de leer-efficiëntie te verbeteren zonder uitsluitend te vertrouwen op reward shaping.
4. Cross-Platform Validatie: Uitgebreide evaluaties op drie verschillende bipedale robots (Kangaroo, Unitree H1-2, en Bruce), die robuustheid en generalisatie over verschillende hardwareplatforms demonstreren zonder specifieke parameter-tuning.

Resultaten

De methode werd geëvalueerd op de Kangaroo, Unitree H1-2, en Bruce robots onder uitgebreide domain randomization ($\beta=1$).

• Prestaties vs. Baselines:
  • Oracle (O): Bereikte een succespercentage van 100% over alle platforms met minimale tracking errors, wat de rol als effectieve supervisor valideert.
  • Base Policy (B): Faalde volledig (0% succes) onder de vorm van de randomisatie, wat de broosheid van standaard model-gebaseerde controle zonder adaptatie benadrukt.
  • Standaard Residual RL (ResRL): Toonde zwakke prestaties (0-10% succes), waarbij het moeite had om torque-gebaseerde locomtie te leren zonder expliciete sturing.
  • Imitation Learning (IL): Presteerde goed op Kangaroo (70-100% succes), maar worstelde op Bruce (80% succes), wat wijst op een gevoeligheid voor de betrouwbaarheid van de Oracle in specifieke dynamische regimes.
  • Voorgestelde Methode (BOR - Base + Oracle Residual): Bereikte 100% succes op Kangaroo en H1-2, en 80% op Bruce. Het presteerde significant beter dan standaard ResRL en pure IL, en benaderde het niveau van de Oracle in DCM en voet-tracking.
• Robuustheid tegen Onzekerheid: Wanneer getest met variërende niveaus van randomisatie ($\beta \in [0.1, 0.7]$), behield de voorgestelde methode een succespercentage van 100%, terwijl de standaard Model-Based Controller (MBC) significant faalde naarmate de onzekerheid toenam.
• Leer-efficiëntie: De supervised aanpak convergeerde naar een succespercentage van meer dan 80% in slechts 1.500 episodes (ongeveer 4,16 uur simulatietijd), terwijl standaard residual RL onder dezelfde condities weinig progressie vertoonde.
• Generalisatie: Het framework slaagde er succesvol in om te transfereren naar oneffen terrein en verschillende robot-morfologieën zonder her-tuning, wat het vermogen demonstreert om adaptieve gedragingen te leren die verder gaan dan eenvoudige imitatie van de Oracle.

Betekenis en Claims

Het paper claimt dat deze aanpak effectief de kloof overbrugt tussen model-gebaseerde controle en data-gedreven RL. Door model-gebaseerde priors te integreren met data-gedreven adaptatie, biedt de methode een schaalbare oplossing voor sim-to-real transfer in bipedale locomtie.

De auteurs benadrukken dat het framework de leer-efficiëntie en robuustheid verbetert door de Oracle te gebruiken om de policy te sturen naar corrigerende gedragingen zonder uitgebreide reward engineering. Zij merken op dat hoewel de Oracle een sterk supervisie-signaal biedt, de RL-component cruciaal is voor het verkennen van acties die afwijken van de Oracle wanneer dat nodig is (bijv. in zeer stochastische condities of op oneffen terrein waar de model-gebaseerde planning van de Oracle suboptimal kan zijn). Het werk demonstreert dat supervised reinforcement learning een efficiënte, robuuste en overdraagbare oplossing biedt voor torque-gebaseerde locomtie-controle in humanoïde robots.