Dynamic Policy Learning for Legged Robot with Simplified Model Pretraining and Model-Homotopy-Inspired Transfer

Technische Samenvatting: Dynamisch Beleidsleren voor Gevleugelde Robots met Vereenvoudigde Model-Pretraining en Model-Homotopie-Geïnspireerde Transfer

Probleemstelling
Het genereren van zeer dynamische bewegingen voor gevleugelde robots blijft een grote uitdaging vanwege de complexe interactie tussen lichaamsmomentum, beeninertie en contactkrachten. Hoewel Reinforcement Learning (RL) veelbelovend is gebleken, vereist het trainen van beleidsregels (policies) voor complexe gedragingen vaak uitgebreide beloningsengineering of hoogwaardige expert-demonstraties, die beide zeer arbeidsintensief zijn. Daartegenover staan benaderingen die gebruikmaken van modellen met een lagere orde (bijv. Single Rigid Body of SRB-modellen), die sneller trainen en eenvoudiger beloningsontwerp bieden, maar lijden onder een "modelkloof" (model gap) bij de transfer naar full-body dynamica. Directe transfer leidt vaak tot instabiliteit, suboptimale convergentie of een volledige mislukking bij het repliceren van de geleerde gedragingen in de echte wereld door discrepanties in de dynamica, met name wat betreft beeninertie en contactinteracties.

Methodologie
De auteurs stellen een continuatie-gebaseerd leerkader voor dat de kloof tussen vereenvoudigde modellen en full-body dynamica overbrugt via twee primaire stadia:

1. Vereenvoudigde Model-Pretraining (SRB-pretraining):
   De policy wordt eerst voorgetraind in een geïdealiseerde omgeving met behulp van een Single Rigid Body (SRB) model. In dit model wordt de robot benaderd als een drijvende starre body met massaloze poten en ideale puntcontacten. De controle-inputs zijn Grondreactiekrachten (GRF's) tijdens de standfase en residuele voetdoelen tijdens de zwaaifase. Dit stadium stelt de policy in staat om efficiënt kernbewegingspatronen te leren (zoals lichaamsmomentumcontrole) zonder de computationele last en instabiliteit van full-body dynamica. De omgeving maakt gebruik van vooraf gedefinieerde contactplannen en nominale zwaaibanen (bijv. Bezier-curven) om het leren van specifieke taken zoals gaia, flips en wand-ondersteunde manoeuvres te structureren.

2. Model-Homotopie-Geïnspireerde Transfer (MHIT):
   Om de voorgetrainde SRB-policy over te dragen naar de full-body omgeving, introduceren de auteurs een parametrische continuatiepad. In plaats van een directe sprong, definiëren zij een continue transitieparameter $\lambda \in (0, 1]$.

• Parametrische Transitie: Het systeem herverdeelt geleidelijk massa en inertie tussen de romp en de poten. Bij $\lambda \approx 0$ hebben de poten een verwaarloosbare massa (SRB-model); naarmate $\lambda$ toeneemt naar 1, verkrijgen de poten hun volledige massa en inertie, waarbij de rompmassa wordt aangepast om een constante totale massa te behouden.
• Continuatiestrategie: De policy wordt getraind langs dit pad, beginnend bij $\lambda = 0.01$ en incrementeel toenemend naar $\lambda = 1.0$ over 900 iteraties. Dit stelt de policy in staat om zich aan te passen aan steeds complexere dynamica terwijl de policy zich in regio's met een hoge succeswaarschijnlijkheid bevindt.
• Actieconversie: Tijdens de transfer worden de GRF-outputs van de SRB-policy omgezet in gewrichtsmomenten met behulp van Jacobiaan-transposities tijdens de standfase, terwijl task-space PD-controle de voetdoelen volgt tijdens de zwaaifase.
• Toestandschatting: Omdat geprivilegieerde informatie (ware lineaire snelheid en contacttoestanden) wel beschikbaar is in simulatie maar niet in de werkelijkheid, wordt een gelijktijdige schattingsnetwerk (MLP) getraind om deze toestanden af te leiden uit proprioceptieve historie, wat sim-to-real deployment mogelijk maakt.

Belangrijkste Bijdragen

• Continuatie-gebaseerd Kader: Het artikel presenteert een nieuw kader dat vereenvoudigde model-pretraining integreert met een model-homotopie-geïnspireerde transferstrategie om efficiënt complexe dynamische bewegingen te genereren en te verfijnen.
• Geprincipeerd Transitiepad: De auteurs introduceren een specifiek parametrisch transitiepad dat de inertie-eigenschappen tussen de SRB- en full-body modellen vloeiend interpoleert. Deze benadering toont aan de convergentiesnelheid en leerstabiliteit te verbeteren vergeleken met directe transfer of imitatieleer-baselines.
• Validatie op Complexe Taken en Real Hardware: De methode wordt gevalideerd op een diverse set uitdagende dynamische taken, waaronder backflips, sideflips, yaw spins en wand-ondersteunde manoeuvres (sprongen en bochten). De geleerde policies worden succesvol ingezet op een echte Unitree Go1 quadrupedale robot.

Resultaten

• Simulatieprestaties: In vergelijkende studies tegenover Direct Transfer (DT), Imitation Transfer (IT) en Vanilla RL, vertoonde de voorgestelde MHIT-methode de snelste convergentie en de meest consistente leerresultaten. Bijvoorbeeld, in de wand-ondersteunde backflip taak convergeerde MHIT twee keer zo snel als IT en bereikte een 19,0% hogere genormaliseerde return. Het vertoonde ook superieure stabiliteit, met een aanzienlijk kleinere variatie in prestaties over verschillende willekeurige seeds vergeleken met DT.
• Robuustheid: MHIT-policies vertoonden een grotere robuustheid tegen externe kracht- en koppelverstoringen vergeleken met IT-policies, wat wordt toegeschreven aan het behoud van reactieve gedragingen die tijdens de pretraining zijn geleerd en het vermogen om een breder toestandsruimte te verkennen zonder de beperkingen van vroege terminatie die bij imitatieleer worden gebruikt.
• Real-World Deployment: Op de Unitree Go1 robot voerde de MHIT-policy succesvol een backflip uit, een taak waarbij de directe SRB-policy faalde door onvoldoende hoekmomentum veroorzaakt door niet-gemodelleerde beeninertie. De getransfereerde policy behaalde een succespercentage van 90% over 10 opeenvolgende proeven en demonstreerde een superieure snelheid-tracking nauwkeurigheid (lagere RMSE) vergeleken met de onverfijnde SRB-policy.

Significantie
Het artikel stelt dat de primaire significantie ligt in het bieden van een effectief en stabiel verfijningsproces om de modelkloof tussen vereenvoudigde en full-body dynamica te overbruggen zonder afhankelijk te zijn van dure expert-demonstraties. Door gebruik te maken van een continuatiestrategie, stelt het kader de ontdekking van optimale gedragingen mogelijk die de beperkingen van de initiële vereenvoudigde sturing overstijgen. De succesvolle implementatie op echte hardware demonstreert de praktische toepasbaarheid van deze benadering voor het genereren van complexe, dynamische gevleugelde locomotiegedragingen die moeilijk te bereiken zijn met standaard end-to-end RL of hiërarchische trackingmethoden alleen. De auteurs merken op dat hoewel de huidige aanpak steunt op vooraf gedefinieerde contactsequenties, het kader een veelbelovend evolutionair startpunt biedt voor toekomstig werk gericht op het automatiseren van contactschema's en het aanpassen aan diverse robotmorphologieën.