Technische Samenvatting: Imiteren en Finetunen van Model Predictive Control voor Robuuste en Symmetrische Quadrupedale Locomotie

Probleemstelling

Het ontwerpen van robuuste locomotiecontrollers voor benige robots blijft een aanzienlijke uitdaging vanwege de onder-geactiveerde, discrete en hoogdimensionale dynamiek van deze systemen. Traditionele modelgebaseerde controle (bijvoorbeeld Model Predictive Control of MPC) heeft indrukwekkende wendbaarheid en robuustheid getoond, maar vertrouwt vaak op uitgebreide wiskundige modellering en vooraf gedefinieerde heuristieken (zoals die van Raibert). Deze modellen worstelen in complexe, onconventionele situaties zoals ruwe, gladde of transportband-achtige terreinen waar voetslip of onverwachte obstakels optreden. Omgekeerd kunnen leergestuurde benaderingen (bijvoorbeeld Deep Reinforcement Learning of Deep RL) automatisch niet-intuïtieve problemen oplossen met behulp van enorme hoeveelheden data, maar vereisen ze vaak uitgebreide handmatige vormgeving van beloningen om hoogwaardige, symmetrische en periodieke gangen te produceren. Zonder zorgvuldige afstelling kunnen geleerde beleidsregels onrustige, asymmetrische bewegingen vertonen die niet overdraagbaar zijn naar echte hardware. Bovendien lijden bestaande hybride benaderingen vaak aan hoge rekenkosten vanwege de noodzaak om MPC met hoge frequenties uit te voeren, of ze falen in generalisatie buiten enkele referentietrajecten.

Methodologie: Het IFM-kader

De auteurs stellen een nieuw kader voor, Imiteren en Finetunen van Model Predictive Control (IFM), dat de sterke punten van modelgebaseerde controle en leergestuurde algoritmen integreert via een proces in drie fasen:

Fase 0: Expert Model Predictive Control (MPC)

Het kader begint met het ontwikkelen van een expertcontroller ($\pi_E$) met behulp van Differential Dynamic Programming (DDP) en Raibert-heuristieken.

• Ontwerp: De MPC voorspelt toekomstige toestanden en genereert optimale besturingssignalen op basis van een convexe kostenfunctie. Het maakt gebruik van wrijvingspyramide-beperkingen voor standbenen en impedantiecontrole in de taakruimte voor zwaaibenen.
• Beperking: Hoewel robuust, is deze MPC rekenkundig duur (ongeveer 12,4 ms per optimalisatie) en vertrouwt deze op een vast model, wat uitvoering in real-time op hardware moeilijk maakt en de aanpasbaarheid aan onbekende terreinen beperkt.
• Actieconversie: Om de kloof met leeralgoritmen te overbruggen, worden de koppeluitgaven van de MPC omgezet in doelgewrichtshoeken met behulp van een proportioneel-differentieel (PD) invers model, waardoor de data compatibel wordt met neurale netwerkbeleid.

Fase 1: Imitatieleren (IL)

De expert-MPC wordt gebruikt om een dataset te genereren voor het vooraf trainen van een neurale netwerkbeleid ($\pi_I$).

• Algoritme: De auteurs maken gebruik van Dataset Aggregation (DAgger). In plaats van eenvoudig gedragskloneren, wordt het beleid uitgeprobeerd en corrigeert de expert-MPC de acties voor onbekende toestanden; deze data wordt geaggregeerd om distributieverschillen te mitigeren.
• Architectuur: Een Multi-Layer Perceptron (MLP) met drie verborgen lagen (512, 256, 64 neuronen) neemt observaties op, waaronder lichaamsoriëntatie, gewrichtstoestanden, geschiedenis en gebruikersopdrachten.
• Doel: Deze fase creëert een "klon" van de MPC die rekenkundig efficiënt en leerbaar is, en die de symmetrische en periodieke gangen van de expert erft zonder de zware optimalisatiekosten.

Fase 2: Reinforcement Learning (RL) Finetuning

Het imiterende beleid wordt verder gefinetuned op uitdagende terreinen met behulp van Proximal Policy Optimization (PPO).

• Curriculum Learning: Het beleid wordt getraind op een curriculum van terreinen (ruw, discreet ruw, stap, klif) met toenemende moeilijkheidsgraad (terreinfactor) om het verlies van vooraf getrainde bewegingsstijlen te voorkomen.
• Vormgeving van Beloningen: De auteurs maken gebruik van een Simple Reward (SR) instelling (volgen van snelheid, minimaliseren van onnodige beweging, koppelregularisatie) en een Contact Reward (CR) instelling (toevoegen van contactbiasering). Cruciaal is dat het vooraf trainen de last van beloningsengineering aanzienlijk vermindert in vergelijking met Vanilla RL.
• Beperkte Exploratie: Om de tijdens imitatie geleerde gunstige bewegingsstijlen te behouden, maakt de RL-finetuning gebruik van beperkte exploratie (kleine initiële standaardafwijking, lage leersnelheden en kleine PPO-clipparameters).
• Sim-naar-Real: Domeinrandomisatie wordt toegepast op observatieruis, motorwrijving, PD-winsten, grondwrijving en opdrachtlatentie om zero-shot-overdracht naar hardware te garanderen.

Belangrijkste Bijdragen

1. Nieuw Kader: Het voorstellen van het IFM-kader, dat systematisch MPC en RL combineert om de robuustheid van modelgebaseerde controle en de aanpasbaarheid van leergestuurde methoden te benutten.
2. Prestatieverbetering: Aantonen dat IFM de robuustheid van de expert-MPC op ruwe, gladde en transportband-achtige terreinen aanzienlijk verbetert, terwijl de rekentijd drastisch wordt gereduceerd (van ongeveer 15 ms naar ongeveer 1 ms).
3. Efficiëntie en Kwaliteit: Bewijs dat IFM symmetrischere, periodiekere en energie-efficiëntere gangen produceert in vergelijking met Vanilla RL, en dit bereikt met minimale beloningsvormgeving en snellere convergentie.
4. Hardwarevalidatie: Succesvolle implementatie op de Mini Cheetah-robot, met superieure slagpercentages bij het oversteken van obstakels en het volgen van snelheden in vergelijking met zowel de originele MPC als pure RL-baselines.

Experimentele Resultaten

De auteurs hebben uitgebreide simulaties en hardware-experimenten uitgevoerd op de Mini Cheetah:

• Robuustheid: In simulatie presteerde IFM beter dan de expert-MPC en DAgger-only beleidsregels op ruwe, gladde en onbekende transportband-achtige terreinen. Waar MPC faalde op transportbanden vanwege vaste voetstappatronen, paste IFM zijn gang effectief aan.
• Volgprestaties: Op vlak terrein behaalde IFM(SR) de laagste lineaire volgfouten en presteerde het beter dan zowel MPC als Vanilla RL. Vanilla RL(SR) vertoonde slechte volgprestaties door "pronking" (overmatige verticale beweging), een probleem dat door het vooraf trainen van IFM werd gemitigeerd.
• Slagpercentages op Hardware:
  • Obstakeloversteek: IFM(CR) behaalde een slagpercentage van 90% bij het oversteken van 7,5 cm hoge obstakels, terwijl de op hardware afgestemde MPC (WBIC) en DAgger op deze hoogte volledig faalden.
  • Gladde Terreinen: IFM-beleidsregels traverseerden succesvol een oppervlak met een wrijvingscoëfficiënt van 0,22, terwijl MPC en DAgger vielen vanwege hun afhankelijkheid van Raibert-heuristieken die geen significante slip konden hanteren.
• Bewegingskwaliteit: IFM-beleidsregels vertoonden een lagere Transportkosten (CoT) en een lagere Fase-Portret Index (PPI) in vergelijking met Vanilla RL, wat wijst op energie-efficiëntere en symmetrischere gangen. De faseportretten van IFM toonden een bijna perfecte overlapping tussen linker- en rechterbenen, in tegenstelling tot de asymmetrische bewegingen van Vanilla RL.
• Efficiëntie: IFM convergeerde in ongeveer 2.000 iteraties, aanzienlijk sneller dan Vanilla RL (ongeveer 4.000+ iteraties).

Betekenis en Claims

Het artikel stelt dat het IFM-kader een gebalanceerde oplossing biedt voor de afweging tussen de interpreteerbaarheid en robuustheid van modelgebaseerde controle en de aanpasbaarheid van leergestuurde methoden. Door MPC te gebruiken als een vooraf trainende expert, doet het kader het volgende:

1. Vermindert de zoekruimte voor RL, waardoor de agent hoogwaardige, symmetrische gangen kan vinden zonder complexe beloningsengineering.
2. Overwint de beperkingen van controllers met vaste modellen (zoals MPC) in dynamische en onzekere omgevingen.
3. Maakt real-time controle mogelijk door zware online optimalisatie te vervangen door een lichtgewicht neuronaal netwerk.

De auteurs concluderen dat IFM een gestructureerde aanpak biedt voor het reguleren van bewegingsstijlen, de uitdaging van beloningsengineering verlicht en tegelijkertijd de robuustheid en efficiëntie van quadrupedale locomotie op uitdagende terreinen aanzienlijk verbetert. Voor toekomstig werk wordt voorgesteld deze methode uit te breiden naar visiegebaseerde locomotie, wat mogelijk complexere netwerkarchitecturen vereist, zoals LSTMs of CNN's.