Technische Samenvatting: Versnellen en Schalen van MPC-gestuurde Reinforcement Learning voor Humanoid Locomotie en Manipulatie

1. Probleemstelling

De bewegingscontrole van humanoids kampt met een dichotomie tussen Model Predictive Control (MPC) en Reinforcement Learning (RL). MPC biedt fysiek gefundeerde voorspelling en expliciete beperkingsafhandeling, maar heeft vaak moeite met real-time berekening en robuustheid tegen modelmismatch. Daartegenover staat RL, dat robuuste, wendbare whole-body vaardigheden mogelijk maakt via grootschalige simulatie, maar vaak de fysieke structuur en de lange-termijn planningsmogelijkheden mist die inherent zijn aan MPC.

Hoewel hybride benaderingen bestaan, brengt het integreren van MPC binnen de RL-trainingslus aanzienlijke uitdagingen met zich mee:

• Computationele Overhead: Het herhaaldelijk oplossen van MPC-problemen tijdens de training is tijdrovend.
• Schaalbaarheidsbottlenecks: Bestaande GPU-gebaseerde MPC-solvers kunnen weliswa면 paralleliseren over omgevingen, maar falen in effectieve parallelisatie over de voorspellingshorizon, waardoor sequentiële recursies een bottleneck vormen.
• Geheugen- en Compilatiekosten: Traditionele ijle (sparse) Quadratic Programming (QP) formuleringen voor MPC vereisen tijdrovende probleemconstructie en symbolische compilatie, wat leidt tot een hoge VRAM-bezetting die slecht schaalt met de probleemgrootte.
• Beperkte Omvang: Bestaande hybride frameworks richten zich primair op locomotie, waardoor loco-manipulatie (gelijktijdige locomotie en objectinteractie) onderbelicht blijft, ondanks de hoge waarde van fysieke modellen voor deze taken.

2. Methodologie

Het voorgestelde framework, MPC-RL, ontkoppelt de rollen van MPC en RL: MPC fungeert als een gids tijdens de training om gestructureerde beloningen te genereren, terwijl het geleerde beleid zonder MPC opereert tijdens de implementatie (deployment).

A. Centroidal-Dynamics MPC Guidance (CD-MPC)

In plaats van MPC te gebruiken voor directe controle, gebruikt het systeem een Centroidal Dynamics (CD) model om voorspellende referenties te genereren voor de RL-agent.

• Model: De CD-MPC volgt het zwaartepunt (Center of Mass, CoM), het centroidale lineaire momentum ($l_G$) en het centroidale hoekmoment ($k_G$). Het gaat om met variabele dynamica door actieve contactsets te integreren (voeten voor locomotie; voeten en handen voor loco-manipulatie).
• Landmark Extractie: In plaats van de policy te dwingen de directe volgende MPC-stap te volgen (wat de lange-termijn structuur wegwerpt), extraheert het systeem een set voorspellende landmarks uit de volledige MPC-traject bij specifieke tijdsintervallen ($\delta_\ell$).
• Voorspellings-vertrouwensweging: De beloningsfunctie vergelijkt het gerealiseerde CoM met deze landmarks. Een horizon-monotoon wegingsschema ($\alpha_0 > \alpha_1 > \dots$) wordt toegepast, waarbij meer gewicht wordt toegekend aan nabije landmarks (die betrouwbaarder zijn) en minder aan verre landmarks (die onderhevig zijn aan modelmismatch en integratiefouten). Dit creëert een begrensde beloningssignaal die lange-termijn sturing combineert met scherpe nabije termijn tracking.

B. $\pi$nMPC: Parallel-in-Horizon en Construction-Free Solver

Om CD-MPC haalbaar te maken voor massaal parallelle RL-training, introduceren de auteurs $\pi$nMPC, een gebatchte GPU-solver.

• Architectuur: Het breidt de parallel-in-horizon ADMM-structuur van eerder werk ($\pi$MPC) uit om tijdvariërende dynamica aan te kunnen (essentieel voor looprobots met veranderende contactsequenties).
• Kerninnovaties:
  1. Velocity-Form MPC: De solver optimaliseert over input-incrementen in plaats van absolute inputs, waarbij de staat wordt verhoogd om de vorige inputs te bevatten.
  2. Variabele Splitting: Een nieuw splitsingsschema introduceert hulpvariabelen om de dynamica te ontkoppelen van de restricties. Dit maakt het mogelijk om de ADMM-updates over de gehele voorspellingshorizon parallel uit te voeren op de GPU, in plaats van sequentieel.
  3. Construction-Free: De solver werkt direct op tijdvariërende staatmatrices ($A_k, B_k, e_k$) zonder een ijle (sparse) QP te assembleren of symbolische codegeneratie/compilatie te vereisen bij elke stap. Dit vermindert het VRAM-gebruik aanzienlijk en elimineert vertragingen door pre-compilatie.
• Implementatie: Gerealiseerd in zowel PyTorch als JAX, met ondersteuning voor enorme batchgroottes (tot 4096 omgevingen) en lange horizonten (tot $N=400$).

C. Training en Implementatie

• Algoritme: Proximal Policy Optimization (PPO) wordt gebruikt met een asymmetrische actor-critic architectuur.
• Observaties: De actor (die wordt ingezet op hardware) ontvangt alleen proprioceptie en commando's. De critic (alleen tijdens training) krijgt geprivilegieerde toegang tot de voorspelde CoM en het voorspelde hoekmoment van de MPC.
• Beloningen: De totale beloning combineert standaard regularisatie (gewrichtslimieten, voetvrijheid) met de MPC landmark guidance termen (Coм, snelheid, hoekmoment, voetplaatsing en grondreactiekrachten).

3. Belangrijkste Bijdragen

1. Gestructureerde MPC Beloningsformulering: Een nieuw beloningsmechanisme met voorspellings-vertrouwensweging om lange-termijn beweging en dynamische sturing te extraheren uit centroidale MPC-trajecten, gevalideerd via ablatie-studies naar horizonlengte en updatefrequenties.
2. $\pi$nMPC Solver: Een construction-free, geheugenefficiënte, gebatchte GPU MPC-solver die parallel-in-horizon executie bereikt voor tijdvariërende dynamica, waarmee de schaalbaarheidsbottlenecks van bestaande QP-gebaseerde solvers wordt overwonnen.
3. Uitbreiding naar Loco-Manipulatie: De eerste demonstratie van MPC-gestuurde RL voor humanoïde loco-manipulatie, die succesvol is getransfereerd naar hardware voor het duwen van zware ladingen (tot 290 kg).

4. Resultaten

A. Solver Schaalbaarheid

• Prestaties: $\pi$nMPC schaalt gunstig op GPU's vergeleken met state-of-the-art solvers (Consensus ADMM, qpth, qpax, CusADi).
• Efficiëntie: In tegen afwijking van CusADi, dat uren aan symbolische compilatie en veel RAM vereist, opereert $\pi$nMPC zonder compilatie. Het blijft haalbaar voor lange horizonten ($N=400$) en grote batchgroottes waar andere solvers tekortkomen aan VRAM of onwerkbaar traag worden.
• Implementatie: De JAX-variant is computationeel sneller, terwijl de PyTorch-variant een lager geheugengebruik biedt tijdens RL-training.

B. Humanoid Locomotie

• Velocity Tracking: MPC-RL presteert consistent beter dan Pure RL in het volgen van translationele snelheid, inclusief out-of-distribution commando's.
• Push Recovery: Het framework vertoont superieure robuustheid en herstelt van duwen tot 450 N (afhankelijk van configuratie), wat aanzienlijk hoger is dan de Pure RL-baseline (300 N).
• Hyperparameters: Een horizon van $N=10$ (ca. 0,7s, één loopcyclus) met een updatefrequentie van 10 Hz leverde de beste balans tussen prestaties en trainingsefficiëntie. Langere horizonten leverden geen monotone verbeteringen op.
• Beloningsontwerp: Het voorgestelde "getrapte" landmark-wegingsschema presteerde beter dan "next-step" en "averaged" designs in zowel tracking nauwkeurigheid als push-herstel.

C. Loco-Manipulatie

• Hardware Validatie: De policy is geïmplementeerd op de Westwood Robotics Themis V2 robot.
• Capaciteit: De robot duwde succesvol een kar met een lading van 290 kg (639 lbs), wat 829% van de lichaamsmassa van de robot vertegenwoordigt.
• Vergelijking: In simulatie bereikte de MPC-gestuurde policy een betere snelheidstracking en duwcapaciteit vergeleken met Pure RL, die vaak stilviel. De gestructureerde MPC-beloningen boden de noodzakelijke fysieke sturing voor krachtige interactie die Pure RL door louter exploratie niet kon ontdekken.

5. Betekenis en Claims

Het artikel claimt dat predictieve optimalisatie kan dienen als een praktisch trainingsinstrument en een bron van fysieke structuur voor het leren van humanoïde gedragingen met concurrerende trainingsefficiëntie.

• Praktiseerbaarheid: Het framework vermijdt de noodzaak voor real-time MPC tijdens de implementatie, door te vertrouven op een geleerd beleid dat robuust is tegen verstoringen (bijv. onbekende gewichten, duwen).
• Efficiëntie: Door $\pi$nMPC te introduceren, laten de auteurs zien dat lange-termijn MPC-sturing computationeel haalbaar is binnen de massale parallellisatie van moderne RL-training, waardoor de barrière van "tijdrovende probleemconstructie" wordt weggenomen.
• Generaliseerbaarheid: Het succes in loco-manipulatie suggereert dat MPC-sturing niet beperkt is tot locomotie, maar cruciaal is voor taken die complexe krachtinteracties en dynamische consistentie vereisen.

Beperkingen en Toekomstig Werk:
De auteurs erkennen dat de huidige aanpak afhankelijk is van reduced-order centroidal dynamics met voorgeschreven contactschema's. Toekomstig werk beoogt het framework uit te breiden naar rijkere contactmodi met behulp van nonlinear MPC en het onderzoeken van door neurale netwerken geaugmenteerde batch-solvers voor nog efficiëntere sturing tijdens de training.