Technische Samenvatting: TurboMPC

Probleemstelling

Robotica maakt steeds vaker gebruik van GPU's voor parallelle simulatie, grootschalig leren en neurale netwerkinferentie. Model Predictive Control (MPC), een hoeksteen van robotbesturing, blijft echter grotendeels CPU-gecentreerd. Bestaande high-performance MPC-solvers maken gebruik van de temporele spaarzaamheid van optimal control problems (OCP's) via sequentiële Riccati-recursies, die moeilijk te parallelliseren zijn op GPU's. Daartegenover staan bestaande GPU-gebaseerde differentiabele solvers die de probleemformuleringen beperken om parallellisme te faciliteren, waarbij essentiële robotica-functies zoals impliciete integratoren (voor stijve dynamica), kosten voor regelsnelheid (voor actuatorbescherming), toestandsongelijkheid-constraints (voor veiligheid) en slack-variabelen (voor haalbaarheid) worden opgeofferd. Dit creëert een afweging waarbij onderzoekers moeten kiezen tussen de expressiviteit die vereist is voor real-world deployment en de schaalbaarheid die nodig is voor moderne leerpipelines.

Methodologie

De auteurs presenteren TurboMPC, een differentiabele MPC-solver die volledig op de GPU draait terwijl het expressieve probleemformuleringen ondersteunt. De solver lost de OCP op die gedefinieerd wordt door het minimaliseren van een kostenfunctie onderhevig aan dynamica, gelijkheidsconstraints en ongelijkheidsconstraints (met optionele slack-variabelen).

Kernalgoritmisch Ontwerp

1. Outer Loop (SQP): TurboMPC lost de OCP op met behulp van Sequential Quadratic Programming (SQP). In elke iteratie lineariseert het de constraints en kwadratiseert het de kosten om een convexe Quadratic Program (QP) te vormen.
2. Inner Solver (ADMM): De resulterende QP's worden opgelost met een aangepaste Alternating Direction Method of Multipliers (ADMM)-methode.
   • Geïnspireerd door OSQP, maakt het gebruik van een splitting-schema, maar introduceert een specifieke afhandeling voor slack-variabelen (geïnspireerd door [48]) om de omvang van het probleem niet te vergroten.
   • De primal update omvat het oplossen van een lineair systeem afgeleid van de KKT-condities.
   • De solver maakt gebruik van over-relaxatiestrategieën en adaptieve stapgrootteparameters ($\sigma, \rho$) om de balans tussen primal en dual residuals te bewaren.
3. Differentiabiliteit (Impliciete Differentiatie): Om leerpipelines te ondersteunen, berekent de solver gradiënten via impliciete differentiatie bij de geconvergeerde oplossing.
   • Het differentieert de actieve-set Karush-Kuhn-Tucker (KKT) condities.
   • In tegenstelling tot forward-pass solvers die mogelijk vertrouwen op blok-tridiagonale structuren (bijv. PCG), mist het backward-pass lineaire systeem vaak deze structuur door cross-time koppelingen van impliciete dynamica of kosten voor regelsnelheid.
   • Daarom gebruikt TurboMPC cuDSS (een directe sparse factorisatiebibliotheek) als een verenigde primitief voor zowel de forward als de backward pass, wat robuustheid en differentiabiliteit garandeert over alle ondersteunde functies.

Implementatie en Co-Design

TurboMPC hanteert een co-design aanpak waarbij de optimalisatie-algoritme, GPU-implementatie en leerinfrastructuur worden geïntegreerd:

• JAX Frontend: De outer SQP-loop, probleem-linearisatie en batching worden afgehandeld door JAX, wat automatische differentiatie en eenvoudige integratie met leerpipelines biedt.
• Fused CUDA Backend: De gehele ADMM inner loop is geïmplementeerd als een gefuseerde CUDA-kernel. Dit minimaliseert de kernel launch overhead, wat aanzienlijk is voor iteratieve solvers.
• Lineaire Algebra: De solver gebruikt cuDSS voor directe sparse factorisatie. Hoewel dit een constante-factor overhead met zich meebrengt vergeleken met iteratieve methoden zoals PCG, biedt het algemeenheid over expliciete/impliciete dynamica en ondersteunt het gebatchte factorisatie.
• Schaalbaarheid: De architectuur ondersteunt online deployment (lage latentie, enkel exemplaar) en gebatchte offline evaluatie (hoge throughput) vanuit een enkele API.

Belangrijkste Bijdragen

1. Full-Feature GPU Solver: TurboMPC is de eerste differentiabele GPU-solver die tegelijkertijd toestand/regeling ongelijkheidsconstraints, impliciete integratoren, cross-time-gekoppelde kosten en slack-variabelen ondersteunt.
2. Prestaties: Het bereikt significante versnellingen ten opzichte van state-of-the-art baselines. In simulaties vertoont het een versnelling tot 15× ten opzichte van CPU-gebaseerde solvers (acados) en 58× ten opzichte van bestaande GPU differentiabele solvers (mpc.pytorch) voor specifieke batchgroottes en horizonten.
3. Real-World Deployment: De solver werd ingezet op een volledige Lexus LC500 voor minimum-tijd racen.
   • Auto-Tuning: Gebruikmakend van GPU-gebachte Bayesian optimalisatie, stemde het systeem MPC-parameters automatisch af, wat resulteerde in aanzienlijk snellere rondetijden vergeleken met handmatig afgestemde baselines.
   • Long-Horizon Planning: TurboMPC behield succesvol de voertuigbesturing met planning-horizonten die de 8000 knot points (8× langer dan de limiet van de baseline) overschreden, wat ongekende schaalbaarheid voor online controle demonstreert.
4. Integratie met Leren: De solver werd gevalideerd in reinforcement learning (RL), imitation learning (IL) en taken voor het trainen van neurale netwerk kostenfuncties, waarbij het succesvol expert-gewichten terugvond en policies trainde met analytische gradiënten.

Resultaten

• Simulatie Benchmarks: In lineaire systeem RL-schaaltesten presteerde TurboMPC beter dan baselines naarmaling van batchgrootte, horizon en probleemdimensie toenam. Hoewel CPU-solvers (acados) sneller waren voor single-instance oplossingen, domineerde TurboMPC in gebatchte scenario's.
• Humanoid Imitation Learning: De solver slaagde erin de kosten-gewichten terug te vinden voor een Unitree G1 humanoid balancerings-taak, waarbij een mediane gewichtsherstel-fout van 0.59 werd bereikt en stabiele closed-loop balancering in MuJoCo werd gedemonstreerd.
• Autonoom Racen:
  • Snelheid: De auto-getunede policy reed gemiddeld 2.44 m/s sneller dan de handmatig afgestemde baseline.
  • Schaalbaarheid: Bij een horizon van $N=1024$ verloor de OSQP-gebaseerde baseline de controle, terwijl TurboMPC de controle behield. Het schaalde naar $N > 8000$ zonder falen.
  • Throughput: GPU-geaccelereerde Bayesian optimalisatie bereikte ~150 trials/uur vergeleken met ~21 trials/uur op de CPU, een versnelling van ~7.1×.

Betekenis en Claims

Het artikel claimt dat TurboMPC de kloof overbrugt tussen de gestructureerde besluitvorming van MPC en de schaal van moderne leer-gebaseerde robotica. Door volledig op de GPU te draaien en complexe, realistische formuleringen te ondersteunen, maakt het het volgende mogelijk:

• Schaalbaar Leren: Integratie van MPC in RL, IL en Bayesian optimalisatie pipelines met grote batchgroottes.
• Expressieve Controle: De mogelijkheid om stijve dynamica en veiligheidsconstraints te modelleren zonder prestatieverlies.
• Real-Time Long-Horizon Planning: De capaciteit om over extreem lange horizonten (duizenden nodes) te plannen in real-time, wat cruciaal is voor high-speed autonoom rijden.

De auteurs erkennen beperkingen, waaronder de constante-factor overhead van directe sparse factorisatie vergeleken met iteratieve methoden, de afhankelijkheid van double precision (wat het gebruik van low-precision GPU's beperkt), en de potentiële gradiënt-discontinuïteiten bij actieve-set transities. Ze suggereren toekomstig werk in hybride backends en mixed-precision rekenkunde.

Beschikbaarheid: De solver is open-source beschikbaar op https://github.com/ToyotaResearchInstitute/turbompc.