⚡ electrical engineering

CUDA MPC: A GPU-Native Solver for Model Predictive Control

Dit artikel introduceert CUDA MPC, een GPU-native framework dat een parallel-in-horizon ADMM-algoritme co-ontwerpt met gefuseerde CUDA-kernels en shared-memory optimalisatie om real-time Model Predictive Control te bereiken op complexe, hoog-dimensionale systemen met aanzienlijk lagere latentie en hogere schaalbaarheid dan bestaande CPU- en tensor-framework solvers.

Oorspronkelijke auteurs: Babak Akbari, Melissa Greeff

Gepubliceerd 2026-08-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Babak Akbari, Melissa Greeff

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om iets lastigs te doen, zoals het parkeren van een auto in een krappe plek of het begeleiden van een zwerm drones door een bos zonder dat ze tegen elkaar botsen. Om dit goed te doen, heeft de robot een brein nodig dat vooruit kan kijken, kan voorspellen wat er hierna gebeurt en constant zijn plan kan aanpassen om obstakels te vermijden. Dit wordt Model Predictive Control (MPC) genoemd. Denk hierbij aan een schaker die niet alleen één zet doet, maar honderd mogelijke toekomstige partijen in zijn hoofd simuleert voordat hij de beste zet beslist. Het probleem is dat het uitvoeren van deze simulatie veel hersenkracht kost. Als de robot snel beweegt of de wereld ingewikkeld is, wordt de wiskunde zo zwaar dat een standaard computerbrein (een CPU) de berekeningen niet kan voltooien voordat de robot zijn volgende zet moet maken. Het is alsof je een enorme puzzel probeert op te lossen terwijl je een marathon loopt; tegen de tijd dat je de puzzel hebt afgerond, ben je al gestruikeld.

Lange tijd probeerden wetenschappers dit te versnellen door Graphics Processing Units (GPU's) te gebruiken, de supersnelle chips die meestal in computers voor videogames te vinden zijn. Echter, de meeste mensen gebruikten GPU's slechts als een luxe rekenmachine, waarbij ze de chip kleine wiskundige taken één voor één lieten uitvoeren. Dit is inefficiënt omdat de robot constant gegevens heen en weer moet sturen tussen de hoofdberekening en de GPU, wat een verkeersopstopping veroorzaakt. Het nieuwe artikel introduceert een slimmere manier om deze krachtige chips te gebruiken, niet alleen als een rekenmachine, maar als een toegewijde, hogesnelheidsfabriek die al het werk binnen haar eigen muren houdt.

Het artikel presenteert CUDAMPC, een nieuw systeem dat vanaf de grond af aan is ontworpen om Model Predictive Control direct op een GPU uit te voeren. In plaats van de GPU te behandelen als een eenvoudige helper die wiskunde in stukjes uitvoert, hebben de auteurs een "gefuseerde" motor gebouwd die het hele planningsproces binnen het snelste geheugen van de chip houdt. Om te begrijpen hoe dit werkt, stel je een lange rij mensen voor die een emmer water door een keten doorgeven om een brand te blussen. In de oude methode zou elke persoon naar de persoon naast hem moeten roepen, op een antwoord moeten wachten en dan de emmer moeten doorgeven, wat veel lawaai en vertraging veroorzaakt. In de CUDAMPC-aanpak wordt de rij opgedeeld in kleine groepen. Elke groep werkt snel en stilzaam samen, waarbij de emmer alleen aan de uiteinden van de groep wordt doorgegeven. Dit zorgt ervoor dat de hele keten veel sneller kan bewegen omdat iedereen parallel werkt zonder te wachten tot de hele rij stopt om te praten.

De onderzoekers hebben dit nieuwe systeem getest tegen de beste bestaande computerprogramma's (zoals acados en CasADi) en andere GPU-methoden. Ze ontdekten dat CUDAMPC ongelooflijk snel is, vooral voor lange planningshorizonten. In één test loste het een complex parkeerprobleem op met een "vooruitkijkhorizon" van 100 seconden in slechts 0,1 seconde, een taak die andere solvers enkele seconden duurde of waarvoor ze volledig faalden. In een test met een zwerm van 10 agenten die moesten coördineren zonder tegen elkaar te botsen, deden de oude CPU-solvers er meer dan 3,5 seconden per stap over (te traag voor real-time controle) of vonden ze helemaal geen oplossing, terwijl CUDAMPC het in milliseconden deed. Het artikel laat zien dat door alle tussenliggende gegevens in het snelle geheugen van de chip te houden en alleen de noodzakelijke buren te synchroniseren, het systeem problemen kan oplossen die voorheen onmogelijk in real-time uit te voeren waren. De auteurs suggereren dat deze aanpak robots in staat stelt om veel verder vooruit te plannen, wat leidt tot veiliger en wendbaarder gedrag in complexe omgevingen.

Technische Samenvatting: CUDAMPC

Probleemstelling

Model Predictive Control (MPC) is een krachtige methodologie voor het afdwingen van toestands- en invoerrestricties terwijl multivariabele prestaties worden geoptimaliseerd. De afhankelijkheid van online optimalisatie creëert echter een aanzienlijke computationele last, met name voor snel gesamplede, hoogdimensionele of sterk niet-lineaire robotische systemen. Traditionele CPU-gebaseerde solvers (bijv. acados, CasADi) kunnen vaak geen nauwkeurige besturingsacties berekenen binnen strikte bemonsteringsintervallen, wat dwingt tot compromissen in horizonlengte, modelgetrouwheid of optimalisatienauwkeurigheid.

Hoewel GPU's duizenden parallelle kernen bieden, behandelen bestaande GPU-gebaseerde MPC-implementaties het apparaat doorgaans slechts als een lineair-algebraïsche versneller. Benaderingen die gebruikmaken van tensor-frameworks (bijv. PyTorch, JAX) drukken iteratieve optimalisatie uit als sequenties van framework-niveau operaties. Dit resulteert in herhaalde kernel-launches en latency-gevoelige globale geheugentransfers, die de rekentijden bij hoge frequenties domineren en de parallelle voordelen van de GPU ondermijnen. Bovewerden maken veel bestaande GPU-methoden alleen specifieke numerieke kernels parallel (bijv. Newton-systeem oplossingen) of vertrouwen op sampling-gebaseerde benaderingen (bijv. MPPI) die een gebrek hebben aan haalbaarheidscertificaten en moeite hebben met hoogdimensionele restricties.

Methodologie

De paper introduceert CUDAMPC, een GPU-native MPC-framework dat is co-ontworpen op algoritmisch, executie- en geheugen niveau om deze beperkingen te overwinnen. De kernmethodologie bestaat uit drie nauw gekoppelde ontwerplagen:

Algoritmisch Niveau (Parallel-in-Horizon ADMM):
Het framework maakt gebruik van een parallel-in-horizon Alternating Direction Method of Multipliers (ADMM) splitsing. Het niet-lineaire MPC-probleem wordt eerst aangepakt via Sequential Convex Programming (SCP), waarbij de dynamica en restricties worden gelineariseerd. Het resulterende convexe subprobleem wordt vervolgens gesplitst met behulp van ADMM-consensusvariabelen. Deze formulering ontkoppelt de optimalisatie over de voorspellingshorizon, waardoor onafhankelijke stagewijze updates mogelijk zijn die alleen gekoppeld zijn via naburige consensus.
Executie Niveau (Fused CUDA Kernel):
In tegenstelling tot tensor-framework implementaties die aparte kernels lanceren voor elke ADMM-operatie, fuseert CUDAMPC de volledige iteratieve solve in een enkele, aangepaste CUDA-kernel.
- Geen Host Interventie: De volledige innerlijke ADMM-loop wordt direct op de GPU uitgevoerd zonder de controle tussen de iteraties door terug te geven aan de host.
- Naburige Lokale Synchronisatie: In plaats van dure grid-brede barrières (grid.sync()) te gebruiken die schalen met het aantal blokken, gebruikt CUDAMPC een gelokaliseerd atomic-flag protocol. Blokken synchroniseren alleen met hun directe ruimtelijke buren (voorwaartse en achterwaartse propagatie van randvariabelen). Dit vermindert de coördinatiekosten tot onafhankelijk van het totaal aantal horizon-blokken en introduceert een begrensde vertraging (deels asynchrone ADMM), waarvan bewezen is dat deze convergeert.
Geheugen Niveau (Block-Resident Storage):
Volgens de I/O-bewuste principes van FlashAttention, minimaliseert het framework transfers tussen globaal en on-chip geheugen.
- Shared Memory Residency: Optimalisatievariabelen (primal, dual en consensus) en tussenliggende berekeningen worden aan het begin van de kernel in de lage-latentie, on-chip shared memory geladen en blijven daar gedurende de solve aanwezig.
- Resource Allocatie: De horizon wordt verdeeld in sub-horizons die worden toegewezen aan CUDA thread blocks. De lengte van de sub-horizon wordt dynamisch berekend op basis van de thread- en shared-memory limieten van het apparaat, zodat de werkset volledig on-chip past. Globaal geheugen wordt alleen gebruikt voor de initiële loading, de finale output en de uitwisseling van randvariabelen.

Belangrijkste Bijdragen

De paper claimt drie primaire bijdragen:

CUDAMPC Framework: Een GPU-native architectuur die parallel-in-horizon ADMM uitvoert binnen een enkele, in shared memory verblijvende CUDA-kernel.
Neighbor-Local Synchronization Protocol: Een mechanisme dat grid-brede barrières vervangt door pairwise atomic flags, waardoor de coördinatiekosten onafhankelijk blijven van het aantal horizon-blokken.
Benchmark Studie: Een uitgebreide evaluatie tegen state-of-the-art CPU en GPU solvers op zes niet-lineaire robotica problemen, waarbij wordt aangetoond dat de verhoogde real-time-feasible horizon closed-loop mogelijkheden mogelijk maakt (bijv. botsingsvermijding, zwermcoördinatie) die CPU-baselines niet kunnen bereiken bij de horizonlengtes die zij kunnen draaien.

Resultaten

De paper evalueert CUDAMPC tegen CPU-solvers (CasADi met Ipopt, acados met HPIPM) en andere GPU-methoden (Primal-Dual iLQR, GPU-SLS, en tensor-framework implementaties van $\pi$ MPC) over zes benchmarks: Pendulum, Cart-Pole, Car Parking, Truck-Trailer, Quadcopter-Pole, en Centralized Swarm.

Prestaties vs. Tensor Frameworks: Tegenover PyTorch en Julia implementaties van $\pi$ MPC op een lineair vliegtuigmodel, behaalde CUDAMPC snelheidsverbeteringen variërend van 136 $\times$ tot 965 $\times$ . Dit werd toegeschreven aan het reduceren van kernel-launches van ~172.000 naar 1 per solve en het reduceren van VRAM-verkeer van ~17 GB naar ~31 MB.
Schaalbaarheid: Op niet-lineaire benchmarks was de solve-tijd schaling van CUDAMPC met de horizonlengte ( $N$ ) aanzienlijk superieur aan CPU-methoden. Bijvoorbeeld, op het Pendulum-probleem bij $N=1000$ , was CUDAMPC 20.1 $\times$ sneller dan de volgende snelste solver.
Real-Time Haalbaarheid: CUDAMPC handhaafde real-time rates bij horizonten die één tot twee grootheden langer waren dan bij CPU-solvers.
- Car Parking: Lost een optimalisatie-gebaseerd botsingsvermijdingsprobleem op met een 100-seconden lookahead binnen een 0.1-seconde bemonsteringsinterval.
- Centralized Swarm (10 agenten): CUDAMPC was de enige geëvalueerde solver die zowel real-time uitvoering (~28 ms) als botsingsvrije coördinatie behaalde. CPU-solvers (acados, CasADi) slaagden er niet in om haalbare oplossingen te vinden binnen het bemonsteringsinterval (nam respectievelijk 3.5s en 4.5s in beslag). De GPU-gebaseerde Primal-Dual iLQR was weliswaar real-time, maar resulteerde in deadlocked lokale minima door de moeilijkheid van het tunen van soft penalty constraints voor harde botsingsvermijding.

Betekenis

De paper stelt dat CUDAMPC een verschuiving vertegenwoordigt van het gebruik van GPU's louter als versnellers voor lineaire algebra naar een holistische co-design van het optimalisatiealgoritme en de hardware-architectuur. Door host-interventie en globaal geheugenverkeer te minimaliseren, ontsluit het framework de mogelijkheid om lang-horizon, constraint-zware MPC-problemen in real-time uit te voeren. De betekenis ligt niet alleen in de ruwe snelheid, maar in het mogelijk maken van controlestrategieën (zoals gecentraliseerde multi-agent coördinatie en lang-horizon botsingsvermijding) die voorheen computationeel onhaalbaar waren voor real-time systemen, waardoor de operationele grenzen van geavanceerde robotische platforms worden uitgebreid.