⚡ electrical engineering

Real-Time Online Learning for Model Predictive Control using a Spatio-Temporal Gaussian Process Approximation

Dit paper presenteert een efficiënte implementatie van een geschat spatio-temporeel Gaussian Process-model dat online leren met constante computatiecomplexiteit mogelijk maakt, waardoor Model Predictive Control in real-time nauwkeurigere systeemdynamica kan leren en de besturingsprestaties verbetert, zoals aangetoond in experimenten met autonoom racen.

Oorspronkelijke auteurs: Lars Bartels, Amon Lahr, Andrea Carron, Melanie N. Zeilinger

Gepubliceerd 2026-03-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lars Bartels, Amon Lahr, Andrea Carron, Melanie N. Zeilinger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een klein, razendsnel raceautootje bestuurt op een baan. Je wilt zo snel mogelijk rondjes rijden, maar er is een probleem: de auto is niet perfect. Soms is de weg glad, soms is de stuurinrichting een beetje scheef, of er waait een windvlaag die je niet ziet komen.

In de wereld van robotica en kunstmatige intelligentie noemen we dit Model Predictive Control (MPC). Het is als een superintelligent navigator die elke seconde uitrekent: "Als ik nu dit stuur, waar zal ik over 5 seconden zijn?"

Het probleem is dat deze navigator vaak werkt met een "theoretische" auto. Als de echte auto anders reageert dan de theorie (bijvoorbeeld door die scheve stuurinrichting), raakt de navigator in de war en kan de auto crashen of te langzaam rijden.

Om dit op te lossen, gebruiken wetenschappers een trucje genaamd Gaussian Processes (GP). Je kunt dit zien als een slimme leerling die tijdens het rijden constant kijkt: "Hé, de auto doet iets anders dan verwacht. Ik ga dat onthouden en mijn voorspelling aanpassen."

Het Grote Probleem: De Geheugenbank

Deze "leerling" (de GP) wordt echter heel erg slim, maar ook heel traag.

Hoe het werkt: Elke keer dat de auto een nieuwe ervaring opdoet, slaat de leerling die op in zijn geheugen.
Het probleem: Naarmate de tijd vordert, wordt de geheugenbank gigantisch. Om een voorspelling te doen, moet de computer nu door duizenden, misschien wel miljoenen, oude herinneringen graven.
Het gevolg: De computer wordt zo traag dat hij niet meer in real-time kan reageren. Het is alsof je probeert te racen, maar je navigator moet eerst de hele geschiedenis van de auto doorlezen voordat hij zegt "draai links". Dat is te laat.

De Oplossing: Een Slimme "Tijdslijn"

In dit paper presenteren de auteurs (Lars, Amon, Andrea en Melanie) een nieuwe, slimme manier om deze leerling te bouwen. Ze noemen het een Spatio-Temporal Gaussian Process.

Laten we dit uitleggen met een creatieve analogie:

1. De Oude Manier (Het Grote Geheugen):
Stel je voor dat de leerling elke foto die hij maakt, in een enorme stapel legt. Om te weten hoe de auto zich gedraagt, moet hij die hele stapel doorbladeren. Hoe meer foto's, hoe langer het duurt.

2. De Nieuwe Manier (De Slimme Samenvatting):
De auteurs hebben een systeem bedacht dat werkt als een slimme dagboekschrijver met een tijdslijn.

Ruimte (Spatio): In plaats van elke foto op te slaan, kiest de leerling een paar "belangrijke momenten" (we noemen dit inducing points). Hij zegt: "Ik onthoud niet elke seconde, maar ik onthoud wel hoe de auto reageert op deze specifieke bochten en snelheden."
Tijd (Temporal): Dit is het magische deel. De leerling begrijpt dat dingen veranderen. Hij gebruikt een wiskundige truc (een Markov-keten) die werkt als een rolband.
- Stel je voor dat de leerling een rolband heeft waarop nieuwe ervaringen worden gelegd.
- Oude ervaringen die niet meer relevant zijn, worden automatisch van de rolband geschoven en vergeten, maar op een slimme manier.
- Nieuwe ervaringen worden er direct bijgevoegd.
- Het resultaat: Het kost de computer altijd evenveel tijd om te rekenen, of hij nu 10 ervaringen heeft of 10.000. Het is alsof je een bak met water hebt: je giet er elke seconde een beetje bij, maar je haalt er ook een beetje uit, zodat de bak nooit volloopt.

Wat hebben ze bewezen?

Ze hebben dit getest met een echt mini-raceautootje in een laboratorium.

Het scenario: Ze lieten de auto rijden en veranderden halverwege de stuurinrichting (alsof de auto plotseling scheef ging rijden).
De oude methode: De auto met de "normale" navigator kon dit niet aan. Hij bleef proberen te sturen alsof de auto nog normaal was, en raakte de randen van de baan.
De nieuwe methode: De auto met de "slimme tijdslijn-leerling" merkte direct op: "Oh, de stuurinrichting is nu scheef. Ik pas mijn berekening direct aan."
Het resultaat: De auto bleef razendsnel en veilig rondjes rijden, zelfs terwijl de omstandigheden veranderden. En het allerbelangrijkste: de computer bleef snel genoeg om in real-time te reageren, zonder ooit traag te worden door te veel data.

Samenvattend

Dit onderzoek is als het vinden van een manier om een auto te laten racen met een navigator die nooit ouder wordt. Hij onthoudt alles wat hij nodig heeft, vergeet het oude dat niet meer helpt, en blijft altijd even snel in zijn denken. Hierdoor kunnen toekomstige zelfrijdende auto's en robots veel beter omgaan met onverwachte veranderingen in de echte wereld.

Titel: Real-time Online Learning voor Model Predictive Control met behulp van een Spatio-Temporale Gaussian Process Benadering

Auteurs: Lars Bartels, Amon Lahr, Andrea Carron en Melanie N. Zeilinger (ETH Zürich)

1. Het Probleem

Model Predictive Control (MPC) is een geavanceerde regelstrategie die toekomstig systeemgedrag voorspelt om optimale acties te bepalen. Traditionele MPC leunt echter op een nauwkeurig dynamisch model. Voor complexe, niet-lineaire systemen is het analytisch afleiden van zo'n model vaak onpraktisch, wat leidt tot modelonnauwkeurigheden.

Om dit op te lossen, wordt vaak gebruikgemaakt van Learning-based MPC, waarbij onbekende residu-dynamiek (het verschil tussen het nominale model en de werkelijkheid) wordt gemodelleerd met een Gaussian Process (GP). GPs bieden data-efficiëntie en formele onzekerheidskwantificering.

De Kernuitdaging:
De grootste beperking voor real-time toepassing van GP-MPC is de rekenkracht. Exacte GP-inferentie schaalt kubisch met het aantal trainingsdata ( $O(N^3)$ ). Bij online learning, waar data continu wordt verzameld, groeit $N$ onbeperkt, wat leidt tot vertragingen die de real-time constraints (vaak milliseconden) overschrijden. Bestaande oplossingen, zoals het gebruik van een "Subset of Data" (SoD) of "Inducing Points", lossen dit deels op maar hebben nadelen:

SoD: Verwijdert oude data, wat leidt tot verlies van informatie over tijdsvariërende verstoringen.
Inducing Points: Vereist vaak heuristieken of zware hertraining voor tijdsvariërende systemen om de locatie van de punten aan te passen.

2. Methodologie

De auteurs stellen een efficiënte implementatie voor van een benaderend spatio-temporaal Gaussian Process (ST-GP) model. Dit model combineert de voordelen van ruimtelijke inducerende punten met tijdsafhankelijke Markov-ketens om online learning te mogelijk maken met constante rekencomplexiteit, ongeacht de hoeveelheid verzamelde data.

Belangrijkste Technische Componenten:

Spatio-Temporale Kernel: Het residu $g(x, u, t)$ $g (x, u, t)$ wordt gemodelleerd als een GP met een kernel die scheidbaar is in een ruimtelijke component $k_s$ $k_{s}$ en een stationaire temporale component $k_t$ $k_{t}$ .
- Ruimtelijk: Gebruikt een set vaste inducerende punten (inducing points) om de ruimtelijke correlatie te benaderen.
- Temporaal: Gebruikt een Markov-ketengestructuur (via een state-space representatie) voor de tijdscomponent. Dit maakt gebruik van de Fourier-transformatie van de kernel (bijv. Matérn-kernen) om een lineair tijd-invariant state-space model af te leiden.
Kalman Filtering voor Online Learning: Omdat zowel de state-space evolutie als de observaties lineair en Gaussisch zijn, kan Kalman-filtering worden toegepast.
- De parameters van de inducerende punten (mean en covariance) worden recursief bijgewerkt bij elke nieuwe datapunt.
- Dit gebeurt met een constante rekenkosten per datapunt, in plaats van de kosten die stijgen met het totale dataset-grootte.
Integratie in MPC:
- Het model wordt gekoppeld aan een Zero-Order SQP (Sequential Quadratic Programming) algoritme binnen het MPC-raamwerk.
- Hierbij worden covarianties en constraint-verstrakkingen vooraf berekend (gebaseerd op de vorige iteratie) om de optimalisatieprobleemgrootte te verkleinen.
- Het algoritme gebruikt Square-Root Kalman Filtering (Cholesky-decompositie) om numerieke stabiliteit te garanderen en te voorkomen dat de covariantiematrix ongedefinieerd wordt door cumulatieve afrondingsfouten.
Implementatie: De code is open-source en geïntegreerd in het L4acados framework, wat naadloze integratie met bestaande MPC-solvers mogelijk maakt.

3. Belangrijkste Bijdragen

Constante Complexiteit: Het ontwikkelen van een ST-GP-model dat online learning toestaat met constante computatietijd per tijdstap, zelfs bij een oneindig groeiende dataset.
Tijdsvariërende Adaptatie: In tegenstelling tot eerdere methoden die alleen ruimtelijke variatie kunnen hanteren of data moeten verwerpen, kan dit model complexe tijdsvariërende verstoringen volgen zonder verlies van informatie.
Open-Source Implementatie: Levering van een robuuste implementatie binnen het L4acados-framework, inclusief ondersteuning voor differentiatie via PyTorch.
Hardware Validatie: Succesvolle toepassing en validatie op een autonoom race-platform (miniature racing), wat bewijst dat de methode werkt in de echte wereld en niet alleen in simulatie.

4. Resultaten

De methode werd getest in een experiment met autonome minirace-auto's onder invloed van een tijdsvariërende stuurverstoring (een variërende neutrale stuurafwijking $\delta_0$ ).

Rekenprestaties:
- De totale rekentijd voor GP-MPC bleef stabiel rond de 30ms (de real-time limiet), ongeacht de hoeveelheid data.
- In vergelijking met een exacte GP (die data moet verwerpen via SoD) of een standaard ruimtelijke GP, toonde de ST-GP geen toename in rekentijd naarmate de sessie langer duurde.
Voorspellingsnauwkeurigheid:
- De een-staps voorspellingsfout nam aanzienlijk af bij de ST-GP-MPC in vergelijking met de nominale MPC (zonder learning).
- De ST-GP kon de tijdsvariërende verstoring correct modelleren, terwijl een puur ruimtelijke GP faalde omdat het geen onderscheid kon maken tussen verschillende verstoringstoestanden op dezelfde ruimtelijke locatie.
Raceprestaties:
- De rondetijden bleven stabiel en optimaal, zelfs toen de verstoring begon.
- De nominale MPC faalde bij de verstoring: de auto volgde een onstabiele baan en schond veiligheidsmarges.
- De ST-GP-MPC paste zich direct aan, waardoor de auto een consistente racebaan kon houden en veilig binnen de baanlijnen bleef.

5. Betekenis en Conclusie

Dit werk is een doorbraak voor learning-based control in real-time, veiligheidskritische toepassingen.

Overbrugt de Kloof: Het lost het fundamentele probleem op van de schaalbaarheid van GPs in online learning. Het maakt "life-long learning" mogelijk zonder de noodzaak om data te verwerpen of de rekenlast te laten exploderen.
Robuustheid: Het systeem kan zich aanpassen aan langzaam veranderende of plotselinge veranderingen in het systeem (zoals slijtage, weersomstandigheden of mechanische fouten) zonder menselijke tussenkomst of herkalibratie.
Toekomstperspectief: De auteurs wijzen erop dat toekomstig werk kan focussen op het online bijwerken van GP-hyperparameters en het vaststellen van theoretische garanties voor de gesloten-lus stabiliteit.

Kortom, deze paper biedt een praktische, wiskundig onderbouwde oplossing om MPC-systemen niet alleen adaptief, maar ook real-time schaalbaar te maken voor complexe, dynamische omgevingen.