⚡ electrical engineering

Policy Optimization for Unknown Systems using Differentiable Model Predictive Control

Dit paper introduceert een nieuw beleidsoptimalisatiekader voor Model Predictive Control dat differentieerbare en nulpuntsorde-optimalisatie combineert om snellere transiënte prestaties en convergentie te garanderen, zelfs bij onnauwkeurige systeemmodellen.

Oorspronkelijke auteurs: Riccardo Zuliani, Efe C. Balta, John Lygeros

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Riccardo Zuliani, Efe C. Balta, John Lygeros

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer complexe drone wilt leren vliegen. Je hebt een controller nodig die de drone precies naar een bepaald punt stuurt, terwijl hij onderweg obstakels vermijdt en niet uit elkaar valt. Dit is de uitdaging die deze wetenschappers oplossen.

Hier is een uitleg van hun onderzoek in gewoon Nederlands, met een paar handige vergelijkingen.

Het Probleem: De Onvolmaakte Kaart

Stel je voor dat je een drone bestuurt met een papieren kaart (een wiskundig model) van het landschap.

Het probleem: Die kaart is niet 100% perfect. Misschien zijn er nieuwe bomen, of is de wind anders dan op de kaart staat.
De consequentie: Als je alleen op die kaart vertrouwt, kan de drone tegen een boom vliegen of in de war raken.
De andere kant: Als je helemaal geen kaart hebt en alleen maar "probeer-en-fout" doet (zomaar wat sturen), leer je wel, maar het duurt eeuwen voordat je onderweg bent. Je vliegt dan als een dronken vlieg.

De onderzoekers wilden een manier vinden om snel te leren (dankzij de kaart) maar veilig te blijven (door ook echt te kijken wat er gebeurt).

De Oplossing: De "Hybride Piloot"

Deze paper introduceert een slimme methode die twee dingen combineert:

Modelgebaseerde optimalisatie: "Kijk op de kaart." (Gebruik je theorie).
Zeroth-order optimalisatie: "Kijk uit het raam." (Gebruik je echte ervaring).

De Analogie: De Leerling en de Meester

Stel je voor dat je een drone-bestuurder bent die wordt opgeleid door een Meester (het wiskundige model) en een Oefenbaas (de echte data).

De Meester (Het Model): Hij zegt: "Volgens mijn berekeningen moet je naar links draaien." Hij is snel en geeft direct advies. Maar als zijn kaart verouderd is, kan hij je in de problemen brengen.
De Oefenbaas (De Data): Hij zegt: "Ik heb geen theorie, maar ik heb gezien dat als je naar links draait, de drone trilt. Laten we dat niet doen." Hij is langzaam (je moet het echt proberen) maar altijd eerlijk over wat er gebeurt.

De slimme truc van de auteurs:
Ze laten de drone niet kiezen tussen de Meester of de Oefenbaas. Ze maken een hybride team.

Aan het begin: De Meester heeft het woord. De drone leert snel hoe hij moet vliegen op basis van de theorie. Dit is de "snelle start".
Naarmate het vliegtuig ouder wordt: De Meester wordt steeds minder belangrijk en de Oefenbaas krijgt meer stem. Als de drone merkt dat de kaart niet klopt (bijvoorbeeld door wind), corrigeert de Oefenbaas de koers direct.

Op een gegeven moment luistert de drone bijna alleen nog maar naar de echte ervaring, maar hij heeft al een enorme voorsprong genomen dankzij de theorie.

Hoe werkt het technisch? (Zonder wiskunde)

De onderzoekers gebruiken een techniek die lijkt op het smoothen van een hobbelig pad.

Omdat de regels voor de drone (zoals "niet tegen de muur vliegen") soms abrupt veranderen, is het moeilijk om de perfecte route te berekenen.
Ze gebruiken een wiskundige truc om die hobbelige paden even "glad" te maken. Hierdoor kunnen ze een schatting maken van de beste richting, zelfs als ze niet precies weten hoe de drone werkt.
Ze mengen de "theoretische schatting" (van de kaart) met een "random test" (een kleine duw in een willekeurige richting om te zien wat er gebeurt).

Wat hebben ze bewezen?

Ze hebben dit getest op een 12-dimensionale drone (een drone met heel veel bewegingsmogelijkheden, niet zomaar een speelgoeddrone).

Resultaat 1: De drone leerde veel sneller dan als hij alleen op "probeer-en-fout" had vertrouwd.
Resultaat 2: De drone bleef stabiel en leerde niet "op de verkeerde manier" (zoals bij puur theoretische methoden die soms instabiel worden als het model niet perfect is).
Resultaat 3: De drone vlieg bijna net zo goed als een drone die bestuurd wordt door iemand die de exacte wetten van de natuurkunde kent. Het verschil was minder dan 1%.

Conclusie

Dit onderzoek is als het vinden van de perfecte balans tussen vertrouwen op je kennis en leren van je fouten.
Het is een nieuwe manier om robots en drones te leren vliegen in een wereld die nooit precies is zoals we in onze boeken hebben geschreven. Je gebruikt je theorie om snel te starten, maar je vertrouwt op je ogen om veilig aan te komen.

Titel: Policy-optimalisatie voor onbekende systemen met behulp van differentieerbare Model Predictive Control (MPC)

Auteurs: Riccardo Zuliani, Efe C. Balta, John Lygeros (ETH Zürich & Inspire AG)
Publicatie: Proceedings of Machine Learning Research, Vol 331, 2026 (8th Annual Conference on Learning for Dynamics and Control)

1. Probleemstelling

Het ontwerp van controlestrategieën (policy optimization) voor systemen met onbekende dynamica is een fundamentele uitdaging in de regeltechniek.

MPC-uitdaging: Model Predictive Control (MPC) is een krachtige methode die constraints (beperkingen) en toekomstige voorspellingen integreert. Echter, traditionele MPC-benaderingen voor policy-optimalisatie gaan er vaak van uit dat het systeemmodel exact bekend is. Wanneer het model onnauwkeurig is (model-uncertainty), leidt dit tot suboptimale prestaties en kan de convergentie van optimalisatiealgoritmen falen.
Data-gedreven alternatieven: Zuiver datagedreven (model-vrije) methoden, zoals zeroth-order optimalisatie, zijn robuust tegen modelonjuistheden maar vertonen vaak een trage convergentie en vereisen veel data.
De kernvraag: Hoe kan men de snelheid van model-gebaseerde methoden combineren met de robuustheid van model-vrije methoden, terwijl men convergentiegaranties behoudt in een niet-gladde (nonsmooth) omgeving zoals MPC?

2. Methodologie

De auteurs stellen een nieuw hybride optimalisatiekader voor dat differentieerbare MPC combineert met zeroth-order optimalisatie.

A. Formele Basis en Differentieerbaarheid

Omdat MPC-politiek niet-gladde functies zijn (door constraints en QP-oplossingen), kunnen klassieke gradiënten niet altijd worden gebruikt.

Conservative Jacobians: Het artikel maakt gebruik van het kader van definable functions en conservative Jacobians (geïntroduceerd door Bolte en Pauwels, 2021). Dit stelt hen in staat om een goed gedefinieerde veralgemeende afgeleide te gebruiken voor de MPC-solution map, zelfs in niet-gladde punten.
Goldstein $\delta$ -kritieke punten: In plaats van te zoeken naar klassieke stationaire punten (die onmogelijk zijn zonder volledige informatie), streeft het algoritme naar Goldstein $\delta$ -kritieke punten. Dit zijn punten waar de nul in de convex hull van de subdifferentiëren binnen een $\delta$ -omgeving ligt, wat een zinvolle optimaliteitsvoorwaarde is voor niet-gladde problemen.

B. Het Hybride Optimalisatiealgoritme

Het voorgestelde algoritme (vergelijking 10) combineert twee gradiëntrichtingen op elke iteratie $k$ :

Model-gebaseerde schatting ( $d_{k,1}$ ):
- Gebruikt het beschikbare (onjuiste) model $g$ om een geschatte Jacobiaan van de kostenfunctie te berekenen via de kettingregel.
- Dit levert snelle transiënten op maar is gevoelig voor modelfouten.
Model-vrije (Zeroth-order) schatting ( $d_{k,2}$ ):
- Gebruikt een gestochastische schatting gebaseerd op functionele evaluaties (random smoothing).
- Dit is robuust maar traag.
Gewogen Combinatie:
- De updaterichting is een lineaire combinatie: $d_k = \eta_k d_{k,1} + (1 - \eta_k) d_{k,2}$ .
- De parameter $\eta_k \in [0, 1]$ bepaalt het vertrouwen in het model.
- Dynamische afname: De auteurs kiezen voor een strategie waarbij $\eta_k$ geleidelijk afneemt naar 0. Dit betekent dat het algoritme eerst vertrouwen heeft in het model voor snelle vooruitgang, maar naarmate het proces vordert, steeds meer vertrouwt op de data-gedreven correctie om convergentie te garanderen.

C. Convergentieanalyse

Het artikel bewijst onder redelijke aannames (lokaal Lipschitz en definable functies) dat het algoritme convergeert naar een Goldstein Fritz-John $\delta$ -kritiek punt van het oorspronkelijke probleem, zelfs als het dynamische model onnauwkeurig is.

3. Belangrijkste Bijdragen

Nieuw Kader: Een novel policy-optimalisatieframework voor MPC dat model-gebaseerde en zeroth-order gradiënten naadloos combineert.
Robuustheid met Garanties: Het biedt convergentiegaranties zelfs bij onnauwkeurige systemmodellen, wat een open probleem was in eerdere MPC-optimalisatiestudies.
Flexibiliteit: De methode kan het vertrouwen in het model dynamisch afstemmen via de parameter $\eta_k$ , waardoor een optimale balans wordt gevonden tussen snelheid en nauwkeurigheid.
Theoretische Onderbouwing: Rigoureuze bewijzen voor convergentie naar Goldstein-kritieke punten in een niet-gladde, niet-convexe setting.

4. Resultaten (Simulatie)

De methode werd getest op een 12-dimensionale quadcopter (niet-lineair systeem) met de volgende setup:

Systeem: Een quadcopter met posities, snelheden, Euler-hoeken en hoeksnelheden.
Model: Een lineair model $g$ werd afgeleid via least-squares regressie op data, terwijl de werkelijke dynamica $f$ niet-lineair was.
Vergelijking: Het hybride algoritme werd vergeleken met:
- Puur model-gebaseerd ( $\eta_k = 1$ ).
- Puur zeroth-order ( $\eta_k = 0$ ).
- Het hybride algoritme met verschillende afname-snelheden voor $\eta_k$ .

Conclusies uit de simulaties:

Puur model-gebaseerd: Toonde snelle initiële verbetering maar werd later instabiel en faalde in het convergeren vanwege modelonjuistheden.
Puur zeroth-order: Bereikte consistente vooruitgang maar was aanzienlijk trager.
Hybride aanpak: Bereikte de beste prestaties. Het profiteerde van de snelle transiënten van het model en de stabiliteit van de zeroth-order correctie.
Kwaliteit: De getrainde controller bereikte een kostenfunctiewaarde van 1084.91, vergeleken met 1081.3 voor een controller geoptimaliseerd met het exacte niet-lineaire model. Dit betekent een suboptimaliteit van minder dan 1%, ondanks het gebruik van een benaderend model en ruisige gradiënten.

5. Betekenis en Toekomstperspectief

Dit werk is significant omdat het de kloof overbrugt tussen de efficiëntie van model-gebaseerde controle en de robuustheid van data-gedreven learning.

Praktische Toepassing: Het is ideaal voor situaties waar het maken van een perfect fysiek model moeilijk of duur is (bijv. complexe robotica, luchtvaart), maar waar toch gebruik moet worden gemaakt van de veiligheidsvoordelen van MPC.
Toekomstig Werk: De auteurs wijzen op de noodzaak om de veiligheidsgaranties (safety guarantees) verder te versterken, wat cruciaal is voor de implementatie in fysieke systemen.

Samenvattend biedt deze paper een theoretisch onderbouwd en praktisch effectief algoritme om MPC-controllers te leren voor onbekende systemen, waarbij de snelheid van modelgebruik wordt gecombineerd met de zekerheid van datagedreven correctie.