Policy Optimization with Differentiable MPC: Convergence Analysis under Uncertainty

1. Probleemstelling

Het paper adresseert een fundamentele uitdaging in het ontwerpen van Model Predictive Control (MPC) controllers: de prestaties van MPC zijn sterk afhankelijk van de nauwkeurigheid van het gebruikte dynamisch model. In veel praktische toepassingen zijn de systeemdynamica's echter onbekend of onzeker en onderhevig aan stochastische ruis.

Traditionele aanpakken voor het afstemmen van MPC-hyperparameters (zoals de kostenfunctie of modelparameters) missen vaak wiskundige convergentiegaranties, vooral wanneer het model onbekend is. Bestaande methoden zoals Bayesiaanse optimalisatie of Reinforcement Learning bieden vaak geen garanties op recursieve haalbaarheid of stabiliteit. Het paper richt zich op de vraag: Hoe kunnen we een MPC-beleid optimaliseren via gradient-based policy optimization wanneer het systeemmodel onbekend is en er sprake is van ruis, terwijl we toch convergentie naar een optimaal (of suboptimale) oplossing kunnen garanderen?

2. Methodologie

De auteurs stellen een geïntegreerde aanpak voor die Differentiable MPC combineert met Recursieve Systeemidentificatie. De kern van de methode is een gesloten-lus optimalisatiealgoritme dat in iteraties werkt:

• Systeemidentificatie (Learning the Model):
  In elke iteratie $k$ worden de toestand-input trajecten van het gesloten-lus systeem gebruikt om het onbekende parameter $\theta$ van het systeem te schatten. Er wordt gebruikgemaakt van een Recursive Least Squares (RLS) schatter. Dit resulteert in een schatting $\theta_k$ en een betrouwbaarheidsgebied (ellipsoïde) $\Theta_k$ waarin het ware parameter met hoge waarschijnlijkheid ligt.

  • Aannames: De ruis is i.i.d. en sub-Gaussisch, en er geldt een persistentie van excitatie (PE) conditie over de iteratie.

• Differentiable Optimization (Gradient Computation):
  De MPC wordt geformuleerd als een differentieerbare laag (een kwadratisch programma). Door gebruik te maken van impliciete differentiatie (via de Implicit Function Theorem) en backpropagation, kunnen de auteurs de gradiënt van de kostenfunctie berekenen ten opzichte van de ontwerpparameters $p$.

  • De parameters $p$ omvatten zowel de hyperparameters van de kostenfunctie als (optioneel) het voorspellingsmodel zelf.
  • De gradiënt wordt geschat op basis van een enkele realisatie van de ruis en het geschatte model $\theta_k$.

• Update Regel:
  De parameters worden bijgewerkt via een geprojecteerde gradient descent:
  $$p_{k+1} = \Pi_{Y_k} [p_k - \alpha_k J^k_{\bar{C}}]$$
  Waarbij $\Pi_{Y_k}$ projectie is op de verzameling van toelaatbare parameters die consistent zijn met het betrouwbaarheidsgebied $\Theta_k$.

• Varianten:

  1. Volledige Optimalisatie: Het voorspellingsmodel is een vrije variabele in de optimalisatie.
  2. Certainty Equivalence (CE): Het voorspellingsmodel in de MPC wordt direct gelijkgesteld aan de beste huidige schatting $\theta_k$. Dit verkleint de zoekruimte en verbetert de computatie-efficiëntie.

3. Belangrijkste Bijdragen

Het paper levert twee hoofdbijdragen op het gebied van theoretische analyse en praktische toepassing:

1. Convergentiegaranties onder Onzekerheid:
   De auteurs bewijzen dat het algoritme convergeert naar een kritiek punt van de kostenfunctie, zelfs wanneer het systeemmodel onbekend is en er stochastische ruis aanwezig is.

   • Onder de aanname van een asymptotisch exacte systeemidentificatie (waarbij de onzekerheid naar nul gaat), garanderen ze convergentie naar een optimaal punt.
   • Ze analyseren ook het geval van onvolmaakte modelkennis (waarbij PE niet volledig geldt of de identificatie niet convergeert naar nul). Hierin tonen ze aan dat het algoritme convergeert naar een suboptimale oplossing en bieden ze een probabilistische bovengrens op de norm van de gradiënt (residu).

2. Formele Analyse van Path-Differentiëerbaarheid:
   Het paper maakt gebruik van de theorie van path-differentiëerbaarheid en definable sets (o-minimale structuren) om de niet-gladde aard van de MPC-oplossingskaart (solution map) wiskundig te behandelen. Dit stelt hen in staat om conservatieve Jacobianen te definiëren en convergentie te bewijzen voor een breed scala aan MPC-architecturen.

4. Resultaten

De methode is getest op drie simulatiescenario's:

• Willekeurige Lineaire Systemen:
  Vergelijking tussen het voorgestelde algoritme (met en zonder Certainty Equivalence) en een "all-knowing" controller (die het ware model kent).

  • Resultaat: De getune MPC presteert aanzienlijk beter dan een ongetuned MPC en een standaard Riccati-benadering (DARE). De Certainty Equivalence variant bleek efficiënter en bereikte een lagere suboptimaliteit (11% vs 30%) door de gereduceerde complexiteit van de zoekruimte.

• Niet-lineaire Quadcopter:
  Toepassing op een 12-dimensionale drone met onbekende dynamica.

  • Resultaat: De RLS-schatter leerde het model binnen ongeveer 40 iteraties met een fout kleiner dan 1%. De gesloten-lus kosten daalden en benaderden die van de "all-knowing" controller. Het algoritme slaagde er zelfs in om effectief te optimaliseren voor een extra niet-convexe energie-penalty die niet expliciet in de MPC-kostenfunctie was opgenomen.

• Laterale Controle van een Autonoom Voertuig:
  Een raceauto op een kromlijnig traject met onbekende parameters en een niet-stochastische verstoring (baankromming).

  • Resultaat: Zelfs zonder exacte kennis van de verstoring, bereikte de getuned controller een gesloten-lus kosten die 35% lager was dan de ongetuned versie en slechts 15% suboptimaal was ten opzichte van de beste mogelijke oplossing. De methode uit Sectie VI-B werd gebruikt om een probabilistische bovengrens op de gradiëntnorm te bepalen, wat de robuustheid van de oplossing onder onzekerheid bevestigde.

5. Betekenis en Conclusie

Dit paper is significant omdat het de kloof overbrugt tussen data-gedreven optimalisatie en theoretische stabiliteit/convergentie in MPC.

• Theoretische Vooruitgang: Het biedt de eerste rigoureuze convergentieanalyse voor policy optimization met MPC onder onzekerheid, een gebied dat eerder grotendeels onontgonnen was in de literatuur.
• Praktische Toepasbaarheid: De methode vereist geen perfecte kennis van het model en kan worden ingezet in real-time scenario's waar systemen geleerd worden terwijl ze worden bestuurd.
• Veiligheid en Robuustheid: Hoewel het paper zich niet direct richt op veiligheidsgaranties, wordt gesteld dat de geleerde modellen kunnen worden gecombineerd met bestaande robuuste ontwerpmethoden (zoals in eerdere werken van de auteurs) om veiligheid te waarborgen.

Kortom, de auteurs tonen aan dat het combineren van recursieve systeemidentificatie met differentieerbare optimalisatie een krachtige en wiskundig onderbouwde route is naar het ontwerpen van hoogpresterende, adaptieve MPC-controllers voor onzekere systemen.