Stability-Preserving Online Adaptation of Neural Closed-loop Maps

Probleemstelling

Moderne regelsystemen opereren in steeds dynamischere omgevingen waar doelen en verstoringen veranderen. Hoewel stabiliteit een fundamentele vereiste is, is dit op zichzelf niet voldoende; systemen moeten ook presteren (bijv. goede tracking, efficiëntie) onder veranderende omstandigheden.

• Uitdaging: Bestaande methoden voor niet-lineaire optimale regeling (NOC) en Model Predictive Control (NMPC) hebben vaak te maken met zware rekenvereisten of strikte aannames over kostenfuncties om stabiliteit te garanderen.
• Neurale Netwerken: Hoewel neurale netwerken (NN) krachtige feedback-beleid kunnen modelleren, is het certificeren van gesloten-lus-stabiliteit moeilijk. Bestaande benaderingen gebruiken vaak tijd-invariante recurrente NN's die na training vaststaan.
• Het Kernprobleem: Er is geen gestructureerde manier om een controller online te updaten zonder de gesloten-lus-stabiliteit te riskeren. Het schakelen tussen twee individueel stabiele beleidsregels kan de gesloten lus destabiliseren (een bekend probleem uit de theorie van geschakelde systemen).

Methodologie

De auteurs introduceren een raamwerk voor het online bijwerken van niet-lineaire, op neurale netwerken gebaseerde controllers, waarbij de $\ell_p$-stabiliteit van de gesloten lus gegarandeerd blijft.

1. IMC Architectuur (Internal Model Control):

   • Het systeem wordt gemodelleerd als een causale operator $F$.
   • De controller wordt geparametriseerd via een vrije operator $M$ binnen een IMC-structuur.
   • Volgens Stelling 1 (gebaseerd op eerdere werken) is een controller stabiliserend als en slechts als de operator $M$ behoort tot de ruimte van $\ell_p$-stabiele operatoren ($M \in \mathcal{L}_p$). Dit koppelt stabiliteit los van optimaliteit: zolang $M$ een eindige versterking (gain) heeft, is het systeem stabiel.

2. Online Adaptatie met Triggering:

   • In plaats van één vaste $M$, wordt een reeks operatoren $\{M^{(i)}\}$ gebruikt die op tijdstippen $t_i$ worden bijgewerkt.
   • Om destabilisatie door schakelen te voorkomen, worden gain-budgetteerde triggercondities ontwikkeld.
   • Stelling 2 levert de theoretische garantie: Als de versterking (gain) van de nieuwe controller $M^{(i)}$ en de grootte van de staat $x_{t_i}$ op het moment van schakelen voldoen aan een specifieke ongelijkheid (afhankelijk van de versterking van het plant-systeem $F$), dan blijft de totale, tijdsvariabele gesloten lus $\ell_p$-stabiel.

3. Implementatie Schemes:
   De auteurs presenteren twee praktische methoden om deze voorwaarden toe te passen:

   • Algoritme 1 (Tijd-gepland): Updates worden geprobeerd op vaste intervallen ($t_{opt}$). Een update is alleen toegestaan als de huidige staat $x_{t_i}$ klein genoeg is ten opzichte van een budget $r^{(i)}$ en de versterking van de nieuwe controller.
   • Algoritme 2 (Staat-geactiveerd): Er is geen vaste tijdsinterval. De controller wacht tot de staat $x_{t_i}$ onder een bepaalde drempel $\epsilon^{(i)}$ zakt (berekend op basis van de gewenste versterking en het budget). Pas dan wordt een nieuwe controller geoptimaliseerd en geactiveerd. Dit vermindert onnodige herberekeningen.

4. Optimalisatie:
   De nieuwe parameters voor $M$ worden gevonden door een eindige-horizon optimalisatieprobleem (vergelijkbaar met NMPC) op te lossen. Cruciaal is dat stabiliteit losstaat van optimaliteit: zelfs als de optimalisatie niet perfect convergeert (bijv. door vroege stopzetting of kortere horizon), blijft het systeem stabiel zolang de gain-condities worden gerespecteerd.

Belangrijkste Bijdragen

1. Gain-budgetteerde updateconditie: Een theoretisch onderbouwde voorwaarde die garandeert dat herhaaldelijke online updates van een controller de $\ell_p$-stabiliteit niet schenden.
2. Twee implementeerbare triggermechanismen: Een tijd-geplande en een staat-geactiveerde methode die een afweging maken tussen rekenkracht en aanpassingsvermogen, terwijl stabiliteit gegarandeerd blijft.
3. Decoupling van stabiliteit en optimaliteit: Het bewijs dat stabiliteit niet afhankelijk is van het vinden van een globaal optimum, wat het mogelijk maakt om snelle, benaderende oplossingen te gebruiken tijdens de online fase.
4. Empirische validatie: Succesvolle toepassing op niet-lineaire benchmarks met bewijzen van betere prestaties ten opzichte van statische baselines en naive online methoden.

Resultaten

De methode werd getest op twee niet-lineaire scenario's:

1. Het "Mountains" probleem: Twee agenten navigeren door een vallei met obstakels.
   • Resultaat: De online adaptieve methode (Algoritme 1) reduceerde de gemiddelde kosten met 35,1% (nominale situatie) en 40,3% (bij verstoringen) ten opzichte van een offline getrainde controller uit de literatuur. Het systeem paste zich effectief aan plotselinge verstoringen aan.
2. Dynamische obstakels: Een agent volgt een pad terwijl dynamische obstakels bewegen.
   • Resultaat: De voorgestelde aanpak presteerde beter dan zowel een offline controller als een Receding Horizon Open-loop (RHO) planner. De methode toonde lagere kosten en minder variabiliteit, wat wijst op hogere betrouwbaarheid en prestaties in onzekere omgevingen.

In beide gevallen werd aangetoond dat de gesloten-lus-stabiliteit behouden bleef, zelfs bij frequente updates en veranderende doelen.

Betekenis en Conclusie

Dit werk biedt een oplossing voor een van de grootste knelpunten in het toepassen van neurale netwerken in de regeltechniek: het veilig maken van online adaptatie.

• Veiligheid: Het elimineert het risico dat het updaten van een AI-controller het systeem instabiel maakt.
• Flexibiliteit: Het stelt systemen in staat om te reageren op veranderende omgevingen en doelen zonder dat er zware offline training nodig is om alle scenario's te dekken.
• Toekomstperspectief: De auteurs wijzen op mogelijke uitbreidingen, zoals het integreren van robuustheid tegen model-onzekerheid, het online bijwerken van het systeemmodel zelf, en het koppelen aan Reinforcement Learning om stabiliteit te garanderen tijdens het leerproces (niet alleen na convergentie).

Samenvattend biedt dit artikel een theoretisch solide en praktisch toepasbaar raamwerk voor het bouwen van "levende" regelsystemen die zowel stabiel als hoogpresterend blijven in dynamische werkelijkheid.