Synthesizing Neural Network Controllers with Closed-Loop Dissipativity Guarantees

Technische Samenvatting: Synthese van Neurale Netwerkcontrollers met Closed-Loop Dissipativiteitsgaranties

Probleemstelling
Neurale netwerkcontrollers, in het bijzonder die getraind via reinforcement learning (RL), bieden een aanzienlijke expressiviteit voor complexe nietlineaire controle-taken, maar missen vaak formele veiligheidsgaranties. Standaard trainingsmethoden kunnen resulteren in controllers die gevoelig zijn voor inputs of onverwacht gedrag vertonen, wat risico's met zich meebrengt in veiligheidskritische toepassingen. Hoewel verificatiemethoden bestaan om de closed-loop stabiliteit van getrainde netwerken te analyseren, faciliteren zij niet inherent de synthese van controllers die voldoen aan robuustheidsbeperkingen tijdens het trainingsproces. Bovendien kampen bestaande synthesemethoden vaak met beperkingen met betrekking tot de klasse van planten die zij kunnen verwerken (bijv. beperkt tot lineaire tijdsinvariante systemen) of de complexiteit van de neurale netwerkarchitecturen die zij ondersteunen (bijv. geheugenloos versus dynamisch).

Dit artikel adresseert de uitdaging om neurale netwerkcontrollers te synthetiseren voor nietlineaire en onzekere planten die simultaan een beloningsfunctie maximaliseren en harde restricties op closed-loop dissipativiteit voldoen. Dissipativiteit wordt gebruikt als een verenigend kader om eigenschappen te certificeren zoals stabiliteit, $L_2$-gain bounds (robuustheid tegen verstoringen) en passiviteit.

Methodologie
De voorgestelde aanpak modelleert zowel de plant als de controller middels een verenigd kader gebaseerd op de interconnectie van een Lineair Tijd-Invariant (LTI) systeem en een onzekerheidsblok.

1. Systeemmodellering:

   • Plant: De plant wordt gemodelleerd als een onzeker LTI-systeem waarbij onzekerheden en nietlineariteiten worden beschreven met behulp van Integral Quadratic Constraints (IQC's). Dit maakt de representatie van ongemodelleerde dynamica en nietlineariteiten mogelijk.
   • Controller: De neurale netwerkcontroller wordt gemodelleerd als een Recurrent Implicit Neural Network (RINN), ook wel bekend als een evenwichtsnetwerk. Deze architectuur omvat veelvoorkomende feedforward en recurrente structuren. De controller wordt gerepresenteerd als een LTI-systeem dat is geinterconnecteerd met een activatiefunctieblok, waarbij de activatiefuncties ook worden gekarakteriseerd door IQC's (specifiek sector-gebonden en helling-beperkte restricties).

2. Dissipativiteitscertificering:

   • De auteurs leiden voldoende voorwaarden af waaronder een onzeker LTI-systeem dissipatief is met betrekking tot een gespecificeerde kwadratische supply rate.
   • Door gebruik te maken van de IQC-beschrijvingen van zowel de plant-onzekerheid als de activatiefuncties van de controller, formuleren zij een voorwaarde voor de dissipativiteit van het closed-loop systeem.
   • In eerste instantie resulteert dit in een Bilinear Matrix Inequality (BMI) met betrekking tot de controllerparameters, de storage function matrix ($P$) en de IQC-multiplicatoren.

3. Convexificatie en Synthese:

   • Om de synthese computationeel hanteerbaar te maken, passen de auteurs een verandering van variabelen toe (gebaseerd op Scherer et al., 1997) om de BMI om te zetten in een Linear Matrix Inequality (LMI). Deze transformatie maakt het mogelijk de LMI efficiënt op te lossen met behulp van semidefinite programming (SDP).
   • De LMI is affien in de nieuwe beslissingsvariabelen, waardoor de simultane optimalisatie van de controllerstructuur en het dissipativiteitscertificaat mogelijk wordt.

4. Trainingsalgoritme:

   • Er wordt een projectie-gebaseerd trainingsalgoritme voorgesteld. Het proces wisselt af tussen een standaard RL-stap (bijv. Proximal Policy Optimization) om de beloning te maximaliseren en een dissipativiteit-afdwingende stap.
   • Indien de bijgewerkte controllerparameters de dissipativiteitsvoorwaarde schenden, voert een projectiestap een SDP uit om de dichtstbijzijnde controllerparameters (in de getransformeerde ruimte) te vinden die aan de LMI-restricties voldoen.
   • Een alternatieve regularisatie-gebaseerde methode wordt eveneens besproken, waarbij een penalty-term aan de loss-functie wordt toegevoegd, hoewel de projectie-gebaseerde methode in experimenten als robuuster wordt aangetoond.

Belangrijkste Bijdragen

• Verenigd Kader: Het artikel presenteert een methode om neurale netwerkcontrollers te synthetiseren voor een brede klasse van nietlineaire en onzekere planten door zowel de plant als de controller te modelleren als interconnecties van LTI-systemen en IQC-gebonden blokken.
• Convex Synthesevoorwaarden: Het leidt convexe (LMI) voorwaarden af voor closed-loop dissipativiteit, wat het gebruik van efficiënte SDP-solvers voor de synthese van controllers mogelijk maakt.
• Projectie-gebaseerde Training: Een nieuw trainingsprocedé wordt geïntroduceerd dat RL integreert met harde dissipativiteitsrestricties via projectie, waardoor gegarandeerd wordt dat de uiteindelijke controller aan de robuustheidsgaranties voldoet terwijl de prestaties worden geoptimaliseerd.
• Architecturale Flexibiliteit: Het gebruik van Implicit Neural Networks (INN's) staat toe dat de methode dynamische controllers met geheugen (RINNs) ondersteunt, wat verder gaat dan de statische of louter feedforward architecturen die in eerder werk werden gebruikt.

Experimentele Resultaten
De aanpak werd gevalideerd met twee simulatievoorbeelden:

1. Inverted Pendulum (Omgekeerde Pendel): Het doel was om de pendel te stabiliseren met minimale controle-inspanning. De voorgestelde Dissipative RINN (D-RINN) bereikte aanzienlijk lagere controle-inspanning (hogere beloning) vergeleken met een geconstrainde LTI-controller, terwijl dezelfde stabiliteitsgaranties werden behouden. Het presteerde beter dan ongestelde neurale netwerken, die er niet in slaagden het systeem te stabiliseren onder de beloningsfunctie.
2. Flexibele Staaf op een Kar: Dit voorbeeld betrof een flexibele staaf die werd gemodelleerd als een rigide lichaam met onzekerheid om flexibiliteit te vangen. De D-RINN werd getraind om een $L_2$-gain bound te garanderen van verstoringen naar de toestand. De D-RINN bereikte hogere beloningen (betere regeling van de toestand met minder controle-inspanning) dan de LTI-controller met dezelfde robuustheidsgaranties. Ongestrengde neurale netwerken behaalden hoge beloningen, maar faalden in het bieden van stabiliteitsgaranties.

In beide gevallen toonde de D-RINN aan dat formele robuustheidsgaranties hoge prestaties niet noodzakelijkerwijs uitsluiten; sterker nog, de neurale netwerkcontroller presteerde beter dan de lineaire controller met identieke restricties.

Betekenis en Claims
De auteurs stellen dat hun primaire bijdrage de simultane garantie van robuustheid tegen exogene verstoringen en modelonzekerheid is via het verenigende kader van dissipativiteit. Zij beweren dat deze methode een computationeel hanteerbare manier biedt om neurale netwerkcontrollers te synthetiseren die niet alleen expressief, maar ook formeel gecertificeerd zijn.

Het artikel positioneert dit werk als een vooruitgang ten opzichte van bestaande methoden door:

• Een grotere klasse van dynamische systemen (nietlineaire en onzekere planten) te behandelen vergeleken met methoden die beperkt zijn tot LTI-planten.
• Een flexibelere karakterisering van neurale netwerken te gebruiken (dynamische, output-feedback) vergeleken met geheugenloze of louter state-feedback benaderingen.
• Geen pre-stabiliserende basiscontroller vereist, in tegengensstelling tot sommige Youla-Kucera parametrisatie-benaderingen.

De auteurs concluderen dat, hoewel de huidige LMI-gebaseerde aanpak beperkingen heeft wat betreft computationele schaalbaarheid, het een rigoureuze fundering biedt voor veilige, lerende controle, waarbij toekomstig werk zich zal richten op het verminderen van conservatisme en het verbeteren van numerieke stabiliteit.