Learning Robust Control Lyapunov Functions through Lipschitz Neural Networks

Technische Samenvatting: Het leren van robuuste Control Lyapunov Functies via Lipschitz Neurale Netwerken

Probleemstelling
Het artikel behandelt de uitdaging van het ontwerpen van stabiliserende controllers voor nietlineaire dynamische systemen die onderhevig zijn aan additieve verstoringen. Hoewel Lyapunov-functies een fundamenteel hulpmiddel zijn voor stabiliteitsanalyse, blijft de automatische constructie ervan voor algemene nietlineaire systemen een openstaand probleem. Bestaande computationele methoden, zoals Sum-of-Squares (SOS) of Linear Matrix Inequalities (LMI), hebben vaak moeite met schaalbaarheid of algemeenheid. Bovendien richten recente deep learning-benaderingen die Control Lyapunov Functies (CLF's) leren met behulp van neurale netwerken zich doorgaans op exacte dynamica zonder verstoringen, of vertrouwen ze op verificatiemethoden die computationeel duur of conservatief zijn (bijv. door alleen zeroth-order informatie te gebruiken). De specifieke uitdaging die hier wordt aangepakt, is het leren van een Robust Control Lyapunov Function (RCLF) en een bijbehorende state-feedback controller die Uniform Ultimate Boundedness (UUB) garandeert in aanwezigheid van state-afhankelijke additieve verstoringen, terwijl het waarborgen van deze condities computationeel hanteerbaar blijft.

Methodologie
Het voorgestelde framework integreert Lipschitz Neurale Netwerken (LNN's) met een high-order Branch-and-Bound (BnB) verificatiealgoritme.

1. Lipschitz Neurale Netwerken (LNN's):
   De auteurs maken gebruik van LNN's om gezamenlijk de RCLF ($V_{\theta_1}$) en de stabiliserende controller ($\pi_{\theta_2}$) te leren. In tegenstelling tot standaard netwerken, dwingen LNN's een vooraf gedefinieerde Lipschitz-constante af via specifieke laag-parameterisaties (bijv. Spectral Normalization, Orthogonal Layers, of Sandwich Layers). Deze beperking is cruciaal omdat het de afleiding van expliciete, nauwe grenzen op hogere-orde afgeleiden (Hessian en derde-orde afgeleiden) van de netwerkoutput met betrekking tot de input mogelijk maakt. De RCLF wordt gedefinieerd als een verschoven netwerkoutput om de evenwichtsconditie $V(0)=0$ te waarborgen.

2. Trainingsalgoritme:
   Het trainingsproces minimaliseert een samengestelde verliesfunctie over een gesamplede state-ruimte en grens. De verliestermen handhaven:

   • Positieve Definietheid: Het waarborgen dat $V(x) > 0$ voor $x \neq 0$.
   • Afnameconditie: Het waarborgen dat de tijdsafgeleide $\dot{V}$ negatief is buiten een kleine bal rond de oorsprong, rekening houdend met de slechtst denkbare verstoring. Dit omvat het boven het verstoringsterm begrenzen met behulp van de bekende verstoring-grensterm $\epsilon(x)$ en de Lipschitz-constantes van het netwerk en de systeemdynamica.
   • Grens en Dekking: Het stimuleren van de sublevel set van $V$ om een maximaal deel van de state-ruimte te dekken en een consistente waarde op de grens te behouden.
     Het algoritme initialiseert parameters met behulp van Linear Quadratic Regulator (LQR) oplossingen en verfijnt deze iteratief, waarbij de parameters worden opgeslagen die de grootste empirisch geverifieerde forward-invariant regio opleveren.

3. High-Order Verificatie (Branch-and-Bound):
   Een nieuw GPU-vriendelijk BnB-algoritme wordt geïntroduceerd om de geleerde RCLF formeel te verifiëren. In tegenstelling tot traditionele solvers (bijv. dReal) die vertrouwen op zeroth-order grenzen of SMT-solvers die te maken hebben met schaalbaarheidslimieten, maakt deze methode gebruik van de gladheid van de LNN's.

   • Hogere-orde Grenzen: De auteurs leiden expliciete spectrale norm-grenzen af voor de Hessian en derde-orde afgeleiden van LNN's. Deze grenzen worden gebruikt om nauwe onder- en bovengrenzen op de netwerkoutput te construeren via Taylor-expansies (tot tweede-orde).
   • Algoritme Efficiëntie: Door eerste- en tweede-orde informatie op te nemen, creëert het algoritme aanzienlijk nauwere inkapselingen van de functiewaarden binnen zoekrechthoeken. Dit maakt een agressievere pruning van de zoekruimte mogelijk vergeleken met zeroth-order methoden.
   • Complexiteit: Het artikel stelt worst-case tijdcomplexiteitsgrenzen vast, waarbij wordt aangetoond dat het aantal geëvalueerde rechthoeken polynomiaal schaalt met de systeemdimensie en omgekeerd evenredig is met de tolerantie, maar in de praktijk drastisch wordt verminderd door de nauwere grenzen.

Belangrijkste Bijdragen

1. Nieuw Framework: Een verenigde aanpak voor het leren van robuuste CLF's en stabiliserende controllers voor nietlineaire systemen met additieve, state-afhankelijke verstoringen met behulp van LNN's.
2. Afgeleide Grenzen: De vaststelling van expliciete spectrale norm-grenzen voor de Hessian en derde-orde afgeleiden van LNN's. Deze grenzen zijn nauwer dan die afgeleid uit louter zeroth- of first-order informatie, wat de niet-convexiteit van Lyapunov-verificatie aanpakt.
3. GPU-vriendelijke Verificatie: De ontwikkeling van een BnB-algoritme dat gebruikmaakt van deze hogere-orde grenzen en batch-evaluatie op GPU's ondersteunt. Dit versnelt het verificatieproces aanzienlijk vergeleken met CPU-gebaseerde SMT-solvers.
4. Empirische Validatie: Uitgebreide simulaties op zes dynamische systemen (inverted pendulum, unicycle, third-order system, cartpole, 2D quadrotor, en SCARA arm) demonstreren het vermogen van de methode om stabiliteit te verifiëren en bestaande tools (dReal, $\alpha,\beta$-CROWN) te overtreffen in termen van snelheid en schaalbaarheid.

Resultaten
Het artikel presenteert simulatieresultaten waarbij de voorgestelde methode wordt vergeleken met dReal (CPU-gebaseerde SMT) en $\alpha,\beta$-CROWN (GPU-gebaseerde bound propagation).

• Verificatiesnelheid: Het voorgestelde GPU-gebaseerde BnB-algoritme presteert consequent beter dan dReal, waarbij de verificatietijd vaak wordt teruggebracht van uren (of timeouts) naar seconden, zelfs voor systemen met hogere state-dimensies (bijv. SCARA arm met $n_x=8$).
• Schaalbaarheid: Terwijl dReal faalt om systemen met meer dan 2-3 lagen binnen een redelijke tijd te verifiëren, verifieert de voorgestelde methode succesvol netwerken met tot 4 lagen.
• Forward Invariant Regions: De geleerde controllers bereiken aanzienlijk grotere forward-invariant regio's vergeleken met standaard LQR en niet-robuuste neurale NLC-benaderingen. Voor de inverted pendulum behaalde de voorgestelde methode een forward-invariant regio ratio van ~75%, vergeleken met ~23% voor LQR.
• Robuustheid: De verificatie bevestigt dat de geleerde controllers voldoen aan de UUB-conditie, waardoor trajecten binnen een begrensde regio blijven ondanks de aanwezigheid van verstoringen.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis ligt in het overbruggen van de kloof tussen de expressiviteit van deep learning en de rigoureuze vereisten van robuuste controleverificatie. Door gebruik te maken van de specifieke structuur van Lipschitz-netwerken om hogere-orde afgeleide-grenzen af te leiden, maakt de auteur een verificatieproces mogelijk dat zowel wiskundig rigoureus als computationeel efficiënt is.

De auteurs stellen expliciet dat hun framework geen stabiliteit certificeert voor een onbekend model zonder bekende foutmarge; in plaats daarvan biedt het een deterministische garantie van robuustheid tegen een gecertificeerd modelverschil of een begrensde verstoring. Het werk benadrukt dat hoewel LNN's mogelijk een lagere expressiviteit hebben vergeleken met onbeperkte netwerken, de afweging gerechtvaardigd is door de mogelijkheid tot efficiënte, hogere-orde verificatie, wat essentieel is voor veiligheidskritische regeltoepassingen. Het artikel concludeert dat deze aanpak de formele verificatie van robuuste, geleerde controllers voor complexe nietlineaire systemen praktisch haalbaar maakt.