Kernel-Based LMI Approaches to Solving the Hamilton-Jacobi-Bellman Equation and Nonlinear Optimal Control

Titel: Kernel-gebaseerde LMI-benaderingen voor het oplossen van de Hamilton-Jacobi-Bellman-vergelijking en niet-lineaire optimale regeling

1. Probleemstelling

Het centrale probleem in de niet-lineaire optimale regeling is het oplossen van de Hamilton-Jacobi-Bellman (HJB)-vergelijking. Voor een systeem met de dynamica $\dot{x} = f(x) + g(x)u$ en een kostenfunctionaal over een oneindig horizon, bepaalt de oplossing van de HJB-vergelijking de optimale terugkoppelingswet.

• Uitdaging: De HJB-vergelijking is een niet-lineaire partiële differentiaalvergelijking (PDV). Direct oplossen is computationeel onhaalbaar voor algemene niet-lineaire systemen vanwege de "vloek van de dimensionaliteit".
• Bestaande methoden:
  • Finite Difference/Dynamic Programming: Lijden onder de vloek van de dimensionaliteit.
  • Neurale netwerken: Schalen goed, maar missen vaak theoretische garanties op optimaliteit en stabiliteit.
  • Sum-of-Squares (SOS): Bieden convexiteit, maar zijn beperkt tot polynoomsystemen en schalen slecht met de graad van het polynoom.

Het doel van dit artikel is een methode te ontwikkelen die convexiteit, theoretische garanties (stabiliteit en optimaliteit) en rekenkundige haalbaarheid combineert voor een breed scala aan niet-lineaire systemen.

2. Methodologie

De auteurs stellen een nieuwe framework voor dat drie kerncomponenten combineert: Reproducing Kernel Hilbert Spaces (RKHS), Lineaire Matrix Ongelijkheden (LMI) en Riccati-beperkingen.

A. Reformulering als LMI (Lineaire Matrix Ongelijkheid)

De kern van de methode is het omzetten van de niet-lineaire HJB-ongelijkheid naar een lineaire matrixongelijkheid via de Schur-complement techniek.

• De originele HJB-ongelijkheid bevat een kwadratische term in de graad van de waardefunctie ($\nabla V$).
• Door gebruik te maken van het Schur-complement, wordt deze niet-lineaire constraint omgezet in een LMI die lineair is in de variabele $\nabla V$.
• Dit transformeert het oorspronkelijk niet-convexe probleem in een convexe Semidefinite Program (SDP).

B. RKHS-Representatie

Om de oneindig-dimensionale LMI op te lossen, wordt de waardefunctie $V(x)$ en zijn gradiënt benaderd binnen een Reproducing Kernel Hilbert Space (RKHS).

• De waardefunctie wordt benaderd als een lineaire combinatie van kernel-functies: $V(x) = \sum p_i \kappa(x, x_i)$.
• Hierdoor wordt het probleem gediscretiseerd tot een eindig-dimensionale zoektocht naar de coëfficiënten $p$, terwijl de theoretische convergentie-eigenschappen van de kernel behouden blijven.

C. De Riccati-Hessiaan Beperking (Cruciaal Innovatie)

Een groot probleem bij het optimaliseren van de HJB-ongelijkheid is het bestaan van de triviale oplossing ($V(x) \equiv 0$), die aan alle constraints voldoet maar geen nuttige regeling oplevert.

• Oplossing: De auteurs introduceren een harde constraint op het evenwichtspunt (de oorsprong). De Hessiaan van de waardefunctie bij het evenwicht moet gelijk zijn aan de oplossing $P$ van de Algebraïsche Riccati-vergelijking (ARE) voor het gelineariseerde systeem.
• Formule: $\nabla^2 V(0) = P$, waarbij $P$ voldoet aan $A^\top P + PA - PBD^{-1}B^\top P + Q = 0$.
• Effect:
  1. Sluit de triviale oplossing uit (want $P$ is positief definiet).
  2. Garandeert consistentie met lineaire optimale regeling (LQR) in de buurt van het evenwicht.
  3. Zorgt voor exponentiële stabiliteit van het gesloten-luipsysteem.

3. Belangrijkste Bijdragen

1. Convexe Reformulering: Bewijs van de equivalentie tussen de niet-lineaire HJB-ongelijkheid en een LMI via het Schur-complement.
2. Finite-Dimensionale Benadering: Toepassing van RKHS-theorie om de HJB-vergelijking op te lossen met gegarandeerde convergentiesnelheden.
3. Riccati-Hessiaan Constraint: Een innovatieve beperking die triviale oplossingen voorkomt en lokale stabiliteit garandeert door aansluiting bij de lineaire theorie.
4. Complete Theoretische Analyse: Afleiding van sub-optimaliteitsgrenzen, certificaten voor exponentiële stabiliteit en convergentiesnelheden.
5. Numerieke Validatie: Uitgebreide tests op 1D, 2D en niet-polynoomsystemen (Van der Pol oscillator).

4. Resultaten

De methode is getest op drie verschillende systemen, waarbij alle gesloten-luipsystemen exponentieel convergeerden naar de oorsprong, zelfs vanuit onstabiele startpunten.

• 1D Polynoomsysteem: Een systeem met een onstabiel evenwicht ($\dot{x} = x + x^3 + u$). De methode herstelde de waardefunctie en regeling nauwkeurig. Alle trajecten vanuit zes verschillende startpunten convergeerden exponentieel ($|x(10)| < 10^{-6}$).
• 2D Radiaal Symmetrisch Systeem: Een 2D-systeem met onstabiele eigenwaarden. De methode stabiliseerde het systeem vanuit acht richtingen op een eenheidscirkel. De trajecten spiralen naar de oorsprong.
• Van der Pol Oscillator: Een klassiek niet-lineair, niet-polynoom systeem met onstabiele demping. Ondanks de complexiteit en de niet-polynoom aard, slaagde de kernel-benadering erin om het systeem te stabiliseren met een gemiddelde eindfout van $\approx 1.5 \times 10^{-7}$.

Kernobservaties uit de resultaten:

• Lokale vs. Globale Nauwkeurigheid: Het is niet nodig om de waardefunctie perfect globaal te benaderen. Zolang de lokale kromming (Hessiaan) bij het evenwicht correct is (gedwongen door de Riccati-constraint), is stabiliteit gegarandeerd.
• Robuustheid: De methode werkt effectief voor zowel polynoom- als niet-polynoomsystemen.
• Rekenkundige Efficiëntie: De problemen zijn opgelost als convexe SDP's binnen seconden tot enkele tientallen seconden, zelfs voor 2D-systemen.

5. Betekenis en Conclusie

Dit werk vormt een brug tussen klassieke dynamische programmering en moderne convexoptimalisatie.

• Verschil met bestaande methoden: In tegenstelling tot klassieke Lyapunov-methoden (zoals die van Giesl) die alleen stabiliteit verifiëren voor al stabiele systemen, biedt deze methode regelingssynthese voor systemen die van nature onstabiel zijn.
• Theoretische Garantie: Het biedt zeldzame, rigoureuze garanties voor niet-lineaire optimale regeling, inclusief bewijzen voor exponentiële stabiliteit en sub-optimaliteitsgrenzen.
• Toepasbaarheid: De methode is schaalbaar en toepasbaar op een breed scala aan niet-lineaire systemen, wat een belangrijke stap voorwaarts is in het gebied van data-gedreven en kernel-gebaseerde regelingstechnieken.

Samenvattend biedt deze paper een krachtig, theoretisch onderbouwd raamwerk om de "vloek van de dimensionaliteit" van de HJB-vergelijking te omzeilen door het probleem te vertalen naar een convex SDP-probleem, waarbij de stabiliteit wordt gewaarborgd door slimme integratie van lineaire regelingstheorie (Riccati) in de niet-lineaire context.