Learning Neural Controllers with Optimality and Stability Guarantees Using Input-Output Dissipativity

Technische Samenvatting: Leren van Neurale Controllers met Optimaliteits- en Stabiliteitsgaranties via Input-Output Dissipativiteit

Probleemstelling
Deep learning heeft veelbelovende resultaten getoond bij het oplossen van complexe nietlineaire controle-taken binnen de robotica, transport en energiesystemen. Deze methoden missen echter doorgaans formele garanties voor kritieke eigenschappen zoals stabiliteit. Hoewel learning-gebaseerde benaderingen die gebruikmaken van counterexample-guided inductive synthesis (bijv. via SMT-solvers) de stabiliteit van neurale controllers kunnen verifiëren, falen ze vaak in het bieden van garanties voor optimaliteit over een oneindige horizon. Bestaande methoden optimaliseren vaak prestaties over eindige trajecten, wat leidt tot "myope" ontwerpen die geen langetermijnoptimaliteit of globale stabiliteit waarborgen. De kernuitdaging die dit artikel aanpakt, is het ontwerpen van neurale controllers die simultaan asymptotische stabiliteit en optimaliteit garanderen met betrekking tot door de gebruiker gedefinieerde kostenfuncties voor algemene nietlineaire systemen.

Methodologie
De auteurs stellen een framework voor gebaseerd op input-output dissipativiteitstheorie, een generalisatie van de Lyapunov-theorie die opslagfuncties (storage functions) en supply rate functies gebruikt om energie-dissipatie in input-output paren te karakteriseren.

1. Theoretisch Kader:

   • Het systeem wordt gemodelleerd als $\dot{x} = f(x) + g(x)u$.
   • De auteurs definiëren een opslagfunctie $V(x)$ (analoog aan een Lyapunov-functie) en een supply rate functie $w(x, u)$ in een Quadratic-Storage-Resistive (QSR) vorm: $w(x, u) = x^\top Q(x)x + 2x^\top S(x)u + u^\top R(x)u$.
   • Stabiliteit: Als het systeem dissipatief is met $w(x, u) < 0$ onder een specifieke control law, dan is het gesloten systeem stabiel. Het artikel leidt een gestructureerde control law af, $\pi(x) = -R(x)^{-1}S(x)^\top x$, die stabiliteit garandeert indien specifieke matrix-ongelijkheden (betreffende $\Delta(x) = S(x)R(x)^{-1}S(x)^\top - Q(x)$) positief definit zijn.
   • Optimaliteit: De auteurs bewijzen dat deze gestructureerde control law de optimale oplossing is voor een optimal control probleem met een oneindige horizon. De bijbehorende kostenfunctionaal wordt afgeleid van de geleerde opslag- en supply rate functies. Bovendien tonen zij aan dat indien aan aanvullende regulariteitsvoorwaarden wordt voldaan, de kostenfunctionaal een nietlineaire kwadratische vorm wordt, waardoor de controller gevormd kan worden naar specifief door de gebruiker gedefinieerde doelstellingen.

2. Leeralgoritme (Counterexample-Guided Inductive Synthesis):

   • Neurale Parameterisatie: De opslagfunctie $V(x)$ en de matrixfuncties $Q(x), S(x), R(x)$ worden geparametriseerd door feed-forward neurale netwerken.
   • Dimensiereductie: Een belangrijke technische bijdrage is een herformulering van de dissipativiteitsconditie. In plaats van te samplen over de gezamenlijke state-input ruimte (wat moeilijk is voor hoog-dimensionale inputs), leiden de auteurs een conditie af (Proposition 8) die alleen afhankelijk is van de state ruimte $x$. Dit omvat een matrix-ongelijkheid $M(x) \succ 0$ afgeleid via de Schur complement, wat de sampling-dimensionaliteit aanzienlijk vermindert.
   • Trainingslus: De training maakt gebruik van een hybride aanpak:
     • Learner: Optimaliseert de parameters van het neurale netwerk met behulp van loss-functies afgeleid van de dissipativiteitscondities (positieve definitheid van $V$, $R$, en $\Delta$, en de matrix-ongelijkheid $M$).
     • Verifier: Gebruikt Satisfiability Modulo Theories (SMT) solvers (specifiek dReal) en Projected Gradient Descent (PGD) om de condities formeel te verifiëren over het gebied van belang.
     • Counterexamples: Indien de verifier een schending vindt, wordt het tegenvoorbeeld toegevoegd aan de trainingsset om de neurale netwerken te verfijnen. Deze lus gaat door totdat de formele garanties zijn voldaan.

Kernbijdragen

• Nieuw Framework: Een nieuwe methode voor het ontwerpen van neurale controllers die bewijsbare stabiliteit en oneindige-horizon optimaliteitsgaranties biedt door input-output dissipativiteit te leren.
• Theoretische Garanties: Bewijs dat de afgeleide control law elk systeem stabiliseert dat dezelfde dissipativiteitseigenschap deelt en de optimale oplossing is voor een specifiek optimal control probleem met een geleerde kostenfunctionaal.
• Dimensiereductie: Een herformulering van de dissipativiteitsconditie die de sampling-ruimte reduceert van de state-input productruimte naar de state ruimte alleen, wat het leren van multi-input systemen efficiënter maakt.
• Cost Shaping: Een mechanisme om de geleerde kostenfunctionaal te vormen naar specifieke door de gebruiker gedefinieerde doelstellingen, waarmee de kloof tussen theoretische optimaliteit en praktische prestatie-metrieken wordt overbrugd.

Experimentele Resultaten
Het framework werd gevalideerd op drie benchmark-omgevingen: een elektrische schakeling (Electric Circuit), een Inverted Pendulum (statische en dynamische controle) en een Rod on a Cart.

• Baselines: De methode is vergeleken met Neural Control Lyapunov Functions (NCLF), Neural ODEs (NODE) en een variant zonder cost shaping (OURS-NCFS).
• Stabiliteit: In tegenstelling tot NODE, die in sommige scenario's er niet in slaagde het systeem te stabiliseren ondanks lagere trainingskosten, bood de voorgestelde methode formele stabiliteitsgaranties geverifieerd door dReal.
• Optimaliteit: De voorgestelde methode (OURS) behaalde consistent lagere cumulatieve kosten dan NCLF en presteerde in verschillende gevallen (bijv. Electric Circuit, Inverted Pendulum) gelijk aan of beter dan NODE, terwijl de stabiliteit behouden bleef.
• Lineair Geval: In het Electric Circuit experiment (een lineair systeem) slaagde de geleerde controller erin de theoretische Linear Quadratic Regulator (LQR) oplossing te repliceren, wat de bekwaamheid van het framework aantoont om bekende optimale oplossingen te herstellen.

Betekenis en Claims
Het artikel stelt dat de primaire betekenis ligt in het verenigen van stabiliteits- en optimaliteitsgaranties binnen een learning-gebaseerd controleframework. Door gebruik te maken van dissipativiteitstheorie, beargumenteren de auteurs dat hun aanpak de beperkingen van puur op trajecten gebaseerde training (die een gebrek heeft aan oneindige-horizon garanties) en traditionele Lyapunov-gebaseerde learning (die vaak expliciete optimaliteitscertificaten mist) overwint. Het vermogen om de supply rate en opslagfuncties direct te leren, stelt de controller in staat om optimaliteitseigenschappen over te nemen die gevormd kunnen worden naar specifieke door de gebruiker gedefinieerde doelstellingen. De auteurs merken op dat hoewel het leren van deze functies onder harde restricties uitdagend blijft, hun herformulering en verificatie-gestuurde synthese een robuust pad bieden naar veilige en optimale neurale controle.