Learning Neural Controllers with Optimality and Stability Guarantees Using Input-Output Dissipativity

Technische Zusammenfassung: Lernen neuronaler Regler mit Optimalitäts- und Stabilitätsgarantien mittels Input-Output-Dissipativität

Problemstellung
Deep Learning hat vielversprechende Ansätze zur Lösung komplexer nichtlinearer Steuerungsaufgaben in den Bereichen Robotik, Transportwesen und Energiesysteme gezeigt. Diese Methoden lassen jedoch typischerweise formale Garantien für kritische Eigenschaften wie die Stabilität vermissen. Während lernbasierte Ansätze unter Verwendung von Counterexample-Guided Inductive Synthesis (z. B. via SMT-Solver) die Stabilität neuronaler Regler verifizieren können, gelingt es ihnen oft nicht, Garantien für die Optimalität über einen unendlichen Horizont zu liefern. Bestehende Methoden optimieren häufig die Performance über endliche Trajektorien-Stichproben, was zu „kurzsichtigen“ Designs führt, die keine langfristige Optimalität oder globale Stabilität gewährleisten können. Die Kernherausforderung, die in dieser Arbeit adressiert wird, ist der Entwurf neuronaler Regler, die gleichzeitig asymptotische Stabilität und Optimalität in Bezug auf benutzerdefinierte Kostenfunktionen für allgemeine nichtlineare Systeme garantieren.

Methodik
Die Autoren schlagen ein Framework vor, das auf der Input-Output-Dissipativitätstheorie basiert, einer Verallgemeinerung der Lyapunov-Theorie, welche Speicherfunktionen (Storage Functions) und Versorgungsratenfunktionen (Supply Rate Functions) nutzt, um die Energiedissipation in Input-Output-Paaren zu charakterisieren.

1. Theoretischer Rahmen:

   • Das System wird als $\dot{x} = f(x) + g(x)u$ modelliert.
   • Die Autoren definieren eine Speicherfunktion $V(x)$ (analog zu einer Lyapunov-Funktion) und eine Versorgungsratenfunktion $w(x, u)$ in einer quadratischen, speicher-, resistiven Form (QSR): $w(x, u) = x^\top Q(x)x + 2x^\top S(x)u + u^\top R(x)u$.
   • Stabilität: Wenn das System dissipativ ist mit $w(x, u) < 0$ unter einer spezifischen Steuerungsregel, ist das geschlossene System stabil. Die Autoren leiten eine strukturierte Steuerungsregel $\pi(x) = -R(x)^{-1}S(x)^\top x$ ab, die Stabilität garantiert, sofern bestimmte Matrix-Ungleichungen (unter Beteiligung von $\Delta(x) = S(x)R(x)^{-1}S(x)^\top - Q(x)$) positiv definit sind.
   • Optimalität: Die Autoren beweisen, dass diese strukturierte Steuerungsregel die optimale Lösung für ein Optimalsteuerungsproblem mit unendlichem Horizont ist. Das zugehörige Kostenfunktional wird aus den gelernten Speicher- und Versorgungsratenfunktionen abgeleitet. Darüber hinaus zeigen sie, dass unter Einhaltung zusätzlicher Regularitätsbedingungen das Kostenfunktional zu einer nichtlinearen quadratischen Form wird, wodurch der Regler auf spezifische, benutzerdefinierte Ziele hin geformt werden kann.

2. Lernalgorithmus (Counterexample-Guided Inductive Synthesis):

   • Neuronale Parametrisierung: Die Speicherfunktion $V(x)$ sowie die Matrixfunktionen $Q(x), S(x), R(x)$ werden durch Feed-Forward-Neuronale-Netze parametrisiert.
   • Dimensionsreduktion: Ein wesentlicher technischer Beitrag ist die Umformulierung der Dissipativitätsbedingung. Anstatt über den gemeinsamen Zustands-Eingangs-Raum zu sampeln (was für hochdimensionale Eingaben schwierig ist), leiten die Autoren eine Bedingung (Proposition 8) ab, die nur vom Zustandsraum $x$ abhängt. Dies beinhaltet eine Matrix-Ungleichung $M(x) \succ 0$, die mittels Schur-Komplement hergeleitet wurde, was die Sampling-Dimensionalität signifikant reduziert.
   • Trainingsschleife: Das Training verwendet einen hybriden Ansatz:
     • Learner: Optimiert die Parameter des neuronalen Netzes unter Verwendung von Verlustfunktionen, die aus den Dissipativitätsbedingungen (positive Definitheit von $V$, $R$ und $\Delta$, sowie der Matrix-Ungleichung $M$) abgeleitet sind.
     • Verifier: Nutzt Satisfiability Modulo Theories (SMT)-Solver (speziell dReal) und Projected Gradient Descent (PGD), um die Bedingungen über den interessierenden Bereich formal zu verifizieren.
     • Counterexamples: Falls der Verifier eine Verletzung findet, wird das Gegenbeispiel (Counterexample) zum Trainingssatz hinzugefügt, um die neuronalen Netze zu verfeinern. Diese Schleife setzt sich fort, bis die formalen Garantien erfüllt sind.

Wesentliche Beiträge

• Neuartiges Framework: Eine neue Methode zur Konstruktion neuronaler Regler, die durch das Lernen von Input-Output-Dissipativität nachweisbare Stabilitäts- und unendliche-Horizont-Optimalitätsgarantien bietet.
• Theoretische Garantien: Beweis, dass die abgeleitete Steuerungsregel jedes System stabilisiert, das dieselbe Dissipativität teilt, und die optimale Lösung eines spezifischen optimalen Steuerungsproblems mit einem gelernten Kostenfunktional darstellt.
• Dimensionsreduktion: Eine Umformulierung der Dissipativitätsbedingung, die den Sampling-Raum vom Zustands-Eingangs-Produktraum auf den Zustandsraum allein reduziert, was das Lernen von Multi-Input-Systemen effizienter macht.
• Cost Shaping: Ein Mechanismus zur Gestaltung des gelernten Kostenfunktionals, um es an benutzerdefinierte Ziele anzupassen und so die Lücke zwischen theoretischer Optimalität und praktischen Leistungsmetriken zu schließen.

Experimentelle Ergebnisse
Das Framework wurde in drei Benchmark-Umgebungen validiert: ein elektrischer Schaltkreis, ein invertiertes Pendel (statische und dynamische Steuerung) und ein Stab auf einem Wagen.

• Baselines: Die Methode wurde gegen Neural Control Lyapunov Functions (NCLF), Neural ODEs (NODE) und eine Variante ohne Cost Shaping (OURS-NCFS) verglichen.
• Stabilität: Im Gegensatz zu NODE, das das System in einigen Szenarien trotz niedrigerer Trainingskosten nicht stabilisieren konnte, lieferte die vorgeschlagene Methode durch dReal verifizierte formale Stabilitätsgarantien.
• Optimalität: Die vorgeschlagene Methode (OURS) erreichte konsistent geringere kumulative Kosten als NCLF und konnte in mehreren Fällen (z. B. Elektrischer Schaltkreis, Invertiertes Pendel) NODE erreichen oder übertreffen, während sie gleichzeitig die Stabilität beibehielt.
• Linearer Fall: Im Experiment zum elektrischen Schaltkreis (ein lineares System) konnte der gelernte Regler die theoretische Linear-Quadratic-Regulator (LQR)-Lösung erfolgreich reproduzieren, was die Fähigkeit des Frameworks demonstriert, bekannte optimale Lösungen wiederherzustellen.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass ihre primäre Bedeutung darin liegt, Stabilitäts- und Optimalitätsgarantien innerhalb eines lernbasierten Steuerungsframeworks zu vereinheitlichen. Durch die Nutzung der Dissipativitätstheorie argumentieren die Autoren, dass ihr Ansatz die Limitationen rein trajektorienbasierter Trainingsmethoden (die keine Garantien für den unendlichen Horizont bieten) und traditioneller Lyapunov-basierter Lernverfahren (die oft keine expliziten Optimalitätszertifikate besitzen) überwindet. Die Fähigkeit, die Versorgungsrate und die Speicherfunktion direkt zu lernen, ermöglicht es dem Regler, Optimalitätseigenschaften zu erben, die auf spezifische benutzerdefinierte Ziele ausgerichtet werden können. Die Autoren merken an, dass das Lernen dieser Funktionen unter harten Randbedingungen eine Herausforderung bleibt, ihr Reformulierungs- und Verifizierungs-gestützter Syntheseansatz jedoch einen robusten Weg zu sicherem und optimalem neuronalem Control bietet.