Learning Local Optimal Controller for a Class of Nonlinear Systems via Impulse-Supervised Exploration

Technisches Resümee: Lernen eines lokalen optimalen Reglers für eine Klasse nichtlinearer Systeme mittels impuls-supervisierter Exploration

Problemformulierung
Die Arbeit adressiert die Herausforderung, optimale Steuerungsstrategien für eine Klasse von Systemen zweiter Ordnung unter Verwendung von kontinuierlicher approximativer dynamischer Programmierung (ADP) zu erlernen. Während ADP und Reinforcement Learning (RL) leistungsstarke Frameworks zur Lösung optimaler Steuerungsaufgaben darstellen, indem sie die Lösung der Hamilton-Jacobi-Bellman-Gleichung (HJB) approximieren, besteht ein kritischer Engpass für nichtlineare Systeme: die Notwendigkeit von Persistenz der Anregung (Persistence of Excitation, PE).

In der kontinuierlichen ADP ist PE notwendig, um die Konvergenz der Gewichte des Critic-Neuronalen Netzes gegen ihre idealen Werte sicherzustellen. Das Erzwingen von PE führt jedoch typischerweise zu großen Zustandsabweichungen. Für nichtlineare Systeme sind solche Abweichungen problematisch, da die optimale Wertfunktion oft unter Verwendung einer lokalen Linearisierung der Dynamik approximiert wird. Wenn die Trajektorie durch das Anregungssignal zu weit vom Gleichgewicht weggetrieben wird, wird die lokale lineare Approximation ungültig, was potenziell zu Instabilität oder einem „endlichen Entweichen“ (Finite Escape) führen kann, bei dem die Trajektorie den Gültigkeitsbereich verlässt. Bestehende Methoden wie das Concurrent Learning stützen sich auf reichhaltige Offline-Daten, die jedoch nicht immer verfügbar sind. Das Ziel dieser Arbeit ist es, eine lokal optimale Steuerungsstrategie für das linearisierte Modell zu erlernen, während die Trajektorie strikt innerhalb einer Umgebung begrenzt wird, in der die lineare Approximation gültig bleibt.

Methodik
Die Autoren schlagen ein impuls-supervisiertes Framework zur beschränkten Exploration vor, das kontinuierliche ADP mit einer impulsiven Steuerungs-Supervisionsschicht integriert. Die Kernmethodik umfasst die folgenden Komponenten:

1. Systemmodell und lokale Linearisierung: Das System wird als $\dot{x} = F(x) + G(x)u$ modelliert, wobei der Driftterm $F(x)$ in einen linearen Teil $Ax$ und höherwertige nichtlineare Terme $\phi(x)$ zerlegt wird. Das Steuerungsziel ist das Erlernen der optimalen Strategie für die lokale zeitinvariante lineare Approximation (LTI) $\dot{x} = Ax + Bu$ innerhalb einer kleinen Umgebung $S_1$ des Ursprungs.
2. ADP-Framework: Ein Critic-Neuronales Netz approximiert die optimale Wertfunktion $J^*(x) \approx \hat{W}^T \sigma(x)$. Die Gewichte $\hat{W}$ werden online mittels eines normalisierten Gradientengesetzes aktualisiert, um den Bellman-Residual zu minimieren. Ein persistentes Anregungssignal $u_{PE}$ wird dem Steuerungseingang hinzugefügt, um die PE-Bedingung zu erfüllen, die für die Gewichtskonvergenz erforderlich ist.
3. Impulsive Supervisionsschicht: Um zu verhindern, dass der Zustand aufgrund des Anregungssignals den gültigen Bereich $S_1$ verlässt, verwendet das Framework impulsive Bremsimpulse. Diese Impulse werden als Dirac-Delta-Funktionen modelliert, die zu spezifischen Zeitpunkten $t = \tau_k$ appliziert werden.
   • Mechanismus: Der impulsive Eingang wirkt instantan auf den Geschwindigkeitszustand ($x_2$), setzt diesen auf Null zurück ($x_2^+ = 0$), während der Positionszustand ($x_1$) unverändert bleibt.
   • Effekt: Diese „Bremswirkung“ reduziert den Wert einer Lyapunov-Funktion $V(x) = x_1^2 + x_2^2$ und stellt sicher, dass der Zustand nach dem Sprung innerhalb der Menge $S_1$ verbleibt.
4. Hybride Automaten-Formulierung: Das geschlossene Regelsystem wird als hybrider Automat mit vier diskreten Modi modelliert:
   • $q_1, q_2$: Kontinuierliche Evolution mit aktiver ADP-Steuerung und Gewichtsadaption (innerhalb der inneren Menge $S_2$ bzw. im äußeren Ring $S_1 \setminus S_2$).
   • $q_3$: Grenzregime, in dem die Trajektorie die Grenze $\partial S_1$ erreicht.
   • $q_4$: Post-Braking-Erholungsphase, in der Steuerung und Gewichtsadaption ausgesetzt sind und das System unter ungesteuerten Dynamiken autonom evolviert, bis es wieder in $S_2$ eintritt.
   • Übergänge: Zustandsgesteuerte Guards bestimmen, wann impulsive Bremsungen erfolgen (wenn die Trajektorie $\partial S_1$ mit einer nach außen gerichteten Geschwindigkeit erreicht) und wann das System zwischen aktiven Lernmodi und Erholungsmodi wechselt.

Zentrale Beiträge

• Impuls-supervisierte Exploration: Die Arbeit führt einen neuartigen Mechanismus ein, bei dem impulsives Bremsen als supervidierende Beschränkung dient, um die Invarianz einer Menge zu erzwingen. Im Gegensatz zu sicherheitsbeschränkten RL-Verfahren, die oft harte Beschränkungen auf die Steuereingänge auferlegen, nutzt dieser Ansatz diskrete Resets, um den Zustand zu begrenzen. Dies ermöglicht eine aggressive Anregung, die für das Lernen notwendig ist, ohne die lokale Gültigkeit des linearen Modells zu verletzen.
• Hybride Dynamik für das Lernen: Die Arbeit etabliert ein theoretisches Framework, das kontinuierliche ADP mit zustandsgesteuerten impulsiven Resets kombiniert. Es wird bewiesen, dass das resultierende hybride geschlossene System die explorative Menge $S_1$ positiv invariant macht.
• Theoretische Garantien: Die Autoren liefern einen Beweis dafür, dass die impulsive Bremsabbildung bezüglich der Lyapunov-Funktion nicht-expansiv ist, wodurch sichergestellt wird, dass der Zustand $S_1$ niemals verlässt. Zudem argumentieren sie, dass die Zeit zwischen aufeinanderfolgenden Impulsen von Null verschieden nach unten beschränkt ist, wodurch das Zeno-Phänomen ausgeschlossen wird.

Simulationsergebnisse
Das vorgeschlagene Framework wurde an einem nichtlinearen mechanischen System (einem Masse-Feder-Dämpfer mit kubischen Nichtlinearitäten) validiert.

• Beschränkung (Confinement): Die Simulationsergebnisse zeigen, dass die Trajektorie des Zustands während des gesamten Lernprozesses strikt innerhalb der Menge $S_1$ bleibt. Wann immer sich die Trajektorie aufgrund der Anregung der Grenze näherte, wurde das impulsive Bremsen ausgelöst, welches die Geschwindigkeit zurücksetzte und den Zustand in das Innere zog.
• Konvergenz: Die Critic-Gewichte konvergierten gegen Werte, die eng mit den optimalen Gewichten aus der algebraischen Riccati-Gleichung für das lokale lineare Modell übereinstimmen. Die Gewichte blieben während der Erholungsphasen (Modus $q_4$) konstant und wurden während der Explorationsphasen aktualisiert.
• Vergleich: Eine Vergleichssimulation ohne die impulsive Supervisionsschicht zeigte, dass die Trajektorie den Bereich der linearen Gültigkeit verließ, was zu Instabilität des Systems und einem endlichen Entweichen führte, wodurch die Notwendigkeit des Beschränkungsmechanismus verdeutlicht wurde.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass dieser Ansatz erfolgreich die Lücke zwischen der Notwendigkeit von Persistenz der Anregung in der ADP und der Anforderung der lokalen Gültigkeit in der nichtlinearen Regelung schließt. Durch die Begrenzung der Exploration auf eine Umgebung, in der die lineare Approximation gültig ist, ermöglicht die Methode das Erlernen eines lokal optimalen Reglers, der aufgrund des Risikos großer Zustandsabweichungen andernfalls unerreichbar wäre.

Die Autoren merken bescheiden an, dass die vorliegende Arbeit das Wissen über die lokale lineare Dynamik voraussetzt und die impulsiven Eingänge idealisiert sind. Als zukünftige Richtungen identifizieren sie die Erweiterung des Frameworks auf modellfreie Szenarien, höherdimensionale Systeme sowie die experimentelle Validierung unter Verwendung praktischer Annäherungen impulsiver Eingänge (z. B. High-Gain-Feedback oder elektromagnetische Bremsen). Die Arbeit unterscheidet sich von „Safe RL“ dadurch, dass sie sich spezifisch auf die Beschränkung für die Lernvalidität konzentriert, statt auf allgemeine Sicherheitsbeschränkungen, und dabei die impulsive Steuerung als spezifisches Supervisionswerkzeug nutzt.