⚡ electrical engineering

Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient

Dieses Paper stellt einen datengesteuerten Rahmen namens „Relearn LQR" vor, der rekursive Kleinste-Quadrate-Schätzung mit direkter Policy-Gradient-Suche kombiniert, um lineare quadratische Regler-Regelungen bei unbekannten Systemdynamiken zu lösen und dabei formale Stabilitätsgarantien für den gesamten Lern- und Regelungsprozess zu bieten.

Ursprüngliche Autoren: Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

Veröffentlicht 2026-04-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ziel: Ein Flugzeug fliegen, ohne die Physik zu kennen

Stellen Sie sich vor, Sie müssen ein hochmodernes Flugzeug steuern. Das Problem: Niemand hat Ihnen die Bauanleitung oder die physikalischen Formeln gegeben, die beschreiben, wie das Flugzeug auf den Steuerknüppel reagiert. Sie kennen die „Dynamik" des Systems nicht.

Ihre Aufgabe ist es, eine Steuerung zu finden, die das Flugzeug stabil hält und gleichzeitig den Kraftstoffverbrauch (die Kosten) minimiert. Das ist das klassische Problem des Linearen Quadratischen Reglers (LQR). Normalerweise braucht man dafür ein perfektes mathematisches Modell. Diese Forscher sagen aber: „Nein, wir lernen es einfach direkt am echten Flugzeug, während wir fliegen."

Das Problem mit den bisherigen Methoden

Bisher gab es zwei Hauptansätze, die beide ihre Tücken hatten:

Der „Offline"-Ansatz (Der Bibliothekar): Man sammelt erst riesige Datenmengen, während das Flugzeug irgendwo herumfliegt (oder simuliert wird). Dann geht man in die Bibliothek, analysiert die Daten und baut ein Modell. Erst wenn das Modell fertig ist, baut man den Regler.
- Nachteil: Wenn sich das Flugzeug im echten Leben verändert (z. B. durch Wind oder Verschleiß), ist das alte Modell sofort veraltet. Man muss von vorne anfangen.
Der „On-Policy"-Ansatz (Der Lernende): Man steuert das Flugzeug direkt mit der aktuellen Strategie, sammelt Daten und verbessert die Strategie sofort.
- Nachteil: Bisher war es sehr schwer zu beweisen, dass dieser Prozess nicht chaotisch wird. Man wusste nicht, ob das Flugzeug während des Lernens abstürzt, bevor es lernt, stabil zu fliegen.

Die Lösung: „Relearn LQR" (Der lernende Pilot)

Die Autoren schlagen eine neue Methode vor, die sie „Relearn LQR" nennen. Stellen Sie sich einen Piloten vor, der gleichzeitig fliegt, lernt und die Steuerung verbessert – alles in einem Atemzug.

Hier ist, wie es funktioniert, mit einer einfachen Analogie:

1. Der Tanz mit dem „Zittern" (Dithering)

Um zu lernen, wie das Flugzeug reagiert, muss der Pilot kleine, kontrollierte „Zitterbewegungen" (Dithering) machen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Reibung auf einem neuen Eis zu spüren. Wenn Sie einfach nur stehen bleiben, spüren Sie nichts. Sie müssen also leicht wackeln. Dieses Wackeln sorgt dafür, dass das System „aufgeweckt" wird und genug Informationen liefert, um zu lernen. Ohne dieses Wackeln wäre das Lernen blind.

2. Zwei Gehirne im Kopf (Zeit-Skalen-Trennung)

Das System hat im Grunde zwei Lernprozesse, die unterschiedlich schnell arbeiten:

Das schnelle Gehirn (Der Pilot): Es passt die Steuerknüppel-Bewegungen (die Regelung) sehr schnell an, basierend auf dem, was es gerade sieht.
Das langsame Gehirn (Der Ingenieur): Es rechnet langsam die physikalischen Formeln des Flugzeugs nach (welche Kraft wirkt wohin?).
Der Trick: Die Forscher zeigen mathematisch, dass das „langsame Gehirn" (das Modell) so langsam arbeitet, dass es für das „schnelle Gehirn" (die Steuerung) fast wie eine statische Wahrheit wirkt. Das verhindert, dass sich die beiden gegenseitig durcheinanderbringen.

3. Der Sicherheitsgurt (Stabilitätszertifikat)

Das ist der wichtigste Teil der Arbeit. Viele Lernsysteme funktionieren gut, wenn alles glatt läuft. Aber was, wenn etwas schiefgeht?
Die Autoren haben einen mathematischen Beweis (ein „Stabilitätszertifikat") entwickelt.

Die Analogie: Stellen Sie sich vor, Sie bauen einen Roller, der sich selbst repariert, während er fährt. Die meisten Erfinder sagen: „Es funktioniert!" Die Autoren dieser Arbeit sagen: „Wir haben einen mathematischen Beweis, dass der Roller niemals abstürzen wird, solange er lernt, egal wie stark er wackelt."
Sie beweisen, dass das System immer stabil bleibt und sich dem perfekten Flugverhalten annähert, selbst wenn die Parameter des Flugzeugs sich langsam ändern (z. B. durch Treibstoffverbrauch oder Wind).

Was passiert in der Praxis?

In den Simulationen haben sie dieses System auf ein Flugzeugmodell angewendet:

Statisches Szenario: Das Flugzeug bleibt gleich. Das System lernt schnell die perfekten Steuerwerte und fliegt stabil.
Dynamisches Szenario: Das Flugzeug verändert sich langsam (als würde sich die Aerodynamik ändern). Das System merkt das sofort, passt sein internes Modell an und ändert die Steuerung, ohne dass das Flugzeug abstürzt. Es „vergisst" das Alte und lernt das Neue, während es fliegt.

Zusammenfassung in einem Satz

Die Autoren haben eine Methode entwickelt, bei der ein Computer-System ein unbekanntes physikalisches System (wie ein Flugzeug) direkt steuert, während es gleichzeitig lernt, wie es funktioniert, und dabei mathematisch garantiert hat, dass es dabei niemals abstürzt, selbst wenn sich die Welt um das System herum verändert.

Es ist wie ein Pilot, der nicht nur fliegt, sondern auch den Motor baut und repariert, während er durch einen Sturm fliegt – und dabei weiß, dass er sicher landen wird.

1. Problemstellung

Das Paper adressiert das Problem des Linearen Quadratischen Reglers (LQR) für Systeme mit unbekannter Dynamik.

Herausforderung: Herkömmliche modellbasierte Ansätze scheitern, wenn die Systemmatrizen $A^\star$ und $B^\star$ nicht bekannt sind. Datengetriebene Ansätze (Reinforcement Learning) existieren bereits, leiden jedoch oft unter einem Mangel an formalen Stabilitätsgarantien für den gesamten geschlossenen Regelkreis, der gleichzeitig Optimierungs-, Lern- und Steuerungsaufgaben vereint.
Spezifische Lücke: Viele bestehende Methoden sind entweder off-policy (Daten werden unabhängig von der aktuellen Strategie gesammelt, oft in zwei getrennten Phasen) oder bieten keine Stabilitätsnachweise für die Interaktion zwischen dem lernenden Algorithmus und der realen, unsicheren Pflanze.
Ziel: Entwicklung eines on-policy Daten-getriebenen Rahmens, der die optimale Steuerstrategie lernt und gleichzeitig Stabilitätszertifikate für den gesamten geschlossenen Regelkreis (Lernen + Steuerung) liefert, ohne dass die Systemdynamik explizit bekannt sein muss.

2. Methodik: Relearn LQR

Die Autoren schlagen einen Algorithmus namens Relearn LQR (REcursive LEARNing policy gradient for LQR) vor. Dieser kombiniert zwei Prozesse in einem einzigen, ineinandergreifenden Regelkreis:

On-Policy Ansatz: Die aktuelle (noch suboptimale) Rückführungsstrategie wird direkt auf das reale System angewendet. Die dabei gesammelten Daten (Zustand $x_t$ , Eingang $u_t$ ) dienen sowohl der Identifikation als auch der Optimierung.
Zwei-Komponenten-Strategie:
1. Lernprozess (Identifikation): Ein Rekursive-Least-Squares (RLS)-Mechanismus rekonstruiert schrittweise die unbekannten Systemmatrizen $A^\star$ und $B^\star$ (zusammengefasst als $\theta^\star$ ) basierend auf den gesammelten Eingangs-Zustands-Paaren.
2. Optimierungsprozess (Policy Gradient): Basierend auf den aktuellen Schätzungen der Systemmatrizen wird die Rückführungsverstärkung $K_t$ mittels eines Gradientenabstiegsverfahrens aktualisiert, um die LQR-Kostenfunktion zu minimieren.
Persistente Anregung (Persistency of Excitation): Um sicherzustellen, dass das System ausreichend angeregt wird, um die Parameter identifizieren zu können, wird ein externes Dithering-Signal ( $d_t$ ) in den Regelkreis eingespeist. Dieses Signal wird durch einen Oszillator generiert und sorgt dafür, dass die Daten informativ genug für die RLS-Schätzung sind.
Mathematische Formulierung: Der Algorithmus wird als nichtlineares dynamisches System mit zwei Zeitskalen modelliert:
- Schnelle Dynamik: Die Systemzustände und die RLS-Schätzungen (basierend auf dem aktuellen $K_t$ ).
- Langsame Dynamik: Die Aktualisierung des Reglergewinns $K_t$ und der Parameterschätzung $\theta_t$ .

3. Schlüsselbeiträge

Stabilitätszertifikate für den geschlossenen Kreis: Der Hauptbeitrag ist der formale Beweis der exponentiellen Stabilität des gesamten geschlossenen Regelkreises. Dies umfasst die Interaktion zwischen dem Gradienten-Update, dem RLS-Lernmechanismus und der Systemdynamik.
Analyse mittels Mittelungstheorie (Averaging Theory): Die Stabilitätsanalyse nutzt die Theorie der Mittelung für nichtlineare Systeme mit zwei Zeitskalen. Die Autoren zeigen, dass das ursprüngliche zeitvariante System durch ein zeitinvariantes „gemitteltes System" approximiert werden kann, dessen Ursprung exponentiell stabil ist.
Konvergenzgarantien: Es wird bewiesen, dass der Algorithmus nicht nur zu einem stabilen Regler konvergiert, sondern dass:
1. Die Schätzung der Systemmatrizen exakt gegen die wahren Werte konvergiert.
2. Die Rückführungsverstärkung exakt gegen die optimale LQR-Lösung $K^\star$ konvergiert.
3. Der Systemzustand um den Ursprung oszilliert (durch das Dithering), wobei die Amplitude durch die Dither-Stärke beliebig klein gehalten werden kann (praktische exponentielle Stabilität).
Anpassungsfähigkeit: Der Ansatz ist so konzipiert, dass er auch bei sich ändernden Systemparametern (drifting parameters) und Störungen funktioniert, ohne dass der Lernprozess neu gestartet werden muss.

4. Ergebnisse und Simulationen

Die Wirksamkeit des vorgeschlagenen Ansatzes wurde durch numerische Simulationen an einem Flugzeugsteuerungsproblem (longitudinale Dynamik eines hochmanövrierfähigen Flugzeugs) validiert:

Szenario 1 (Statische Parameter): Der Algorithmus wurde auf ein lineares, zeitinvariantes System angewendet. Die Ergebnisse zeigten eine schnelle Konvergenz der Kostenfunktion zum Optimum und eine exakte Rekonstruktion der Systemmatrizen.
Szenario 2 (Driftende Parameter): Die Systemmatrizen wurden langsam über die Zeit verändert (simuliert durch eine Sigmoid-Funktion). Der Algorithmus zeigte eine bemerkenswerte Anpassungsfähigkeit: Er verfolgte die sich ändernden optimalen Parameter und die optimale Kostenfunktion dynamisch nach, ohne dass die Stabilität verloren ging oder ein Neustart erforderlich war.
Visualisierung: Die Simulationen bestätigten, dass sowohl der Kostenfehler als auch der Schätzfehler exponentiell gegen Null konvergieren (bzw. bei Drift asymptotisch der neuen optimalen Lösung folgen).

5. Bedeutung und Ausblick

Überwindung bestehender Grenzen: Im Gegensatz zu vielen bestehenden off-policy Methoden oder Certainty-Equivalence-Ansätzen, die oft nur Regret-Boundes analysieren oder keine Stabilität des geschlossenen Kreises garantieren, liefert dieses Paper einen rigorosen Stabilitätsnachweis für das gesamte integrierte System.
Praktische Relevanz: Die Methode ist besonders für Anwendungen geeignet, bei denen Sicherheit und Stabilität kritisch sind (z. B. Robotik, Luft- und Raumfahrt), da sie garantiert, dass das System während des Lernprozesses stabil bleibt.
Zukunftsaussichten: Die Arbeit ebnet den Weg für die Erweiterung auf stochastische Umgebungen und die Untersuchung der Zusammenhänge zwischen Regret und Stabilitätsanalyse in komplexeren, nichtlinearen Szenarien.

Zusammenfassend stellt das Paper einen bedeutenden Fortschritt in der datengetriebenen Regelungstechnik dar, indem es die Lücke zwischen effizientem Lernen und formaler Stabilitätssicherung in on-policy LQR-Problemen schließt.