⚡ electrical engineering

Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

Dieses Paper schlägt einen lernbasierten Dual-Ascent-Algorithmus vor, der Probleme der stochastischen Optimalsteuerung über unendlichen Horizont mit gemeinsamen Chancenbeschränkungen durch Zustandsaugmentation als unbeschränkte Markov-Entscheidungsprozesse umformuliert und so die effiziente Berechnung optimaler und zulässiger deterministischer Policys für kontinuierliche Zustands-Eingangs-Räume ermöglicht.

Ursprüngliche Autoren: Francesco Cordiano, Kanghui He, Bart De Schutter

Veröffentlicht 2026-08-04

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Francesco Cordiano, Kanghui He, Bart De Schutter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, das ein dichtes Asteroidenfeld durchquert. Ihre Mission ist es, einen fernen Stern zu erreichen und dabei so wenig Treibstoff wie möglich zu verbrauchen. Aber es gibt einen Haken: Sie können nicht einfach nur die Asteroiden vermeiden, die Sie gerade jetzt sehen; Sie müssen garantieren, dass Ihre gesamte Reise, von der Landung bis zur Ankunft, mit einer sehr hohen Wahrscheinlichkeit sicher verläuft. Dies ist der Kern eines Feldes namens stochastische optimale Steuerung. Es ist die Wissenschaft, die besten Entscheidungen zu treffen, wenn die Zukunft vage und voller Überraschungen ist.

Um die Herausforderung zu verstehen, denken Sie an zwei Arten, mit Gefahr umzugehen. Die erste ist wie ein ständiger Blick in den Rückspiegel jedes Sekunde und das Sagen: „Okay, ich bin gerade jetzt sicher.“ Dies wird als „stufenweise“ (stagewise) Prüfung bezeichnet. Der zweite, deutlich schwierigere Ansatz ist wie der Blick auf den gesamten Flugpfad auf einer Karte und das Versprechen: „Ich garantiere, dass jeder einzelne Punkt auf dieser Linie frei von Asteroiden sein wird.“ Dies ist eine gemeinsame Chancenbeschränkung (joint chance constraint). Es ist ein „missionsweiter“ Schwur. Das Problem ist, dass das Geben dieses Versprechens für Computer unglaublich schwierig ist, da der zukünftige Pfad von jedem Stoß und jeder Kurve abhängt, die zuvor passiert ist, was die mathematische Komplexität explodieren lässt. Normalerweise müssen Ingenieure, um die Mathematik handhabbar zu machen, übermäßig vorsichtig sein, indem sie weite, langsame Umwege nehmen, die Treibstoff verschwenden, oder sie müssen davon ausgehen, dass die Gefahr nach einer gewissen Zeit aufhört.

Diese Arbeit von Francesco Cordiano, Kanghui He und Bart De Schutter widmet sich der Frage, wie man diesen unendlichen, gefährlichen Pfad navigiert, ohne übervorsichtig zu sein oder anzunehmen, dass die Gefahr verschwindet. Sie schlagen einen klugen neuen Weg vor, wie man einem Computer beibringen kann, diese perfekten, sicheren und treibstoffeffizienten Entscheidungen für Systeme zu treffen, die ewig laufen, wie etwa ein Stromnetz oder ein selbstfahrendes Auto auf einer Autobahn.

Der Zaubertrick: Ein Gedächtnisproblem in ein Zustands-Problem verwandeln

Der größte Kopfschmerz bei dem „missionsweiten“ Sicherheitsversprechen ist, dass es nicht-markovsch ist. Mit einfachen Worten ausgedrückt: Der Computer muss sich an alles erinnern, was seit Anbeginn der Zeit passiert ist, um zu wissen, ob er noch sicher ist. Wenn Sie noch nie einen Asteroiden getroffen haben, sind Sie sicher. Wenn Sie gestern einen getroffen haben, sind Sie bereits „gescheitert“. Ein Standard-Computergehirn (eine Markov-Policy) schaut normalerweise nur darauf, wo Sie sich jetzt gerade befinden, um zu entscheiden, was als Nächstes zu tun ist. Es hat kein Langzeitgedächtnis.

Der erste Durchbruch der Autoren ist ein „Zaubertrick“ namens Zustandserweiterung (state augmentation). Sie erfinden eine neue Reihe von „virtuellen Sensoren“, die man an das Raumschiff anbringen kann.

Das „Alles-klar“-Licht (Zustand $\xi$ ): Dies ist ein binärer Schalter, der auf „AN“ (1) bleibt, solange das Schiff noch nie einen Asteroiden getroffen hat. In dem Moment, in dem es einen trifft, springt der Schalter auf „AUS“ (0) und bleibt dort für immer.
Der „Erster-Treffer“-Alarm (Zustand $\psi$ ): Dies ist ein spezieller Alarm, der nur in dem exakten Moment läutet, in dem das Schiff seinen ersten Asteroiden trifft. Wenn er läutet, weiß das System: „Ah, das ist der Moment, in dem wir gescheitert sind.“
Das „Zeit-Zifferblatt“ (Zustand $\phi$ ): Da das Schiff versucht, über einen unendlichen Horizont hinweg Treibstoff zu minimieren, ändert sich die Bedeutung des zukünftigen Treibstoffverbrauchs im Laufe der Zeit. Dieses Zifferblatt verfolt diese sich ändernde Bedeutung.

Durch das Hinzufügen dieser drei virtuellen Sensoren zum tatsächlichen Standort des Raumschiffs muss der Computer nicht mehr die gesamte Historie im Gedächtnis behalten. Er muss nur den aktuellen Zustand dieser Sensoren betrachten. Wenn das „Alles-klar“-Licht AN ist, weiß er, dass er bisher sicher ist. Wenn es AUS ist, weiß er, dass er bereits gescheitert ist. Dies verwandelt ein komplexes, gedächtnisintensives Problem in ein standardmäßiges, handhabbares Problem, das der Computer Schritt für Schritt lösen kann.

Der Balanceakt: Der Preis der Sicherheit

Nachdem das Problem handhabbar gemacht wurde, folgt die nächste Herausforderung: der Teil mit dem „unendlichen Horizont“. Das Raumschiff muss für immer sicher bleiben, nicht nur für die nächsten 10 Minuten. Die Autoren nutzen ein mathematisches Konzept namens Lagrange-Dualität, um dies zu lösen.

Stellen Sie sich vor, Sie stellen einen Roboter ein, der Ihr Auto fährt. Sie sagen ihm: „Fahre so schnell wie möglich, aber stürze nicht ab.“ Der Roboter weiß nicht, wie er Geschwindigkeit und Sicherheit ausbalanciert. Also führen Sie einen „Preis der Sicherheit“ ein. Sie sagen: „Jedes Mal, wenn du kurz vor einem Crash bist, musst du eine Strafe zahlen.“

Wenn die Strafe zu niedrig ist, fährt der Roboter rücksichtslos und kracht zusammen.
Wenn die Strafe zu hoch ist, fährt der Roboter so langsam, dass er niemals irgendwo ankommt.

Das Papier schlägt einen Algorithmus vor, der wie ein kluger Verhandler agiert. Er beginnt mit einer niedrigen Strafe und lässt den Roboter fahren. Wenn der Robot zu oft abstürzt, erhöht der Algorithmus die Strafe. Wenn der Roboter zu langsam und zu sicher fährt, senkt er die Strafe. Das Ziel ist es, die „Goldlöckchen“-Strafe (die duale Variable, $\lambda$ ) zu finden, bei der der Roboter so schnell wie möglich fährt und dabei exakt die Sicherheitsanforderungen erfüllt.

Die Autoren beweisen, dass diese Verhandlung perfekt funktioniert. Sie zeigen, dass es einen spezifischen Preis gibt, bei dem die „beste Geschwindigkeitsstrategie“ des Roboters auch die „sicherste“ Strategie ist. Dies ermöglicht es ihnen, das schwierige Problem der „Sicherheitsbeschränkung“ in ein einfacheres Problem des „Minimierens von Kosten plus Strafe“ umzuwandeln.

Den Roboter mit Neuronalen Netzen lehren

Das letzte Puzzleteil ist, dass reale Systeme (wie Roboter oder Stromnetze) unendliche Möglichkeiten haben, wo sie sich befinden können und was sie tun können. Man kann keine Regel für jede einzelne Möglichkeit aufschreiben. Um dies zu bewältigen, nutzen die Autoren maschinelles Lernen.

Sie trainieren ein Neuronales Netz (eine Art Computergehirn, das vom menschlichen Gehirn inspiriert ist), um den „Wert“ zu lernen, in einer bestimmten Situation zu sein.

Zuerst bringen sie dem Netzwerk bei, was passiert, wenn die Sicherheitsregel bereits gebrochen wurde. In diesem Fall versucht der Roboter einfach, so schnell wie möglich das Ziel zu erreichen und ignoriert dabei die Sicherheit.
Dann bringen sie dem Netzwerk die „Alles-klar“-Situation bei. Hier lernt das Netzwerk, die Geschwindigkeit und die „Preis der Sicherheit“-Strafe auszubalancieren.

Das Training findet offline statt, was bedeutet, dass der Computer die ganze harte Arbeit leistet, bevor der Roboter überhaupt anfängt, sich zu bewegen. Sobach es trainiert ist, kann der Roboter Entscheidungen in einem Bruchteil einer Sekunde (0,01 Sekunden in ihren Tests) treffen, indem er einfach seinen aktuellen Zustand betrachtet und den Rat des neuronalen Netzes nutzt.

Die Ergebnisse: Schneller, Sicherer und Klüger

Die Autoren testeten ihre Methode an einer Simulation eines „Einrad“-Roboters (ein Roboter, der auf einem Rad balanciert), der versucht, ein Labyrinth mit einem gefährlichen Hindernis in der Mitte zu durchqueren. Sie verglichen ihre Methode mit einer populären Technik namens Modellprädiktiver Regelung (MPC), was so etwas wie ein Roboter ist, der seine nächsten Schritte plant, prüft, ob sie sicher sind, und dann neu plant.

Die Ergebnisse waren beeindruckend:

Sicherheit: Die neue Methode hielt den Roboter mit einer Verletzungsrate von etwa 4,5 % sicher, was deutlich unter dem erlaubten Limit von 10 % liegt. Die traditionelle MPC-Methode hatte selbst mit starken Anpassungen eine Verletzungsrate von 17 % und fiel damit durch den Sicherheitstest.
Leistung: Die neue Methode verbrauchte deutlich weniger „Treibstoff“ (Kosten), um das Ziel zu erreichen. Die neue Methode hatte Kosten von 528,3, während die MPC-Methode Kosten von 672,0 aufwies. Die neue Methode war klüger beim Risikoabwägen: Falls sie tatsächlich ein Hindernis traf (in den seltenen Fällen, in denen dies geschah), wechselte sie sofort auf den schnellstmöglichen Pfad zum Ziel, während die MPC-Methode in einer konservativen Schleife stecken blieb.
Geschwindigkeit: Das ist der größte Gewinn. Die traditionelle MPC-Methode benötigte durchschnittlich 2,94 Sekunden, um bei jedem Schritt eine Entscheidung zu treffen, und erreichte manchmal ein 10-Sekunden-Limit, was zu Verzögerungen führte. Die neue Methode dauerte nur 0,01 Sekunden. Sie war fast 300 Mal schneller.

Warum das wichtig ist

Dieses Papier sagt nicht nur „wir haben es geschafft“, sondern liefert auch einen strengen mathematischen Beweis, dass ihre Methode funktioniert und zur bestmöglichen Lösung konvergiert. Es zeigt, dass man nicht zwischen Sicherheit und Effizienz wählen muss. Durch den Einsatz einer klugen Zustandserweiterung und eines intelligenten Lernalgorithmus kann man Systeme bauen, die sowohl unglaublich schnell als auch rigoros sicher über eine unendliche Zukunft hinweg sind.

Die Autoren geben zu, dass ihre Methode auf Simulationen basiert und dass der Lernprozess genügend Daten benötigt, um genau zu sein, insbesondere in der Nähe von Gefahrenzonen. Sie demonstrieren jedoch, dass dieser Ansatz für komplexe, kontinuierliche Systeme ein massiver Sprung nach vorn ist. Er verwandelt ein Problem, das zuvor zu schwer zu lösen war, in eines, das ein Computer in einem Augenblickbruchteil lösen kann, was die Tür für sicherere, effizientere autonome Systeme in der realen Welt öffnet.

Technische Zusammenfassung: Lernbasiesteuerte stochastische optimale Regelung mit Wahrscheinlichkeitsbeschränkungen über unendlichen Horizont

Problemformulierung
Die Arbeit adressiert die Herausforderung, stochastische optimale Regelungsprobleme über einen unendlichen Horizont zu lösen, die unter gemeinsamen Wahrscheinlichkeitsbeschränkungen (joint chance constraints) stehen. Im Gegensatz zu individuellen (stufigen) Wahrscheinlichkeitsbeschränkungen, die eine Sicherheit in jedem Schritt unabhängig voraussetzen, verlangen gemeinsame Wahrscheinlichkeitsbeschränkungen, dass der Systemzustand über den gesamten Trajektorienverlauf mit einer Wahrscheinlichkeit von mindestens $1-\varepsilon$ innerhalb einer sicheren Menge $X$ bleibt. Diese Formulierung ist für sicherheitskritische Systeme entscheidend, stellt jedoch zwei wesentliche Schwierigkeiten dar:

Nicht-Markov-Natur: Die Beschränkung hängt von der gesamten Historie der Trajektorie ab, wodurch Standard-MDP-Formulierungen (Markov-Entscheidungsprozesse) nicht anwendbar sind.
Rechentechnische Unbehandbarkeit: Traditionelle Methoden verlassen sich oft auf konservative Approximationen (z. B. die Boole'sche Ungleichung) oder Annahmen über endliche Horizonte, was entweder die Leistung verschlechtert oder die Problematik des unendlichen Horizonts ohne restriktive Annahmen über den Support der Störungen nicht adressieren kann.

Methodik
Die Autoren schlagen ein Framework vor, das das ursprüngliche nicht-Markovsche, beschränkte Problem in ein äquivalentes unbeschränktes Markovsches Problem transformiert, welches mittels lernbasierter dynamischer Programmierung lösbar ist. Die Methodik gliedert sich in drei Hauptphasen:

Zustandserweiterung und Reformulierung:
Die Autoren führen einen erweiterten Zustandsraum $S = \mathbb{R}^n \times \{0, 1\}^2 \times [0, 1]$ ein. Der ursprüngliche Zustand $x_t$ wird um drei Hilfsvariablen erweitert:
- $\xi_t$ : Ein binärer Indikator, der 1 ist, wenn die Trajektorie die Beschränkungen bis zum Zeitpunkt $t$ erfüllt hat, und 0 ansonsten.
- $\psi_t$ : Ein binärer Indikator, der 1 ist, wenn der aktuelle Zustand $x_t$ der erste Zustand ist, der die Beschränkung verletzt, und 0 ansonsten.
- $\phi_t$ : Eine skalare Variable, die mit 1 initialisiert wird und als $\phi_{t+1} = \gamma \phi_t$ aktualisiert wird, um den Diskontfaktor in der Kostenfunktion zu berücksichtigen und die zeitliche Diskrepanz zwischen den diskontierten Kosten und der nicht-diskontierten Beschränkung zu eliminieren.
Diese Erweiterung ermöglicht es, die gemeinsame Wahrscheinlichkeitsbeschränkung als additive Beschränkung auf den Erwartungswert der Summe von $\psi_t$ über den unendlichen Horizont zu reformulieren: $\mathbb{E}[\sum \psi_t] \leq \varepsilon$ .
Lagrange-Dual-Framework und starke Dualität:
Das beschränkte Problem wird in ein Lagrange-Dual-Framework überführt. Die Autoren beweisen, dass für diese Formulierung unter der Slater-Bedingung starke Dualität gilt. Dies erlaubt es, das beschränkte Problem als ein äquivalentes unbeschränktes Problem zu formulieren, bei dem die Wahrscheinlichkeitsbeschränkung als Strafterm im Zielobjekt behandelt wird. Das resultierende Zielobjekt ist:
$\inf_{\pi} \mathbb{E} \left[ \sum_{t=0}^{\infty} (\phi_t \ell(x_t, u_t) + \lambda \psi_t) \right] - \lambda \varepsilon$
wobei $\lambda \geq 0$ die duale Variable ist.
Dual-Ascent-Algorithmus und Lernen:
Um das unbeschränkte Problem für kontinuierliche Zustands-Aktions-Räume zu lösen, schlagen die Autoren einen Dual-Ascent-Algorithmus vor:
- Primaler Schritt: Für ein festes $\lambda$ ist die innere Minimierung ein unbeschränktes optimales Regelungsproblem, das mittels dynamischer Programmierung (DP) gelöst wird.
- Dualer Schritt: Die duale Variable $\lambda$ wird mittels projizierter Gradienten-Aszendenz basierend auf der Verletzung der Risiko-Beschränkung aktualisiert.
Um kontinuierliche Räume zu handhaben, entwickeln die Autoren ein lernbasiertes Framework unter Verwendung von neuronalen Netzen (NN), um die Wertfunktion zu approximieren. Sie nutzen die strukturellen Eigenschaften des erweiterten Zustands aus:
- Wenn eine Verletzung aufgetreten ist ( $\xi=0$ ), reduziert sich das Problem auf eine unbeschränkte Optimierung der Kosten, die durch ein Netzwerk $\hat{W}$ approximiert wird.
- Wenn keine Verletzung aufgetreten ist ( $\xi=1$ ), wird die Wertfunktion $\hat{J}$ gelernt, wobei die Wahrscheinlichkeit des Übergangs in den Verletzungszustand berücksichtigt wird.
  Die theoretische Analyse bestätigt, dass die Wertfunktion kontinuierlich ist, was die Verwendung von universellen Approximatoren wie neuronalen Netzen rechtfertigt.

Kernbeiträge

Äquivalente Markovsche Formulierung: Die Arbeit erweitert Techniken der Zustandserweiterung von endlichen auf unendliche Horizonte und stellt das Problem als ein beschränktes MDP dar, ohne auf konservative Approximationen wie die Boole'sche Ungleichung zurückzugreifen.
Starke Dualität und deterministische Policy: Die Autoren beweisen die starke Dualität für den Fall des unendlichen Horizonts. Entscheidend ist, dass sie zeigen, dass der vorgeschlagene Dual-Ascent-Algorithmus zu einer deterministischen Markov-Policy konvergiert, die sowohl optimal als auch zulässig ist. Dies unterscheidet sich von früheren Arbeiten, die oft auf gemischten Policies oder der durchschnittlichen Zulässigkeit über Lerniterationen beruhten.
Gelockerte Zulässigkeitsbedingungen: Die Arbeit zeigt, dass die Annahme eines beschränkten Unsicherheitssupports (die in der Literatur zum unendlichen Horizont üblich ist) nicht zwingend notwendig ist; Zulässigkeit kann gewährleistet werden, wenn die Wahrscheinlichkeit der ersten Beschränkungsverletzung ausreichend schnell abnimmt (z. B. durch Mittelwert-Quadrat-Stabilität).
Lernbasiertes Lösungsverfahren: Es wird ein dediziertes Offline-Trainingsschema vorgeschlagen, um die Wertfunktion und die Dualfunktion zu approximieren, was die Online-Rechenkomplexität im Vergleich zur Modellprädiktiven Regelung (MPC) signifikant reduziert.

Ergebnisse
Der Ansatz wurde anhand eines numerischen Beispiels validiert, bei dem ein Unicycle durch ein Hindernisfeld mit einer gemeinsamen Wahrscheinlichkeitsbeschränkung ( $\varepsilon = 0.1$ ) navigiert.

Leistung: Der lernbasierte Ansatz erreichte geringere geschlossene Regelungskosten ( $L_{cl} = 528.3$ ) im Vergleich zu einem randomisierten MPC-Schema ( $L_{cl} = 672.0$ ).
Sicherheit: Die empirische Rate der Beschränkungsverletzung für die vorgeschlagene Methode lag bei $0.045$ und erfüllte damit die Anforderung $\varepsilon = 0.1$ . Im Gegensatz dazu lieferte das MPC-Schema mit 25 Stichproben eine Verletzungsrate von $0.17$ und verfehlte somit die Sicherheitsvorgabe.
Effizienz: Die Online-Rechenzeit für die vorgeschlagene Methode betrug etwa 0,01 Sekunden pro Schritt (Lösen eines Ein-Schritt-Problems), während der MPC-Ansatz durchschnittlich 2,94 Sekunden benötigte (mit einem Limit von 10 Sekunden) und oft Schwierigkeiten hatte, nahe an Hindernissen zulässige Lösungen zu finden.
Verhalten: Die gelernte Policy identifizierte korrekt, dass sobald eine Beschränkungsverletzung für eine bestimmte Trajektorie auftritt, die optimale Strategie darin besteht, die Sicherheitsbeschränkung zu ignorieren und die Kosten zu minimieren – ein Verhalten, das das MPC-Schema nicht effizient replizieren konnte.

Bedeutung
Die Arbeit beansprucht, eine recheneffiziente und theoretisch fundierte Lösung für eine Klasse von Problemen geliefert zu haben, die bisher als offen galten: stochastische Regelung über unendliche Horizonte mit gemeinsamen Wahrscheinlichkeitsbeschränkungen. Durch die Vermeidung konservativer Approximationen und die Nutzung starker Dualität erreicht die Methode eine bessere Leistung und Sicherheit als aktuelle MPC-Ansätze bei gleichzeitig geringer Online-Rechenkomplexität. Die Arbeit schließt die Lücke zwischen der Theorie der beschränkten MDPs und der praktischen lernbasierten Regelung für kontinuierliche Systeme.