🔢 mathematics

Joint Chance Constrained Safe-Optimal Control

Dieses Paper schlägt einen neuartigen Ansatz für die gemeinsame chancengesteuerte optimale Regelung vor, der die erwarteten Kosten nur für sichere Trajektorien minimiert, um zu verhindern, dass Strategien unsichere kostengünstige Pfade ausnutzen, und demonstriert, dass dieses Problem mittels dynamischer Programmierung auf einem erweiterten Zustandsraum mit abgeleiteten Sicherheitsgrenzen sowie empirischer Validierung gelöst werden kann.

Ursprüngliche Autoren: Niklas Schmid, Jared Miller, Tristan Zeller, Marta Fochesato, Tobias Sutter, John Lygeros

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Niklas Schmid, Jared Miller, Tristan Zeller, Marta Fochesato, Tobias Sutter, John Lygeros

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Kapitän einer Lieferdrohne. Ihr Chef gibt Ihnen zwei Regeln:

Bringen Sie das Paket ans Ziel.
Abstürzen Sie nicht.

Die Wetterlage ist jedoch unvorhersehbar (stochastische Unsicherheit). Manchmal weht der Wind Sie vom Kurs ab. Sie benötigen ein Computerprogramm (einen Controller), um zu entscheiden, wie Sie fliegen.

Der alte Weg: „Die riskante Abkürzung“

Traditionell programmierten Ingenieure die Drohne so, dass sie den gesamten Batterieverbrauch jedes einzelnen Fluges minimiert, egal ob sie abstürzt oder nicht.

Hier liegt das Problem: Die Drohne erkennt, dass sie sehr wenig Batterie verbraucht, wenn sie direkt durch eine gefährliche Gewitterwolke fliegt. Wenn sie um die Wolke herumfliegt, verbraucht sie viel Energie.

Wenn die Drohne durch die Wolke fliegt, besteht eine 40-prozentige Chance, dass sie abstürzt (und das Paket verloren geht).
Aber wenn sie abstürzt, ist der „Kostenwert“ dieses Fluges lediglich die Batterie, die vor dem Absturz verbraucht wurde.
Wenn sie sicher darum herumfliegt, verbraucht sie eine enorme Menge an Batterie.

Die alte Mathematik sagte der Drohne: „Hey, wenn ich in 40 % der Fälle abstürze, ist mein durchschnittlicher Batterieverbrauch über alle Flüge hinweg super niedrig. Also werde ich direkt durch die Wolke fliegen!“

Die Drohne würde also absichtlich riskante Abkürzungen nehmen und akzeptieren, dass einige Pakete verloren gehen, nur um auf den Flug mit dem geringen Batterieverbrauch bei den erfolgreichen Flügen zu sparen. Dies nennt man „Ausnutzen von kostengünstigen, unsicheren Trajektorien“ (exploiting low-cost unsafe trajectories).

Der neue Weg: „Der sicherheitsoptimale Ansatz“

Die Autoren dieses Papers sagen: „Warten Sie mal. Wenn die Drohne abstürzt, ist der Batterieverbrauch irrelevant. Wir kümmern uns nicht um die Batterie einer abgestürzten Drohne; uns geht es um die Batterie der Drohnen, die das Paket tatsächlich ausliefern.“

Sie schlagen eine neue Regel vor: Minimieren Sie nur den Batterieverbrauch der Flüge, die das Paket erfolgreich ausliefern. Ignorieren Sie die Batterie-Kosten der Abstürze vollständig.

Das Ergebnis: Die Drohne hat keinen Anreiz mehr, durch die Wolke zu fliegen. Sie weiß, dass es nicht zählt, wie viel Batterie sie verbraucht, wenn sie abstürzt, also wählt sie den längeren, sichereren Weg um die Wolke herum, um sicherzustellen, dass das Paket ankommt.
Der Kompromiss: Der durchschnittliche Batterieverbrauch aller Flüge (einschließlich der Abstürze) kann leicht ansteigen, aber der Batterieverbrauch der erfolgreichen Flüge sinkt erheblich, weil die Drohne keine dummen Risiken mehr eingeht.

So haben sie es gelöst

Die Autoren mussten eine neue Methode entwickeln, um diese Logik beizubringen:

Das „erweiterte“ Gedächtnis: Sie gaben der Drohne einen speziellen „Gedächtniszustand“. Dieser verfolgt zwei Dinge: wo sie sich befindet und wie viel Batterie sie bisher verbraucht hat.
Der „Geister“-Schritt: Am Ende des Fluges fügten sie einen virtuellen Schritt hinzu. Wenn die Drohne sicher ist, wird der verbrauchte Strom gezählt. Wenn die Drohne abstürzt, wird der Kostenwert auf Null gesetzt (oder ignoriert).
Die Mathematik: Sie bewiesen, dass dieses neue Problem mit „Dynamischer Programmierung“ (einer Methode zur Lösung komplexer Probleme durch Zerlegung in kleinere Schritte) gelöst werden kann, und testeten es auch mit „Reinforcement Learning“ (KI, die durch Versuch und Irrtum lernt).

Die Experimente

Sie testeten dies an einem simulierten 2D-Roboter (ähnlich einem Einrad), der versucht, ein Ziel in einem Raum voller Hindernisse zu erreichen.

Alte Methode (Standard JCC): Der Roboter nimmt manchmal einen riskanten Pfad durch eine schmale Lücke. Wenn er gegen die Wand prallt, macht das nichts aus; es spart Batterie im „Durchschnittsflug“.
Neue Methode (Safe-Optimal): Der Roboter vermeidet die riskante Lücke. Er nimmt einen etwas längeren Weg, ist aber viel wahrscheinlicher in der Lage, das Ziel zu erreichen. Wenn er das Ziel tatsächlich erreicht, hat er weniger Energie verbraucht als die erfolgreichen Flüge der alten Methode.

Das Fazit

Das Paper argumentiert, dass man bei kritischen Aufgaben (wie medizinischen Geräten oder selbstfahrenden Autos) nicht für das „Durchschnittsergebnis“ optimieren sollte, wenn die „schlechten“ Ausgänge Katastrophen bedeuten. Stattdessen sollte man strikt für die erfolgreichen Ausgänge optimieren.

Sie haben gezeigt, dass man durch die Änderung der Mathematik, um die Kosten von Fehlern zu ignorieren, einen klügeren, sichereren Roboter erhält, der nicht mit dem Risiko einer Katastrophe spielt, nur um ein paar Cent zu sparen.

Technisches Resümee: Joint Chance Constrained Safe-Optimal Control

Problemformulierung
Die Arbeit befasst sich mit den Einschränkungen der standardmäßigen Joint Chance Constrained (JCC) optimalen Steuerung für stochastische Systeme. In traditionellen JCC-Formulierungen besteht das Ziel darin, die erwarteten Kosten aller Trajektorien (sowohl sicherer als auch unsicherer) zu minimieren, unter der Bedingung, dass die Wahrscheinlichkeit, innerhalb einer sicheren Menge zu bleiben, einen Schwellenwert $\alpha$ überschreitet. Die Autoren argumentieren, dass dieser Standardansatz einen kontraproduktiven Anreiz schafft: Der Regler kann Sicherheitsbeschränkungen absichtlich verletzen, um kostengünstige, unsichere Trajektorien auszunutzen, sofern die Gesamtwahrscheinlichkeit der Sicherheit über $\alpha$ bleibt. Dieses Verhalten ist in Anwendungen unerwünscht, bei denen Beschränkungsverletzungen katastrophale und irreversible Folgen haben (z. B. Abstürze von Flugzeugen, Versagen medizinischer Geräte), da die Kosten einer fehlgeschlagenen Trajektorie nicht zum Optimierungsziel beitragen sollten.

Um dies zu adressieren, schlägt das Papier ein Joint Chance Constrained Safe-Optimal Control Problem vor. Das Ziel wird dahingehend modifiziert, die erwarteten Kosten nur der sicheren Trajektorien zu minimieren, während gleichzeitig die Joint Chance Constraint aufrechterhalten wird, dass die Wahrscheinlichkeit der Sicherheit mindestens $\alpha$ beträgt. Unsichere Trajektorien werden im Zielfunktionswert effektiv mit dem Wert Null belegt, wodurch der Anreiz entfällt, Sicherheit zugunsten von Kosteneinsparungen zu „opfern“.

Methodik
Der kerntheoretische Beitrag besteht in der Reformulierung dieses nicht-markovschen Problems in ein lösbares Framework:

Erweiterter Zustandsraum-MDP: Die Autoren zeigen, dass das Safe-Optimal Control Problem als ein Constrained Markov Decision Process (CMDP) über einen erweiterten Zustandsraum $Z = X \times C$ dargestellt werden kann, wobei $X$ der ursprüngliche Zustandsraum ist und $C$ die kumulierten Kosten repräsentiert.
- Die Zustandsentwicklung beinhaltet einen deterministischen Kostenakkumulator.
- Ein zusätzlicher virtueller Zeitschritt und ein binärer Input werden eingeführt, um die Trajektorien-Gewichtungsfunktion $a(\cdot)$ zu handhaben, welche entscheidet, ob eine Trajektorie basierend auf ihrer Sicherheit und ihren Gesamtkosten zur Kostenfunktion/Beschränkung beiträgt.
- Diese Transformation ermöglicht die Anwendung standardmäßiger Dynamischer Programmierung (DP)-Techniken, die auf das ursprüngliche Problem aufgrund der Abhängigkeit von der vollständigen Trajektorienhistorie nicht direkt anwendbar wären.
Approximation und Fehlerschranken: Für Systeme mit kontinuierlichen Zustandsräumen verwenden die Autoren eine Gitter-Abstraktion, um den Zustands-, Kosten- und Aktionsraum zu diskretisieren. Sie leiten theoretische Schranken für den durch diese Diskretisierung eingeführten Sicherheitsfehler ab. Insbesondere zeigen sie, dass, wenn eine Policy auf dem diskretisierten MDP eine Sicherheit $\alpha$ erreicht, die Sicherheit auf dem ursprünglichen kontinuierlichen System durch $\alpha - N h_x M_x \mu \Delta x$ nach unten begrenzt ist, wobei die Parameter sich auf die Gittergröße, die Lipschitz-Konstanten des Übergangskernels und die Anzahl der Zeitschritte beziehen. Dies ermöglicht es, die Beschränkungen im diskretisierten Problem zu verschärfen, um Sicherheit auf dem kontinuierlichen System zu garantieren.
Lösungsansätze: Das Papier evaluiert zwei Lösungsmethoden:
- Dynamische Programmierung (DP): Löst das Lagrange-Dual des CMDP mittels Value Iteration und Bisektion auf den dualen Multiplikator $\lambda$ .
- Reinforcement Learning (RL): Implementiert ein lexikographisches Lernframework unter Verwendung des Soft-Actor-Critic (SAC) Algorithmus. Dies beinhaltet einen zweistufigen Trainingsprozess: erstens die Maximierung der Reach-Avoid-Wahrscheinlichkeit, danach die Abstimmung des Lagrange-Multiplikators, um den spezifischen Sicherheitsschwellenwert $\alpha$ zu erfüllen.

Wesentliche Beiträge

Neuartige Problemdefinition: Einführung eines Steuerungsproblems, das ausschließlich die Kosten sicherer Trajektorien minimiert und somit die Kosten unsicherer Trajektorien von der Optimierungsfunktion entkoppelt.
Theoretische Reformulierung: Beweis, dass das Safe-Optimal Control Problem äquivalent zu einem Constrained MDP auf einem erweiterten Zustandsraum ist, was die Anwendung von DP ermöglicht.
Sicherheitsgarantien: Ableitung expliziter Schranken für die Policy-Sicherheit beim Lösen des Problems mittels Gitter-Approximationen in kontinuierlichen Zustandsräumen.
Empirische Validierung: Umfassende numerische Experimente, die den vorgeschlagenen Ansatz mit Standard-JCC-Steuerung und RL-Lösungen vergleichen.

Experimentelle Ergebnisse
Die Autoren validieren ihren Ansatz an einem simulierten 2D-Unicycle-System in unstrukturierten Reach-Avoid-Umgebungen.

Verhaltensunterschiede: Es wurde beobachtet, dass Standard-JCC-Policies (die die Kosten aller Trajektorien minimieren) dazu neigen, das Erreichen des Ziels „aufzugeben“, um kostspielige sichere Routen zu vermeiden, was oft zu kostengünstigen, aber unsicheren Trajektorien führt, die nahe am Ausgangszustand verbleiben oder unsichere Abkürzungen nehmen. Im Gegensatz dazu optimieren die vorgeschlagenen Safe-Optimal Policies ausschließlich für erfolgreiche, sichere Trajektorien.
Leistungsmetriken: In Monte-Carlo-Simulationen erreichte der Safe-Optimal-Ansatz niedrigere Aktuationskosten für sichere Trajektorien im Vergleich zu Standard-JCC, während er die geforderte Sicherheitswahrscheinlichkeit beibehielt. Standard-JCC erreichte nur deshalb niedrigere Gesamtkosten, weil es die Kosten vieler kostengünstiger, unsicherer (oder nicht-zielgerichteter) Trajektorien einschloss.
DP vs. RL: DP übertraf RL im Allgemeinen bei der Findung optimaler Policies, insbesondere in komplexen Umgebungen (z. B. „Simple-Slit“), in denen RL zu lokal optimalen, konservativen Lösungen konvergierte. Dennoch zeigte RL die Fähigkeit, die Problemstruktur zu handhaben, benötigte jedoch signifikant längere Rechenzeiten (90–130 Minuten gegenüber <2 Minuten für DP). Die Autoren merken an, dass DP zwar exponentiell mit der Zustandsdimension skaliert, RL jedoch oft für hochdimensionale reale Probleme bevorzugt wird, in denen DP nicht praktikabel ist.

Bedeutung und Ansprüche
Das Papier behauptet, dass die Standard-JCC-Formulierung für Systeme mit irreversiblen Beschränkungen grundlegend fehlerhaft ist, da sie dazu animiert, Beschränkungen zu verletzen, um Kosten zu senken. Durch die Verschiebung des Ziels auf die Minimierung der Kosten nur sicherer Trajektorien stimmt die vorgeschlagene Methode mit der praktischen Intuition überein: Die Kosten eines Fahrzeugabsturzes oder eines gescheiterten medizinischen Eingriffs sind für die Betriebskosten erfolgreicher Missionen irrelevant. Die Autoren behaupten, dass ihr Ansatz das „Aufgeben“-Verhalten herkömmlicher Regler vermeidet und einen mathematisch rigorosen Rahmen (via CMDP-Reformulierung und DP) bietet, um sichere, kosteneffiziente Steuerung zu erreichen. Sie kommen zu dem Schluss, dass DP derzeit zwar der überlegene Solver für die vorgeschlagene Formulierung in niedrigdimensionalen Settings ist, das Framework jedoch Wege eröffnet, diese Prinzipien auf breitere temporale Logik-Beschränkungen und reale Systeme anzuwenden.