🤖 AI

Conformal Reachability for Safe Control in Unknown Environments

Dieses Paper schlägt ein neuartiges Framework vor, das Conformal Prediction mit Reichweitenanalyse integriert, um eine nachweisbar sichere Steuerung für unbekannte dynamische Systeme zu ermöglichen, wobei durch umfangreiche Experimente demonstriert wird, dass die resultierenden Policies starke probabilistische Sicherheitsgarantien gewährleisten und gleichzeitig eine hohe Performance über verschiedene Domänen hinweg aufrechterhalten.

Ursprüngliche Autoren: Xinhang Ma, Junlin Wu, Yiannis Kantaros, Yevgeniy Vorobeychik

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinhang Ma, Junlin Wu, Yiannis Kantaros, Yevgeniy Vorobeychik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Auto zu fahren, eine Drohne zu steuern oder einen Stab auszubalancieren. Sie möchten, dass der Roboter schnell und effizient ist (hohe „Belohnungen“ erzielt), aber Sie müssen auch garantieren, dass er niemals abstürzt oder umkippt. Dies ist die Kernherausforderung der Sicheren Steuerung (Safe Control).

Das Problem mit den meisten aktuellen KI-Methoden ist, dass sie wie ein Schüler sind, der für eine Prüfung lernt, indem er rät. Er mag im Durchschnitt eine gute Note bekommen, aber wenn man ihn fragt: „Bist du sicher, dass du in dieser spezifischen Situation nicht abstürzt?“, kann er kein mathematisch fundiertes „Ja“ geben. Sie verlassen sich auf Glück oder vergangene Durchschnittswerte, was in lebensbedrohlichen Situationen wie beim autonomen Fahren nicht ausreicht.

Dieses Paper stellt eine neue Methode namens ReCORS (Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees) vor. Hier ist die Funktionsweise, unterteilt in einfache Konzepte:

1. Das Problem: Die „Black Box“ und die unbekannte Straße

Normalerweise muss man genau wissen, wie die Welt funktioniert (die Physik), um zu beweisen, dass ein Roboter sicher ist. Aber in der realen Welt ist die „Physik“ oft unbekannt oder chaotisch (wie Windböen, die eine Drohne beeinflussen).

Der alte Weg: Man nimmt an, die Regeln perfekt zu kennen, oder nimmt an, die Welt sei einfach. Wenn die Welt tatsächlich komplex ist, bricht die Sicherheitsgarantie zusammen.
Der Weg dieses Papers: Wir geben zu, dass wir die Regeln nicht perfekt kennen. Anstatt zu raten, bauen wir ein „Sicherheitsnetz“ um unsere Vorhersagen.

2. Die Lösung: Das „Sicherheitsnetz“ (Conformal Prediction)

Betrachten Sie Conformal Prediction als eine Art, eine unscharfe, sich ausdehnende Blase um den vorhergesagten Pfad des Roboters zu zeichnen.

Anstatt zu sagen: „Der Roboter wird um 14:00 Uhr genau hier sein“, sagt das System: „Wir sind uns zu 95 % sicher, dass der Roboter um 14:00 Uhr irgendwo innerhalb dieser spezifischen Blase sein wird.“
Das Paper nutzt einen speziellen statistischen Trick, um sicherzustellen, dass diese Blasen die richtige Größe haben. Wenn die Blase zu klein ist, könnte der Roboter herausrutschen und abstürzen. Wenn sie zu groß ist, wird der Roboter zu vorsichtig und bewegt sich kaum noch. Diese Methode findet die „Goldlöckchen-Größe“, die mathematisch garantiert, den Roboter in 95 % der Fälle einzufangen, selbst wenn das interne Modell des Roboters unvollkommen ist.

3. Der Kartencheck (Reachability Analysis)

Sobald das System diese Blasen für jede Sekunde der Reise des Roboters gezeichnet hat, führt es eine Erreichbarkeitsanalyse (Reachability Analysis) durch.

Stellen Sie sich vor, Sie prüfen eine Karte. Sie betrachten die „Blase“, in der sich der Roboter zu jedem Zeitpunkt befinden könnte.
Das System fragt: „Berührt irgendein Teil dieser Blase eine ‚Gefahrenzone‘ (wie eine Wand oder einen Abgrund)?“
Wenn die Antwort „Nein, die Blase bleibt fern von der Gefahr“ lautet, dann ist der Roboter für diesen Pfad beweisbar sicher.
Wenn die Blase die Gefahr berührt, weiß der Roboter, dass er seinen Plan ändern muss.

4. Das Training: Lernen, mutig, aber vorsichtig zu sein

Das Paper beschreibt einen Trainingsprozess (ReCORS), der dem Roboter zwei Dinge gleichzeitig beibringt:

Sei effizient: Versuche, die höchste Punktzahl zu erreichen (schnell sein, das Ziel erreichen).
Sei sicher: Passe dein Verhalten so an, dass die „Sicherheitsblasen“ niemals die Gefahrenzonen berühren.

Die Autoren haben eine spezielle „Bewertungskarte“ (Loss Function) erstellt, die den Roboter bestraft, wenn seine Sicherheitsblasen zu groß werden oder wenn sie der Gefahr zu nahe kommen. Dies zwingt den Roboter dazu, eine Strategie (Policy) zu lernen, die sowohl leistungsstark als auch mathematisch verifiziert sicher ist.

5. Die Ergebnisse: Der „schlaue Fahrer“

Die Forscher haben dies in sieben verschiedenen Szenarien getestet, vom Balancieren eines Stabes (Cartpole) bis hin zum Fliegen von Drohnen und dem Navigieren von Autos.

Der Wettbewerb: Sie verglichen ReCORS mit anderen erstklassigen KI-Sicherheitsmethoden.
Das Ergebnis: Die anderen Methoden scheiterten oft daran, eine „bewiesene“ Sicherheitsgarantie zu geben, sobald der Zeithorizont länger wurde (z. B. nach 20 Sekunden). Sie waren wie Fahrer, die für ein paar Sekunden sicher sind, aber später abstürzen könnten.
ReCORS: Es schaffte es, die Sicherheit über viel längere Zeiträume zu beweisen (50+ Sekunden), während es gleichzeitig schnell fuhr und hohe Belohnungen erzielte.
Der Kompromiss: Einige andere Methoden erzielten in einigen Spielen etwas höhere Punktzahlen, taten dies aber durch enorme Risiken (im Grunde ein Glücksspiel, dass sie nicht abstürzen würden). ReCORS war die einzige Methode, die sowohl hohe Leistung als auch eine mathematisch bewiesene Garantie bot, nicht abzustürzen.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie gehen auf einem Seil über einer Schlucht.

Alte KI: Geht schnell und sagt: „Ich habe das 100 Mal gemacht und bin nur einmal gefallen, also bin ich wahrscheinlich sicher.“
ReCORS: Geht schnell, trägt aber ein riesiges, unsichtbares Sicherheitsnetz bei sich, das mathematisch garantiert, Sie aufzufangen, falls Sie ausrutschen. Es prüft ständig die Position des Netzes im Verhältnis zu den Wänden der Schlucht. Wenn das Netz der Wand zu nahe kommt, verlangsamt es das Tempo oder passt den Pfad an. Es beweist Ihnen: „Ich werde nicht fallen“, ohne dabei die Geschwindigkeit Ihres Gangs zu opfern.

Das Paper kommt zu dem Schluss, dass diese Methode es uns ermöglicht, autonome Systeme zu bauen, denen wir wirklich vertrauen können, selbst wenn wir die Umgebung, in der sie operieren, nicht vollständig verstehen.

Technisches Resümee: Konforme Erreichbarkeit für sichere Steuerung in unbekannten Umgebungen

1. Problemstellung

Die Arbeit befasst sich mit der Herausforderung, beweisbar sichere Steuerungsrichtlinien für autonome Systeme zu entwerfen, die in unbekannten dynamischen Umgebungen operieren. Während Reinforcement Learning (RL) die Autonomie vorangebracht hat, mangelt es Standardansätzen oft an rigorosen Sicherheitsgarantien, da sie typischerweise auf die durchschnittliche Performance optimieren oder auf empirischer Sicherheit beruhen, die in sicherheitskritischen Szenarien versagt.

Bestehende Verifizierungs- und Syntheseverfahren stehen vor erheblichen Einschränkungen:

Annahmen über bekannte/deterministische Dynamiken: Viele Methoden setzen voraus, dass die Systemdynamik bekannt oder deterministisch ist, was in der Praxis selten der Fall ist.
Endliche Zustands-/Aktionsräume: Ansätze erfordern oft endliche Zustands- oder Aktionsräume, was die Anwendbarkeit auf kontinuierliche Systeme einschränkt.
Skalierbarkeit und Glattheit: Formale Methoden wie die Hamilton-Jacobi-Erreichbarkeit skalieren schlecht mit der Systemkomplexität, und viele lernbasierten Methoden setzen glatte Dynamiken oder spezifische Modellformen (z. B. Gauß-Prozesse) voraus.
Approximative Garantien: Aktuelle sichere RL-Methoden bieten Sicherheit oft nur „im Durchschnitt“ (z. B. über Constrained MDPs) oder im Grenzwert, anstatt endliche-Horizont-Wahrscheinlichkeitsgarantien für unbekannte, potenziell stochastische Dynamiken anzubieten.

Der Kern des Problems besteht darin, eine Richtlinie zu erlernen, die den kumulativen Reward maximiert und gleichzeitig sicherstellt, dass das System innerhalb einer sicheren Menge $S_s$ für einen Entscheidungshorizont $K$ bleibt, und zwar mit einer rigorosen, hochwahrscheinlichen Garantie, trotz fehlenden Vorwissens über die Systemdynamik $P$ oder die Belohnungsfunktion $r$ .

2. Methodik: ReCORS

Die Autoren schlagen ReCORS (Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees) vor, ein Framework, das modellbasiertes und modellfreies RL mit Conformal Prediction (CP) und Erreichbarkeitsanalyse integriert.

2.1 Approximation der Systemdynamik

Die Methode lernt ein parametrisches, diskretes Zeitmodell $\hat{f}_\beta$ (ein neuronales Netzwerk), das Zustands-Aktions-Paare auf die vorhergesagten Folgezustände abbildet.

Sicherheitsbewusstes Training: Im Gegensatz zum Standard-Dynamiklernen beinhaltet die Verlustfunktion für $\hat{f}_\beta$ Sicherheitsgewichte. Dimensionen des Zustandsraums, die kritischer für Sicherheitsbeschränkungen sind (z. B. die Nähe zu Hindernissen), werden mit höheren Gewichten in der $\ell_2$ -Loss zugewiesen. Dies priorisiert die Vorhersagegenauigkeit in sicherheitskritischen Dimensionen, selbst wenn dies den allgemeinen Vorhersagefehler leicht erhöht.
Trainings-Pipeline: Das Modell wird auf zufälligen Aktionen vortrainiert und dann iterativ zusammen mit der Policy mithilfe von Daten verfeinert, die von der aktuellen Policy gesammelt wurden.

2.2 Konforme Sicherheitsanalyse (CSA)

Um probabilistische Garantien ohne Annahme spezifischer Dynamikverteilungen zu liefern, nutzt ReCORS Conformal Prediction.

Unsicherheitsschätzung: CP wird verwendet, um gültige Vorhersageintervalle (Unsicherheitsmengen) für das Dynamikmodell zu generieren. Für einen gegebenen Zustand und eine gegebene Aktion liegt der wahre Folgezustand mit einer Wahrscheinlichkeit von $1-\alpha$ innerhalb des Intervalls $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ .
Trajektorienbezogene Schranken: Um über Zeitschritte hinweg zu konservative Union Bounds zu vermeiden, nutzen die Autoren einen trajektorienbezogenen Nonconformity-Score (basierend auf Cleaveland et al. [12]). Dieser optimiert die Gewichte für jeden Zeitschritt, um engere Schranken über den gesamten Horizont $K$ zu erzeugen.
Erreichbarkeitsverifizierung: Unter Verwendung der gelernten Dynamik $\hat{f}_\beta$ und der konformen Unsicherheitsgrenzen $\eta$ führt das System eine Vorwärts-Erreichbarkeitsanalyse durch. Es verifiziert, ob die erreichbare Menge der Zustände zu einem beliebigen Zeitpunkt $t \in [1, K]$ die unsichere Menge $S_u$ schneidet.
Initialzustandsverteilung: Das Framework berücksichtigt die Unsicherheit in der Initialzustandsverteilung $\rho$ , indem es endliche Stichproben-Tail-Bounds (Hoeffding-Ungleichung) auf die empirischen Verifizierungsergebnisse anwendet, um sicherzustellen, dass die Sicherheitsgarantie für die gesamte Verteilung gilt und nicht nur für die gesampelten Initialzustände.

2.3 Differenzierbare Trainings-Pipeline

Eine zentrale Innovation ist die Differenzierbarkeit des Sicherheitsverifizierungsprozesses, um eine End-to-End-Optimierung der Policy zu ermöglichen.

Neuronaler Konformer Prädiktor: Ein separates neuronales Netzwerk $\eta_\omega$ wird trainiert, um die Konformitätsschwellenwerte $\eta$ vorherzusagen. Dies ersetzt die nicht-differenzierbare Quantilberechnung des Standard-CP.
Verlustfunktionen:
- Konformer Loss: Kombiniert einen Effizienzterm (Minimierung der Größe der Vorhersagemenge) und einen Coverage-Term (Sicherstellung, dass die empirische Abdeckung die Zielvorgabe $1-\alpha$ erfüllt).
- Safety Loss: Bestraft explizit die maximale Sicherheitsverletzung über den Horizont und fördert die Verbesserung der Sicherheitswerte vom Anfang bis zum Ende des Horizonts.
Gemeinsame Optimierung: Die Policy (Actor), der Critic, das Dynamikmodell und der konforme Prädiktor werden gemeinsam optimiert. Der Gesamtverlust komb heavy den Standard-RL-Reward-Objective mit den konformen und sicherheitsbezogenen Verlusten.
Curriculum Learning: Der Algorithmus verwendet eine Curriculum-Strategie, die mit einem kurzen Sicherheitshorizont $K_0$ beginnt und diesen inkrementell erhöht, sobald die Policy eine beweisbare Sicherheit erreicht, wodurch das System komplexe Verhaltensweisen schrittweise erlernen kann.

3. Zentrale Beiträge

Konforme Sicherheitsanalyse (CSA): Ein neuartiges Framework, das Conformal Prediction mit Erreichbarkeitsanalyse für lernbasierte Regler in unbekannten dynamischen Systemen kombiniert. Es bietet rigorose probabilistische Sicherheitsgarantien, ohne Glattheit oder spezifische Formen der zugrunde liegenden Dynamik vorauszusetzen.
Beweisbare sichere Policy-Lernverfahren: Ein Trainingsframework, das modellfreies RL (für die Maximierung des Rewards) mit modellbasierter Erreichbarkeitsschätzung (für die Sicherheit) integriert. Es erzwingt harte Sicherheitsbeschränkungen über differenzierbare Verlustfunktionen, die aus konformen Unsicherheitsmengen abgeleitet sind.
Umfassende Evaluierung: Umfangreiche Experimente in sieben Umgebungen (einschließlich Cartpole, Lane Following, 2D/3D Quadrotoren, CarGoal und HalfCheetah) mit sowohl linearen (affinen) als auch nichtlinearen Sicherheitsvorgaben.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ReCORS gegen fünf State-of-the-Art-Baselines (PPOLag, PCPO, CRPO, P3O, RESPO).

Verifizierte Sicherheit: ReCORS erreichte signifikant stärkere beweisbare Sicherheitsgarantien als alle Baselines. Beispielsweise scheiterten die Baselines in der Cartpole-Umgebung daran, nützliche Garantien über einen Horizont von $K=20$ hinaus bereitzustellen, während ReCORS hochwahrscheinliche Sicherheitsgarantien bis zu $K \ge 50$ aufrechterhielt.
Reward vs. Safety Trade-off: Während einige Baselines höhere Rewards erzielten, geschah dies auf Kosten schlechter Sicherheitseigenschaften (häufige Verletzungen). ReCORS war die einzige Methode, die konsistent sowohl starke Performance als auch verifizierte Sicherheit erreichte. In einigen Domänen (z. B. 2D Quadrotor) übertraf ReCORS alle Baselines sowohl beim Reward als auch bei der Sicherheit.
Nichtlineare Beschränkungen: Der Ansatz bewältigte erfolgreich nichtlineare Sicherheitsbeschränkungen (z. B. sicherer Abstand im 2D Quadrotor) und übertraf damit Baselines, die entweder die Sicherheit nicht verifizieren konnten oder zu konservativen Verhaltensweisen führten (z. B. Drohnen, die stationär bleiben).
Ablationsstudien: Die Ergebnisse bestätigten die Bedeutung der sicherheitsbewussten Gewichte beim Training der Dynamik sowie der gemeinsamen Optimierung der Dynamik- und Unsicherheitsmodelle.

5. Bedeutung und Ansprüche

Das Paper behauptet, einen neuartigen Ansatz zu präsentieren, der die Lücke zwischen High-Performance-Learning und rigoroser Sicherheitsverifizierung in unbekannten Umgebungen schließt. Seine Bedeutung liegt in:

Aufhebung restriktiver Annahmen: Im Gegensatz zu vorangegangener Arbeit setzt es keine bekannten, deterministischen oder glatten Dynamiken voraus und erfordert keine endlichen Zustandsräume.
Verteilungsfreie Garantien: Durch die Nutzung von Conformal Prediction bietet es statistisch kalibrierte, verteilungsfreie Unsicherheitsschätzungen, was die Sicherheitsgarantien robust gegenüber Modellfehlern und unbekannter Stochastik macht.
Skalierbarkeit: Die diskrete Zeit-Finite-Step-Erreichbarkeitsformulierung skaliert besser mit der Systemkomplexität als PDE-basierte Hamilton-Jacobi-Methoden.
Praktische Anwendbarkeit: Die Methode wurde über diverse Domänen hinweg als effektiv erwiesen und bietet einen gangbaren Weg zu vertrauenswürdiger Autonomie, bei der Sicherheit nicht zugunsten der Performance geopfert werden darf.

Die Autoren räumen Einschränkungen ein und merken an, dass der aktuelle Ansatz eine perfekte Beobachtbarkeit des Systemzustands voraussetzt, was ein offenes Problem für zukünftige Arbeiten bleibt.