⚡ electrical engineering

Deep Reinforcement Learning for Reach-Avoid-Stay Problems

Dieses Paper schlägt ein zweistufiges Deep-Reinforcement-Learning-Framework vor, das gemeinsam die maximale robuste Reach-Avoid-Stay-Menge und eine entsprechende Switching-Control-Policy lernt und dabei im Vergleich zu bestehenden Methoden eine überlegene Genauigkeit und Leistungsfähigkeit bei der Gewährleistung zeigt, dass Systeme unter beschränkten Störungen Zielmengen sicher erreichen und darin verbleiben.

Ursprüngliche Autoren: Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

Veröffentlicht 2026-09-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der Welt der Robotik und autonomen Maschinen ist Sicherheit nicht nur die Vermeidung eines Zusammenstoßes; es geht darum, genau zu wissen, wohin eine Maschine fahren kann und, was noch wichtiger ist, wo sie anhalten muss. Stellen Sie sich ein selbstfahrendes Auto oder eine Lieferdrohne vor, die durch eine belebte Stadt navigiert. Ingenieure nutzen mathematische Werkzeuge, um „Sicherheitszonen“ zu kartieren, um sicherzustellen, dass eine Maschine, wenn sie von einem bestimmten Punkt aus startet, ihr Ziel erreichen kann, ohne etwas zu rammen. Eine häufige Schwachstelle in diesen Sicherheitskarten besteht jedoch darin, dass sie einer Maschine oft zwar sagen, wie sie ein Ziel erreicht, ihr aber nicht sagen, wie sie dort bleibt. Ein Fahrzeug könnte zwar einen Parkplatz erreichen, aber aufgrund von Wind oder einer plötzlichen Geschwindigkeit nicht in der Lage sein, ausreichend abzubremsen, um dort stehen zu bleiben, was dazu führt, dass es aus der Sicherheitszone in Gefahr abdriftet. Diese Lücke zwischen dem Ankommen und dem Bleiben war lange Zeit ein schwieriges Problem für Informatiker, die versuchen, Maschinen in unvorhersehbaren Umgebungen wirklich zuverlässig zu machen.

Um dies zu lösen, haben Forscher der North Carolina State University und der University of Texas at Austin einen neuen Weg entwickelt, um Maschinen beizubringen, ein Ziel zu erreichen und ihre Position gegen jede Störung zu halten. Sie konzentrierten sich auf eine spezifische Herausforderung, die als „Reach-Avoid-Stay“-Problem (Erreichen-Vermeiden-Bleiben) bezeichnet wird. Vereinfacht ausgedrückt geht es bei dieser Frage darum: Von welchen Startpunkten aus kann eine Maschine ein Ziel sicher erreichen, alle Hindernisse vermeiden und dann auch bei Wind oder rutschiger Straße für immer innerhalb dieses Ziels bleiben? Frühere Methoden hatten damit Schwierigkeiten, da sie entweder auf komplexen mathematischen Designs basierten, die für komplizierte Maschinen schwer zu erstellen waren, oder unrealistische Annahmen trafen, wie etwa die Annahme, dass ein Fahrzeug sofort anhalten könne. Die Forscher schlugen einen zweistufigen Lernprozess unter Verwendung einer Art von künstlicher Intelligenz namens Deep Reinforcement Learning vor, bei dem ein Computer durch Versuch und Irrtum in einer simulierten Welt lernt.

Der Ansatz des Teams funktioniert wie eine zweistufige Reise. Zuerst lernt der Computer, eine spezielle innere Zone innerhalb des Zielbereichs zu identifizieren. Diese innere Zone ist ein Ort, an dem die Maschine für immer sicher bleiben kann, egal welchen Störungen sie ausgesetzt ist. Die Forscher nennen dies einen „robusten Viabilitätsschwarm“ (robust viability kernel). Um dies zu finden, lernt die KI eine Strategie (Policy), also einen Satz von Regeln, der die Maschine so steuert, dass sie niemals aus diesem sicheren inneren Kreis herausdriftet. Sob wenn der Computer dieses „Bleiben“-Verhalten gemeistert hat, geht er zum zweiten Schritt über. Hier lernt er, wie er die Maschine von einem beliebigen Startpunkt so schnell wie möglich in diese sichere innere Zone bringt, während er gleichzeitig alle Hindernisse auf dem Weg vermeidet. Die Forscher haben mathematisch bewiesen, dass eine Maschine die gesamte Aufgabe erfolgreich abgeschlossen hat, wenn sie diese innere Zone erreichen und dort bleiben kann. Durch die Kombination dieser beiden gelernten Verhaltensweisen in ein einziges Umschaltsystem weiß die Maschine genau, wann sie auf das Ziel zusteuern und wann sie in einen Modus wechseln muss, der sie fest an Ort und Stelle hält.

Die Forscher testeten diese Methode in verschiedenen Szenarien, die von einem einfachen zweidimensionalen Wagen auf einer Strecke bis hin zu komplexen, hochdimensionalen Simulationen eines VTOL-Taxis (Vertical Take-Off and Landing), das durch eine Stadt fliegt, und eines Traktors, der Erntegut von einem fahrenden Mähdrescher entlädt, reichten. Im Fall des einfachen Wagens verglichen sie ihre neue Methode mit einer älteren Technik, die komple Primäre mathematische Funktionen nutzt. Ihr neuer Ansatz identifizierte einen sicheren Startbereich, der fast fünfzehnmal größer war als der Bereich, den die ältere Methode fand, was bedeutet, dass die Maschine von viel mehr Positionen aus starten konnte, ohne ein Risiko des Scheiterns einzugehen. In den komplexeren Simulationen mit dem Flugtaxi und dem Traktor identifizierte die neue Methode die sicheren Startbereiche mit einer Genauigkeit von über 95 Prozent, selbst wenn der Lernprozess kleine Fehler aufwies, die typisch für das Computertraining sind.

Die Ergebnisse zeigten einen drastischen Unterschied zwischen Maschinen, die mit den alten Methoden trainiert wurden, und solchen, die mit diesem neuen zweistufigen Framework trainiert wurden. Bei Tests mit dem Flugtaxi versagte die ältere „Reach-and-Avoid“-Methode (Erreichen-und-Vermeiden), die sich nur darum kümmert, das Ziel zu erreichen, beim Halten der Position vollständig und erreichte eine Erfolgsquote von null Prozent. Im Gegensatz dazu war die neue Methode zu 93 Prozent erfolgreich. Ähnlich verhielt es sich beim Traktorszenario: Die neue Methode war zu 99,3 Prozent erfolgreich, während die ältere Methode nur 73,5 Prozent erreichte. Die Forscher fanden heraus, dass die älteren Methoden die Maschinen oft mit voller Geschwindigkeit in das Zielgebiet steuerten, wodurch ihnen keine Möglichkeit blieb, abzubremsen und in Position zu bleiben. Die neue Methode hingegen lernte, die Maschine frühzeitig abzubremsen, um sicherzustellen, dass sie die sichere innere Zone mit einer Geschwindigkeit betritt, bei der sie unbegrenzt verweilen kann.

Obwohl die Simulationen sehr erfolgreich waren, merkten die Forscher an, dass ihr System darauf angewiesen ist, ein präzises Verständnis der Umgebung und der Physik der Maschine vor Beginn des Trainings zu haben. Wenn sich die reale Welt anders verhält als das Computermodell – zum Beispiel, wenn der Wind stärker ist als vorhergesagt oder der Boden rutschiger ist – könnte die trainierte Maschine die Sicherheit nicht garantieren. Das Team schlägt vor, dass zukünftige Arbeiten reale Sensordaten integrieren müssen, um mit diesen Unbekannten umzugehen. Vorerst bietet dieses zweistufige Lernframework einen bedeutenden Fortschritt, indem es einen Weg aufzeigt, Maschinen nicht nur das Ankommen, sondern auch das Bleiben beizubringen, und damit eine theoretische Sicherheitsgarantie in ein praktisches Werkzeug für komplexe, reale Anwendungen verwandelt.

Technisches Resümee: Deep Reinforcement Learning für Reach-Avoid-Stay-Probleme

Problemdefinition

Die Arbeit befasst sich mit dem Reach-Avoid-Stay (RAS)-Problem für nichtlineare dynamische Systeme unter beschränkten adversariellen Störungen. Im Gegensatz zu Standard-Reach-Avoid (RA)-Problemen, bei denen ein System eine Zielmenge $T$ erreichen und gleichzeitig unsichere Regionen vermeiden muss, erfordert das RAS-Problem, dass das System $T$ nicht nur erreicht, sondern auch unbestimmt darin verbleibt, trotz aller beschränkten Störungen.

Die zentrale Herausforderung besteht darin, dass bestehende RA-Methoden oft nicht zwischen der Zielmenge $T$ und dem robusten Viabilitätskerner (der maximalen robusten kontrollinvarianten Teilmenge von $T$ ) unterscheiden können. Wenn ein System $T$ erreicht, aber nicht den Viabilitätskerner (z. B. durch zu hohe Geschwindigkeit beim Eintritt), kann es unter Störung möglicherweise nicht innerhalb von $T$ bleiben, was zu Sicherheitsverletzungen führt. Aktuelle Ansätze für RAS stehen vor erheblichen Einschränkungen:

Control-Lyapunov-Barrier-Function (CLBF)-Methoden sind schwierig für hochdimensionale oder nichtlineare Systeme zu entwerfen.
Trichterbasierte Methoden (Funnel-based methods) beruhen auf der restriktiven Annahme, dass Systeme sofort anhalten können.
Bestehende RL-Ansätze scheitern oft daran, die maximale robuste RAS-Menge zu identifizieren, was zu konservativen Policys oder ungenauen Sicherheitsklassifizierungen führt.

Das Ziel ist es, die maximale robuste RAS-Menge (die Menge aller Anfangszustände, von denen aus die RAS-Aufgabe erreichbar ist) und eine entsprechende Steuerungsstrategie (Control Policy) zu berechnen, die die Aufgabenerfüllung unter allen beschränkten Störungen garantiert.

Methodik

Die Autoren schlagen einen zweistufigen Deep Reinforcement Learning (RL) Framework vor, der die maximale robuste RAS-Menge und die zugehörige Steuerungsstrategie gemeinsam lernt. Das Framework nutzt Deep Deterministic Policy Gradient (DDPG) für hochdimensionale Systeme.

Schritt 1: Berechnung des robusten Viabilitätskerners ( $A_S$ )

Der erste Schritt identifiziert den robusten Viabilitätskerne $A_S$ innerhalb der Zielmenge $T$ . Dies ist die Menge der Zustände, aus denen das System unbestimmt in $T \cap C$ (Ziel- und Constraint-Mengen) verbleiben kann.

Eine diskontierte Wertfunktion $H(x)$ wird definiert, um $A_S$ zu charakterisieren.
$H(x)$ ist die eindeutige Lösung einer Bellman-Gleichung, die einen Min-Max-Operator über Steuerungs- und Störungspolicys beinhaltet.
Die Menge $A_S$ entspricht der Null-Level-Set von $H$ (wo $H(x)=0$ ).
Eine Policy $\pi_H$ wird abgeleitet, um das System einmal innerhalb von $A_S$ zu halten.

Schritt 2: Berechnung der maximalen robusten RAS-Menge

Der zweite Schritt formuliert das RAS-Problem als ein RA-Problem, bei dem das Ziel der robuste Viabilitätskerner $A_S$ ist und nicht die ursprüngliche Menge $T$ .

Transformation der Wertfunktion: Da $H(x)$ $H (x)$ auf $A_S$ $A_{S}$ null ist, kann es nicht als Belohnung für das Erreichen von $A_S$ $A_{S}$ dienen (da es keinen Anreiz bietet, die Menge schnell zu erreichen). Die Autoren führen eine transformierte Wertfunktion $H_g(x)$ $H_{g} (x)$ ein:
- $H_g(x) = H(x)$ , falls $H(x) < 0$ (außerhalb von $A_S$ ).
- $H_g(x) = g(x)$ (positiv), falls $x \in A_S$ .
- Dies stellt sicher, dass $H_g$ innerhalb von $A_S$ strikt positiv und außerhalb nicht-positiv ist.
RA-Formulierung: Eine neue Wertfunktion $V(x)$ wird unter Verwendung von $H_g$ als Zielbelohnung definiert. $V(x)$ charakterisiert die maximale robuste RAS-Menge.
Switching Policy: Eine einheitliche Policy $\pi_{RAS}$ $π_{R A S}$ wird durch das Umschalten zwischen der "Reach"-Policy ( $\pi_V$ $π_{V}$ ) und der "Stay"-Policy ( $\pi_H$ $π_{H}$ ) konstruiert:
- Verwende $\pi_V$ , wenn $H_g(x) \leq 0$ (außerhalb von $A_S$ ), um das System in Richtung $A_S$ zu steuern.
- Schalte zu $\pi_H$ um, wenn $H_g(x) > 0$ (innerhalb von $A_S$ ), um unbestimmte Sicherheit zu gewährleisten.

Zentrale Beiträge

Theoretischer Beweis der Maximalität: Die Autoren beweisen, dass ihr Framework im Falle von Trainingsfehlern die exakte maximale robuste RAS-Menge identifiziert. Sie zeigen, dass die resultierende Switching-Policy die RAS-Aufgabe für alle Zustände in dieser Menge unter allen beschränkten Störungen garantiert. Dies wird durch die vorgeschlagene Transformation der Wertfunktion ( $H_g$ ) erreicht, welche die Integration der Viabilitätskerner-Analyse mit RA-Methoden ermöglicht.
Hochpräzises Lernen mit Deep RL: Das Framework wird unter Verwendung von DDPG für hochdimensionale Systeme angepasst. Die Autoren zeigen, dass das Framework selbst mit den den neuronalen Netzen inhärenten Trainingsfehlern die maximale robuste RAS-Menge mit hoher Genauigkeit (>95 %) charakterisiert.
Praktische Anwendbarkeit: Die Methode bewältigt komplexe Umgebungen, in denen das Design von CLBF unpraktikabel ist, und beruht nicht auf der "Sofort-Stopp"-Annahme, die für trichterbasierte Methoden erforderlich ist.
Empirische Validierung: Simulationen an niedrigdimensionalen (Double Integrator) und hochdimensionalen (VTOL Taxi, Nonlinear Harvester) Systemen validieren den Ansatz.

Ergebnisse

Identifikation der maximalen Menge: In einem 2D-Double-Integrator-Beispiel identifizierte das vorgeschlagene Framework eine RAS-Menge mit einem Volumen von 28,67, was signifikant größer ist als das Volumen von 1,98, das von einer CLBF-Baseline identifiziert wurde. Dies deutet darauf hin, dass die vorgeschlagene Methode weniger konservativ ist und mehr machbare Zustände identifiziert.
Genauigkeit: In hochdimensionalen Experimenten (VTOL und Harvester) erreichte das Framework eine Genauigkeit von 95,8 % bzw. 99,4 % bei der Identifizierung der RAS-Menge im Vergleich zur durch die Policy selbst generierten Grundwahrheit (Ground Truth).
Aufgabenerfolgsraten: Die vorgeschlagene RAS-Policy übertraf eine Baseline-RA-Methode bei der Erfüllung der RAS-Aufgabe deutlich:
- VTOL: 93,0 % Erfolgsrate (RAS) gegenüber 0 % (RA-Baseline).
- Harvester: 99,3 % Erfolgsrate (RAS) gegenüber 73,5 % (RA-Baseline).
Fehleranalyse: Die Arbeit zeigt, dass RA-Policies bei der RAS-Aufgabe scheitern, weil sie die Zielmenge $T$ mit zu hoher Geschwindigkeit erreichen, ohne in den Viabilitätskerne $A_S$ einzutreten. Folglich können sie den Zustand unter Störung nicht innerhalb von $T$ halten. Die RAS-Policy verlangsamt das System korrekt vor dem Eintritt in $T$ , um sicherzustellen, dass es innerhalb von $A_S$ landet.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass ihre primäre Bedeutung darin liegt, einen theoretisch fundierten, datengesteuerten Framework bereitzustellen, der das RAS-Problem für allgemeine nichtlineare Systeme ohne restriktive Annahmen löst.

Sie schließt die Lücke zwischen Reichweitenanalyse (Reachability Analysis) und Deep RL, indem sie beweist, dass der zweistufige Ansatz die maximale robuste Menge liefert.
Sie adressiert das "False-Negative"-Problem konservativer Methoden (wie CLBF) und die "False-Positive"-Sicherheitsrisiken von Standard-RA-Methoden.
Die Autoren räumen ein, dass der Framework auf Vorwissen über Systemdynamiken und Umgebungskonstraints angewiesen ist. Sie merken an, dass während aktuelle sicherheitskritische RL-Verfahren oft an rigorosen theoretischen Garantien mangeln, diese Arbeit solche Zusicherungen für das RAS-Problem bietet, sofern das Modell korrekt ist. Zukünftige Arbeiten schlagen vor, reale Sensordaten zu integrieren und unbekannte Umgebungsinformationen zu berücksichtigen.