🤖 AI

Robust Shielding for Safe Reinforcement Learning

Dieses Paper führt ein neuartiges, korrektes und optimales Shielding-Framework für robuste Markov-Entscheidungsprozesse ein, das die Sicherheit von Reinforcement-Learning-Agenten unter Worst-Case-Transitionsunsicherheiten garantiert und gleichzeitig mit Sampling-Methoden kombiniert wird, um wahrscheinlich annähernd korrekte (PAC) Sicherheitsgarantien für gelernte Modelle bereitzustellen.

Ursprüngliche Autoren: Edwin Hamel-De le Court, Thom Badings, Alessandro Abate, Francesco Belardinelli, Francesco Fabiano

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Edwin Hamel-De le Court, Thom Badings, Alessandro Abate, Francesco Belardinelli, Francesco Fabiano

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel zu spielen, wie zum Beispiel Pac-Man, oder ein Auto zu fahren. Sie möchten, dass der Roboter lernt, wie er die höchste Punktzahl erreicht oder sein Ziel so schnell wie möglich erreicht. Das nennt man Reinforcement Learning (Bestärkendes Lernen). Der Roboter lernt durch Ausprobieren: Er bewegt sich, sieht, was passiert, und erhält eine „Belohnung“ (Punkte) für gute Züge oder eine „Strafe“ für schlechte Züge.

Das Problem ist, dass der Roboter, um zu lernen, explorieren muss. Er muss riskante Züge ausprobieren, um zu sehen, ob sie funktionieren. Aber in der realen Welt könnte ein riskanter Zug bedeuten, dass ein Roboter gegen eine Wand fährt oder ein selbstfahrendes Auto einen Fußgänger erfasst. Wir können den Roboter nicht durch Versuch und Irrtum lernen lassen, wenn der Versuch eine Katastrophe bedeuten könnte.

Das Problem: Die „Black Box“ der Realität

Normalerweise benötigen wir, um einen Roboter sicher zu halten, einen „Schild“ – einen Sicherheitswächter, der den Roboter davor bewahrt, gefährliche Züge zu machen. Aber um einen perfekten Schild zu bauen, muss man die exakten Regeln der Welt kennen (die Physik, die Verkehrsregeln, die Spielmechanik).

In der realen Welt kennen wir die exakten Regeln jedoch nicht. Wir verfügen nur über einige Daten aus vergangenen Durchläufen oder einem Simulator. Wenn wir die Regeln basierend auf begrenzten Daten erraten, könnten wir falsch liegen. Wenn unser Schild auf einer falschen Vermutung aufgebaut ist, könnte er scheitern, eine Katastrophe zu verhindern.

Die Lösung: Der „Worst-Case“-Regenschirm

Dieses Paper führt eine neue Art von Schild ein, die für Fälle konzipiert ist, in denen wir die exakten Regeln nicht kennen. Anstatt einen Satz von Regeln zu erraten, betrachtet die Autoren die unbekannte Welt als ein Spiel zwischen zwei Spielern:

Der Roboter (Agent): Versucht, eine hohe Punktzahl zu erreichen.
Das „Gremlin“ (Adversary/Gegenspieler): Eine boshafte Kraft, die versucht, den Roboter scheitern zu lassen, indem sie das schlimmstmögliche Ergebnis für jede Bewegung des Roboters auswählt.

Die Autoren nennen dies ein Robust MDP (Markov-Entscheidungsprozess). Stellen Sie es sich so vor:

Der alte Weg: „Basierend auf meinen Daten besteht eine 90-prozentige Chance, dass diese Brücke hält. Ich erlaube dem Roboter, sie zu überqueren.“ (Wenn die Brücke tatsächlich bricht, fällt der Roboter).
Der neue Weg (Dieses Paper): „Ich weiß nicht die exakte Tragkraft der Brücke, aber ich weiß, dass sie irgendwo zwischen ‚schwach‘ und ‚stark‘ liegt. Ich werde einen Schild bauen, der davon ausgeht, dass die Brücke schwach ist (der Worst Case). Wenn der Roboter die Brücke auch dann sicher überqueren kann, wenn sie schwach ist, wird er definitiv sicher sein, wenn die Brücke stark ist.“

Wie es funktioniert: Das „Sicherheitsbudget“

Das Paper verwendet einen cleveren Trick unter Verwendung eines Sicherheitsbudgets.

Stellen Sie sich vor, der Roboter hat ein Portemonnaie mit einem bestimmten Betrag an „Sicherheitsgeld“ (sagen wir 100 $). Jedes Mal, wenn der Roboter einen Schritt macht, besteht ein winziges Risiko, dass er etwas Geld verliert.

Der Schild berechnet die Worst-Case-Chance, Geld zu verlieren, für jede mögliche Bewegung.
Wenn eine Bewegung das Risiko birgt, mehr Geld zu verlieren, als der Roboter noch in seinem Portemonnaie hat, blockiert der Schild diesen Zug.
Wenn die Bewegung sicher genug ist, um das Portemonnaie nicht in den Bankrott zu treiben, lässt der Schild den Roboter die Bewegung ausführen.

Dieses „Portemonnaie“ wird in Echtzeit aktualisiert. Während der Roboter mehr über die Welt lernt (indem er mehr Daten sammelt), wird das „Gremlin“ weniger beängstigend. Die Unsicherheit schrumpft, das „Worst-Case“-Szenario wird weniger extrem, und der Roboter erhält mehr Freiheit, Risiken einzugehen, die zu höheren Belohnungen führen.

Der „Schild“ in Aktion

Das Paper beschreibt einen dreistufigen Prozess:

Die Unsicherheit lernen: Der Roboter sammelt Daten aus der Umgebung. Anstatt zu sagen: „Die Wahrscheinlichkeit zu fallen beträgt 5 %“, sagt er: „Die Wahrscheinlichkeit zu fallen liegt zwischen 2 % und 8 %“. Dieser Bereich ist der „robuste“ Teil.
Den Schild bauen: Unter Verwendung dieser Bereiche wird der Schild so gebaut, dass er die Sicherheit garantiert, selbst wenn die Wahrscheinlichkeit am erschreckenden Ende des Bereichs liegt (8 %).
Den Roboter spielen lassen: Der Roboter spielt das Spiel. Der Schild beobachtet jede Bewegung. Wenn der Roboter versucht, etwas zu tun, das potenziell unsicher sein könnte (selbst wenn es nur im Worst-Case-Szenario unsicher ist), greift der Schild ein und erzwingt eine sicherere Wahl.

Die Ergebnisse: Sicher, aber intelligent

Die Autoren haben dies in Spielen wie Pac-Man und einer Grid-World mit „Farbbomben“ getestet.

Die „Schätz“-Meth Methode (Alter Weg): Wenn man die Regeln basierend auf Daten nur errät, erzielt der Roboter oft eine hohe Punktzahl, prallt aber gegen den Geist oder die Bombe, weil die Schätzung leicht falsch war.
Der „Robuste Schild“ (Neuer Weg):
- Am Anfang: Wenn der Roboter über sehr wenige Daten verfügt, ist der Schild sehr streng. Er sagt: „Nein, du kannst da nicht hin, das könnte gefährlich sein!“ Der Roboter spielt sehr vorsichtig und erzielt eine niedrigere Punktzahl.
- Mit wachsender Datenmenge: Während der Roboter mehr lernt, wird der „Unsicherheitsbereich“ kleiner. Der Schild stellt fest: „Oh, dieser Zug ist gar nicht so riskant!“ Er lockert seine Regeln.
- Das Ergebnis: Der Roboter bleibt zu 100 % sicher (er prallt nie gegen einen Geist oder eine Bombe), erreicht aber schließlich fast so gut eine Punktzahl wie ein Roboter, der alle Regeln von Anfang an kannte.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie bringen einem Kind das Fahrradfahren bei.

Der alte Weg: Sie sagen dem Kind: „Ich denke, die Straße ist flach, also fahr einfach schnell los.“ Wenn die Straße tatsächlich ein verstecktes Schlagloch hat, fällt das Kind.
Der neue Weg (Dieses Paper): Sie wissen nicht, ob die Straße flach oder holprig ist. Also bringen Sie dem Kind Stützräder an das Fahrrad (der Schild). Sie sagen dem Kind: „Wir werden davon ausgehen, dass die Straße voller Schlaglöcher ist. Wenn du mit Stützrädern auf einer holprigen Straße sicher fahren kannst, bist du sicher.“
- Am Anfang sind die Stützräder schwer, und das Kind bewegt sich langsam.
- Aber während Sie mit dem Fahrrad über die Straße fahren und merken, dass sie eigentlich glatt ist, nehmen Sie die Stützräder langsam ab.
- Das Kind fällt nie (Sicherheit garantiert), aber schließlich fährt es genauso schnell, als hätte es von Anfang an gewusst, dass die Straße glatt ist.

Dieses Paper beweist mathematisch, dass diese Methode funktioniert: Sie garantiert, dass der Roboter nichts Gefährliches tut, selbst wenn wir uns über die Welt nicht sicher sind, und sie ermöglicht es dem Roboter, effizient zu lernen, während er mehr Informationen sammelt.

Technisches Resümee: Robuste Abschirmung für sicheres Reinforcement Learning

Problemstellung

Reinforcement Learning (RL)-Agenten, die in unbekannten Umgebungen operieren, welche als Markov-Entscheidungsprozesse (MDPs) modelliert sind, stehen vor einer kritischen Sicherheitsherausforderung: Standardalgorithmen explorieren Aktionen uneingeschränkt und wählen zwangsläufig potenziell schädliche Aktionen aus. Während „Shielding“-Mechanismen (Abschirmmechanismen) existieren, um die Sicherheit durch die Einschränkung der Aktionen des Agenten formal zu garantieren, erfordern bestehende Techniken typischerweise exaktes Wissen über die relevanten Übergangsdynamiken für die Sicherheit. In praktischen RL-Szenarien sind diese Dynamiken jedoch unbekannt.

Derzeitige Ansätze zum Umgang mit unbekannten Dynamiken verlassen sich häufig auf das Lernen von Punktschätzungen (z. B. Maximum-Likelihood-Schätzungen) von Übergangswahrscheinlichkeiten. Dies führt jedoch zu statistischen Fehlern, die formale Sicherheitsgarantien gefährden. Alternativ ist das Lernen von Unsicherheitsmengen um Übergangswahrscheinlichkeiten (z. B. unter Verwendung von Probably Approximately Correct (PAC)-Schranken) eine praktikable Strategie, aber bestehende Shielding-Frameworks sind mit solchen Mengen inkompatibel, da sie für Modelle mit exakten Wahrscheinlichkeiten konzipiert sind. Dieses Paper adresset die Lücke bei der Bereitstellung eines Shielding-Frameworks, das die Sicherheit von RL-Agenten in unbekannten MDPs durch die Nutzung von Robusten MDPs (RMDPs) garantiert.

Methodik

Die Autoren schlagen ein neuartiges Shielding-Framework für RMDPs vor, bei denen Übergangswahrscheinlichkeiten als Mengen (Unsicherheitsmengen) statt als Einzelwerte dargestellt werden. Die Methodik gliedert sich in zwei Hauptstadien:

1. Formales Framework für Robuste MDPs

Das Paper definiert ein RMDP als ein Spiel zwischen einem Agenten (der Aktionen wählt) und einem Adversären (der Übergangswahrscheinlichkeiten aus Unsicherheitsmengen wählt). Sicherheit wird über Linear Temporal Logic (LTL)-Formeln definiert, wobei der Fokus speziell auf Sicherheitsfragmenten liegt, bei denen ein „schlechter Präfix“ zu einer Verletzung führt.

Definition des Shields: Ein Shield wird als Paar $(D, \Gamma)$ definiert, wobei $D$ ein steuerbarer Monitor ist (der Standard-Monitore um Hilfsaktionen erweitert) und $\Gamma$ Beobachtungszustände und Monitorzustände auf eine Menge zulässiger Wahrscheinlichkeitsverteilungen über Aktionen abbildet.
Konstruktion: Der Shield wird auf einer endlichen Sicherheitsabstraktion des RMDP konstruiert. Er nutzt eine induktive Wertfunktion $\beta$ , die eine robuste obere Schranke für die Wahrscheinlichkeit des Erreichens eines „schlechten“ Zustands (Verletzung der LTL-Formel) darstellt. Der Shield beschränkt den Agenten auf Aktionen, bei denen das Worst-Case-Erwartungswert des nächsten „Verletzungsbudgets“ innerhalb des aktuellen Budgets bleibt.
Theoretische Garantien: Die Autoren beweisen, dass ein für ein gegebenes RMDP konstruierter Shield:
- Sound (korrekt) ist: Jede durch den Shield zulässige Policy erfüllt die Spezifikation der Sicherheit unter dem Worst-Case-Adversären.
- Optimal (approximativ) ist: Jede sichere Policy des RMDP ist durch den Shield zulässig (bis auf einen $\epsilon$ -Fehler, der von der Approximation der Wertfunktion abhängt). Wenn die Wertfunktion exakt ist, ist der Shield exakt optimal.

2. Shielding unbekannter MDPs durch Lernen

Das Framework wird für unbekannte MDPs durch eine Lernpipeline instanziiert:

Lernen von RMDPs: Übergangswahrscheinlichkeiten werden aus gesampelten Übergängen unter Verwendung von Clopper-Pearson-Konfidenzintervallen gelernt, um PAC-Unsicherheitsmengen zu konstruieren. Dies resultiert in einem gelernten RMDP $\hat{M}$ , der den wahren MDP $M$ mit hoher Konfidenz ( $1 - \delta$ ) „enthält“.
Shield-Synthese: Ein Shield wird auf dem gelernten RMDP $\hat{M}$ unter Verwendung der beschriebenen robusten Value Iteration berechnet.
Deployment (Einsatz): Der Shield wird auf dem wahren (unbekannten) MDP eingesetzt. Der Agent interagiert mit der Umgebung, aber seine Aktionswahl wird durch den aus $\hat{M}$ abgeleiteten Shield eingeschränkt.

Das Paper stellt fest: Wenn der gelernte RMDP den wahren MDP mit hoher Konfidenz enthält, garantiert der auf dem RMDP konstruierte Shield die Sicherheit für den wahren MDP mit derselben Konfidenz. Zudem verengen sich die Unsicherheitsmengen mit zunehmender Anzahl an Samples, wodurch der Shield weniger konservativ wird und der Agent sich dem optimalen Reward des wahren MDP annähern kann.

Zentrale Beiträge

Neuartiges Shielding-Framework für RMDPs: Das Paper führt das erste Shielding-Framework ein, das spezifisch für RMDPs (MDPs mit Mengen von Übergangswahrscheinlichkeiten) entwickelt wurde, und adressiert damit die Einschränkung bestehender Methoden, die exakte Dynamiken erfordern.
Beweise für Soundness und Optimalität: Die Autoren liefern rigorose Beweise, die zeigen, dass ihr Shield sowohl sound (garantiert Sicherheit unter Worst-Case-Dynamiken) als auch approximativ optimal (erlaubt nahezu optimale Rewards) für RMDPs ist.
Integration mit PAC-Learning: Die Arbeit kombiniert robustes Shielding mit bestehenden Sampling-Methoden, um Übergangswahrscheinlichkeiten mit PAC-Garantien zu lernen. Dies ermöglicht die Konstruktion von Shields für unbekannte MDPs, die Sicherheitsgarantien mit hoher Konfidenz bieten.
Empirische Validierung: Der Ansatz wird in mehreren Umgebungen (Media Streaming, Color Bomb Gridworld, Pacman) evaluiert, wobei das vorgeschlagene Verfahren gegen Baselines mit exakten MDPs und Maximum-Likelihood-Estimation (MLE) verglichen wird.

Ergebnisse

Die experimentellen Ergebnisse demonstrieren den Trade-off zwischen Datenverfügbarkeit und Shield-Konservativität:

Sicherheitsgarantien: Die vorgeschlagenen robusten Shields (Einstellungen Kno und Unk) erfüllen konsistent die geforderte Sicherheitsspezifikationswahrscheinlichkeit ( $1-p$ ) über verschiedene Stichprobengrößen hinweg, während der MLE-basierte Shield häufig Sicherheitsgrenzwerte verletzt, insbesondere bei kleinen bis moderaten Stichprobengrößen.
Leistungsregeneration: Mit zunehmender Anzahl an Samples werden die Unsicherheitsmengen im gelernten RMDP enger. Infolgedessen werden die robusten Shields weniger restriktiv, und der erwartete Ertrag des geschützten Agenten konvergiert gegen die Performance eines Agenten, der mit vollem Wissen über den MDP operiert (der MDP-Baseline).
Umgang mit unbekannten Graphen: Das Framework bewältigt erfolgreich Fälle, in denen die MDP-Graphstruktur unbekannt ist (Unk-Einstellung), sofern eine minimale Übergangswahrscheinlichkeit angenommen wird, obwohl dies eine höhere minimale Stichprobenmenge erfordert, um die Graphstruktur zuverlässig zu lernen.

Bedeutung und Ansprüche

Das Paper beansprucht, eine formale Lösung für das Problem der sicheren Exploration in RL zu bieten, wenn die Übergangsdynamiken unbekannt sind. Durch den Wechsel von Punktschätzungen zu Unsicherheitsmengen (RMDPs) argumentieren die Autoren, dass es möglich ist, Shields zu konstruieren, die formale Sicherheitsgarantien mit hoher Konfidenz bieten, ohne über perfektes Wissen über die Umgebung verfügen zu müssen.

Die Bedeutung liegt in der Überbrückung der Lücke zwischen formalen Methoden (die typischerweise bekannte Modelle voraussetzen) und datengetriebenem RL (das mit unbekannten Modellen arbeitet). Die Autoren betonen, dass robuste Methoden bei begrenzten Daten zwar konservativ sein mögen, diese Konservativität jedoch ein notwendiger Trade-off ist, um Sicherheit zu gewährleisten. Sobald sich die Datenmenge erhöht, lockert sich die Methode natürlich auf, was es dem Agenten ermöglicht, einen starken erwarteten Ertrag zu erzielen und gleichzeitig die Sicherheit aufrechtzuerhalten. Dies steht im Gegensatz zu State-of-the-Art-Ansätzen unter Verwendung von Punktschätzungen, die das Paper als potenziell unsicheres Verhalten aufgrund nicht modellierter statistischer Unsicherheit darstellt.

Die Arbeit positioniert sich als Schritt in Richtung „sicherer Autonomie“ in sicherheitskritischen Szenarien, in denen Modellunsicherheit inhärent ist, und bietet eine theoretisch fundierte Alternative zu heuristischen Sicherheitsbeschränkungen oder Methoden ohne Finite-Sample-Garantien.