Sampling-Based Safe Reinforcement Learning

Problem
Sichere Exploration bleibt eine fundamentale Barriere für den Einsatz von Reinforcement-Learning-(RL-)Agenten in der realen Welt. Standard-RL-Algorithmen erfordern oft umfangreiche Interaktionen mit der Umgebung, was in physikalischen Systemen unpraktisch oder kostspielig ist. Noch kritischer ist, dass die Gewährleistung von Sicherheit während des Trainingsprozesses aufgrund epistemischer Unsicherheit bezüglich der Systemdynamik herausfordernd ist; jede Interaktion ist inhärent explorativ und birgt das Risiko katastrophaler Ausfälle. Während Constrained Markov Decision Processes (CMDPs) einen Rahmen für Sicherheit bieten, verlassen sich bestehende modellbasierte Ansätze häufig auf Worst-Case-Optimierung über unsichere Dynamiken, was im Allgemeinen unlösbar ist. Darüber hinaus führen Methoden, die dies durch heuristische Einschränkung von Nebenbedingungen approximieren, oft zu übermäßiger Konservativität, während solche, die Explorationsboni verwenden, eine sorgfältige Abstimmung erfordern und zu übermäßiger Exploration oder vorzeitiger Ausbeutung führen können.

Methodik
Die Autoren schlagen Sampling-Based Safe Reinforcement Learning (SBSRL) vor, einen modellbasierten Algorithmus, der für sichere und stichproben-effiziente Exploration in kontinuierlichen Zustands-Aktions-Räumen konzipiert ist. Die Kernmethodik umfasst drei Hauptkomponenten:

1. Sampling-basierte Erzwingung von Nebenbedingungen: Anstatt ein unlösbares Worst-Case-Optimierungsproblem über eine Menge plausibler Dynamikmodelle zu lösen, unterhält SBSRL eine endliche Menge von $M$ Dynamik-Stichproben, die aus einem gelernten, unsicherheitsbewussten Modell gezogen werden (speziell Gauß-Prozesse in der theoretischen Analyse). Die Sicherheit wird durch die gemeinsame Erfüllung von Nebenbedingungen über alle $M$ gestrichelten Dynamiken erzwungen. Dies approximiert das robuste Optimierungsproblem und stellt sicher, dass, wenn die Nebenbedingungen für die Stichproben gelten, sie mit hoher Wahrscheinlichkeit auch für die wahre Systemdynamik gelten.
2. Exploration durch epistemische Unsicherheits-Nebenbedingungen: Anstatt explizite Explorationsboni zur Belohnungsfunktion hinzuzufügen, formuliert SBSRL Exploration als Nebenbedingung. Der Agent wird verpflichtet, entlang seiner Trajektorien ausreichende Informationen zu sammeln (gemessen durch akkumulierte epistemische Unsicherheit). Diese Nebenbedingung ist nur aktiv, wenn die gierige Politik nicht ausreichend informativ ist, was dem Agenten erlaubt, gierig zu bleiben, wenn Sicherheits- und Informationsanforderungen erfüllt sind.
3. Abschneiden und Verschärfen: Um die Lücke zwischen vorherigen Stichproben und der wahren Dynamik zu behandeln, werden die Stichproben so abgeschnitten, dass sie innerhalb des Schnitts der vorherigen Gauß-Prozess-Konfidenzmengen liegen. Zusätzlich werden die Nebenbedingungen um eine Konstante $\Delta_\zeta$ verschärft, die von der Nähe der Stichproben zur wahren Dynamik abhängt, um Sicherheitsgarantien zu gewährleisten.

Der Algorithmus iteriert durch Episoden, aktualisiert das Dynamikmodell mit gesammelten Daten, schneidet Stichproben ab und löst nach einer Politik, die die Belohnung unter Einhaltung von Sicherheitsnebenbedingungen für alle Stichproben und der Explorationsnebenbedingung maximiert.

Hauptbeiträge

• Algorithmus-Vorschlag: Die Einführung von SBSRL, eines neuartigen modellbasierten RL-Algorithmus, der Sicherheit durch eine endliche Menge von Dynamik-Stichproben erzwingt und Exploration durch eine Nebenbedingung auf epistemische Unsicherheit fördert, wodurch die Notwendigkeit expliziter Explorationsboni entfällt.
• Theoretische Garantien: Unter Regularitätsbedingungen (einschließlich Gaußschen Rauschens und beschränkter RKHS-Normen für Dynamiken) leiten die Autoren Wahrscheinlichkeitsgarantien her, dass SBSRL Sicherheitsnebenbedingungen während des gesamten Lernprozesses erfüllt. Sie liefern zudem eine endliche Stichprobenkomplexitätsgrenze und beweisen, dass der Algorithmus terminiert und eine nahezu optimale Politik wiederherstellt.
• Empirische Validierung: Das Papier validiert SBSRL sowohl in Simulationen als auch auf echter Robotik-Hardware.
  • In der Simulation (unter Verwendung von Gauß-Prozess-Dynamiken) erreicht SBSRL sichere und effiziente Exploration bei Aufgaben wie Pendel- und Cartpole-Swing-up und übertrifft Baselines wie ActSafe und Mittelwert-Dynamik-Ansätze.
  • Eine skalierbare Variante mit neuronalen Ensembles wird eingeführt und an hochdimensionalen kontinuierlichen Steuerungsproblemen (SafetyGym, RWRL) sowie auf echter Hardware (ein ferngesteuertes Rennauto) evaluiert. Diese Variante erweitert die Prinzipien von SBSRL erfolgreich auf praktische Deep-Learning-Szenarien.

Ergebnisse
Empirische Ergebnisse zeigen, dass SBSRL während des Trainings die Sicherheit wahrt und gleichzeitig nahezu optimale Leistung erzielt.

• Simulation: Bei Aufgaben des Deepmind Control Suite vermeidet SBSRL die Sicherheitsverletzungen, die bei Mittelwert-Dynamik-Baselines beobachtet wurden, und konvergiert schneller als reine Explorationsstrategien wie ActSafe.
• Hardware: In Realwelt-Experimenten mit einem ferngesteuerten Auto mit hoher Frequenz (60 Hz) verbesserte SBSRL erfolgreich die Belohnungen gegenüber einer vorherigen Politik, während die Sicherheit gewahrt blieb, wohingegen eine Baseline, die Nebenbedingungen nur am mittleren Kritiker durchsetzte, höhere Kosten (kinetische Energie, die bei Kollisionen verloren geht) verursachte.
• Skalierbarkeit: Die Deep-Ensemble-Variante von SBSRL bewältigte erfolgreich hochdimensionale Zustandsräume (45 Dimensionen) und komplexe Dynamiken, bei denen Gauß-Prozess-Methoden rechnerisch prohibitiv wären.

Bedeutung
Das Papier behauptet, die Lücke zwischen theoretischen Sicherheitsgarantien und praktischem Einsatz in kontinuierlichen Domänen zu schließen. Durch die Approximation unlösbarer Worst-Case-Optimierung durch einen handhabbaren sampling-basierten Ansatz bietet SBSRL rigorose Sicherheitsgarantien ohne die übermäßige Konservativität vorheriger Methoden. Die Formulierung von Exploration als Nebenbedingung anstelle eines Belohnungsbonus bietet eine robustere Strategie, die Informationsgewinnung und Belohnungsmaximierung auf natürliche Weise ausbalanciert. Die erfolgreiche Übertragung dieser Prinzipien von theoretischen Gauß-Prozess-Modellen auf tiefe neuronale Ensembles und echte Hardware deutet darauf hin, dass sampling-basierte sichere Exploration ein gangbarer Weg für den Einsatz von RL-Agenten in sicherheitskritischen physikalischen Systemen ist. Die Autoren stellen fest, dass sich die aktuelle Arbeit zwar auf episodische Szenarien mit endlichem Horizont konzentriert, der Rahmen jedoch eine Grundlage für zukünftige Erweiterungen auf nicht-episodische Szenarien und zustandsweise Sicherheitsnebenbedingungen bietet.