🤖 machine learning

Safe-Support Q-Learning: Learning without Unsafe Exploration

Dieser Artikel schlägt „Safe-Support Q-Learning" vor, ein zweistufiges Framework, das während des Trainings des Reinforcement Learning den Besuch unsicherer Zustände eliminiert, indem es eine auf einer sicheren Menge basierende Verhaltenspolitik nutzt und ein mit KL-Divergenz regularisiertes Bellman-Ziel verwendet, um eine sichere, leistungsstarke Politik abzuleiten, ohne die Exploration innerhalb des sicheren Bereichs zu beeinträchtigen.

Ursprüngliche Autoren: Yeeun Lim, Narim Jeong, Donghwan Lee

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yeeun Lim, Narim Jeong, Donghwan Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Fahrradfahren lernen, ohne zu stürzen

Stellen Sie sich vor, Sie bringen einem Roboter das Fahrradfahren bei. Beim herkömmlichen Reinforcement Learning (RL) lernt der Roboter durch Ausprobieren. Er könnte wackeln, umfallen oder gegen eine Wand prallen, um herauszufinden, was er nicht tun soll. In einem Videospiel ist ein Sturz kein Problem; man drückt einfach auf „Neustart". In der realen Welt (wie beim Autofahren oder beim Steuern eines Roboterarms) kann ein einziger Sturz katastrophal sein.

Die meisten aktuellen Methoden für „Sicheres RL" versuchen, den Roboter vorsichtig zu machen, indem sie ihm eine „Rüge" (eine Strafe) erteilen, wenn er zu nahe an eine Wand kommt. Aber der Roboter muss sich immer noch nahe an die Wand heranwagen, um zu lernen, dass dies schlecht ist. Das ist so, als würde man einem Kind sagen: „Fass den Herd nicht an", aber es trotzdem so nah herankommen lassen, dass es die Hitze spürt, bevor man die Hand zurückzieht.

Die Lösung des Papiers: Der Zaun der „Sicheren Zone"

Dieses Papier schlägt eine strengere Regel vor: Dem Roboter ist es niemals erlaubt, die „Sichere Zone" zu verlassen. Er muss alles lernen, ohne jemals einen unsicheren Zustand zu besuchen.

Um dies zu erreichen, haben die Autoren eine neue Methode namens Safe-Support Q-Learning entwickelt. So funktioniert sie, aufgeteilt in drei einfache Schritte:

1. Der „Beschützer" (Die Verhaltenspolitik)

Zuerst erstellen sie eine „Beschützer"-Politik. Stellen Sie sich dies als einen sehr vorsichtigen, etwas ungeschickten Menschen vor, der neben dem Roboter Fahrrad fährt.

Dieser Beschützer ist kein Weltklasse-Rennfahrer (er muss nicht perfekt sein).
Seine einzige Aufgabe ist es, sich strikt innerhalb der „Sicheren Zone" zu halten (z. B. auf dem Gehweg bleiben, niemals auf den Bordstein fahren).
Da er etwas zufällig handelt (stochastisch), wandert er genug umher, um dem Roboter verschiedene sichere Wege zu zeigen, nimmt aber niemals eine gefährliche Kurve.

2. Der „Kartenmacher" (Die Q-Funktion)

Als Nächstes erstellt der Roboter eine mentale Karte (genannt Q-Funktion), die zeigt, wie gut verschiedene Bewegungen sind.

Das Problem: Normalerweise könnte der Roboter, wenn er eine gefährliche Bewegung nie gesehen hat, versehentlich denken: „Hey, dieser Abgrund sieht aus wie eine Abkürzung!" und ihm eine hohe Punktzahl geben.
Die Lösung: Die Autoren fügen dem Karten-Erstellungsprozess eine spezielle Regel hinzu (KL-Regularisierung). Sie sagt dem Roboter: „Verteile hohe Punktzahlen nur auf Bewegungen, die so aussehen, wie sie der Beschützer ausführen würde."
Die Analogie: Stellen Sie sich vor, der Roboter schreibt einen Reiseführer. Die Regel besagt: „Sie dürfen nur Routen empfehlen, die der Beschützer tatsächlich zu Fuß gegangen ist. Wenn der Beschützer nie in die Nähe des Abgrunds kam, muss Ihr Reiseführer den Abgrund als ‚verboten' oder ‚wertlos' behandeln." Dies verhindert, dass sich der Roboter über gefährliche Abkürzungen aufregt, die er noch nie gesehen hat.

3. Der „Schüler" (Die finale Politik)

Sobald die Karte erstellt ist, versucht der Roboter, den besten Weg zum Fahrradfahren zu finden.

Er schaut sich die Karte an und fragt: „Was ist der schnellste Weg zum Ziel?"
Allerdings wird er gezwungen, dem Stil des Beschützers nahe zu bleiben. Er kann nicht plötzlich beschließen, ein Wheelie zu machen, wenn der Beschützer dies nie getan hat.
Dies stellt sicher, dass selbst der „beste" Plan des Roboters noch sicher ist, da er vollständig auf dem sicheren Pfad des Beschützers aufgebaut wurde.

Wie sie es getestet haben

Die Forscher testeten dies in zwei klassischen, videospielähnlichen Umgebungen:

FrozenLake: Ein Raster, in dem der Roboter über Eis laufen muss, ohne in Löcher zu fallen.
CartPole: Ein Spiel, bei dem man einen Stab auf einem fahrenden Wagen balanciert, ohne ihn umfallen zu lassen.

Sie verglichen ihre Methode mit anderen „Sicheren"-KI-Methoden.

Die Ergebnisse

Stabilität: Der Roboter lernte reibungslos, ohne zu stürzen oder verwirrt zu werden.
Bessere Karten: Die „mentale Karte" (Q-Werte) des Roboters war viel genauer. Er überschätzte nicht, wie gut gefährliche Bewegungen waren. Andere Methoden hielten gefährliche Bewegungen oft für in Ordnung, was zu Stürzen führte.
Sicherheit vs. Leistung: Der Roboter lernte, sicher und schnell zu sein. In vielen Tests schnitt er genauso gut ab (oder besser) als andere Methoden, aber mit deutlich weniger „Beinahe-Unfällen" oder unsicheren Verhaltensweisen.

Der Haken (Einschränkungen)

Die Methode ist stark von diesem anfänglichen „Beschützer" abhängig.

Wenn der Beschützer zu schlecht ist (z. B. weiß er nur, wie man stillsteht und sich nie vorwärts bewegt), wird der Roboter auch zu konservativ sein und nichts Nützliches lernen.
Das Papier gibt zu, dass, wenn die „Sichere Zone" zu klein ist oder der Beschützer unvollkommen, der Roboter vielleicht nicht den absolut besten Weg findet, die Aufgabe zu erledigen, aber er wird definitiv einen sicheren Weg finden.

Zusammenfassung

Kurz gesagt lehrt dieses Papier der KI, zu lernen, indem sie innerhalb der Linien bleibt. Anstatt der KI zu erlauben, die ganze Welt zu erkunden und sie zu bestrafen, wenn sie einen Fehler macht, geben sie ihr einen sicheren Spielplatz und einen vorsichtigen Führer. Die KI lernt, eine Expertin zu werden, indem sie sich nur die sicheren Bewegungen ansieht, die der Führer ausführt, und stellt sicher, dass sie nie versehentlich einen gefährlichen Trick lernt.

1. Problemstellung

Reinforcement-Learning-(RL-)Agenten entdecken typischerweise optimale Strategien durch Exploration, was inhärent das Besuchen von Zustands-Aktions-Paaren beinhaltet, die zu unsicheren oder katastrophalen Ergebnissen führen können. Während bestehende „Safe RL"-Methoden versuchen, Risiken durch Constraints, Strafen oder risikosensitive Zielgrößen (z. B. Conditional Value-at-Risk) zu mindern, eliminieren sie die Besichtigung unsicherer Zustände während des Trainings im Allgemeinen nicht. Sie verlassen sich oft auf probabilistische Schranken oder erwartungsbasierte Constraints, was bedeutet, dass Sicherheitsverletzungen dennoch auftreten können.

Die Autoren adressieren eine strengere Sicherheitsanforderung: Der Lernprozess darf niemals Trajektorien erzeugen, die unsichere Zustände besuchen. Die Kernherausforderung besteht darin, ausreichende Exploration und Strategieverbesserung innerhalb einer eingeschränkten „sicheren Menge" ( $S_{safe}$ ) zu ermöglichen, ohne sich auf nahezu optimales Verhalten zu verlassen oder unsichere Übergänge zu riskieren.

2. Methodik: Safe-Support Q-Learning

Der vorgeschlagene Rahmen ist ein Q-Learning-basierter Ansatz, der alle Lernkomponenten auf den Träger einer sicheren Menge beschränkt. Er operiert unter der Annahme, dass eine Verhaltensstrategie ( $\pi_b$ ) existiert, die vollständig auf $S_{safe}$ unterstützt ist (d. h. sie besucht niemals unsichere Zustände). Diese Strategie muss nicht optimal sein, muss jedoch stochastisch sein, um Exploration innerhalb des sicheren Bereichs zu ermöglichen.

Der Rahmen besteht aus drei Hauptkomponenten:

A. Konstruktion der Verhaltensstrategie

Die Methode nutzt eine auf $S_{safe}$ unterstützte Verhaltensstrategie $\pi_b$ . Zwei Instanziierungsstrategien werden vorgeschlagen:

HC Safe (Hand-Crafted): Verwendet gut funktionierende Regeln oder Regler (z. B. PID, MPC), die in stochastische Strategien umgewandelt werden. In kontinuierlichen Räumen wird dies über Mean-Noise (deterministische Strategie + Gaußsches Rauschen) oder Distributional (zustandsabhängiges Gaußsches Rauschen) Parametrisierungen implementiert.
DS Safe (Dataset-Based): Trainiert eine Strategie mittels Maximum-Likelihood-Schätzung auf einem vorab gesammelten Datensatz, der nur sichere Übergänge enthält. Dies fungiert als Offline-RL-Setup, bei dem die Strategie auf den Träger des Datensatzes beschränkt ist.

B. KL-regularisierter Bellman-Zielwert

Um zu verhindern, dass die Q-Funktion hohe Werte für Out-of-Distribution (OOD) oder unsichere Aktionen zuweist, modifizieren die Autoren den Standard-Bellman-Zielwert. Anstatt einer uniformen Prior (wie bei Soft Q-Learning) oder eines Max-Operators führen sie einen KL-Divergenz-Regularisierungsterm ein, der die Q-Funktion mit der Verhaltensstrategie $\pi_b$ abgleicht.

Der sichere Zielwert $y_k^{safe}$ für diskrete Aktionen ist definiert als:
$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$
Wobei:

$\tilde{\pi}_b$ eine geglättete Version der Verhaltensstrategie ist, um strikt positive Wahrscheinlichkeiten sicherzustellen.
$\lambda$ ein Temperaturparameter ist.
Diese Formulierung effektiv Abweichungen von der sicheren Verhaltensverteilung bestraft und sicherstellt, dass die Q-Funktion innerhalb des Trägers sicherer Aktionen bleibt.

Theoretische Garantie: Die Autoren beweisen, dass der resultierende Bellman-Operator eine Kontraktionsabbildung ist, was einen eindeutigen Fixpunkt ( $Q^*_\lambda$ ) garantiert. Die von dieser Q-Funktion induzierte optimale Strategie ist eine KL-regularisierte Softmax-Verteilung über die Verhaltensstrategie:
$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(s, a')/\lambda)}$

C. Strategieextraktion

Diskrete Aktionsräume: Die optimale Strategie wird direkt unter Verwendung des obigen geschlossenen Softmax-Ausdrucks abgeleitet.
Kontinuierliche Aktionsräume: Da das Integral im Nenner nicht handhabbar ist, schlagen die Autoren eine Surrogatstrategie ( $\pi_\phi$ ) vor, die als Gaußsche Verteilung parametrisiert ist. Diese Surrogatstrategie wird durch Minimierung der KL-Divergenz zwischen sich selbst und der theoretischen optimalen Strategie trainiert, wobei Monte-Carlo-Sampling zur Approximation des Erwartungswerts verwendet wird.

Der Rahmen ist vereinheitlicht und sowohl für Online- als auch für Offline-Szenarien sowie für diskrete und kontinuierliche Aktionsräume anpassbar.

3. Hauptbeiträge

Strikte Sicherheitsgarantie: Im Gegensatz zu früheren Safe-RL-Methoden, die Risiken begrenzen, erzwingt dieser Ansatz Sicherheit auf der Ebene des Trajektorienträgers, wodurch sichergestellt wird, dass während des Trainings keine unsicheren Zustände besucht werden.
KL-regularisiertes Q-Learning: Einführung eines neuartigen Bellman-Zielwerts, der die Q-Funktion über die KL-Divergenz auf den Träger einer sicheren Verhaltensstrategie beschränkt und die Standard-Entropie-Regularisierung ersetzt.
Zweistufiger Rahmen: Eine Trennung des Q-Funktions-Trainings und der Strategieextraktion, die stabiles Lernen ermöglicht, selbst wenn die Verhaltensstrategie suboptimal, aber sicher ist.
Vereinheitlichte Varianten: Die Methode bietet einen einzigen Rahmen, der an verschiedene Szenarien anpassbar ist (Diskrete/Kontinuierliche Aktionen, Hand-Crafted/Datensatz-basierte Verhaltensstrategien).

4. Experimentelle Ergebnisse

Die Autoren evaluierten die Methode in den Umgebungen FrozenLake und CartPole und verglichen sie mit Standard-Q-Learning und State-of-the-Art-Baselines (CQL, BCQ, IQL, TD3+BC, BEAR).

Stabilität und Konvergenz: Die vorgeschlagene Methode zeigte eine schnellere Konvergenz und eine geringere Varianz im Vergleich zu den Baselines, insbesondere in diskreten Settings, in denen andere Methoden oft versagten, effektive Strategien zu lernen.
Wertkalibrierung: Die von der vorgeschlagenen Methode gelernten Q-Werte waren gut kalibriert und stimmten eng mit Monte-Carlo-Rückgaben überein. Im Gegensatz dazu zeigten Baselines Probleme wie Wertkollaps, Überschätzung (Divergenz oberhalb der Diagonalen) oder übermäßige Konservativität.
Sicherheit vs. Leistung:
- In der CartPole-Umgebung erreichte die vorgeschlagene Methode ein sichereres Verhalten (geringere maximale Stabwinkel) über vergleichbare Rückgabewerte hinweg im Vergleich zu den Baselines.
- Während einige Baselines hohe Rückgaben erreichten, geschah dies oft mit höherer Varianz oder unsicheren Trajektorien.
- Die Methode zeigte einen Trade-off: Wenn die Verhaltensstrategie unvollkommen war (z. B. in stark eingeschränkten Settings), war die Leistung begrenzt, aber die Sicherheit wurde strikt aufrechterhalten.

5. Bedeutung

Diese Arbeit stellt einen bedeutenden Wandel im Safe RL dar: von der Risikominderung (Erlauben einiger unsicherer Exploration) zur Risikobeseitigung (striktes Verbot unsicherer Exploration). Durch die Nutzung einer auf einer sicheren Menge unterstützten Verhaltensstrategie und die Regularisierung des Q-Learning-Ziels bietet die Methode einen prinzipiellen Weg, optimale Strategien in hochriskanten Umgebungen (z. B. Robotik, autonomes Fahren) zu lernen, in denen selbst eine einzige unsichere Interaktion inakzeptabel ist. Die theoretische Garantie eines eindeutigen Fixpunkts und der praktische Erfolg beim Aufrechterhalten gut kalibrierter Wertschätzungen machen dies zu einem robusten Rahmen für sicherheitskritische Anwendungen.