LexiSafe: Offline Safe Reinforcement Learning with Lexicographic Safety-Reward Hierarchy

Das Paper stellt LexiSafe vor, ein theoretisch fundiertes Offline-Safe-Reinforcement-Learning-Framework, das durch eine lexikographische Hierarchie von Sicherheits- und Belohnungszielen sowie strukturelle Verzerrungen Sicherheitsverletzungen in cyber-physischen Systemen effektiv verhindert und gleichzeitig die Leistung verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie lernen Autofahren. Aber es gibt ein großes Problem: Sie dürfen das Auto niemals bewegen, um zu üben. Sie dürfen keine Unfälle bauen, keine anderen Autos rammen und keine roten Ampeln überfahren. Sie haben nur ein riesiges Videoarchiv von Fahrten anderer Leute, das Sie sich ansehen können.

Das ist das Szenario des Offline Safe Reinforcement Learning (Offline-sicheres Bestärkendes Lernen). Die KI muss aus alten Daten lernen, ohne die reale Welt zu gefährden.

Das Problem bei den bisherigen Methoden war jedoch: Die KI versuchte, schnell zu fahren (Belohnung) und sicher zu bleiben (Sicherheit) gleichzeitig. Oft war das wie ein Kampf auf einer Waage: Wenn sie zu schnell wurde, wurde sie unsicher. Wenn sie zu vorsichtig war, fuhr sie gar nicht mehr.

Hier kommt LexiSafe ins Spiel.

Die Idee: Ein strenger Chef und ein hilfsbereiter Assistent

Stellen Sie sich vor, die KI lernt in zwei getrennten Phasen, wie ein Schüler, der erst die Hausaufgaben macht und dann spielen darf.

Phase 1: Der strenge Sicherheits-Chef (LexiSafe-SC / MC)
Zuerst ignoriert die KI völlig, wie schnell sie fahren kann. Ihr einziger Job ist es, niemals gegen eine Wand zu fahren.

• Die Analogie: Stellen Sie sich vor, Sie sind ein Fahrschüler. Der Lehrer (die KI) sagt: „Vergiss das Gaspedal. Wir üben nur, wie man den Fuß vom Gas nimmt, wenn ein Kind auf die Straße läuft. Wir üben, wie man die Spur hält."
• In dieser Phase lernt die KI nur, alle Gefahren zu vermeiden. Sie baut sich ein „Sicherheitsnetz" im Kopf auf. Sie lernt: „Das hier ist verboten, das dort ist auch verboten."

Phase 2: Der hilfsbereite Assistent (Performance)
Erst wenn die KI zu 100 % sicher ist und weiß, wo die Grenzen sind, darf sie anfangen, schnell zu fahren.

• Die Analogie: Der Lehrer sagt jetzt: „Okay, du weißt jetzt, wie man nicht gegen die Wand fährt. Jetzt darfst du versuchen, so schnell wie möglich ans Ziel zu kommen – aber nur innerhalb der Grenzen, die wir gerade gelernt haben."
• Die KI optimiert nun die Geschwindigkeit und den Komfort, aber sie darf das Sicherheitsnetz nicht durchbrechen.

Warum ist das so besonders?

Frühere Methoden haben versucht, Sicherheit und Geschwindigkeit in einem großen Brei zu mischen (wie eine Suppe, in der man Salz und Zucker gleichzeitig hinzufügen muss). Das führte oft dazu, dass die KI entweder zu langsam wurde oder doch einen Unfall baute, weil sie die Prioritäten verwechselte.

LexiSafe sagt: „Nein! Sicherheit ist wie ein Gesetz, das man nicht brechen darf. Geschwindigkeit ist wie ein Wunsch, den man erfüllt, wenn das Gesetz eingehalten wird."

Das ist wie bei einem Lexikon (daher der Name LexiSafe): Man schaut zuerst nach dem wichtigsten Begriff (Sicherheit). Erst wenn man das verstanden hat, schaut man nach dem nächsten (Geschwindigkeit). Man springt nicht einfach zum letzten Eintrag, ohne die ersten zu lesen.

Was passiert, wenn es mehrere Sicherheitsregeln gibt? (LexiSafe-MC)

Manchmal gibt es nicht nur eine Regel, sondern viele.

• Regel 1: Nicht kollidieren (Lebensgefahr!).
• Regel 2: Nicht zu schnell fahren (Verkehrssicherheit).
• Regel 3: Den Motor nicht überhitzen (Maschinenschutz).

LexiSafe-MC geht diese Regeln wie eine Treppenstufen ab.

1. Zuerst lernt die KI, niemals zu kollidieren. (Das ist die unterste, wichtigste Stufe).
2. Erst wenn das perfekt sitzt, lernt sie, die Geschwindigkeit zu regulieren. (Die nächste Stufe).
3. Erst dann lernt sie, den Motor zu schonen.
4. Und ganz am Ende: Sie lernt, so schnell wie möglich zu fahren.

Wenn die KI versucht, die Geschwindigkeit zu optimieren, aber dabei die Kollisionsgefahr erhöht, wird sie sofort gestoppt. Die höhere Regel (Sicherheit) hat immer Vorrang vor der niedrigeren Regel (Geschwindigkeit).

Das Ergebnis in der Praxis

Die Forscher haben LexiSafe an Robotern und in Autowahnsinn-Simulationen getestet.

• Andere Methoden: Oft fuhren sie schnell, aber rammten Dinge (unsicher) oder fuhren so langsam, dass sie nie ankamen (zu konservativ).
• LexiSafe: Sie fuhren sicher wie ein Profi und waren trotzdem so schnell wie möglich, ohne die Grenzen zu überschreiten.

Zusammenfassung für den Alltag

Stellen Sie sich vor, Sie bauen ein Haus.

• Alte Methoden: Der Architekt versucht, das Haus schön, groß und billig zu bauen, während er gleichzeitig versucht, sicher zu bauen. Oft wird das Fundament schwach, weil er zu viel Geld für die Fassade ausgegeben hat.
• LexiSafe: Der Architekt sagt: „Zuerst bauen wir ein Fundament, das niemals einstürzt. Punkt. Erst wenn das Fundament steht, bauen wir die Wände. Erst wenn die Wände stehen, bauen wir das Dach. Und erst wenn alles sicher ist, dekorieren wir es."

LexiSafe ist also ein neuer, smarter Weg für KI, damit sie in der echten Welt (wie bei autonomen Autos oder Robotern in Fabriken) lernen kann, ohne jemanden zu verletzen oder sich selbst zu zerstören. Es trennt das „Nicht-töten" vom „Gut-leistenden" und stellt sicher, dass das Erste immer an erster Stelle steht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „LexiSafe: Offline Safe Reinforcement Learning with Lexicographic Safety-Reward Hierarchy" auf Deutsch:

1. Problemstellung

Das Paper adressiert die Herausforderungen des Offline Safe Reinforcement Learning (RL) für Cyber-Physical Systems (CPS) wie autonomes Fahren oder Robotik. In diesen Domänen sind Sicherheitsverletzungen während des Trainings inakzeptabel, und es stehen nur vorab gesammelte Datensätze (Offline-Daten) zur Verfügung.

Die bestehenden Ansätze für Offline Safe RL haben folgende Mängel:

• Fehlende Hierarchie: Sie behandeln Sicherheit und Leistung oft als gemeinsam zu optimierendes Ziel unter einer einzigen Nebenbedingung. In der Realität existieren jedoch oft hierarchische Sicherheitsanforderungen (z. B. zuerst Kollisionsvermeidung, dann Einhaltung von Verkehrsregeln, schließlich Komfort).
• Instabilität und Konservatismus: Methoden, die Sicherheits- und Leistungsziele durch Gewichtung oder Lagrange-Multiplikatoren balancieren, leiden oft unter Optimierungsinstabilität oder führen zu übermäßig konservativen Politiken.
• Fehlende theoretische Garantien: Es gibt kaum theoretische Belege (Sample-Complexity-Bound) für Offline Safe RL, insbesondere bei hierarchischen Sicherheitszielen.

Das zentrale Ziel ist es, eine Methode zu entwickeln, die hierarchische Sicherheitsgarantien in Offline-RL gewährleistet, ohne dabei die Leistungsfähigkeit (Reward) zu vernachlässigen.

2. Methodik: LexiSafe

Die Autoren schlagen LexiSafe vor, ein Framework, das eine lexikographische Ordnung (lexicographic order) zwischen Sicherheits- und Leistungszielen einführt. Das Prinzip lautet: Sicherheit hat absolute Priorität und muss vollständig erfüllt sein, bevor die Leistung maximiert wird.

Das Framework wird in zwei Varianten vorgestellt:

• LexiSafe-SC (Single-Cost): Für eine einzelne Sicherheitskostenfunktion.
• LexiSafe-MC (Multi-Cost): Für mehrere hierarchisch geordnete Sicherheitskostenfunktionen.

Der Trainingsprozess (Multi-Phase Training):
Anstatt ein einziges Modell zu trainieren, das alle Ziele gleichzeitig optimiert, durchläuft LexiSafe sequenzielle Phasen:

1. Sicherheitsphase (Safety Learning):
   • Das Ziel ist die Minimierung der erwarteten Sicherheitskosten unter Einhaltung eines Sicherheitsbudgets ($\kappa$) und einer Nähe zum Verhaltenspolicy ($\pi_\beta$) mittels KL-Divergenz.
   • Es wird Implicit Q-Learning (IQL) verwendet, um Wertfunktionen ($V$) und Q-Funktionen für die Kosten zu lernen.
   • Die Policy wird durch Advantage-Weighted Regression (AWR) basierend auf dem Kosten-Advantage ($A_c = Q_c - V_c$) aktualisiert, um sicherzustellen, dass die gelernte Policy sicher ist.
2. Leistungsphase (Performance Maximization):
   • Basierend auf der bereits sicheren Policy wird nun die Reward-Funktion maximiert.
   • Das Modell wird feinabgestimmt (Fine-Tuning), wobei die zuvor gelernten Sicherheitsgrenzen als weiche Constraints durch einen Lagrange-Multiplikator $\lambda$ beibehalten werden.
   • Dies verhindert das „katastrophale Vergessen" der Sicherheitsregeln.

Theoretische Analyse:
Das Paper leitet erstmals Sample-Complexity-Grenzen (Stichprobenkomplexität) für lexikographisches Offline Safe RL ab.

• Es werden Schranken für die Sicherheitsverletzung (Safety Violation Bound) und die Suboptimalität der Leistung (Performance Suboptimality Bound) hergeleitet.
• Diese Grenzen hängen von der Modellkomplexität (VC-Dimension), der Konzentrierbarkeit (Concentrability Coefficient, ein Maß für die Verteilungsverschiebung zwischen Verhaltens- und Lern-Policy) und der Datenmenge ab.
• Für den Multi-Cost-Fall (LexiSafe-MC) wird gezeigt, dass die Komplexität mit der Anzahl der Sicherheitsphasen skaliert, aber immer noch theoretisch fundierte Garantien bietet.

3. Wichtige Beiträge

1. Neues Framework (LexiSafe): Einführung eines lexikographischen Offline-RL-Ansatzes, der Sicherheitsbeschränkungen strikt von der Leistungsmaximierung trennt, aber in einem einzigen Modell integriert.
2. Theoretische Garantien: Erste Herleitung von Sample-Complexity-Bound für lexikographisches Safe RL (sowohl Single- als auch Multi-Cost), die Sicherheitsverletzungen und Leistungsabfall quantifizieren.
3. Erweiterung auf Multi-Cost: Entwicklung von LexiSafe-MC, das komplexe, mehrstufige Sicherheitsanforderungen (z. B. in autonomen Fahrzeugen) handhaben kann.
4. Empirische Überlegenheit: Demonstration der Effektivität auf Standard-Benchmarks (DSRL, Safety Gymnasium, Bullet Safety Gym, MetaDrive).

4. Ergebnisse

Die Evaluation wurde auf verschiedenen Offline-Safe-RL-Benchmarks durchgeführt und verglich LexiSafe mit State-of-the-Art-Methoden wie BC-Safe, COptiDICE, CPQ, FISOR und LSPC-O.

• Sicherheit und Leistung: LexiSafe-SC erreichte in fast allen Aufgaben (z. B. SwimmerVel, HopperVel, AntRun) den höchsten normalisierten Reward, während es gleichzeitig die Sicherheitsgrenzen ($Cost < 1$) einhielt. Andere Methoden scheiterten entweder an der Sicherheit (hohe Kosten) oder waren zu konservativ (niedriger Reward).
• Vergleich mit gewichteten Ansätzen (Ablation): Im Gegensatz zu einem gewichteten IQL-Ansatz (der Kosten und Reward linear kombiniert), konnte LexiSafe-MC die hierarchische Reihenfolge (z. B. Kollision vermeiden vor Geschwindigkeit regulieren) strikt einhalten. Gewichtete Ansätze scheiterten oft daran, die strengen Sicherheitsgrenzen bei gleichzeitig hoher Leistung zu erfüllen, da sie empfindlich auf die Wahl der Gewichtungsfaktoren reagierten.
• Konvergenz: LexiSafe zeigte eine stabilere Konvergenz und weniger Sicherheitsverletzungen während des Trainings im Vergleich zu Baselines, die auf gemeinsamen Optimierungen basieren.

5. Bedeutung und Fazit

LexiSafe bietet einen praktischen und theoretisch fundierten Ansatz für sicherheitskritische Entscheidungen in CPS.

• Praktische Relevanz: Durch die strikte Trennung der Phasen wird das Risiko von Sicherheitsverletzungen während des Trainings eliminiert, was für den Einsatz in der realen Welt (z. B. autonomes Fahren) entscheidend ist.
• Theoretischer Fortschritt: Die Arbeit schließt eine Lücke in der Literatur, indem sie die ersten theoretischen Garantien für Offline Safe RL mit hierarchischen Zielen liefert.
• Zukunftsaussichten: Das Framework ermöglicht den zuverlässigen Einsatz von RL in Hochrisiko-Umgebungen, indem es die Notwendigkeit von Online-Exploration (die gefährlich sein kann) durch sichere Offline-Lernen ersetzt und dabei komplexe Sicherheitsprioritäten berücksichtigt.

Zusammenfassend stellt LexiSafe einen Paradigmenwechsel dar: Statt Sicherheit und Leistung zu balancieren, wird Sicherheit als nicht verhandelbare Vorbedingung behandelt, was zu robusteren und sichereren Agenten führt.