Learning to maintain safety through expert demonstrations in settings with unknown constraints: A Q-learning perspective

Die vorgestellte Arbeit entwickelt den SafeQIL-Algorithmus, der mittels eines Q-Learning-Ansatzes eine sichere Politik lernt, indem sie die Wahrscheinlichkeit vielversprechender Trajektorien aus Expertendemonstrationen maximiert und dabei unbekannte Sicherheitsbeschränkungen durch eine Mischung aus Belohnungserwartungen und Sicherheitsbewertungen berücksichtigt.

Das Wesentliche

Das große Problem: Der unsichtbare Zaun

Stell dir vor, du möchtest einem Roboter beibringen, ein komplexes Puzzle zu lösen oder ein Auto zu fahren. Du hast Videos von einem Experten, der das perfekt und sicher macht. Aber hier ist das Problem: Du weißt nicht genau, warum der Experte bestimmte Wege wählt.

Es gibt unsichtbare Regeln (die "Zäune"), die der Experte einhält, damit er nicht abstürzt oder etwas kaputt macht. Diese Regeln sind dem Roboter aber nicht bekannt. Wenn der Roboter einfach nur die Bewegungen des Experten nachahmt, ist das oft zu starr. Er lernt nicht, wie er sich in neuen Situationen sicher verhalten soll. Wenn er aber zu mutig wird und neue Wege versucht, könnte er in eine unsichere Zone geraten und einen Fehler machen.

Die Forscher George Papadopoulos und George A. Vouros haben eine Lösung dafür entwickelt, die sie SafeQIL nennen.

Die Lösung: Ein erfahrener Mentor mit einem "Sicherheits-Compass"

Stell dir SafeQIL wie einen sehr klugen Ausbilder vor, der zwei Dinge gleichzeitig tut:

1. Er lernt vom Experten: Er schaut sich die Videos an und sagt: "Okay, dieser Weg ist gut, das war sicher."
2. Er hat einen Sicherheits-Compass: Er weiß nicht genau, wo die Zäune sind, aber er kann fühlen, ob ein neuer Weg wahrscheinlich sicher ist oder nicht.

Die Analogie: Der Bergsteiger und die Karte

Stell dir vor, du bist ein Bergsteiger (der Roboter).

• Der Experte ist ein erfahrener Kletterer, der dir zeigt, wie man einen sicheren Pfad hochkommt.
• Die unbekannten Constraints sind unsichtbare Klippen oder instabiles Gestein, die du nicht sehen kannst.

Wie funktioniert SafeQIL?

Normalerweise würden andere Algorithmen versuchen, die genaue Karte der Klippen zu zeichnen (das ist schwer und oft falsch). SafeQIL macht es anders:

Es nutzt eine Art "Wert-System" (Q-Werte). Stell dir das wie eine Bewertungskarte vor, die jeder Schritt auf dem Berg bekommt.

• Wenn ein Schritt vom Experten kommt, bekommt er eine hohe Punktzahl (gut und sicher).
• Wenn der Roboter einen Schritt macht, den der Experte nie gemacht hat, schaut SafeQIL sofort: "Hey, das sieht gefährlich aus."

Hier kommt der Trick: SafeQIL sagt dem Roboter: "Wenn du in eine unbekannte Gegend gehst, darf dein 'Versprechen' (die erwartete Belohnung) nicht höher sein als das Versprechen des sichersten Schrittes, den der Experte je gemacht hat."

Das ist wie ein sicherer Deckel. Der Roboter darf mutig sein und neue Wege finden, aber er darf sich nicht in Träumen von riesigen Belohnungen verlieren, wenn er sich in einem Gebiet befindet, das der Experte gemieden hat.

Der "Sicherheits-Filter" (Der Discriminator)

Ein wichtiger Teil des Systems ist ein Filter (im Papier "Discriminator" genannt). Stell dir das wie einen strengen Türsteher vor.

• Wenn der Roboter einen Schritt macht, der dem Experten ähnelt, lässt der Türsteher ihn durch und sagt: "Gut, mach weiter, das ist sicher."
• Wenn der Schritt zu fremd ist, sagt der Türsteher: "Stopp! Das ist unsicher."

Aber SafeQIL ist nicht nur ein strenger Türsteher, der alles blockiert. Er ist ein lehrreicher Türsteher. Wenn der Roboter versehentlich in eine unsichere Zone gerät, gibt der Filter sofort eine negative Rückmeldung (eine "Strafe"). Das hilft dem Roboter, schnell wieder zurück auf den sicheren Pfad zu finden, anstatt panisch zu werden oder ganz aufzuhören.

Warum ist das besser als andere Methoden?

Andere Methoden versuchen oft, die unsichtbaren Zäune genau zu berechnen. Das ist wie der Versuch, eine Landkarte von einem Nebelwald zu zeichnen, ohne hineinzugehen. Oft zeichnen sie die Zäune falsch ein, und der Roboter wird entweder zu ängstlich (geht gar nichts mehr) oder zu dumm (fällt in die Grube).

SafeQIL hingegen sagt: "Wir brauchen keine perfekte Karte. Wir brauchen nur eine Regel: Sei in unbekannten Gebieten vorsichtiger als der Experte."

Das Ergebnis im Test

Die Forscher haben ihren Algorithmus in verschiedenen Simulationen getestet (wie ein Roboter, der einen Ball schieben muss, ohne gegen Wände zu stoßen).

• Andere Roboter: Entweder sind sie kollidiert (zu mutig) oder sie sind stecken geblieben (zu ängstlich).
• Der SafeQIL-Roboter: Er hat gelernt, schneller und effizienter zu sein als die ängstlichen Roboter, aber er hat fast nie gegen die unsichtbaren Wände geknallt. Er hat den perfekten Mittelweg gefunden: Mutig genug, um die Aufgabe zu lösen, aber vorsichtig genug, um sicher zu bleiben.

Zusammenfassung in einem Satz

SafeQIL ist wie ein kluger Ausbilder, der einem Roboter nicht die genaue Landkarte der Gefahren gibt, sondern ihm beibringt, in unbekannten Gebieten immer einen Schritt zurückzutreten, wenn er nicht sicher ist, und so lernt, sicher und erfolgreich zu sein, ohne die unsichtbaren Regeln explizit zu kennen.

Technische Zusammenfassung

Titel und Autoren

Titel: Lernen, die Sicherheit durch Experten-Demonstrationen in Umgebungen mit unbekannten Einschränkungen aufrechtzuerhalten: Eine Q-Learning-Perspektive.
Autoren: George Papadopoulos und George A. Vouros (Universität Piräus, Griechenland).
Veröffentlicht bei: AAMAS 2026 (25. Internationale Konferenz über Autonome Agenten und Multi-Agenten-Systeme).

---

1. Problemstellung

Das Paper adressiert das Problem des Inverse Constrained Reinforcement Learning (ICRL). Das Ziel ist es, eine sichere Policy zu lernen, basierend auf einer Menge von Experten-Trajektorien, die Aufgaben sicher in einem Constrained Markov Decision Process (CMDP) ausführen.

Die spezifischen Herausforderungen sind:

• Unbekannte Einschränkungen: Die Kostenfunktionen oder Constraints, die die Sicherheit definieren, sind dem Agenten nicht explizit bekannt.
• Nicht beobachtbare Kosten: Es gibt keine direkten Signale für Verletzungen von Constraints; nur die Belohnungen ($r$) sind beobachtbar.
• Dilemma zwischen Konservatismus und Leistung: Bestehende Ansätze neigen entweder zu extrem konservativem Verhalten (Vermeidung aller Zustände außerhalb der Demonstrationen) oder zu riskantem Verhalten (Ausnutzung hochbelohnter, aber unsicherer Zustände).
• Limitationen bestehender ICRL-Ansätze: Viele aktuelle Methoden versuchen, eine explizite Menge von Constraints zu rekonstruieren. Dies führt oft zu einer zu strengen Bewertung von Trajektorien (ein einziger unsicherer Schritt macht die gesamte Trajektorie ungültig) oder ignoriert die Möglichkeit, aus unsicheren Zuständen sicher zurückzugewinnen.

Das Ziel ist es, eine Policy zu lernen, die die Wahrscheinlichkeit vielversprechender Trajektorien maximiert, ohne dabei die Sicherheit zu gefährden, und die Fähigkeit besitzt, aus potenziell unsicheren Zuständen sicher zurückzugewinnen.

---

2. Methodik: SafeQIL

Die Autoren schlagen den Safe Q-Inverse Constrained Reinforcement Learning (SafeQIL) Algorithmus vor. Dieser kombiniert Q-Learning mit einer diskriminatorbasierten Sicherheitsbewertung und nutzt das Prinzip der Maximum-Entropy-RL (basierend auf Soft Actor-Critic, SAC).

Kernkonzepte:

1. Mixing von Belohnung und Sicherheit in Q-Werten:
   Anstatt separate Kostenfunktionen zu lernen, wird die Sicherheit direkt in die Q-Werte integriert. Die Q-Funktion $Q^\pi(s, a)$ wird definiert als der erwartete kumulierte Wert, der sowohl aufgaben-spezifische Belohnungen ($r_d$) als auch Sicherheits-Belohnungen/Strafen ($r_s$) berücksichtigt.

   • Für sichere Zustände (innerhalb der Demonstrationen) wird $r_d$ verwendet.
   • Für unsichere Zustände (außerhalb der Demonstrationen) wird eine negative Sicherheits-Strafe $r_s(s)$ angewendet.

2. Diskriminator für Sicherheitsbewertung:
   Ein Diskriminator $\phi_\omega$ lernt die Wahrscheinlichkeit, dass ein Zustand $s$ zur Verteilung der Experten-Demonstrationen gehört (d.h. sicher ist).

   • $r_s(s) = \log(\phi_\omega(s))$. Dies wandelt die Wahrscheinlichkeit $[0, 1]$ in eine negative Belohnung $[-\infty, 0]$ um.

3. Lokale Obergrenzen (Upper Bounds) für Q-Werte:
   Ein zentrales theoretisches Ergebnis ist, dass Q-Werte für Zustands-Aktions-Paare, die nicht in der Unterstützung der Demonstrationen liegen ($s \notin \text{supp}_E$), durch die Q-Werte der sichersten demonstrierten Schritte begrenzt werden sollten.

   • Für einen Zustand $s_B$ außerhalb der Demonstrationen wird ein „lokaler Anker" $s^*_D$ aus den Demonstrationen gesucht (basierend auf kosinischer Ähnlichkeit).
   • Der Q-Wert für $s_B$ wird so trainiert, dass er nicht höher ist als der geschätzte Wert des Ankers ($\hat{Q}_{min}$). Dies verhindert überoptimistische Schätzungen in unbekannten Bereichen.

4. Optimierungsziel (Loss Function):
   Der Gesamt-Loss kombiniert drei Komponenten:

   • Standard SAC-Loss: Für Zustände innerhalb der Demonstrationen (In-Distribution), um die Leistung zu maximieren.
   • Constraint-Loss: Für Zustände außerhalb der Demonstrationen (Out-of-Distribution, OOD), der die Q-Werte nach unten drückt, falls sie den lokalen Anker überschreiten.
   • Sicherheits-Loss: Bestraft OOD-Zustände explizit basierend auf dem Diskriminator-Ausgang.

5. Algorithmus-Struktur:
   SafeQIL nutzt SAC als Backbone. Während des Trainings werden sowohl Online-Rollouts als auch Demonstrationsdaten gepuffert. Der Diskriminator wird kontinuierlich aktualisiert, um die Grenze zwischen sicher und unsicher zu schärfen.

---

3. Hauptbeiträge

1. Neue Formulierung des ICRL-Problems: Das Problem wird neu definiert als die Maximierung der Wahrscheinlichkeit von Trajektorien durch Q-Werte, die Sicherheit und Belohnung mischen, anstatt explizite Constraints zu rekonstruieren.
2. SafeQIL Algorithmus: Entwicklung eines effizienten, modellfreien Algorithmus, der OOD-Zustände durch lokale Obergrenzen auf Q-Werte konservativ bewertet, während er auf In-Distribution-Zuständen die Leistungsfähigkeit von SAC beibehält.
3. Umfassende Evaluation: Ausgedehnte Tests auf vier Safety-Gymnasium-Benchmarks (Navigation und Manipulation) mit komplexen Sicherheitsanforderungen.
4. Ablationsstudien und Sensitivitätsanalysen: Untersuchung der einzelnen Komponenten des Algorithmus und des Einflusses der Datengröße der Demonstrationen.

---

4. Ergebnisse

Die Evaluation erfolgte auf vier Aufgaben: SafetyPointGoal1-v0, SafetyPointCircle2-v0, SafetyCarButton1-v0 und SafetyCarPush2-v0. Die Ergebnisse wurden mit State-of-the-Art-Baselines verglichen: ICRL, VICRL und SAC-GAIL.

• Überlegene Sicherheit: SafeQIL reduzierte die Sicherheitskosten (Safety Violations) im Vergleich zum unbeschränkten SAC-Baseline signifikant (Reduktionen zwischen 30 % und 92 %).
• Vergleich mit ICRL/VICRL:
  • ICRL und VICRL scheiterten oft daran, die Sicherheit zu verbessern, oder führten zu einem kompletten Zusammenbruch der Aufgabenleistung (negative Belohnung), da sie zu stark einschränkten oder falsche Constraints inferierten.
  • SafeQIL erreichte in fast allen Szenarien den besten Kompromiss zwischen Sicherheit und Belohnung.
• Robustheit: SafeQIL zeigte eine stabilere Leistung und geringere Varianz als die Baselines, insbesondere in komplexen Manipulationsaufgaben (SafetyCarPush2-v0), wo andere Methoden oft versagten.
• Datengrößen-Sensitivität: Interessanterweise zeigte die Studie, dass eine Vergrößerung der Demonstrationsdatenmenge (von 1x auf 8x) bei einigen Methoden (insbesondere ICRL/VICRL) zu einer Verschlechterung der Leistung führte, vermutlich aufgrund von Inkonsistenzen in den menschlichen Demonstrationen. SafeQIL war hier robuster, obwohl auch es bei sehr großen Datensätzen an Stabilität verlor.

Zusammenfassend: SafeQIL ist der einzige Algorithmus, der in allen getesteten Szenarien sowohl hohe Sicherheit als auch akzeptable Aufgabenleistung garantierte, ohne in katastrophales Versagen zu verfallen.

---

5. Bedeutung und Fazit

Das Paper bietet einen wichtigen Beitrag zum Bereich des sicheren Reinforcement Learning (Safe RL), indem es die Notwendigkeit einer expliziten Rekonstruktion von Constraints in Frage stellt.

• Paradigmenwechsel: Statt zu versuchen, die „Regeln" (Constraints) zu lernen, lernt der Agent direkt, wie er Werte (Q-Werte) so zu gestalten, dass Unsicherheit bestraft wird. Dies umgeht die Ambiguität und Kalibrierungsprobleme, die bei der Inferenz von Constraints auftreten.
• Praktische Anwendbarkeit: Der Ansatz ist besonders wertvoll für reale Anwendungen, wo Constraints schwer zu formalisieren sind (z. B. menschliche Sicherheitsstandards), aber Experten-Demonstrationen verfügbar sind.
• Zukunftsausblick: Die Autoren identifizieren als Limitationen die Abhängigkeit von der Qualität der Demonstrationen und die Notwendigkeit, robustere Methoden zur Zustandsähnlichkeit zu entwickeln (z. B. durch RNNs für zeitliche Kontexte), um mit multi-modalen Demonstrationsdaten besser umgehen zu können.

SafeQIL demonstriert, dass eine Kombination aus pessimistischer Wertbewertung für unbekannte Zustände und standardmäßiger Max-Entropy-Optimierung für bekannte Zustände einen effektiven Weg darstellt, um Agenten sicher und leistungsfähig zu machen.