Learning Safe Behaviour via Justified Human Preferences and Hypothetical Queries

Technische Zusammenfassung: Erlernen sicheren Verhaltens durch begründete menschliche Präferenzen und hypothetische Abfragen

Problemstellung
Das traditionelle Reinforcement Learning (RL) stützt sich auf die Exploration durch Versuch und Irrtum, was in sicherheitskritischen realen Domänen (z. B. Robotik, autonomes Fahren), in denen eine einzige unsichere Aktion zu katastrophalen Ausfällen führen kann, oft nicht praktikabel ist. Während Safe RL versucht, dies durch die Einbeziehung von Nebenbedingungen zu adressieren, steht es vor dem Problem der „sicheren Exploration“: Agenten können nicht naiv explorieren, um zu lernen, ohne Gefahr zu laufen, Schaden anzurichten. Darüber hinaus leidet das traditionelle RL oft unter Ineffizienz bei der Stichprobengewinnung (Sample Inefficiency) und dem „Belohnungsspezifikationsproblem“, bei dem entwickelte Belohnungsfunktionen nicht mit der menschlichen Intention übereinstimmen.

Human-in-the-loop-Ansätze bieten eine Lösung, indem sie menschliches Feedback nutzen, um das Lernen zu steuern. Bestehende Methoden, die sich jedoch ausschließlich auf menschliche Präferenzen verlassen (z. B. die Wahl zwischen zwei Aktionen), verursachen oft eine hohe menschliche Belastung und können dennoch nicht effizient die unsicheren Regionen des Zustandsraums abbilden. Die Kernherausforderung, die in dieser Arbeit adressiert wird, ist die Frage, wie ein sicherer Policy (Strategie) mit minimalen unsicheren Ereignissen (Trainings-Toden) gelernt werden kann, während gleichzeitig der Zeitaufwand und die kognitive Last für den menschlichen Trainer minimiert werden.

Methodik: JPAL-HA
Die Autoren schlagen JPAL-HA (Justified Human Preferences for Active Learning with Hypothetical Actions) vor, ein Modell, das auf dem „Parenting“-Ansatz [11] aufbaut. In diesem Paradigma fragt ein ungelernter Agent (Kind) einen menschlichen Trainer (Elternteil) um Anleitung, bevor er Aktionen ausführt. JPAL-HA führt zwei neuartige Mechanismen ein, um Sicherheit und Effizienz zu erhöhen:

1. Begründete Präferenzen (Justified Preferences):
   Anstatt den Menschen lediglich zu fragen, ob er eine Aktion gegenüber einer anderen bevorzugt ($P$), fordert der Agent zusätzlich eine binäre Begründung ($J_P$) an. Der Mensch gibt an, ob die Präferenz von einer „Warnung“ begleitet wird (eine Aktion ist unsicher/katastrophal) oder „keine Warnung“ vorliegt (beide Aktionen sind sicher).

   • Mechanismus: Dieses binäre Signal ermöglicht es dem Agenten, die Präferenz und die Begründung auf ein verfeinertes Präferenzlabel ($\mu \in \{0, 0.25, 0.5, 0.75, 1\}$) abzubilden. Ein „Warnung“-Signal erhöht den Lerndruck auf das Policy-Modell signifikant, um die katastrophale Aktion zu vermeiden, selbst wenn die Magnitude der Präferenz gering ist.
   • Nutzen: Dies liefert explizite Sicherheitssignale, die dem Agenten helfen, zwischen „sicher, aber suboptimal“ und „katastrophal“ effektiver zu unterscheiden als reine Präferenzen allein.

2. Hypothetische Aktionen (Hypothetical Actions, HAs):
   Wenn eine Begründung eine „Warnung“ anzeigt (d. h. mindestens eine Stichprobe ist katastrophal), löst der Agent eine Hypothetische Aktionen-Schleife aus.

   • Mechanismus: Anstatt sofort zu stoppen oder neu zu sampeln, generiert der Agent eine Menge hypothetischer Aktionen ($a_{new}$), die aus dem aktuellen Zustand heraus hätten genommen werden können. Er fragt den Menschen nach einer einzigen Begründung ($J_{anew}$: sicher oder Warnung) für diese hypothetischen Aktionen.
   • Inferenz: Basierend auf dem Sicherheitsstatus der neuen hypothetischen Aktion kann der Agent die relative Sicherheit von Kombinationen zwischen der neuen Aktion und zuvor identifizierten sicheren/katastrophalen Aktionen automatisch ableiten und diese zum Trainingsdatensatz hinzufügen, ohne weitere menschliche Präferenzabfragen durchzuführen.
   • Tödliche Muster (Deadly Patterns): Der Agent identifiziert und speichert auch „tödliche Muster“ (Kombinationen von Bewegungen, die zur Katastrophe führen), um sie in zukünftigen Zuständen ohne erneute Befragung des Menschen zu vermeiden.
   • Nutzen: Dies ermöglicht es dem Agenten, die unsicheren Regionen des Zustandsraums mit einem einzigen Schub an Abfragen schnell abzubilden, was die Notwendigkeit wiederholter Unterbrechungen am selben Zustand reduziert.

Der Lernprozess nutzt überwachtes Lernen (Minimierung des Cross-Entropy-Loss basierend auf dem Bradley-Terry-Modell) auf einem Datensatz aus menschlichen Präferenzen und Begründungen. Der Algorithmus verwendet zudem „After-The-Fact Queries“ (ATFQs), um potenziell gute Aktionen zu explorieren, die ursprünglich nicht gesampelt wurden, was als sicherer Explorationsmechanismus dient.

Wesentliche Beiträge

1. Neuartige Lernparadigmen: Die Einführung von Begründungen (binäre Sicherheitshinweise neben Präferenzen) und Hypothetischen Aktionen (proaktive Abfrage nicht ausprobierter Aktionen bei Erkennung von Gefahr) als generalisierbare Konzepte für sicheres Lernen aus menschlichen Präferenzen.
2. JPAL-HA Algorithmus: Ein vereinheitlichter Algorithmus, der diese Merkmale integriert und zeigt, dass er im Vergleich zu bestehenden präferenzbasierten Methoden (Parenting, JPAL) die Sicherheit während des Trainings signifikant verbessert und eine bessere Stichproleneffizienz als andere Safe Human-in-the-Loop-Algorithmen erreicht.
3. Trade-off zwischen Sicherheit und menschlicher Belastung: Die Arbeit liefert einen abstimmbaren Hyperparameter ($p_{BTFQ}$), der es Nutzern ermöglicht, Sicherheit (Anzahl der Abfragen) gegen menschliche Belastung abzuwägen. Sie zeigt, dass JPAL-HA nahezu null Trainings-Tode erreichen kann, während es gleichzeitig eine angemessene Trainingszeit beibehält.
4. Validierung in der realen Welt: Die Methode wurde nicht nur in einer Simulation (Island Navigation Umgebung) evaluiert, sondern auch mit einer diversen Gruppe von menschlichen Teilnehmern, die einen physischen Thymio-Mobilroboter trainierten.

Ergebnisse

• Simulationsexperimente:

  • Sicherheit: JPAL-HA reduzierte die Trainings-Tode im Vergleich zu Q-Learning (das durchschnittlich ~16,5 Tode erlitt) und dem Baseline-Parenting-Ansatz signifikant. In konservativen Einstellungen erreichte JPAL-HA durchschnittlich 0,02 Tode pro Durchgang, wobei 98 % der Durchgänge null Tode aufwiesen.
  • Effizienz: JPAL-HA fand die optimale Policy in weniger Episoden (Durchschnitt 3) als Q-Learning (22,9).
  • Menschliche Belastung: Obwohl das Hinzufügen von Begründungen die Anzahl der Abfragen im Vergleich zu Parenting zunächst erhöhte, reduzierte die Integration von Hypothetischen Aktionen in JPAL-HA die Gesamtzahl der Präferenzabfragen und der Gesamtschritte, wodurch die zusätzliche kognitive Last der Begründungen effektiv kompensiert wurde.
  • Statistische Signifikanz: Nicht-parametrische Tests bestätigten signifikante Unterschiede in Sicherheit und Effizienz zwischen JPAL-HA und den Baseline-Methoden.

• Reale Roboter-Experimente:

  • Trainingszeit: Eine diverse Gruppe von 40 Teilnehmern (einschließlich Personen ohne Informatik-Hintergrund) konnte den Roboter erfolgreich trainieren. Nach anfänglicher Übung waren die Trainingszeiten für JPAL und JPAL-HA etwas länger als für Parenting (30 % mehr), konvergierten jedoch nach der Anpassung der Teilnehmer an die Schnittstelle auf ein ähnliches Niveau (4 Minuten).
  • Machbarkeit: Die Studie zeigte, dass eine diverse Gruppe von Menschen das Training in wenigen Minuten abschließen konnte und dass der Mechanismus der hypothetischen Aktionen die gesamte Trainingszeit im Vergleich zu einfacheren Methoden nicht signifikant erhöhte, wodurch sie in einem akzeptablen Rahmen blieb.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass JPAL-HA eine praktische Lösung für sicheres Lernen in sicherheitskritischen Umgebungen bietet, in denen traditionelles RL aufgrund des Risikos katastrophaler Exploration versagt. Durch die Erweiterung menschlicher Präferenzen um einfache binäre Begründungen und die Nutzung hypothetischer Abfragen zur proaktiven Kartierung von Gefahren erreicht die Methode einen überlegenen Kompromiss zwischen Sicherheit und menschlichem Aufwand.

Die Autoren merken bescheiden an, dass die Methode zwar für diskrete Aktionsräume konzipiert ist, die Kernideen jedoch erweitert werden könnten. Sie räumen auch ein, dass in hochkomplexen Domänen (z. B. Helikopterflug) die Abhängigkeit von menschlichen Trainern die Verfügbarkeit von Expertenwissen voraussetzt und in kontinuierlichen Echtzeit-Domänen (z. B. autonomes Fahren) ergänzende Fallback-Sicherheitsmechanismen neben dieser Methode erforderlich sein könnten. Der primäre Beitrag ist der Nachweis, dass begründete Präferenzen und hypothetische Abfragen es Agenten ermöglichen, sichere Verhaltensweisen signifikant schneller und sicherer als bestehende Human-in-the-loop-Ansätze zu erlernen, ohne prohibitive Zeitkosten für die menschlichen Trainer zu verursachen.