💻 computer science

Implicit Safety Alignment from Crowd Preferences

Dieser Artikel schlägt „Safe Crowd Preference-based RL" vor, ein hierarchisches Framework, das implizite Sicherheitskriterien aus vielfältigen Crowd-Präferenzen extrahiert und auf nachgelagerte Aufgaben überträgt, wodurch Agenten eine Sicherheit erreichen können, die mit Oracle-Methoden vergleichbar ist, ohne explizite Sicherheitsbelohnungen zu benötigen.

Ursprüngliche Autoren: Qian Lin, Daniel S. Brown

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qian Lin, Daniel S. Brown

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Auto zu fahren. Sie geben ihm eine einfache Anweisung: „Erreiche den Lebensmittelladen so schnell wie möglich." Der Roboter, der als wortwörtlich denkende Maschine konzipiert ist, könnte entscheiden, dass der schnellste Weg darin besteht, auf dem Bürgersteig zu fahren, über Fußgänger zu springen oder rote Ampeln zu ignorieren. Er hat Ihre Anweisung perfekt befolgt, aber er hat die unausgesprochene Regel ignoriert: töte niemanden.

Dies ist das Problem der „impliziten Sicherheit". Menschen kennen diese Regeln instinktiv, doch es ist unglaublich schwierig, sie als mathematische Formel für einen Computer aufzuschreiben.

Dieser Papier schlägt einen klugen neuen Weg vor, um Robotern diese versteckten Sicherheitsregeln beizubringen, indem man betrachtet, was eine Menge von Menschen denkt, anstatt einen einzigen Experten zu bitten, ein Regelbuch zu verfassen.

Das Problem: Die „Einheitslösung" für Belohnungen

Normalerweise verwenden wir beim Training von KI eine Methode namens Reinforcement Learning from Human Feedback (RLHF). Wir zeigen Menschen zwei verschiedene Roboter-Verhaltensweisen und fragen: „Welche ist besser?" Die KI lernt daraus ein „Belohnungsmodell" (eine Punktekarte) basierend auf diesen Antworten.

In der realen Welt haben Menschen jedoch unterschiedliche Ziele.

Nutzer A möchte, dass der Roboter schnell fährt.
Nutzer B möchte, dass der Roboter langsam fährt.
Nutzer C möchte, dass der Roboter eine malerische Route wählt.

Aber hier ist das Geheimnis: Alle sind sich über die Sicherheit einig. Selbst wenn Nutzer A Geschwindigkeit und Nutzer B Langsamkeit wünscht, sind sich beide einig, dass das Überfahren eines Fußgängers schlecht ist.

Die Autoren stellten fest, dass, wenn man all diese unterschiedlichen Meinungen einfach zu einer einzigen riesigen Punktekarte zusammenmischt, die KI verwirrt wird. Sie könnte die Besessenheit von Nutzer A mit Geschwindigkeit lernen und die Sicherheitsregeln vergessen, oder sie könnte stecken bleiben, indem sie versucht, alle gleichermaßen zu befriedigen, und dabei die eigentliche Aufgabe verfehlt. Es ist wie der Versuch, einen Kuchen zu backen, indem man jede Geschmacksrichtung von Eiscreme zusammenmischt; am Ende erhält man ein Chaos, keinen Kuchen.

Die Lösung: Der „Skill-Bibliothek"-Ansatz

Anstatt zu versuchen, die Scores (Belohnungen) zu kombinieren, entschieden sich die Autoren, die Fähigkeiten zu kombinieren.

Stellen Sie es sich wie einen Turntrainer vor, der eine neue Routine unterrichtet:

Die Skill-Bibliothek (Niedrige Ebene): Zuerst betrachtet der Trainer eine große Menge Turner. Einige sind großartig an der Bodenübung, andere am Balken und wieder andere am Sprung. Obwohl sie unterschiedliche Stile haben, kennen sie alle die Goldene Regel des Turnens: „Landen Sie nicht auf Ihrem Kopf." Der Trainer extrahiert diese sicheren, grundlegenden Bewegungen und legt sie in eine Bibliothek ab.
Der Choreograf (Hohe Ebene): Nun muss der Trainer eine neue Routine (eine nachgelagerte Aufgabe) unterrichten, die noch niemand gesehen hat. Anstatt den Turnern erneut beizubringen, wie sie aufstehen oder wie sie nicht fallen, wählt der Trainer einfach die richtigen Fähigkeiten aus der Bibliothek aus und verknüpft sie.

Da jede Fähigkeit in der Bibliothek bereits als sicher überprüft wurde (niemand in der Bibliothek landet auf dem Kopf), ist die neue Routine automatisch sicher, selbst wenn der Trainer für diese spezifische neue Routine nie explizit sagte „Landen Sie nicht auf Ihrem Kopf".

Wie es im Papier funktioniert

Die Forscher bauten ein System mit zwei Teilen:

Der Decoder (Der Fähigkeitslerner): Er betrachtet die Präferenzen der Menge und verwendet einen speziellen mathematischen Trick (ein sogenanntes VAE), um die verborgene „Persönlichkeit" hinter jeder Präferenz herauszufinden. Er lernt, dass „Nutzer X Geschwindigkeit mag" und „Nutzer Y Vorsicht mag", aber er lernt auch, dass alle von ihnen Abstürze hassen. Er wandelt diese in „sichere Fähigkeiten" um.
Der Komponist (Der Chef): Wenn eine neue Aufgabe eintrifft (wie „Fahre zum Laden"), versucht der Chef nicht, Sicherheit von Grund auf neu zu lernen. Er wählt einfach die beste Kombination aus vorgefertigten sicheren Fähigkeiten aus, um die Arbeit zu erledigen.

Die Ergebnisse

Das Team testete dies an Videospiele-Robotern (wie einem rennenden Geparden oder einem schwimmenden Schwimmer) und sogar an einer vereinfachten Version eines Chatbots.

Der alte Weg (Nur Aufgabe): Die Roboter erledigten die Aufgabe, prallten jedoch ständig zusammen oder sagten schädliche Dinge.
Der „Mix-and-Match"-Weg: Als sie versuchten, einfach die Scores zu mischen, waren die Roboter entweder zu gefährlich oder zu verwirrt, um gut zu funktionieren.
Der neue Weg (Skill-Komposition): Die Roboter lernten die neuen Aufgaben fast genauso gut wie die Experten, aber sie prallten fast nie zusammen oder sagten etwas Schädliches. Sie taten dies, ohne jemals explizit für die neue Aufgabe gesagt bekommen zu haben, dass „Sicherheit wichtig" ist; sie erbten die Sicherheit einfach von den gemeinsamen Gewohnheiten der Menge.

Das Fazit

Dieses Papier zeigt, dass wir nicht für jeden neuen Job Sicherheitsregeln perfekt definieren müssen. Stattdessen können wir eine diverse Menge von Menschen betrachten, die gemeinsamen Sicherheitsgewohnheiten finden, die sie alle teilen, diese Gewohnheiten in eine Bibliothek von „sicheren Bewegungen" verwandeln und dann die KI diese Bewegungen zusammenstellen lassen, um neue Probleme zu lösen. Es ist wie einem Roboter beizubringen, sicher zu sein, indem man ihm tausend verschiedene Menschen zeigt, die sich alle über eine Sache einig sind: Verletze niemanden.

Technische Zusammenfassung: Implizite Sicherheitsausrichtung aus Crowd-Präferenzen

Problemstellung

Reinforcement-Learning-(RL-)Agenten verlassen sich auf Belohnungsfunktionen, um Ziele zu erreichen, doch die Spezifikation von Belohnungen, die gewünschtes Verhalten vollständig erfassen – insbesondere implizite Sicherheitsbeschränkungen – ist berüchtigt schwierig. In komplexen Szenarien konzentrieren sich Designer oft auf die Aufgabenbewältigung und übersehen dabei unbeabsichtigt Sicherheitsaspekte (z. B. die Aufrechterhaltung von Sicherheitsmargen oder die Vermeidung aggressiven Verhaltens), was zu gefährlichem Agentenverhalten führt.

Während Reinforcement Learning from Human Feedback (RLHF) entwickelt wurde, um Agenten mit menschlichen Präferenzen in Einklang zu bringen, gehen die meisten bestehenden Methoden von einem einzigen, einheitlichen Satz von Nutzerwerten aus. In der Praxis stammen Präferenzdaten häufig von einer „Crowd" von Nutzern mit unterschiedlichen Aufgabenzielen und Verhaltensmustern. Diese Nutzer teilen jedoch oft implizite Sicherheitskriterien (z. B. die Vermeidung unsicherer Zustände), trotz ihrer unterschiedlichen Ziele. Die zentrale Herausforderung, die in dieser Arbeit adressiert wird, besteht darin, wie diese geteilten, latenten Sicherheitskriterien aus heterogenen Crowd-Präferenzdaten entdeckt und auf nachgelagerte Aufgaben übertragen werden können, bei denen nur sicherheitsagnostische Aufgabenbelohnungen verfügbar sind.

Die Autoren identifizieren eine Einschränkung des „naiven" Ansatzes, bei dem einfach ein aus Crowd-Präferenzen gelerntes Belohnungsmodell mit einer nachgelagerten Aufgabenbelohnung kombiniert wird. Theoretische und empirische Analysen zeigen, dass dieser Ansatz zur Belohnungskombination zwei kritische Probleme aufweist:

Nutzerspezifische Verzerrung: Das gelernte Belohnungsmodell erfasst nicht nur geteilte Sicherheitskriterien, sondern auch nutzerspezifische Komponenten. Wenn der Crowd-Datensatz unausgewogen ist (z. B. leistet ein Nutzer den Großteil der Daten), wird das gelernte Belohnungssystem zugunsten der Ziele dieses spezifischen Nutzers verzerrt, was die Leistung bei anderen Aufgaben verschlechtert.
Empfindlichkeit gegenüber Gewichtung: Die Leistung ist hochgradig empfindlich gegenüber dem Trade-off-Gewicht zwischen der aus Präferenzen gelernten Belohnung und der Aufgabenbelohnung, was die Methode schwer zu justieren macht.

Methodik: Sichere RL auf Basis von Crowd-Präferenzen

Um diese Einschränkungen zu überwinden, schlagen die Autoren Safe Crowd Preference-based Reinforcement Learning vor, ein hierarchisches Framework, das Fertigkeiten (Skills) komponiert, anstatt Belohnungen zu kombinieren. Die Methodik besteht aus drei Hauptphasen:

1. Entdeckung von Fertigkeiten aus Crowd-Präferenzen

Anstatt ein einzelnes globales Belohnungsmodell zu lernen, modelliert das Framework diverse, von Nutzern bevorzugte Verhaltensweisen als niedrigstufige Fertigkeiten.

Inferenz latenter Variablen: Da der wahre Nutzerkontext $z$ (der spezifische Präferenzen bestimmt) nicht beobachtet wird, verwendet die Methode einen Variational Auto-Encoder (VAE), um eine latente Variable $z'$ aus den Crowd-Präferenzdaten zu inferieren. Diese $z'$ dient als Stellvertreter für den zugrunde liegenden Nutzerkontext.
Latent-konditioniertes Lernen: Das Framework lernt eine latent-konditionierte Belohnungsfunktion $r_\phi(s, a, z')$ $r_{ϕ} (s, a, z^{'})$ oder lernt direkt eine latent-konditionierte Policy $\pi_\theta(a|s, z')$ $π_{θ} (a ∣ s, z^{'})$ .
- Safe-VPL: Verwendet einen Variational Preference Learning (VPL)-Ansatz mit einem Bradley-Terry-Modell, um eine auf $z'$ konditionierte Belohnung zu lernen, gefolgt von Offline-RL (z. B. IQL), um die niedrigstufige Policy zu lernen.
- Safe-CPL: Eine neuartige Variante, die Contrastive Preference Learning (CPL) in das VPL-Framework integriert. Sie lernt direkt die latent-konditionierte Policy $\pi_\theta(a|s, z')$ ohne eine explizite Zwischenphase des Belohnungslernens und vermeidet damit die Instabilität der RL-Optimierung.

2. Zusammensetzung der übergeordneten Policy

Für eine neue nachgelagerte Aufgabe mit einer sicherheitsagnostischen Belohnung $r_{new}$ wird eine übergeordnete Policy $\pi_h(z'|s)$ trainiert, um die gelernten niedrigstufigen Fertigkeiten zu komponieren.

Auswahl der Aktion: Die übergeordnete Policy gibt eine latente Variable $z'$ aus, die eine spezifische niedrigstufige Fertigkeit $\pi_l(a|s, z')$ indiziert, um die finale Aktion zu generieren.
Vererbung von Sicherheit: Da alle niedrigstufigen Fertigkeiten aus Crowd-Präferenzen gelernt wurden, kodieren sie inhärent die geteilten Sicherheitskriterien (z. B. die Vermeidung unsicherer Zustands-Aktions-Paare). Indem der Agent auf die Komposition dieser Fertigkeiten beschränkt wird, wird Sicherheit durchgesetzt, ohne dass im nachgelagerten Task explizite Sicherheitssignale vorhanden sind.
Regularisierung: Um zu verhindern, dass die übergeordnete Policy außerhalb der Verteilung liegende Fertigkeiten auswählt, die zu unsicherem Verhalten führen könnten, wird ein Regularisierungsterm angewendet, um die ausgewählte latente Variable nahe an der aus den Crowd-Daten gelernten Prior-Verteilung zu halten.

3. Training im nachgelagerten Kontext

Die übergeordnete Policy wird trainiert, um die nachgelagerte Aufgabenbelohnung $r_{new}$ zu maximieren, während sie sich an die durch den Raum der niedrigstufigen Fertigkeiten auferlegten Beschränkungen hält. Dies kann sowohl in Online-Szenarien (mit Interaktion) als auch in Offline-Szenarien (unter Verwendung nur vorhandener Datensätze) durchgeführt werden.

Hauptbeiträge

Problemformulierung: Das Papier formalisiert das Problem der Übertragung geteilter Sicherheitsziele von heterogenen Crowd-Präferenzen auf nachgelagerte Aufgaben und identifiziert die Einschränkungen der direkten Belohnungskombination bei Präferenz-Ungleichgewicht.
Theoretische Analyse: Die Autoren liefern theoretische Beweise, die zeigen, dass:
- Ein einzelnes aus Crowd-Daten gelerntes Belohnungsmodell sichere Trajektorien gegenüber unsicheren bevorzugt, wenn die Sicherheitsstrafe ausreichend groß ist (Theorem 4.2).
- Wenn die Crowd-Daten jedoch unausgewogen sind, die gelernte Belohnungsreihenfolge mit den spezifischen Zielen des Mehrheitsnutzers übereinstimmt, was zu einer Leistungsverschlechterung führt (Theorem 4.3).
- Der vorgeschlagene Ansatz zur Fertigkeitskomposition Sicherheit garantiert, wenn die niedrigstufigen Policies in Bezug auf ihre konditionierten Nutzen optimal sind (Corollary A.6).
Algorithmisches Framework: Der Vorschlag eines hierarchischen Frameworks (Safe-VPL und Safe-CPL), das die Entdeckung von Fertigkeiten von der Aufgabenoptimierung entkoppelt und die Wiederverwendung sicherheitsausgerichteten Verhaltens über verschiedene Aufgaben hinweg ermöglicht.
Empirische Validierung: Umfassende Experimente in sechs Safe-RL-Umgebungen (Reach, Run, Circle, Ant-vel, Swimmer-vel, HalfCheetah-vel) und eine Proof-of-Concept-Aufgabe für Large Language Models (LLM) im Bereich der Konversation.

Experimentelle Ergebnisse

Die Methode wurde gegen mehrere Baselines evaluiert, darunter Oracle-Methoden (trainiert mit Ground-Truth-Sicherheitssignalen), Task-Only (nur Optimierung der Aufgabenbelohnung), Safety-Only Preference Learning (SOPL) und Reward Combination (RC).

Sicherheitsleistung: Die vorgeschlagenen Methoden (Safe-VPL und Safe-CPL) reduzierten die Sicherheitskosten im Vergleich zu Task-Only-Baselines erheblich. Im Offline-Setting sanken die durchschnittlichen normalisierten Sicherheitskosten von 1,0 (Task-Only) auf etwa 0,02–0,03, was mit Oracle-Methoden vergleichbar ist.
Aufgabenleistung: Der Ansatz erreichte eine Aufgabenleistung, die mit Oracle-Methoden vergleichbar ist, und übertraf Reward-Combination-(RC-)Methoden signifikant, insbesondere in Szenarien mit unausgewogenen Präferenzen.
Robustheit gegenüber Ungleichgewicht: Während die RC-Leistung stark abfiel, wenn ein Nutzer den Großteil der Daten beisteuerte (was zu einer Abweichung von der Oracle-Grenze führte), blieb die vorgeschlagene Methode zur Fertigkeitskomposition robust und blieb unabhängig vom Präferenzungleichgewicht nahe an der Oracle-Leistung.
LLM-Evaluation: In einem vereinfachten bandit-basierten sprachbasierten Setting vermied die Methode erfolgreich schädliche Antworten, während sie eine starke Aufgabenleistung erzielte, wohingegen Task-Only-Agenten häufig schädliche Antworten wählten, um die Belohnung zu maximieren.

Bedeutung und Behauptungen

Das Papier behauptet, dass seine primäre Bedeutung darin liegt zu demonstrieren, dass implizite Sicherheitsziele aus Crowd-Präferenzen entdeckt und übertragen werden können, ohne dass explizite Sicherheitsbelohnungen oder Demonstrationen erforderlich sind.

Wiederverwendung von Daten: Der Ansatz ermöglicht die Wiederverwendung von Crowd-Präferenzdaten über Aufgaben hinweg, selbst wenn diese Präferenzen nicht für eine spezifische nachgelagerte Aufgabe gesammelt wurden, was potenziell die Kosten für wiederholte Erhebungen menschlichen Feedbacks senkt.
Minderung von Herausforderungen beim Belohnungsdesign: Durch die Nutzung impliziter Sicherheitssignale adressiert die Methode das häufige Problem unvollständiger oder falsch spezifizierter, vom Menschen entworfener Belohnungen.
Skalierbarkeit: Das Framework geht davon aus, dass Crowd-Präferenzen einen geteilten Konsens über Sicherheit widerspiegeln. Obwohl die Autoren anerkennen, dass reales Rauschen oder adversariales Feedback dies herausfordern könnten, argumentieren sie, dass ihre Methode einen robusten Weg bietet, sichere Verhaltensweisen in Domänen zu erlernen, in denen Sicherheits specifications schwer formal zu definieren sind.

Die Autoren nehmen eine bescheidene Haltung ein und stellen fest, dass ihre Experimente auf synthetisch annotierten Präferenzen basieren, die aus Ground-Truth-Belohnungen generiert wurden, anstatt auf natürlichem menschlichem Feedback, und dass zukünftige Arbeiten erforderlich sind, um den Ansatz gegenüber lauterer, realer menschlicher Daten zu validieren.