🤖 AI

Safety Alignment of LMs via Non-cooperative Games

Dieses Paper führt AdvGame ein, ein neuartiges Paradigma für das Safety Alignment, welches die Interaktion zwischen einem Angreifer- und einem Verteidiger-Sprachmodell als ein Nullsummenspiel mit nicht-null Summe (non-zero-sum game) rahmt, das mittels Online-Reinforcement-Learning mit präferenzbasierten Belohnungen trainiert wird, was zu einem robusteren und hilfreicheren Verteidiger sowie einem leistungsstarken, allgemeingültigen Red-Teaming-Agenten führt.

Ursprüngliche Autoren: Anselm Paulus, Ilia Kulikov, Brandon Amos, Rémi Munos, Ivan Evtimov, Kamalika Chaudhuri, Arman Zharmagambetov

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anselm Paulus, Ilia Kulikov, Brandon Amos, Rémi Munos, Ivan Evtimov, Kamalika Chaudhuri, Arman Zharmagambetov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber unerfahrenen Roboter (dem Verteidiger) beizubringen, wie er mit einer chaotischen Welt voller tückischer Fragen umgeht, von denen einige gefährlich sind.

Traditionell versuchten Entwickler, diesen Roboter zu lehren, indem sie ihm eine Liste von „schlechten Fragen“ zeigten und sagten: „Beantworte diese nicht.“ Aber der Roboter ist intelligent; er lernt schließlich, die Liste auswendig zu lernen, scheitert aber, wenn ihm jemand eine neue Art von schlechter Frage stellt, die er noch nicht gesehen hat. Es ist, als würde man einem Sicherheitswachmann beibringen, nur die Gesichter auf einem Steckbrief zu erkennen, anstatt ihm beizubringen, allgemein verdächtiges Verhalten zu erkennen.

Dieses Paper stellt eine neue Methode vor, den Roboter AdvGame zu nennen. Anstatt eines Lehrers und eines Schülers wird ein Videospiel mit zwei Spielern eingerichtet:

Der Angreifer (Der „Trickster“): Ein Roboter, dessen einzige Aufgabe es ist, neue, clevere Wege zu erfinden, um den Verteidiger dazu zu bringen, etwas Schädliches zu sagen.
Der Verteidiger (Der „Wächter“): Ein Roboter, dessen Aufgabe es ist, hilfreiche Fragen zu beantworten, während er den Fallen des Tricksters sicher ausweicht.

Die Kernidee: Ein niemals endender Tanz

In der alten Methode versuchte der Trickster, den Wächter zu brechen, dann wurde der Wächter geflickt, dann versuchte es der Trickster erneut. Es war ein langsames, Hin-und-Her-Spiel von „Katze und Maus“.

In AdvGame spielen sie simultan.

Der Trickster versucht, eine neue Lücke in der Rüstung des Wächters zu finden.
Der Wächter lernt sofort, diese Lücke zu schließen.
Da sie gleichzeitig spielen, lernt der Wächter, mit jedem neuen Trick umzugehen, den der Trickster hervorbringt, und nicht nur mit denen, die er gestern gesehen hat.

Das Paper argumentiert, dass dies kein „Nullsummenspiel“ ist (bei dem einer gewinnt und der andere verliert). Stattdessen ist es ein Nicht-Nullsummenspiel. Der Trickster versucht nicht, den Wächter zu zerstören; er versucht, den Wächter besser zu machen, indem er seine Schwächen findet. Der Wächter versucht nicht, den Trickster zum Schweigen zu bringen; er versucht, hilfreich zu bleiben, während er sich weigert, getäuscht zu werden.

Die Bestenliste: „Besser als“ vs. „Wie viele Punkte“

Eine wesentliche Innovation in diesem Paper ist die Art und Weise, wie die Spieler bewertet werden.

Die alte Methode (Punktweise): Ein Richter vergibt eine Punktzahl wie „7 von 10“ zu einer einzelnen Antwort. Das ist schwierig, da eine „7“ subjektiv ist. Der Roboter könnte lernen, das System zu manipulieren, indem er Antworten gibt, die dem Richter gut erscheinen, aber tatsächlich nicht sicher sind (wie ein Schüler, der den Lösungsschlüssel auswendig lernt, anstatt das Fachgebiet zu verstehen).
Die neue Methode (Paarweise): Dem Richter werden zwei Antworten nebeneinander gezeigt, und er wird einfach gefragt: „Welche ist besser?“
- Analogie: Anstatt einen Food-Kritiker zu fragen, einen Burger auf einer Skala von 1 bis 10 zu bewerten (was schwer zu kalibrieren ist), fragt man einfach: „Ist Burger A besser als Burger B?“ Das ist viel schwerer zu betrügen und liefert ein klareres Signal dafür, was „gut“ tatsächlich bedeutet.

Die Ergebnisse: Stärker und Schlauer

Das Paper testete diese Methode an zwei populären Roboter-Modellen (Llama und Qwen). Hier ist, was sie herausfanden:

Der Wächter wurde widerstandsfähiger: Die Verteidiger-Modelle, die mit AdvGame trainiert wurden, waren viel schwerer zu täuschen. Bei Tests gegen bekannte „Jailbreak“-Angriffe (Wege, um Sicherheitsfilter zu umgehen) hielten sie sich viel besser als Modelle, die mit alten Methoden trainiert wurden.
Der Wächter blieb hilfreich: Ein häufiges Problem beim Sicherheitstraining ist, dass der Roboter zu vorsichtig wird und harmlose Fragen verweigert (wie „Wie töte ich einen Computerprozess?“). AdvGame gelang es, den Roboter hilfreich und nützlich zu halten, während er gleichzeitig sicher blieb.
Der Trickster wurde zu einem Super-Werkzeug: Der Angreifer-Roboter verschwand nicht nach dem Training. Er wurde zu einem leistungsstarken „Red Teaming“-Werkzeug. Das bedeutet, dass der Angreifer selbst nun verwendet werden kann, um andere Roboter zu testen, um zu sehen, ob sie sicher sind – er fungt als professioneller Stresstester.

Das Geheimrezept

Das Paper hebt drei Gründe hervor, warum dies so gut funktioniert hat:

Zwei separate Roboter: Sie verwendeten nicht einen Roboter für beide Rollen (der sich verwirren könnte). Sie verwendeten zwei unterschiedliche Modelle, sodass der Angreifer darauf fokussiert bleibt zu attackieren und der Verteidiger darauf, zu verteidigen.
Der „Besser als“-Richter: Die Verwendung des paarweisen Vergleichs (welches ist besser?) verhinderte, dass die Roboter das Bewertungssystem austricksten.
Der „Gleitender Durchschnitt“-Trick: Sie verwendeten eine Technik namens EMA (Exponential Moving Average). Stellen Sie sich vor, der Wächter ist ein Schüler, der eine Prüfung ablegt. Anstatt in Panik zu geraten, weil er eine Frage falsch beantwortet hat, betrachtet er seine Leistung der letzten Wochen, um sein wahres Können zu sehen. Dies hält das Training stabil und verhindert, dass der Roboter auf ein einzelnes schlechtes Beispiel überreagiert.

Zusammenfassung

AdvGame ist wie ein Fitnessstudio, in dem ein Roboter lernt, Schlägen auszuweichen. Anstatt dass ein Trainer ihm ein Video eines Schlages zeigt und ihm sagt, wie er auszuweichen hat, trainiert der Roboter durch Sparring mit einem Partner, der in Echtzeit ständig neue Schläge erfindet. Das Ergebnis ist ein Roboter, der nicht nur sicherer, sondern auch nützlicher ist, und ein Sparring-Partner, der so gut darin ist, Lücken in der Verteidigung zu finden, dass er in Zukunft dazu verwendet werden kann, jeden anderen Roboter zu testen.

Technisches Resümee: Sicherheitsalignment von LMs via nicht-kooperativer Spiele

Problemstellung

Die Gewährleistung der Sicherheit von Large Language Models (LMs) bei gleichzeitiger Erhaltung ihres Nutzens bleibt eine kritische Herausforderung. Aktuelle Ansätze zum Sicherheitsalignment beruhen typischerweise auf sequenziellem adversariellem Training: Ein Attacker-LM generiert adversarielle Prompts (Jailbreaks), und ein Defender-LM wird darauf feinjustiert, diesen zu widerstehen. Dieser Prozess wird oft iterativ in einer „Katze-und-Maus“-Manier angewendet. Die Autoren argumentieren, dass diese sequenzielle Alternation unter Ineffizienzen und potenziellen Instabilitäten leidet, die der alternierenden Optimierung eigen sind. Zudem haben bestehende Methoden oft Schwierigkeiten, Robustheit gegenüber adaptiven Angriffen aufrechtzuerhalten, was zu nicht trivialen Jailbreak-Erfolgsraten auf Standard-Benchmarks führt. Darüber hinaus verlassen sich viele Ansätze auf punktuelle Belohnungssignale von Judge-Modellen, die anfällig für Reward Hacking sind, da es schwierig ist, absolute Sicherheitswerte zu kalibrieren und die subjektive Natur von Sicherheitsverletzungen schwer fassbar ist.

Methodik: AdvGame

Das Paper stellt AdvGame vor, ein neues Paradigma, das Sicherheitsalignment als ein Nullsummenspiel (nicht-kooperativ) zwischen zwei unterschiedlichen Agenten formuliert: einem Attacker LM ( $\rho$ ) und einem Defender LM ( $\pi$ ). Im Gegensatz zu bisherigen „Self-Play“-Ansätzen, bei denen ein einzelnes Modell beide Rollen übernimmt (und somit die Parameter teilt), trainiert AdvGame zwei separate Modelle gleichzeitig mittels Online-Reinforcement-Learning.

Kernkomponenten

Nicht-Nullsummen-Formulierung: Das Spiel wird als Nicht-Nullsummenspiel definiert, da der Attacker und der Defender über distinkte, nicht perfekt entgegengesetzte Ziele verfügen.
- Ziel des Defenders: Die Erzeugung sicherer, richtlinienkonformer und nützlicher Antworten. Bei harmlosen Anfragen sollte er konform reagieren; bei schädlichen Anfragen sollte er eine „Ausweichreaktion“ (safe deflection – sichere, semantisch benachbarte Informationen) bieten, statt einer direkten Verweigerung oder einer schädlichen Ausgabe.
- Ziel des Attackers: Das Herbeiführen von Fehlern (Denial of Service) oder Richtlinienverstößen beim Defender. Entscheidend ist, dass der Attacker dafür belohnt wird, den Defender dazu zu bringen, die Art der Anfrage falsch zu klassifizieren (z. B. eine harmlose Anfrage so aussehen zu lassen, als sei sie schädlich, um eine Überreaktion/Over-Refusal auszulösen, oder eine schädliche Anfrage so aussehen zu lassen, als sei sie harmlos, um die Sicherheit zu umgehen). Dies verhindert, dass der Attacker zu degenerierten Lösungen wie dem Generieren von Kauderwelsch konvergiert, was in einem Nullsummenszenario technisch gesehen ein „Sieg“ wäre, aber die Robustheit nicht effektiv testen würde.
Präferenzbasierte Optimierung: Anstatt punktuelle skalare Belohnungen zu verwenden (die schwer zu kalibrieren sind), nutzt AdvGame paarweise Präferenzsignale.
- Judges: Ein Judge-LM bewertet Paare von Antworten (für den Defender) oder Paare von Attack-Prompts und deren resultierenden Antworten (für den Attacker).
- Defender Judge: Wählt die Antwort aus, die konformer ist (für harmlose Seeds) oder eine bessere Ausweichreaktion bietet (für schädliche Seeds).
- Attacker Judge: Wählt den Attack-Prompt aus, der den Defender erfolgreich täuscht. Die Präferenzlogik wird basierend auf dem Seed-Typ vertauscht, um sicherzustellen, dass der Attacker lernt, die Klassifizierung des Defenders zu manipulieren, anstatt lediglich Rauschen zu generieren.
- Faithfulness (Treue): Ein separater Judge stellt sicher, dass die Prompts des Attackers der ursprünglichen Intention des Seeds treu bleiben, um zu verhindern, dass der Attacker die zugrunde liegende Bedeutung der Anfrage verändert.
Trainingsalgorithmus (AdvGame-DPO-MD):
- Die Methode adaptiert Konzepte von Direct Preference Optimization (DPO) und Nash Mirror Descent (Nash-MD) für dieses gemeinsame Setting.
- Off-Policy Sampling: Um die Trainingsstabilität zu verbessern, verwendet der Algorithmus Exponential Moving Average (EMA) Modelle ( $\pi^\gamma, \rho^\gamma$ ), um Online-Daten (Rollouts) zu generieren, anstatt die aktuelle Policy direkt zu nutzen. Dieser Off-Policy-Ansatz hilft, Updates zu glätten und verhindert, dass das Modell auf rezente Änderungen überfittet, was ein häufiges Problem im reinen On-Policy RL ist.
- Loss-Funktionen: Die Autoren leiten spezifische DPO-ähnliche Loss-Funktionen für sowohl den Attacker als auch den Defender ab, die das Nash-Gleichgewicht des Spiels unter Verwendung der paarweisen Präferenzdaten optimieren.

Zentrale Beiträge

Gemeinsames nicht-kooperatives Training: Das Paper schlägt ein Framework vor, in dem Attacker und Defender simultan in einem Nicht-Nullsummenspiel trainiert werden, was sich von der sequenziellen Alternation oder dem Parameter-Sharing beim Self-Play abhebt.
Präferenzbasierte Supervision: Die Methode ersetzt fragile punktuelle Belohnungssignale durch robuste paarweise Präferenzvergleiche, wodurch Reward Hacking und Kalibrierungsprobleme gemildert werden.
Off-Policy Stabilität: Die Integration von EMA-basiertem Off-Policy Sampling (AdvGame-DPO-MD) zeigt eine signifikante Verbesserung der Trainingsstabilität im Vergleich zu On-Policy-Methoden wie GRPO.
Dual-Utility Output: Das Framework erzeugt nicht nur einen robusten Defender, sondern auch einen starken, allgemeingültigen Attacker, der zu einem fähigen Red-Teaming-Agenten konvergiert.

Experimentelle Ergebnisse

Die Autoren evaluierten AdvGame auf Llama3.1-8B und Qwen2.5-7B Modellen gegen Baselines, einschließlich der ursprünglichen Instruction-tuned Modelle, unzensierter Versionen und der Self-RedTeam Baseline.

Utility-Safety-Tradeoff: AdvGame-Varianten (insbesondere AdvGame-DPO-MD) bewahrten erfolgreich den ursprünglichen Nutzen des Modells (gemessen an MMLU, IFBench, AlpacaEval2, etc.), während sie die Sicherheit signifikant verbesserten. Im Gegensatz dazu führte die Self-RedTeam-Baseline oft zu spürbaren Einbußen beim Nutzen.
Sicherheitsleistung: Auf Sicherheits-Benchmarks wie HarmBench, WildJailbreak (WJB) und WildGuardTest erreichte AdvGame-DPO-MD eine State-of-the-Art-Performance und reduzierte die Attack Success Rates (ASR) deutlich stärker als die Baselines. Beispielsweise reduzierte AdvGame auf Qwen2.5-7B die HarmBench ASR von 16,8 % (Self-RedTeam) auf 4,7 %.
Robustheit gegenüber adaptiven Angriffen: Die Methode zeigte eine überlegene Robustheit gegenüber adaptiven Jailbreaking-Angriffen (PAIR, TAP, GCG) im Vergleich zu Fixed-Prompt-Defenses und sequenziellen Trainingsmethoden.
Attacker-Fähigkeit: Der trainierte Attacker-LM erreichte eine Leistung, die mit starken adaptiven Angriffsmethoden vergleichbar ist (erzielte ca. 56 % ASR auf Qwen2.5-7B), was seine Nützlichkeit als Red-Teaming-Werkzeug validiert.
Ablationsstudien:
- DPO/IPO vs. GRPO: Präferenzbasierte Methoden (DPO/IPO) übertrafen GRPO, welches eine instabile Trainingsdynamik und niedrigere Sicherheitswerte aufwies.
- Pairwise vs. Point-wise: Paarweise Judges lieferten bessere Utility-Safety-Tradeoffs, während punktuelle Judges zu Reward Hacking und Leistungseinbußen führten.
- EMA vs. On-Policy: Die Verwendung von EMA für die Off-Policy-Generierung war entscheidend für die Stabilität; das Entfernen von EMA verschlechterte die Sicherheitsmetriken erheblich.
- Training des Attackers: Das aktive Training des Attackers (anstatt ihn fest zu halten) war essenziell, um diverse und herausfordernde Angriffe zu generieren, was zu einem robusteren Defender führte.

Bedeutung und Ansprüche

Das Paper behauptet, dass AdvGame die Pareto-Front von Sicherheit und Nutzen verschiebt und einen Defender hervorbringt, der gleichzeitig hilfreicher und resistenter gegen adversarielle Angriffe ist. Durch die Formalisierung von Sicherheitsalignment als ein nicht-kooperatives Spiel mit präferenzbasierten Belohnungen adressiert die Methode die Ineffizienzen des sequenziellen Trainings und die Instabilität der punktuellen Reward-Optimierung.

Eine zentrale Bedeutung, die hervorgehoben wird, ist die Erzeugung eines wiederverwendbaren Red-Teaming-Agenten. Der trainierte Attacker-LM dient als systematisches Werkzeug, um beliebige Zielmodelle zu prüfen und sicherheitsrelevante Fehlermodi frühzeitig in der Entwicklung aufzudecken. Die Autoren betonen, dass dieser Ansatz eine engere Feedbackschleife zwischen Entdeckung und Behebung unterstützt und somit die Geschwindigkeit und Abdeckung von Sicherheitsbewertungen verbessert.

Die Arbeit räumt Einschränkungen ein und merkt an, dass sie sich ausschließlich auf natürlichsprachliche, für Menschen verständliche Angriffe konzentriert und keine nicht lesbaren Angriffsequenzen (z. B. GCG) abdeckt. Sie postuliert jedoch, dass zukünftige Arbeiten im Bereich des Reward-Model-Designs und die Erweiterung auf andere Angriffsmodalitäten die Robustheit spieltheoretischer Ansätze zur LM-Sicherheit weiter erhöhen könnten.