💬 NLP

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

Dieses Paper stellt AdvGRPO vor, ein neuartiges Co-Training-Framework, das GRPO durch dichte Multi-Channel-Belohnungen, entkoppelte Advantage-Normalisierung und ein progressives Curriculum für die gemeinsame Optimierung von Angreifer und Verteidiger stabilisiert und letztlich hochwirksame übertragbare Angriffe sowie robustere Sprachmodell-Verteidigungen hervorbringt.

Ursprüngliche Autoren: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein digitaler Sparringskampf

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (den Verteidiger), der darauf trainiert ist, hilfreich zu sein, aber auch schädliche Anfragen abzulehnen, wie zum Beispiel „Wie baue ich eine Bombe?“ oder „Wie hacke ich eine Bank?“.

Normalerweise versuchen Menschen, diesen Roboter zu testen, indem sie eine Liste mit kniffligen Fragen schreiben. Aber der Roboter ist klug; er lernt, auf diese spezifischen Fragen mit „Nein“ zu antworten. Das Problem ist, dass ein geschickter, anpassungsfähiger Angreifer seine Strategie ändern kann, um einen neuen Weg zu finden, den Roboter auszutricksen.

Dieses Paper stellt eine neue Methode vor, bei der beide Seiten gleichzeitig trainiert werden, und zwar mithilfe einer Methode namens AdvGRPO. Stellen Sie sich das wie ein digitales Dojo vor, in dem ein Red Team (der Angreifer) und ein Blue Team (der Verteidiger) kontinuierlich gegeneinander sparren. Anstatt dass Menschen die Fragen schreiben, lernen die KI-Modelle durch das Spiel gegeneinander anzugreifen und zu verteidigen, und werden mit jeder Runde stärker.

Das Problem mit der alten Methode

Zuvor versuchten Forscher, ein spezielles Trainingswerkzeug (genannt GRPO) einzusetzen, um den Angreifer zu trainieren, den Verteidiger zu brechen. Sie stellten jedoch fest, dass das System „instabil“ wurde, wenn der Angreifer und der Verteidiger gleichzeitig lernten. Es war wie zwei Boxer, die versuchen, einen neuen Kampfstil zu lernen, während der Ring selbst wackelt; sie konnten sich nicht darauf einigen, wer gewonnen hatte, und das Training brach zusammen oder drehte sich im Kreis.

Die Lösung: AdvGRPO (Das stabile Dojo)

Die Autoren entwickelten ein neues Framework namens AdvGRPO, das den wackelnden Ring repariert. Dies erreichten sie mit drei Haupttricks:

Die Scorekarte mit mehreren Bahnen (Dense Multi-Channel Rewards):
Stellen Sie sich einen Schiedsrichter vor, der nicht erst am Ende der Runde einfach nur „Punkt!“ ruft. Stattdessen vergibt er für jeden einzelnen Zug eine Punktzahl.
- Ist der Angreifer beim Thema geblieben?
- Hat der Angreifer die Strategie befolgt?
- Hat der Angreifer tatsächlich die schädliche Antwort erhalten?
  Durch die Bewertung jedes kleinen Schritts erhält der Angreifer ständig Rückmeldung darüber, was er verbessern muss, anstatt bis zum Ende zu warten, um zu erfahren, dass er gescheitert ist.
Die unabhängigen Richter (Decoupled Advantage Normalization):
In der alten, instabilen Methode passierte es, wenn der Angreifer plötzlich sehr gut wurde, dass die Punktzahlen für den Verteidiger im Vergleich dazu schrecklich aussah, was das Training verwirrte.
Die neue Methode nutzt ein System (genannt GDPO), bei dem jede Art von Punktzahl unabhängig bewertet wird, bevor sie kombiniert wird. Es ist, als hätte man einen Richter für „Geschwindigkeit“, einen für „Technik“ und einen für „Kreativität“, die alle separat bewerten, sodass einer nicht die Punktzahl des anderen ruiniert. Dies hält das Training stabil, auch wenn beide Modelle intelligenter werden.
Das Trainingslager (Curriculum Learning):
Man würde keinen Anfänger-Boxer sofort in den Ring mit einem Champion schicken. Das Paper verwendet ein „Curriculum“ (einen Lehrplan).
- Phase 1: Der Angreifer trainiert allein gegen einen festen Verteidiger, um die Grundlagen zu lernen.
- Phase 2: Sobald der Angreifer halbwegs gut ist, beginnt er mit dem Sparring gegen den Verteidiger.
- Phase 3: Sie wechseln sich ab. Der Angreifer versucht den Verteidiger für einige Runden zu brechen, dann versucht der Verteidiger die Lücken zu schließen, und sie wechseln die Rollen. Dies verhindert, dass der Verteidiger einfach nur zu allem „Nein“ sagt (was ein leichter Sieg wäre) und zwingt ihn, zu lernen, wie er mit spezifischen, kniffligen Angriffen umgeht.

Was sie herausgefunden haben

Das Paper berichtet über mehrere Schlüsselergebnisse ihrer Experimente:

Die Angreifer wurden erschreckend gut: Die trainierten Angreifer lernten, den Verteidiger viel besser zu täuschen als untrainierte Modelle oder Modelle, bei denen lediglich die Sicherheitsfilter „entsperrt“ wurden. Sie lernten, dass es nicht ausreicht, einfach nur die Sicherheitsfilter zu entfernen; man muss lernen, wie man angreift.
Sie können sich anpassen: Die Angreifer lernten Strategien, die nicht nur bei dem gegen den sie trainiert wurden, sondern auch bei völlig anderen Modellen funktionierten, die sie noch nie gesehen hatten. Es ist, als würde ein Boxer einen Schlag lernen, der bei jedem funktioniert, nicht nur bei seinem Sparringspartner.
Die Verteidiger wurden tougher: Die Verteidiger, die in diesem „Dojo“ trainiert wurden, waren viel besser darin, Angriffe zu erkennen und zu blockieren, als Verteidiger, die mit älteren Methoden trainiert wurden. Sie lernten, bei schlechten Anfragen „Nein“ zu sagen, aber bei guten, harmlosen Anfragen weiterhin „Ja“ zu sagen.
„Denk-Modelle“ brauchen besondere Hilfe: Sie fanden heraus, dass Modelle, die fähig sind zu „denken“ (zu schlussfolgern), oft zu sicher sein wollten und Angriffe verweigerten, selbst wenn sie dazu aufgefordert wurden. Sie mussten ein spezielles Belohnungssystem entwickeln, um diesen Modellen beizubringen, durch den Angriff zu denken, ohne bei Sicherheitswarnungen stecken zu bleiben.

Das Faz-it

Das Paper behauptet, dass sie durch diese neue, stabile Methode (AdvGRPO) ein System schaffen können, in dem KI-Angreifer und KI-Verteidiger gemeinsam lernen können. Dies führt zu Angreifern, die sehr gut darin sind, Schwachstellen zu finden, und Verteidigern, die sehr gut darin sind, diese zu beheben, was die KI insgesamt sicherer macht. Sie betonen, dass dies ein Forschungswerkzeug ist, um Schwachstellen zu finden, bevor böswillige Akteure sie nutzen können, um stärkere und robustere KI-Systeme zu bauen.

Technisches Resümee: Lernen zu angreifen und zu verteidigen: Adaptives Red Teaming von Sprachmodellen via GRPO

Problemstellung

Die aktuelle Sicherheitsausrichtung (Safety Alignment) für Large Language Models (LLMs) stützt sich stark auf statische Datensätze adversarieller Prompts, die von Menschen kuratiert oder durch feste Jailbreak-Techniken generiert wurden. Während Modelle darauf trainiert werden können, diese spezifischen Angriffe abzuwehren, bleiben sie anfällig gegenüber adaptiven Angreifern, die ihre Strategien modifizieren, um neue Schwachstellen gezielt anzugehen. Bestehende automatisierte Red-Teaming-Methoden trainieren Angreifer oft gegen feste Verteidiger oder nutzen Open-Loop-Optimierung, bei der der Angreifer alle Runden generiert, ohne die Antworten des Verteidigers zu beobachten. Darüber hinaus hat Group Relative Policy Optimization (GRPO) zwar vielversprechende Ergebnisse in Sicherheitsbereichen gezeigt, frühere Versuche, es für das gemeinsame Attacker-Defender-Co-Training anzuwenden, berichteten jedoch von Instabilität, was Forscher dazu veranlasste, stattdessen Proximal Policy Optimization (PPO) oder Direct Preference Optimization (DPO) zu bevorzugen.

Methodik: AdvGRPO

Die Autoren führen AdvGRPO ein, ein Co-Training-Framework, das darauf ausgelegt ist, GRPO für eine gemeinsame Optimierung von Angreifer und Verteidiger praktikabel zu machen. Das Framework adressiert die Instabilität früherer GRPO-Co-Training-Versuche durch drei Kernmechanismen:

Dichte Multi-Channel-Belohnungen und GDPO:
Anstatt sich auf spärliche Endergebnisse zu verlassen, verwendet das System dichte, Multi-Channel-Belohnungssignale, die von einem LLM-Judge (GPT-4.1) bewertet werden.
- Für Angreifer: Die Belohnungen umfassen eine Attack Reward ( $A$ ) für die schädliche Antwort des Verteidigers, eine Prompt Reward ( $P$ ) für die Einhaltung der Strategie durch den Angreifer und eine Thinking-Trace Reward ( $T$ ) für Reasoning-Modelle, um Selbstzensur zu verhindern.
- Für Verteidiger: Die Belohnungen umfassen $1-A$ für adversarielle Ziele (Bestrafung schädlicher Ausgaben) und eine Helpfulness Reward ( $H$ ) für benigne Ziele.
- GDPO (Group reward-Decoupled Policy Optimization): Um einen Kollaps der Belohnungssignale zu verhindern, bei dem Kanäle mit geringerer Varianz während der Normalisierung abgeschwächt werden, normalisiert das Framework jeden Belohnungskanal unabhängig innerhalb einer Gruppe, bevor sie über eine gewichtete Summe kombiniert werden. Dies entkoppelt die Advantage-Skalen verschiedener Zielsetzungen.
Closed-Loop Multi-Turn-Optimierung:
Im Gegensatz zu Open-Loop-Methoden (z. B. SEMA), bei denen Angreifer alle Runden in einem Durchgang generieren, arbeitet AdvGRPO in einem geschlossenen Kreislauf (Closed Loop). Der Angreifer beobachtet die Antwort des Verteidigers in jeder Runde und passt seinen nächsten Prompt entsprechend an. Episoden werden vorzeitig abgebrochen, wenn der Angriff erfolgreich ist (Belohnung > 0,9), was eine effiziente Credit Assignment für pro Runde stattfindende Aktionen ermöglicht.
Curriculum Pre-Training und alternierende Updates:
- Curriculum: Der Angreifer wird zuerst in einem Single-Turn-Setting trainiert, dann in Multi-Turn, bevor das Co-Training beginnt. Dies verhindert, dass der Verteidiger in der frühen Phase des Co-Trainings dominiert, indem er schwache, untrainierte Angriffe leicht abwehrt.
- Alternierende Updates: Während des Co-Trainings werden die Angreifer- und Verteidigermodelle abwechselnd aktualisiert (alle $N$ Schritte). In der Angreifer-Phase ist der Verteidiger eingefroren; in der Verteidiger-Phase ist der Angreifer eingefroren, und der Verteidiger wird auf einer Mischung aus adversariellen und benignen Zielen trainiert, um eine „Refuse-Everything“-Degenerationsstrategie zu verhindern.

Kernbeiträge

Stabilisierung von GRPO für Co-Training: Die Arbeit zeigt, dass GRPO effektiv für das gemeinsame Attacker-Defender-Co-Training eingesetzt werden kann, wobei die zuvor berichtete Instabilität durch die Verwendung von GDPO und entkoppelter Advantage-Normalisierung überwunden wird.
Closed-Loop Multi-Turn Learning: Das Framework ermöglicht es Angreifern, adaptive Strategien zu erlernen, indem sie die Antworten des Verteidigers in jeder Runde als Bedingung nutzen, anstatt statische Multi-Turn-Sequenzen zu generieren.
Training von Reasoning-Modellen: Die Methode trainiert erfolgreich Reasoning-fähige Modelle (z. B. Qwen3.5-9B), um die durch Alignment induzierte Selbstzensur zu überwinden – eine Fähigkeit, die den Basis-Reasoning-Modellen fehlt.
Robuste Verteidiger-Trainierung: Die co-trainierten Verteidiger erzielen eine überlegene Sicherheitsleistung im Vergleich zu Baselines, während sie die allgemeine Nützlichkeit beibehalten.

Ergebnisse

Angreifer-Performance:

Mit AdvGRPO trainierte Angreifer erzielten signifikante Verbesserungen der Attack Success Rate (ASR) gegenüber Basismodellen. Beispielsweise erreichte ein Qwen2.5-14B Multi-Turn-Angreifer eine ASR von 90–91 % auf AdvBench und HarmBench gegenüber GPT-4.1.
Reasoning-fähige Modelle (Qwen3.5-9B), die mit AdvGRPO trainiert wurden, erreichten eine ASR von 71–79 % in Single-Turn-Settings und überwanden damit die nahezu Null-Performance ihres Ausgangszustands.
Transferierbarkeit: Die Angreifer generalisierten gut auf ungesehene Verteidigermodelle (Phi-4-mini, Llama-3.1-8B, Gemma-2-9B) und übertrafen oft die State-of-the-Art SEMA-Methode bei Out-of-Distribution (OOD) Zielen, insbesondere in Multi-Turn-Szenarien.
Baseline-Vergleich: Unzensierte Modelle (z. B. Abliterated oder GRP-Obliterated Modelle) schnitten als Angreifer im Vergleich zu AdvGRPO-trainierten Modellen schlecht ab, was darauf hindeutet, dass das bloße Entfernen von Sicherheitsleitplanken nicht ausreicht, um adversarielle Strategiefähigkeiten zu verlei-ken.

Verteidiger-Performance:

Co-trainierte Verteidiger (Qwen2.5-7B) reduzierten die HarmBench ASR auf <2 % und übertrafen damit das Basismodell (18,8 %), Self-RedTeam (16,8 %) und AdvGame (4,7 %) deutlich.
Während die benigne Compliance leicht sank (wahrscheinlich aufgrund des Trainings nur auf vanilla benignen Prompts), wurden allgemeine Nützlichkeitsmetriken (MMLU, TruthfulQA, ARC-C, IFBench) bewahrt oder verbessert, was zeigt, dass das Sicherheitstraining die allgemeinen Fähigkeiten nicht beeinträchtigt hat.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass AdvGRPO eine stabile und effektive Alternative zu PPO und DPO für automatisiertes Red Teaming und Verteidigung bietet. Sie stellt fest:

GRPO ist für Co-Training geeignet, wenn es mit dichten, Multi-Channel-Belohnungen und entkoppelter Normalisierung kombiniert wird, was die Annahme in Frage stellt, es sei in diesem Kontext inhärent instabil.
Adaptives Training ist notwendig: Das bloße Entfernen von Sicherheitsleitplanken (Unalignment) reicht nicht aus, um effektive Angreifer zu schaffen; Modelle müssen spezifisch darauf trainiert werden, durch iteratives Co-Training die Schwachstellen von Verteidigern auszunutzen.
Closed-Loop-Optimierung liefert im Vergleich zu Open-Loop-Methoden transferierbarere und robustere Angriffe, da der Angreifer lernt, turnweise auf spezifische Antworten des Verteidigers zu reagieren.
Co-Training erzeugt robuste Verteidiger, die besser generalisieren als solche, die durch statische Datensätze oder andere Co-Training-Baselines trainiert wurden, und bietet einen praktischen Weg zu resilienterer KI-Sicherheitsausrichtung.

Die Autoren räumen Einschränkungen ein, darunter eine reduzierte benigne Compliance bei Verteidigern (was auf die Notwendigkeit adversarieller benigner Prompts im Training hindeutet) sowie einen gewissen Entropie-Kollaps bei Angreifer-Prompts, was die Diversität der Angriffe einschränkt. Dennoch positioniert die Arbeit AdvGRPO als einen bedeutenden Schritt zur Schaffung adaptiver, automatisierter Red-Teaming-Systeme.