Technische Samenvatting: Leren aanvallen en verdedigen: Adaptieve Red Teaming van taalmodellen via GRPO

Probleemstelling

De huidige veiligheidsafstemming voor Large Language Models (LLM's) leunt zwaar op statische datasets van adversariële prompts die door mensen zijn samengesteld of gegenereerd door vaste jailbreak-technieken. Hoewel modellen getraind kunnen worden om deze specifieke aanvallen af te weren, blijven ze kwetsbaar voor adaptieve aanvallers die hun strategieën aanpassen om nieuwe zwakheden te targeten. Bestaande geautomatiseerde red-teaming methoden trainen aanvallers vaak tegen vaste verdedigers of gebruiken open-loop optimalisatie waarbij de aanvaller alle beurten genereert zonder de reacties van de verdediger te observeren. Bovs staat Group Relative Policy Optimization (GRPO) veelbelovend gebleken in veiligheidsdomeinen, maar eerdere pogingen om het toe te passen op de co-training van aanvallers en verdedigers rapporteerden instabiliteit, waardoor onderzoekers de voorkeur gaven aan Proximal Policy Optimization (PPO) of Direct Preference Optimization (DPO).

Methodologie: AdvGRPO

De auteurs introduceren AdvGRPO, een co-trainingsframework ontworpen om GRPO bruikbaar te maken voor gezamenlijke optimalisatie van aanvallers en verdedigers. Het framework adresseert de instabiliteit van eerdere GRPO co-training pogingen via drie kernmechanismen:

1. Dense Multi-Channel Rewards en GDPO:
   In plaats van te vertrouwen op ijle (sparse) uiteindelijke uitkomsten, gebruikt het systeem dichte, multi-channel beloningssignalen gescoord door een LLM-judge (GPT-4.1).

   • Voor Aanvallers: Beloningen omvatten een Attack Reward ($A$) voor de schadelijke reactie van de verdediger, een Prompt Reward ($P$) voor de naleving van de strategie door de aanvaller, en een Thinking-Trace Reward ($T$) voor reasoning-modellen om zelfcensuur te voorkomen.
   • Voor Verdedigers: Beloningen omvatten $1-A$ voor adversariële doelstellingen (het bestraffen van schadelijke outputs) en een Helpfulness Reward ($H$) voor benevolente doelstellingen.
   • GDPO (Group reward-Decoupled Policy Optimization): Om het instorten van beloningssignalen te voorkomen waarbij kanalen met een lagere variantie worden gedempt tijdens normalisatie, normaliseert het framework elk beloningskanaal onafhankelijk binnen een groep voordat ze worden gecombineerd via een gewogen som. Dit ontkoppelt de advantage-schalen van verschillende doelstellingen.

2. Closed-Loop Multi-Turn Optimalisatie:
   In tegenstelling tot open-loop methoden (zoals SEMA) waarbij aanvallers alle beurten in één keer genereren, werkt AdvGRPO in een closed-loop. De aanvaller observeert de reactie van de verdediger bij elke beurt en past de volgende prompt daarop aan. Episoden worden vroegtijdig afgebroken als de aanval slaagt (beloning > 0.9), wat zorgt voor efficiënte credit assignment voor acties per beurt.

3. Curriculum Pre-training en Alternerende Updates:

   • Curriculum: De aanvaller wordt eerst getraind in een single-turn setting, daarna in multi-turn, voordat de co-training begint. Dit voorkomt dat de verdediger de vroege stadia van de co-training domineert door gemakkelijk zwakke, ongetrainde aanvallen af te weren.
   • Alternerende Updates: Tijdens de co-training worden de aanvaller- en verdedigingsmodellen afwisselend bijgewerkt (elke $N$ stappen). Tijdens de aanvallersfase is de verdediger bevroren; tijdens de verdedigersfase is de aanvaller bevroren, en wordt de verdefender getraind op een mix van adversariële en benevolente doelstellingen om een "alles weigeren" (refuse-everything) degeneratieve strategie te voorkomen.

Belangrijkste Bijdragen

• Stabiliseren van GRPO voor Co-Training: Het paper demonstreert dat GRPO effectief kan worden gebruikt voor de co-training van aanvallers en verdedigers, waarbij de eerdere meldingen van instabiliteit worden overwonnen door het gebruik van GDPO en ontkoppelde advantage-normalisatie.
• Closed-Loop Multi-Turn Leren: Het framework stelt aanvallers in staat om adaptieve strategieën te leren door te conditioneren op de reacties van de verdediger bij elke beurt, in plaats van statische multi-turn sequenties te genereren.
• Reasoning Model Attack Training: De methode traint succesvol reasoning-gecapaciteerde modellen (bijv. Qwen3.5-9B) om alignment-geïnduceerde zelfcensuur te overwinnen, een capaciteit die base reasoning-modellen missen.
• Robuuste Verdediger Training: De co-getrainde verdedigers bereiken superieure veiligheidsprestaties vergeleken met baselines, terwijl ze algemene bruikbaarheid behouden.

Resultaten

Prestaties van de Aanvaller:

• Met AdvGRPO getrainde aanvallers behaalden significante verbeteringen in de Attack Success Rate (ASR) ten opzichte van de base modellen. Zo behaalde een Qwen2.5-14B multi-turn aanvaller bijvoorbeeld 90–91% ASR op AdvBench en HarmBench tegenover GPT-4.1.
• Reasoning-gecapaciteerde modellen (Qwen3.5-9B) getraind met AdvGRPO behaalden 71–79% ASR in single-turn settings, waarmee ze de bijna nul-prestatie in hun base staat overwonnen.
• Transfereerbaarheid: De aanvallers generaliseerden goed naar ongeziene verdedigingsmodellen (Phi-4-mini, Llama-3.1-8B, Gemma-2-9B), en presteerden vaak beter dan de state-of-the-art SEMA-methode op out-of-distribution (OOD) doelstellingen, met name in multi-turn scenario's.
• Baseline Vergelijking: Uncensored modellen (bijv. Abliterated of GRP-Obliterated modellen) presteerden slecht als aanvallers vergeleken met de met AdvGRPO getrainde modellen, wat aangeeft dat het louter verwijderen van veiligheidsbarrières niet voldoende is voor adversariële strategie-capaciteiten.

Prestaties van de Verdediger:

• Co-getrainde verdedigers (Q्लोwen2.5-7B) verminderden de HarmBench ASR tot <2%, wat aanzienlijk beter is dan het base model (18.8%), Self-RedTeam (16.8%) en AdvGame (4.7%).
• Hoewel de benevolente compliantie licht afnam (waarschijnlijk door alleen op vanilla benevolente prompts te trainen), werden algemene bruikbaarheidsmetrieken (MMLU, TruthfulQA, ARC-C, IFBench) behouden of verbeterd, wat aangeeft dat de veiligheidstraining de algemene capaciteiten niet heeft verslechterd.

Betekenis en Claims

Het paper claimt dat AdvGRPO een stabiel en effectief alternatief biedt voor PPO en DPO voor geautomatiseerde red-teaming en defensie. Het stelt vast dat:

1. GRPO bruikbaar is voor co-training wanneer het gepaard gaat met dichte, multi-channel beloningen en ontkoppelde normalisatie, wat de opvatting uitdaagt dat het inherent instabiel is in deze setting.
2. Adaptieve training noodzakelijk is: Het simpelweg verwijderen van veiligheidsbarrières (unalignment) is onvoldoende om effectieve aanvallers te creëren; modellen moeten specif specifiek getraind worden om zwakheden van verdedigers uit te buiten via iteratieve co-training.
3. Closed-loop optimalisatie meer transfereerbare en robuuste aanvallen oplevert dan open-loop methoden, omdat de aanvaller leert zich per beurt aan te passen aan specifieke reacties van de verdediger.
4. Co-training robuuste verdedigers produceert die beter generaliseren dan modellen die getraind zijn via statische datasets of andere co-training baselines, wat een praktisch pad biedt naar meer veerkrachtige AI-veiligheidsafstemming.

De auteurs erkennen beperkingen, waaronder verminderde benevolente compliantie in verdedigers (wat wijst op een behoefte aan adversariële benevolente prompts in de training) en enige entropie-instorting in aanvaller-prompts, wat de diversiteit van de aanval beperkt. Desalniettemin positioneert het werk AdvGRPO als een belangrijke stap voorwaarts in het creëren van adaptieve, geautomatiseerde red-teaming systemen.