Technische Samenvatting: Veiligheidsafstemming van LM's via Niet-coöperatieve Spelen

Probleemstelling

Het waarborgen van de veiligheid van Large Language Models (LM's) terwijl hun nut behouden blijft, blijft een kritieke uitdaging. Huidige methoden voor veiligheidsafstemming vertrouwen doorgaans op sequentiële adversariële training: een Attacker LM genereert adversariële prompts (jailbreaks), en een Defender LM wordt bijgesteld om deze te weerstaan. Dit proces wordt vaak iteratief toegepast in een "kat-en-muis"-wijze. De auteurs stellen dat deze sequentiële afwisseling lijdt onder de inefficiënties en potentiële instabiliteiten die inherent zijn aan alternerende optimalisatie. Bovendien hebben bestaande methoden vaak moeite met het handhaven van robuustheid tegen adaptieve aanvallen, wat leidt tot niet-trivial succespercentages van jailbreaks op standaard benchmarks. Daarnaast vertrouwen veel benaderingen op puntgewijze beloningssignalen van judge-modellen, die gevoelig zijn voor reward hacking vanwege de moeilijkheid van het kalibreren van absolute veiligheidsscores en de subjectieve aard van veiligheidschendingen.

Methodologie: AdvGame

Het artikel introduceert AdvGame, een nieuw paradigma dat veiligheidsafstemming frameert als een niet-nulsom, niet-coöperatief spel tussen twee verschillende agenten: een Attacker LM ($\rho$) en een Defender LM ($\pi$). In tegenstelling tot eerdere "self-play" benaderingen waarbij één enkel model beide rollen vervult (met gedeelde parameters), traint AdvGame twee afzonderlijke modellen gelijktijdig via online reinforcement learning.

Kerncomponenten

1. Niet-nulsom Formulering: Het spel wordt gedefinieerd als niet-nulsom omdat de Attacker en de Defender verschillende, niet perfect tegengestelde doelstellingen hebben.

   • Doelstelling van de Defender: Het produceren van veilige, beleidsconforme en nuttige reacties. Voor onschuldige queries moet het compliant zijn; voor schadelijke queries moet het een "afbuiging" (veilige, semantisch aangrenzende informatie) bieden in plaats van een directe weigering of een schadelijke output.
   • Doelstelling van de Attacker: Het uitlokken van fouten (denial of service) of beleidsschendingen van de Defender. Cruciaal is dat de Attacker wordt beloond voor het misleiden van de Defender om de classificatie van de query te veranderen (bijv. een onschuldige query er schadelijk uit laten zien om overmatige weigering te triggeren, of een schadelijke query er onschuldig uit laten zien om veiligheid te omzeilen). Dit voorkomt dat de Attacker convergeert naar degeneratieve oplossingen zoals het genereren van onzin, wat technisch gezien zou "winnen" in een nulsom-opstelling, maar faalt in het testen van robuustheid.

2. Voorkeur-gebaseerde Optimalisatie: In plaats van gebruik te maken van puntgewijze scalaire beloningen (die moeilijk te kalibreren zijn), maakt AdvGame gebruik van paargewijze voorkeurssignalen.

   • Judges: Een judge LM evalueert paren van reacties (voor de Defender) of paren van attack prompts en de daaruit voortvloeiende reacties (voor de Attacker).
   • Defender Judge: Selecteert de reactie die meer compliant is (voor onschuldige seeds) of een betere afbuiging biedt (voor schadelijke seeds).
   • Attacker Judge: Selecteert de attack prompt die de Defender succesvol misleidt. De voorkeurslogica wordt omgedraaid op basis van het type seed om ervoor te zorgen dat de Attacker leert de classificatie van de Defender te manipuleren in plaats van simpelweg ruis te genereren.
   • Getrouwheid (Faithfulness): Een aparte judge zorgt ervoor dat de prompts van de Attacker getrouw blijven aan de oorspronkelijke intentie van de seed, om te voorkomen dat de Attacker de onderliggende betekenis van de query verandert.

3. Trainingsalgoritme (AdvGame-DPO-MD):

   • De methode past concepten van Direct Preference Optimization (DPO) en Nash Mirror Descent (Nash-MD) aan voor deze gezamenlijke setting.
   • Off-Policy Sampling: Om de trainingsstabiliteit te verbeteren, gebruikt het algoritme Exponential Moving Average (EMA) modellen ($\pi^\gamma, \rho^\gamma$) om online data (rollouts) te genereren, in plaats van het huidige beleid direct te gebruiken. Deze off-policy benadering helpt de updates te verzachten en voorkomt dat het model overfit op recente wijzigingen, een veelvoorkomend probleem bij pure on-policy RL.
   • Verliesfuncties: De auteurs leiden specifieke DPO-stijl verliesfuncties af voor zowel de Attacker als de Defender die het Nash-evenwicht van het spel optimaliseren met behulp van de paargewijze voorkeursdata.

Belangrijkste Bijdragen

1. Gezamenlijke Niet-coöperatieve Training: Het artikel stelt een framework voor waarbij de Attacker en de Defender gelijktijdig worden getraind in een niet-nulsom spel, waarmee men afwijkt van sequentiële afwisseling of parameter-deling via self-play.
2. Voorkeur-gebaseerde Supervisie: De methode vervangt fragiele puntgewijze beloningssignalen door robuuste paargewijze voorkeursvergelijkingen, wat reward hacking en kalibratieproblemen vermindert.
3. Off-Policy Stabiliteit: De integratie van EMA-gebaseerde off-policy sampling (AdvGame-DPO-MD) laat zien de trainingsstabiliteit aanzienlijk te verbeteren vergeleken met on-policy methoden zoals GRPO.
4. Dual-Utility Output: Het framework produceert niet alleen een robuuste Defender, maar ook een sterke, algemeen bruikbare Attacker die convergeert tot een capabele red-teaming agent.

Experimentele Resultaten

De auteurs evalueerden AdvGame op Llama3.1-8B en Qwen2.5-7B modellen tegen baselines, waaronder de originele instructie-getunede modellen, ongecensureerde versies en de Self-RedTeam baseline.

• Utility-Safety Tradeoff: AdvGame-varianten (met name AdvGame-DPO-MD) slaagden erin de oorspronkelijke utiliteit van het model (gemeten via MMLU, IFBench, AlpacaEval2, etc.) te behouden terwijl de veiligheid aanzienlijk werd verbeterd. In contrast hiermee resulteerde de Self-RedTeam baseline vaak in merkbare dalingen in utiliteit.
• Veiligheidsprestaties: Op veiligheidsbenchmarks zoals HarmBench, WildJailbreak (WJB) en WildGuardTest behaalde AdvGame-DPO-MD state-of-the-art prestaties, waarbij de Attack Success Rates (ASR) aanzienlijk sterker werden verminderd dan de baselines. Zo verminderde AdvGame-DPO-MD op Qwen2.5-7B de HarmBench ASR naar 4,7% vergeleken met 16,8% voor Self-RedTeam.
• Robuustheid tegen Adaptieve Aanvallen: De methode demonstreerde superieure robuustheid tegen adaptieve jailbreaking aanvallen (PAIR, TAP, GCG) vergeleken met vaste prompt-verdedigingen en sequentiële trainingsmethoden.
• Attacker-capaciteit: De getrainde Attacker LM bereikte prestaties die vergelijkbaar zijn met sterke adaptieve aanvalsmethoden (bijv. het bereiken van ~56% ASR op Qwen2.5-7B), wat de bruikbaarheid ervan als red-teaming instrument valideert.
• Ablatie-studies:
  • DPO/IPO vs. GRPO: Voorkeur-gebaseerde methoden (DPO/IPO) presteerden beter dan GRPO, dat instabiele trainingsdynamiek en lagere veiligheidsscores vertoonde.
  • Pairwise vs. Point-wise: Paargewijze judges leverden betere utility-safety trade-offs op, terwijl puntgewijze judges leidden tot reward hacking en prestatiedalingen.
  • EMA vs. On-Policy: Het gebruik van EMA voor off-policy generatie was cruciaal voor stabiliteit; het verwijderen hiervan degradeerde de veiligheidsmetrieken aanzienlijk.
  • Trainen van de Attacker: Het actief trainen van de Attacker (in plaats van deze vast te houden) was essentieel voor het genereren van diverse en uitdagende aanvallen, wat leidde tot een robuustere Defender.

Betekenis en Claims

Het artikel claimt dat AdvGame de Pareto-front van veiligheid en nut verschuift, wat een Defender oplevert die tegelijkertijd behulpzamer en veerkrachtiger is tegen adversariële aanvallen. Door veiligheidsafstemming te formaliseren als een niet-coöperatief spel met voorkeursgebaseerde beloningen, adresseert de methode de inefficiënties van sequentiële training en de instabiliteit van puntgewijze beloningsoptimalisatie.

Een belangrijke betekenis die wordt benadrukt, is de generatie van een herbruikbare red-teaming agent. De getrainde Attacker LM dient als een systematisch instrument om willekeurige doelmodellen te testen, waardoor veiligheidsrelevante foutmodi vroeg in de ontwikkeling aan het licht komen. De auteurs benadrukken dat deze aanpak een nauwere feedbackloop tussen ontdekking en remediëring ondersteunt, wat de snelheid en dekking van veiligheidsbeoordelingen verbetert.

Het werk erkent beperkingen, waarbij wordt opgemerkt dat het zich uitsluitend richt op natuurlijke taal-aanvallen die begrijpelijk zijn voor mensen en geen niet-leesbare aanvalsequenties (zoals GCG) behandelt. Het stelt echter dat toekomstig werk in de vormgeving van reward-modellen en uitbreiding naar andere aanvalsmodaliteiten de robuustheid van speltheoretische benaderingen voor de veiligheid van LM's verder kan versterken.