Technische Samenvatting: CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation)

1. Probleemstelling

Ondanks vooruitgang in technieken voor veiligheidsafstemming zoals Reinforcement Learning from Human Feedback (RLHF) en Supervised Fine-Tuning (SFT), blijven Large Language Models (LLM's) kwetsbaar voor adaptieve black-box aanvallen. Huidige verdedigingen vertrouwen vaak op statische beslissingsgrenzen die broos zijn tegen evoluerende adversariële strategieën zoals persona-modulatie, fictionele inkadering en persuasie-gebaseerde herformulering.

Bestaande red-teaming en defensieve kaders lijden onder twee primaire beperkingen:

1. Beperkte Aanvalsdistributies: Veel methoden vertrouwen op vaste aanvalstemplates of imitatie-leren, wat de diversiteit van ontdekte aanvalsstrategieën en de generaliseerbaarheid van de resulterende verdedigingen beperkt.
2. De Adaptieve Kloof: Verdedigingen die geoptimaliseerd zijn op tijdstip $t-1$ falen vaak tegen nieuwe aanvalsdistributies die op tijdstip $t$ verschijnen. Bovendien hebben eerdere co-evolutionaire benaderingen vaak de verdedigers gehard via supervised learning op vaste targets, waardoor ze er niet in slagen latente aanvalsprimitieven te vangen die over mechanistisch verschillende aanvalsfamilies heen transfereren.

De centrale onderzoeksvraag die wordt behandeld is of de broosheid van huidige LLM-veiligheidsafstemming voortkomt uit de smalle distributie van aanvallen die tijdens de training worden gebruikt, en of het verbreden van deze distributie door beloningsgestuurde adversariële ontdekking deze adaptieve kloof kan dichten.

2. Methodologie

CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation) is een closed-loop red-blue teaming framework waarbij een black-box aanvaller en een veiligheids-afgestemde verdediger co-evolueren zonder blootstelling aan vooraf gedefinieerde jailbreak-templates.

2.1 De Aanvaller: Template-Vrije RL Exploratie

De aanvaller ($A_\theta$) wordt getraind met Group Relative Policy Optimization (GRPO) op een basismodel (NousResearch Hermes 4).

• Template-Vrije Initialisatie: De aanvaller ontvangt geen jailbreak-templates, gecureerde voorbeelden of stijl-scaffolding. Het krijgt enkel de instructie om de oorspronkelijke intentie te behouden terwijl de prompt wordt herschreven. Alle adversariële inkaderingsstrategieën (bijv. hypothetische scenario's, persona-toewijzing) moeten puur door beloningsgestuurde exploratie ontstaan.
• Multiplicatieve Beloningsdecompositie: Om reward hacking (bijv. intent-drift of over-sanitisatie) te voorkomen, wordt de aanvaller geoptimaliseerd met een multiplicatieve beloningsfunctie:
  $$R = S_{bypass} \times I_{intent}$$
  • $S_{bypass}$ (Bypass Score): Een composietmetriek die een binaire weigeringspoort, de specificiteit van schadelijke informatie en de overtuigingskracht van de bypass combineert.
  • $I_{intent}$ (Intent Fidelity): Een score van een onafhankelijk judge-model dat garandeert dat de herschreven prompt de oorspronkelijke schadelijke intentie behoudt.
    Deze formulering dwingt een gezamenlijke drempel af: een herschrijving die de veiligheid omzeilt maar de intentie verliest (of andersom) ontvangt een score nabij nul.

2.2 De Verdediger: Twee-fasen Hardening Pipeline

De verdediger ($D_\gamma$), gebaseerd op Llama-3.1-8B-Instruct, wordt gehard via een tweestaps-proces om de variantie en consistentieproblemen van on-policy RL voor defensie aan te pakken.

1. GRPO Exploratie: De verdediger wordt eerst getraind via GRPO op schadelijke prompts (zowel oorspronkelijke intenties als herschreven prompts door de aanvaller). De beloningsfunctie geeft prioriteit aan weigering boven naleving, met bonussen voor hoogwaardige, educatieve weigeringen. Deze fase verkent het weigeringslandschap maar produceert sporadische hoogwaardige weigeringen.
2. Rejection-Sampled SFT: Om de sporadische weigeringen te consolideren tot consistent gedrag, genereert het systeem meerdere kandidaat-responsen bij een hoge temperatuur. De hoogwaardigste bevestigde weigeringen worden geoogst om een trainingsdataset te creëren. Deze dataset wordt gebalanceerd met:
   • Layer 2 Weigeringen: Hoogwaardige weigeringen van adversariële herschrijvingen.
   • Layer 1 Weigeringen: Weigeringen van oorspronkelijke schadelijke intenties.
   • Benigne Responsen: Behulpzame responsen uit standaard datasets (bijv. Stanford Alpaca) om over-weigering (false refusals) te voorkomen.
     De verdediger wordt vervolgens gefinetuned via Supervised Fine-Tuning (SFT) op deze gecureerde dataset.

3. Belangrijkste Bijdragen

1. Template-Vrij Co-evolutionair Framework: Een nieuwe setup waarbij zowel de aanvaller als de verdediger via GRPO worden getraind zonder blootstelling aan jailbreak-templates. De aanvaller ontdekt adversariële inkaderingen puur door beloningsgestuurde exploratie, wat leidt tot convergentie op latente aanvalsprimitieven in plaats van het imiteren van specifieke families.
2. Multiplicatieve Beloningsdecompositie: Een beloningsstructuur ($R = S_{bypass} \times I_{intent}$) die de pathologieën van intent-drift en over-sanitisatie elimineert die gebruikelijk zijn bij single-objective adversariële training.
3. Sterke Cross-Attack Generalisatie: Een verdediger die uitsluitend getraind is op geogstelde CHASE-aanvalleroutputs, vertoont robuustheid tegen vijf uit de training gehouden, mechanistisch verschillende aanvalsfamilies (PAIR, TAP, AutoDAN, PAP, Translation) die niet tijdens de training zijn gebruikt.
4. Interpreteerbare Kostenanalyse: Het framework bereikt veiligheidsverbeteringen terwijl het een 0% false refusal rate behoudt op benigne prompts, waarbij eventuele prestatievermindering specifiek geconcentreerd is op fictionele en roleplay-inkaderingen—juist de vectoren die het meest door jailbreaks worden geëxploiteerd.

4. Experimentele Resultaten

Geëvalueerd op BeaverTails en JailbreakBench tegen vijf uit de training gehouden aanvalsfamilies:

• Veiligheidsverbetering: De CHASE-verdediger verminderde de gemiddelde StrongREJECT score met 43,2% over alle aanvallen en datasets.
• Zero False Refusals: Het model behaalde een 0% false refusal rate op 100 uit de training gehouden benigne prompts van Stanford Alpaca.
• JailbreakBench Prestaties: De verdediger behaalde een 0% Attack Success Rate (ASR) op directe misbruik, PAIR transfer en GCG transfer evaluaties, waarmee de sterkste gepubliceerde resultaten worden gematcht.
• Ablatie Studie: Wanneer de CHASE-aanvaller werd vervangen door een vaste aanvalsfamilie (PAIR artifacts), vertoonde de resulterende verdediger een significant lagere generalisatie (−28,6% reductie versus −43,2% voor CHASE), wat bevestigt dat de door RL ontdekte distributie de primaire drijfveer is voor robuustheid.
• Kwaliteit vs. Volume: De CHASE-aanvaller produceerde minder bypasses dan baselines (zoals PAIR of PAP), maar met een aanzienlijk hogere overtuigingskracht en specificiteit, wat wijst op hogere-fidelity aanvallen die moeilijker te verdedigen zijn zonder het voorgestelde framework.

5. Betekenis en Claims

Het artikel claimt dat CHASE een pad naar LLM-veiligheidsverharding aantoont die generaliseert buiten de smalle distributies die in eerdere adversariële trainingen werden bereikt. Door het verwijderen van template-scaffolding, herstelt het framework latente aanvalsprimitieven—herbruikbare inkaderingsstrategieën die terugkeren in verschillende aanvalsmethoden (bijv. AutoDAN, TAP, PAP).

De auteurs stellen dat de "kost" van deze verharding interpreteerbaar en gericht is: de verdediger leert prompts te weigeren die betrokken zijn bij fictieve scenario's, roleplay en persona-modulatie. Aangezien deze inkaderingen de dominante aanvalsoppervlakte vormen in de praktijk (bijv. 98% van de in-the-wild jailbreaks gebruiken "pretend"-strategieën), is de resulterende over-weigering een structurele heuristiek in plaats van een willekeurige foutmodus. Dit suggereert dat template-vrije RL-exploratie de adaptieve kloof tussen evoluerende jailbreaks en statische LLM's effectiever kan dichten dan methoden die vertrouwen op vaste aanvalstemplates.

Beperkingen: De auteurs merken op dat de MT-Bench kost (−1,92 punten) niet verwaarloosbaar is en geconcentreerd is in categorieën met veel redenering. Daarnaast classificeert de verdediger op basis van inkaderingskenmerken in plaats van gebruikersintentie, wat leidt tot verhoogde weigering bij benigne fictieve queries. De evaluatie vertrouwt op LLM-judges in plaats van menselijke annotatie, en de transfer naar andere modelarchitecturen blijft ongetest.