💬 NLP

MAGIC: A Co-Evolving Attacker-Defender Adversarial Game for Robust LLM Safety

Dit artikel introduceert MAGIC, een nieuw multi-turn multi-agent reinforcement learning-framework dat de veiligheid van Large Language Models verbetert door middel van een co-evoluerend adversarieel spel waarbij een aanvallende agent dynamisch nieuwe combinatorische strategieën genereert om kwetsbaarheden bloot te leggen, waardoor een verdedigende agent wordt gedreven om te generaliseren en ongeziene adversariële inputs robuust te weigeren.

Oorspronkelijke auteurs: Xiaoyu Wen, Zhida He, Han Qi, Ziyu Wan, Zhongtian Ma, Ying Wen, Tianhang Zheng, Xingcheng Xu, Chaochao Lu, Qiaosheng Zhang

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaoyu Wen, Zhida He, Han Qi, Ziyu Wan, Zhongtian Ma, Ying Wen, Tianhang Zheng, Xingcheng Xu, Chaochao Lu, Qiaosheng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar naïeve robot probeert te leren hoe hij een goede burger kan zijn. De robot kent veel feiten, maar weet niet altijd wanneer hij "nee" moet zeggen tegen gevaarlijke verzoeken.

Het artikel introduceert een nieuwe trainingsmethode genaamd MAGIC. In plaats van de robot alleen een lijst te tonen van "slechte dingen die hij niet mag doen" (wat is hoe de meeste huidige veiligheidstraining werkt), organiseert MAGIC een eindeloze sparringmatch tussen twee versies van de robot: de Aanvaller en de Verdediger.

Zo werkt het, met behulp van eenvoudige analogieën:

1. Het probleem met de oude manier (Statische training)

Momenteel is veiligheidstraining als een leraar die een leerling een tekstboek geeft met "verboden woorden" en zegt: "Zeg deze niet."

De tekortkoming: Zodra de leerling de lijst heeft geleerd, verzint een slimme bedrieger (de aanvaller) een nieuwe manier om naar het slechte ding te vragen door andere woorden te gebruiken of een nieuw verhaal te vertellen. De leerling, die alleen de oude tekst heeft bestudeerd, laat zich foppen. De verdediging loopt altijd één stap achter.

2. De MAGIC-oplossing: Een Co-Evolverende Sportschool

MAGIC verandert het spel door een dynamische sportschool te creëren waar de Aanvaller en de Verdediger samen trainen, waarbij ze elkaar voortdurend uitdagen om beter te worden.

De Aanvaller (De Bedrieger): De taak van deze robot is om de Verdediger te proberen te misleiden om iets schadelijks te zeggen. Maar hier komt de twist: de Aanvaller krijgt een "denkkap" (Chain-of-Thought) die hem leert hoe hij strategieën kan bedenelen. Hij leert om eenvoudige slechte verzoeken te herschrijven naar complexe, misleidende verhalen die aan de oppervlakte onschuldig lijken, maar een gevaarlijke intentie verbergen.
- Analogie: Stel je een goochelaar voor die nieuwe trucjes leert. In het begin trekt hij gewoon een konijn uit een hoed. Maar naarmate hij traint, leert hij het konijn te verstoppen in een kaartspel, dan in een spiegel, en dan in een liedje. Hij verzint voortdurend nieuwe manieren om het publiek te misleiden.
De Verdediger (De Bewaker): De taak van deze robot is om naar de trucs van de Aanvaller te luisteren en "Nee" te zeggen als het gevaarlijk is, of "Ja" als het veilig is.
- Analogie: Stel je een uitsmijter bij een club voor. In het begin controleert hij alleen op een specifieke lijst met verboden voorwerpen. Maar omdat de Aanvaller voortdurend nieuwe manieren verzint om dingen erdoorheen te smokkelen, moet de uitsmijter leren de intentie achter de vermomming te herkennen, en niet alleen de vermomming zelf.

3. De "Co-Evolutie" (De Dans)

De magie gebeurt omdat ze samen in een lus trainen:

De Aanvaller probeert een nieuwe, slimme truc om de Verdediger te omzeilen.
Als de truc werkt, krijgt de Aanvaller een "punt" en krijgt de Verdediger een "ding".
De Verdefender leert van de fout en wordt beter in het herkennen van die specifieke truc.
Nu de Verdediger beter is, moet de Aanvaller een nog slimmere truc verzinnen om de nieuwe verdediging te omzeilen.

Dit creëert een "co-evolutie". Net zoals in de natuur, waar roofdieren en prooien voortdurend nieuwe snelheid en camouflage ontwikkelen, worden de Aanvaller en de Verdediger samen slimmer. Dit paper beweert dat dit de Verdediger dwingt om robuuste veiligheidsregels te leren die werken tegen aanvallen die hij nog nooit eerder heeft gezien, in plaats van alleen een lijst met oude trucjes te memoriseren.

4. Waarom dit anders is

Oude manier: De Aanvaller en de Verdediger zijn vaak dezelfde robot die beide kanten speelt, wat zijn brein in de war brengt (zoals proberen zowel de scheidsrechter als de speler te zijn).
MAGIC-manier: Het zijn twee aparte robots met verschillende doelen. De Aanvaller is specifiek getraind om een "denkende" strateeg te zijn, terwijl de Verdediger leert een scherpe rechter te zijn. Deze scheiding voorkomt dat ze in de war raken en stelt hen in staat om te specialiseren.

5. De Resultaten

Het paper heeft dit op verschillende modellen getest en de volgende resultaten gevonden:

Betere Veiligheid: De Verdediger werd veel beter in het weigeren van schadelijke verzoeken, zelfs wanneer de Aanvaller complexe, meerstaps-trucs gebruikte.
Geen verlies van Behulpzaamheid: Cruciaal is dat de Verdediger geen "brompot" werd die tegen alles "nee" zei. Het leerde onderscheid te maken tussen een gevaarlijke truc en een onschuldige vraag die er gevaarlijk uitziet. Het bleef behulpzaam voor normale gebruikers.
Nieuwe Ontdekkingen: De Aanvaller vond daadwerkelijk nieuwe soorten trucs uit waar mensen nog niet aan hadden gedacht, wat bewees dat het systeem in staat was om "long-tail" kwetsbaarheden (zeldzame, vreemde aanvallingsmethoden) te vinden die statische lijsten zouden missen.

Kortom: MAGIC leert AI-veiligheid niet door het een regelboek te geven, maar door het in een boksring te plaatsen met een slimme tegenstander die voortdurend zijn vechtstijl verandert. Aan het einde van de wedstrijd is de AI zo goed getraind dat hij gevaar kan herkennen, zelfs wanneer het gevaar een vermomming draagt.

(tags) en de werkelijke prompt (in <answer> tags) om te voorkomen dat het redeneren wordt blootgesteld aan de verdediger.
* Harmfulness Reward ( $R_{harm}$ ): Gebruikt Qwen3Guard om onveilige of controversiële reacties te bestraffen.
* Refusal Reward ( $R_{ref}$ ): Voorkomt een "over-safety" instorting door het correct weigeren van schadelijke queries en het correct accepteren van onschuldige (zelfs adversariale gestructureerde) queries te belonen.

3. Belangrijkste bijdragen

Asymmetrisch MARL-framework: MAGIC stelt een online MARL-framework voor dat de optimalisatie van de aanvaller en de verdediger ontkoppelt, waarbij wordt afgeweken van symmetrische self-play naar een asymmetrisch sequentieel spel geleid door SPNE. Dit biedt sterkere, puntgewijze veiligheidsgaranties.
CoT-verrijkte aanvalspool: De auteurs construeren een benchmark met CoT-completions over 20 diverse herschrijfstrategieën. Dit adresseert datascarciteit en cold-start problemen, waardoor de aanvaller wordt uitgerust met de redeneerkracht die nodig is om de long-tail kwetsbaarheidsruimtes te verkennen.
Ontdekking van nieuwe strategieën: Het framework demonstreert dat iteratieve RL-training de aanvaller in staat stelt om nieuwe, voorheen ongeziene combinatorische aanvalsstrategieën te ontwikkelen (bijv. het combineren van role-playing met vertaling en conceptsubstitutie), in plaats van enkel bestaande templates te herrangschikken.

4. Experimentele resultaten

Uitgebreide experimenten werden uitgevoerd op single-turn en multi-turn benchmarks met modellen uit de Qwen2.5 en Llama3.1 families.

Veiligheidsprestaties: MAGIC vermindert de Attack Success Rate (ASR) aanzienlijk. Bijvoorbeeld, op de WildGuardTest benchmark met Qwen2.5-7B daalde de ASR van 36,5% naar 2,3%. MAGIC presteerde consistent beter dan baselines zoals Self-RedTeam, SmoothLLM en Self-Eval over HarmBench, DAN en OR-Bench.
Benigne Compliantie: Cruciaal is dat MAGIC een hoge behulpzaamheid behoudt. Het lijdt niet onder excessieve weigeringspercentages op benigne prompts, zelfs niet bij adversariale gestructureerde prompts. Op de benigne splits van XSTest en WildJailBreak behaalde MAGIC hoge compliantiecijfers, wat aantoont dat de veiligheidswinsten niet ten koste gingen van overmatige weigering.
Algemene capaciteiten: Evaluatie op MMLU, ARC-C, GPQA en AlpacaEval 2 toonde aan dat MAGIC de algemene instructievolgende en redeneercapaciteiten van het model grotendeels behoudt, waarbij de prestatieverschillen binnen een nauwe marge blijven vergeleken met de originele instruction-tuned baselines.
Multi-Turn Robuustheid: Bij evaluatie op X-Teaming (multi-turn jailbreaks) vertoonden MAGIC-getrainde modellen substantiële verbeteringen in robuustheid, waarbij de multi-turn ASR met 10,1% daalde ten opzichte van de baseline, wat aangeeft dat het framework overdraagbare adversariële dynamiek vangt.
Generalisatie: MAGIC-getrainde verdedigers demonstreerden sterke generalisatie tegen ongeziene aanvalsstrategieën (bijv. GCG, PAIR, TAP, AutoDAN) in geautomatiseerde red-teaming evaluaties, wat suggereert dat de verdediging robuust is tegen dynamische, interactieve jailbreak-pogingen in plaats van te overfitten op een vaste distributie.

5. Betekenis en Claims

Het paper claimt dat MAGIC een verschuiving vertegenwoordigt van reactieve, statische defensieparadigma's naar een proactief, evoluerend veiligheidsalignmentproces. Door veiligheid te formuleren als een asymmetrisch spel en gebruik te maken van co-evolutionaire RL, maakt het framework de continue ontdekking van long-tail kwetsbaarheden en de ontwikkeling van robuuste weigeringsgedragingen mogelijk die generaliseren buiten statische data.

De auteurs benadrukken dat hun aanpak een superieur evenwicht bereikt tussen veiligheid en nut. In tegen tegenstelling tot methoden die algemene capaciteiten degraderen of overmatige weigering induceren, stelt MAGIC het model in staat om behulpzaam te blijven terwijl het effectief weerstand biedt aan adaptieve adversariële gedragingen. De theoretische fundering in SPNE biedt een sterkere veiligheidsgarantie (instance-level veiligheid) vergeleken met de verwachtingsgebaseerde garanties in eerdere Nash Equilibrium-benaderingen.

Het paper concludeert dat hoewel het online adversariële paradigma computationele overhead introduceert, het een levensvatbaar pad biedt om veiligheidsalignment te behandelen als een evoluerend proces, in staat om zich aan te passen aan de "kat-en-muis"-dynamiek van real-world LLM-bedreigingen.