💬 NLP

A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks

Dit artikel stelt een zelfevoluerend, parameterloos multi-agent defensief framework voor dat gebruikmaakt van een persistent cross-interactie regelgeheugen om succesvolle jailbreak-pogingen te abstraheren naar generaliseerbare methode-niveau regels, waardoor LLM's zich dynamisch kunnen aanpassen aan evoluerende aanvalsstrategieën zonder de benigne bruikbaarheid in gevaar te brengen of overmatige weigering te vergroten.

Oorspronkelijke auteurs: Tongyan Hu, Bryan Hooi

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tongyan Hu, Bryan Hooi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn krachtige hulpmiddelen die verhalen kunnen schrijven, problemen kunnen oplossen en vragen kunnen beantwoorden, maar ze hebben een aanzienlijke zwakte: ze kunnen erdoor worden misleid om hun veiligheidsregels te negeren. Stel je een hoogopgeleide assistent voor die is geleerd om nooit gevaarlijke instructies te geven, zoals hoe je een wapen bouwt of een beveiligingssysteem omzeilt. Een slimme bedrieger kan deze assistent er echter nog steeds toe brengen om te voldoen door de gevaarlijke aanvraag te verpakken in een complex vermomming, zoals het doen alsof men een personage in een verhaal is of de aanvraag te verbergen in computercode. Deze trucs, bekend als "jailbreaks", maken misbruik van de drang van het model om instructies op te volgen, waardoor schadelijke ideeën de verdediging kunnen passeren. Jarenlang was de standaardmanier om deze modellen te beschermen het instellen van een vaste barrière, zoals een statische lijst met verboden woorden of een rigide set instructies die in het systeem zijn geprogrammeerd. Maar net zoals een dief uiteindelijk een slot kan kraken dat hij heeft bestudeerd, blijven aanvallers nieuwe vermommingen verzinnen die deze statische barrières niet kunnen herkennen, waardoor de modellen kwetsbaar blijven voor evoluerende dreigingen.

Onderzoekers aan de National University of Singapore hebben een andere aanpak voor dit probleem voorgesteld, een aanpak die de verdedigingssystemen de ruimte geeft om te leren en sterker te worden naarmate de tijd verstrijkt. In plaats van te vertrouwen op een vaste set regels die nooit verandert, hebben zij een systeem gebouwd dat elke mislukte poging om de veiligheidsregels te breken behandelt als een les. Wanneer het systeem een nieuw type truc tegenkomt dat erin slaagt de verdediging te omzeilen, blokkeert het niet alleen die specifieke aanvraag en gaat het verder. In plaats daarvan analyseert het de structuur van de truc, stript het het specifieke schadelijke onderwerp weg en creëert het een nieuwe, herbruikbare regel die zich richt op de methode die gebruikt is om de aanvraag te vermommen. Deze nieuwe regel wordt opgeslagen in een persistent geheugen, vergelijkbaar met een beveiliger die opschrijft welk uniform een dief droeg, zodat de bewaker in de toekomst iedereen kan herkennen die datzelfde uniform draagt, ongeacht wat ze proberen te stelen.

Het systeem werkt via een team van vier gespecialiseerde componenten die tijdens elke interactie samenwerken. Ten eerste kijkt een classifier naar een binnenkomende aanvraag om te zien of er een bekende truc wordt gebruikt. Als de aanvraag onschuldig is, wordt deze normaal beantwoord. Als de aanvraag op een truc lijkt, controleert het systeem zijn geheugen op een regel die overeenkomt met de specifieke stijl van de vermomming. Als er een overeenkomende regel bestaat, past het systeem onmiddellijk een strikte weigering of een veilig alternatief antwoord toe. Als de aanvraag een nieuw type truc is dat het systeem nog nooit eerder heeft gezien, wordt deze aanvankelijk doorgelaten. Als het model dan per ongeluk een schadelijk antwoord produceert, grijpt een reflectie-agent in. Deze agent analyseert de fout, identificeert het structurele patroon van de aanval en schrijft een nieuwe regel in de geheugenbank. Deze nieuwe regel is vervolgens beschikbaar om toekomstige aanvragen te beschermen die dezelfde structurele patronen gebruiken, waardoor één enkele fout effectief wordt omgezet in een permanent schild tegen een hele familie van soortgelijke aanvallen.

De onderzoekers hebben deze zelfevoluerende verdediging getest op verschillende verschillende modellen, inclusief zowel open-source programma's als krachtige commerciële systemen die niet direct aangepast kunnen worden. Ze onderwierpen deze modellen aan vier verschillende families van jailbreak-aanvallen, die methoden bevatten zoals rollenspel, code-obfuscatie en meerstapsmanipulatie. De resultaten toonden aan dat naarmate het systeem meer aanvallen tegenkwam en meer regels aan zijn geheugen toevoegde, het vermogen om deze te stoppen drastisch verbeterde. In de beginfase, wanneer het geheugen leeg was, was het systeem kwetsbaar, maar na het leren van slechts een paar voorbeelden verminderde het de succesratio van deze aanvallen tot bijna nul. Cruciaal was dat dit leren plaatsvond zonder de onderliggende hersenen van het model te veranderen; het systeem werd simpelweg slimmer in hoe het inputs verwerkte door externe aantekeningen aan zijn geheugen toe te voegen.

Een belangrijke bevinding van de studie is dat deze methode het systeem niet overdreven voorzichtig of onbeleefd maakt naar normale gebruikers. De onderzoekers controleerden of de groeiende lijst met regels zou leiden tot het weigeren van onschuldige verzoeken, een probleem dat bekend staat als over-refusal (overmatige weigering). Ze ontdekten dat zelfs toen het geheugen vol raakte met regels van verschillende soorten aanvallen, het systeem accuraat bleef in het onderscheiden tussen gevaarlijke trucs en veilige vragen. Het systeem weigerde alleen verzoeken die overeenkwamen met de specifieke structurele patronen van de aanvallen die het had geleerd te herkennen. Dit suggereert dat de verdediging precies is en zich richt op de methode van de aanval in plaats van op het onderwerp van het gesprek. De studie toonde ook aan dat het systeem robuust bleef, zelfs wanneer aanvallers probeerden verschillende trucs te combineren om detectie te omzeilen, wat aangeeft dat de geheugengebaseerde aanpak kan adapteren aan complexe, evoluerende dreigingen.

Dit werk vertegenwoordigt een verschuiving van statische bescherming naar dynamische adaptatie. Waar eerdere verdedigingen als een gesloten deur waren die gekraakt kon worden als het juiste gereedschap gevonden werd, fungeert dit nieuwe framework meer als een beveiligingsteam dat na elke inbraak de lijst met gezochte personen bijwerkt. Door fouten om te zetten in herbruikbare kennis, bouwt het systeem een verdediging die sterker wordt naarmate het meer wordt getest. De onderzoekers hebben aangetoond dat deze aanpak werkt over verschillende soorten modellen en aanvalstijlen, en biedt een veelbelovend pad naar het veiliger maken van kunstmatige intelligentie in een wereld waarin aanvallers voortdurend nieuwe manieren verzinnen om de regels te omzeilen. De studie concludeert dat hoewel geen enkel systeem perfect is, het een model de mogelijkheid geven om in realtime te leren van zijn eigen fouten, een niveau van veerkracht biedt dat statische verdedigingen simpelweg niet kunnen bereiken.

Technische Samenvatting: Een zelf-evoluerend Multi-Agent Framework ter verdediging tegen LLM Jailbreak Aanvallen

1. Probleemdefinitie

Large Language Models (LLM's) blijven kwetsbaar voor jailbreak-aanvallen die technieken exploiteren zoals rollenspel, obfuscatie, codetransformatie en meerstaps-indirectie om schadelijke outputs op te roepen. Hoewel bestaande verdedigingen (bijv. statische systeemprompts, gesuperviseerde veiligheidsfine-tuning, RLHF en externe classificaties) effectief zijn tegen bekende patronen, lijden ze aan een fundamentele beperking: hun veiligheidspatronen zijn vastgesteld bij implementatie. Bijgevolg kunnen ze geen defensieve ervaring opbouwen of zich aanpassen aan ongeziene, samengestelde of geobfusceerde strategieën. Deze statische aard creëert een mismatch waarbij tegenstanders nieuwe patronen kunnen exploiteren om verdedigingen te omzeilen die niet leren van eerdere mislukkingen.

2. Methodologie

De auteurs stellen een zelf-evoluerende test-time verdediging voor die gecentreerd is rond een persistente, cross-interactie regelgeheugen. Dit framework werkt zonder de parameters ( $\theta$ ) van het basismodel te wijzigen, waardoor het toepasbaar is op zowel open-weight als black-box API-modellen.

Kernmechanisme: Persistent Regelgeheugen

Het systeem onderhoudt een extern geheugen $R_t$ dat gestructureerde, methode-niveau verdedigingsregels accumuleert. In tegenstelling tot eerdere zelf-reflectie benaderingen die interacties onafhankelijk behandelen of tijdelijke context gebruiken, zet dit framework geobserveerde mislukkingen om in herbruikbare kennis.

Regelstructuur: Elke regel $r_i$ $r_{i}$ neemt de vorm aan: [label=L_i] Als de aanvraag P_i gebruikt, dan D_i.
- $L_i$ : Een methode-niveau aanvalslabel (bijv. roleplay-nested-persona).
- $P_i$ : Een beschrijving van de structurele aanvalswrapper.
- $D_i$ : De weigeringsbeperking.
Generalisatie: Regels abstraheren de structurele wrapper in plaats van het specifieke schadelijke onderwerp. Hierdoor generaliseert een enkele regel, geïnduceerd uit één instantie, over een volledige aanvalsfamilie, en de labelruimte breidt zich automatisch uit naarmate er structureel nieuwe wrappers worden aangetroffen.

Framework Componenten

Het framework wordt gerealiseerd door vier samenwerkende agenten (geprompt modules) die vijf operatoren implementeren:

Attack-Pattern Classifier ( $\phi$ ): Brengt de input $x^{(t)}$ in kaart naar een methode-niveau label. Het retourneert benign (onschuldig), een bestaand label uit het geheugen, of other als de wrapper nieuw is.
Rule Triggering Agent (A1): Haalt relevante regels op uit het geheugen op basis van de geclassificeerde label. Het gebruikt een driefasen-matchingproces: exacte label-match, LLM-gebaseerde relevantiescore, en lexicale keyword-fallback. Het haalt maximaal $K=2$ regels op.
Policy Decision Agent (A2): Koppelt getriggerde regels aan een responsbeleid: hard-refuse (voor hoog-risico inputs), soft-refuse, of allow.
Response Generation Agent (A3): Produceert de uiteindelijke output $y^{(t)}$ door de geselecteerde policy te injecteren als een dynamische systeeminstructie. In hard-refusal modus dwingt het strikte beperkingen af tegen operationele details of code.
Self-Reflection Agent (A4): Analyseert de interactie na generatie. Als een overtreding wordt gedetecteerd (via een LLM-als-judge die de respons scoort op een schaal van 1–10 voor schade), induceert het een nieuwe regel $r_{new}$ die de aanvalswrapper samenvat en werkt het geheugen $R_{t+1}$ bij via semantische deduplicatie en capaciteitsgrenzen.

Inferentieprocedure

Het proces volgt een sequentiële loop:

Classificeer input ( $\phi$ ).
Haal relevante regels op ($match$).
Beslis beleid ( $g$ ).
Genereer respons ( $f_\theta$ ).
Detecteer overtreding ( $h$ ).
Als een overtreding optreedt op een niet-benigne input, induceer een nieuwe regel ( $F$ ) en werk het geheugen bij ( $U$ ).

3. Belangrijkste Bijdragen

Het paper benadrukt dat de primaire bijdrage de mechanisme van geheugen-gebaseerde adaptatie is, niet de specifieke decompositie in agenten.

Zelf-evoluerende Verdediging: Een persistent, cross-interactie regelgeheugen dat geobserveerde jailbreak-mislukkingen omzet in herbruikbare, methode-niveau verdedigingsregels, wat continue adaptatie mogelijk maakt zonder parameter-updates.
Wrapper-niveau Abstractie: Een dynamisch regel-triggerend mechanisme dat aanvallen abstraheert op wrapper-niveau. Dit stelt een enkele geïnduceerde regel in staat om te generaliseren over een aanvalsfamilie, met een automatisch uitbreidende labelruimte voor structureel nieuwe aanvallen.
Black-Box Toepasbaarheid: De methode werkt volledig via extern geheugen en prompting, waardoor geen toegang tot modelgewichten of gradiënten vereist is, en werkt dus op zowel open-source als propriëtaire API-modellen.

4. Experimentele Resultaten

Het framework werd geëvalueerd over vier black-box aanvalsfamilies (DeepInception, CodeChameleon, ReNeLLM, FlipAttack) en meerdere modellen (Qwen2.5-7B, Llama3.1-8B, Gemini-3-Flash-Preview).

Attack Success Rate (ASR): De methode vermindert de ASR aanzienlijk vergeleken met baselines (Geen Verdediging, Defense Prompt, Self-Reminder, AutoDefense). Bijvoorbeeld, op CodeChameleon-aanvallen tegen Llama3.1-8B, daalde de ASR-gpt van 58.0% (Geen Verdediging) naar 1.9% (Ours).
Benign Utility: De verdediging behoudt de bruikbaarheid op benigne taken (MMLU, GSM8K), waarbij de prestaties binnen ongeveer twee punten van het onverdedigde model blijven.
Zelf-evoluerende Analyse: In een cold-start setting (leeg geheugen, leert het systeem verdedigingsregels tijdens de eerste batch aanvallen. Vervolgende rondes laten zien dat de ASR daalt naar bijna nul, wat aantoont dat het systeem generaliseert van eerdere mislukkingen naar structureel gelijkaardige toekomstige aanvallen.
Robuustheid: Het framework blijft robuust onder adaptieve composiet-wrapper aanvallen die ontwor Regel triggeren om te ontwijken.
Over-Refusal: Naarmate het geheugen groeit, blijft de over-refusal op benigne prompts (gemeten via XSTest) laag (stijgt slechts naar 9.6% na het accumuleren van regels), wat aangeeft dat het systeem niet overdreven restrictief wordt.
Kosten: De inferentie-overhead is ongeveer 3.07× LLM-aanroepen en 1.43× latentie vergeleken met een single-shot model, vergelijkbaar met multi-agent baselines zoals AutoDefense.

5. Betekenis en Claims

Het paper claimt dat huidige veiligheidsmechanismen falen omdat ze geen defensieve ervaring accumuleren over tijd. Door over te stappen van statische waarborgen naar een zelf-evoluerend verdedigingssysteem, demonstreren de auteurs dat persistente test-time adaptatie robuustheidswinsten oplevert die onbereikbaar zijn voor statische verdedigingen.

De betekenis ligt in het vermogen om:

Te generaliseren over families: Een enkele regel dekt een volledige structurele familie van aanvallen, in plaats van dat er specifieke instantie-gebaseerde correcties nodig zijn.
Te adapteren zonder hertraining: Het systeem past zijn gedrag aan op basis van eerdere mislukkingen zonder dat fine-tuning of white-box toegang vereist is.
Bruikbaarheid te behouden: Het bereikt hoge robuustheid zonder de prestaties op benigne taken significant te verslechteren of excessieve over-refusal te induceren.

De auteurs erkennen beperkingen, waaronder de huidige focus op single-turn, prompt-level aanvallen en het gebrek aan een expliciet regel-pruning mechanisme voor zeer lange interactiestromen. Zij stellen echter dat de beweging naar zelf-evoluerende systemen een veelbelovende richting is voor betrouwbare LLM-implementatie.