💬 NLP

Learning diverse attacks on large language models for robust red-teaming and safety tuning

Dit artikel stelt een op GFlowNet gebaseerd raamwerk voor voor geautomatiseerd red-teaming dat de beperkingen van mode collapse bij bestaande reinforcement learning-benaderingen overwint om diverse en effectieve aanvals-prompts te genereren, waardoor de creatie van robuustere, op veiligheid getunede grote taalmodellen mogelijk wordt.

Oorspronkelijke auteurs: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

Gepubliceerd 2026-09-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie zijn grote taalmodellen krachtige hulpmiddelen geworden die in staat zijn tot schrijven, redeneren en converseren met een menselijke vloeiendheid. Deze capaciteit brengt echter een aanzienlijk risico met zich mee: deze systemen kunnen worden gemanipuleerd om schadelijke, giftige of gevaarlijke inhoud te produceren. Om dit te voorkomen, doen ontwikkelaars aan een praktijk die bekend staat als red-teaming. Stel je een beveiligingsteam voor dat wordt ingehuurd om een gebouw binnen te dringen voordat het publiek er intrekt; in de digitale wereld houdt red-teaming in dat men systematisch probeert een kunstmatige intelligentie te misleiden om haar zwakheden te onthullen. Het doel is om de specifieke vragen of instructies, genaamd prompts, te vinden die de veiligheidsfilters van het model omzeilen en het dwingen om iets te genereren waarvoor het ontworpen is om te weigeren. Het identificeren van deze kwetsbaarheden is essentieel voor het bouwen van veiligere systemen, maar het vinden ervan is moeilijk omdat de ruimte van mogelijke vragen enorm is, en de methoden die worden gebruikt om ze te vinden vaak in een sleur terechtkomen, waarbij ze steeds dezelfde paar trucjes herhalen in plaats van een grote verscheidenheid aan nieuwe manieren te ontdekken om het systeem te breken.

Een team van onderzoekers heeft een nieuwe aanpak voor dit probleem ontwikkeld die succesvol een diverse reeks effectieve aanvalsprompts genereert. In plaats van te vertrouwen op traditionele methoden die vaak convergeren op een enkele, repetitieve oplossing, gebruikten zij een probabilistisch raamwerk genaamd een generative flow network. Deze methode behandelt de zoektocht naar schadelijke prompts niet als een eenvoudige optimalisatietaak, maar als een proces van het bemonsteren uit een uitgestrekt landschap van mogelijkheden. De onderzoekers trainden een kunstmatige intelligentie om dit landschap te verkennen, waarbij ze een breed scala aan prompts verzamelden die erin slaagden om toxische reacties op te roepen bij doelmodellen. Vervolgens pasten ze een tweede, nivellerende stap toe om deze bevindingen te verfijnen, waardoor werd gewaarborgd dat de uiteindelijke set aanvallen zowel zeer effectief als opmerkelijk gevarieerd was. Het resultaat is een toolkit die kwetsbaarheden kan blootleggen die andere methoden missen, wat een uitgebreider vangnet biedt voor ontwikkelaars.

De kernuitdaging die de onderzoekers aanpakten, was een veelvoorkomend falen in geautomatiseerde red-teaming: de neiging van systemen om te imploderen in het genereren van slechts enkele vergelijkbare, repetitieve prompts. Eerdere pogingen om dit te corrigeren door regels toe te voegen die variatie stimuleren, faalden vaak, wat resulteerde in systemen die óf diverse maar onschadelijke vragen produceerden, óf effectieve maar identieke aanvallen. De nieuwe methode vermijdt deze valkuil door een tweefasig proces te gebruiken. In de eerste fase verkent het systeem de ruimte van mogelijke prompts, geleid door een beloningssignaal dat meet hoe waarschijnlijk een prompt is om een schadelijke reactie uit te lokken. Deze exploratie is ontworpen om breed te zijn, waarbij gezocht wordt naar veel verschillende "modi" of soorten aanvallen in plaats van alleen de enkelvoudige, gemakkelijkste weg. Het systeem verzamelt tijdens deze fase een grote dataset van deze succesvolle, diverse prompts.

In de tweede fase nemen de onderzoekers de verzamelde prompts en gebruiken deze om het model opnieuw te trainen, ditmaal met de focus op het leren van de patronen die die specifieke prompts succesvol maakten. Deze stap fungeert als een verfijning, waarbij de distributie van aanvallen wordt gladgestreken, zodat het model nieuwe, hoogwaardige variaties kan genereren die niet expliciet eerder zijn gezien, maar wel dezelfde succesvolle kenmerken delen. Deze combinatie van brede exploratie gevolgd door gerichte leerprocessen stelt het systeem in staat om een hoog niveau van diversiteit te behouden terwijl wordt gewaarborgd dat de aanvallen krachtig blijven. De onderzoekers testten deze aanpak op een verscheidenheid aan verschillende taalmodellen, inclusief modellen die specifiek getraind waren om veilig en resistent tegen aanvallen te zijn. Zij vonden dat hun methode consequent andere technieken overtrof, door een veel hoger percentage toxische prompts te genereren terwijl een grote variëteit aan formuleringen en structuren werd behouden.

Een van de meest significante bevindingen was het vermogen van deze aanvallen om over te dragen op verschillende modellen. Prompts gegenereerd om een specifiek model aan te vallen, waren vaak ook succesvol tegen andere, compleet verschillende modellen, zelfs tegen modellen waar de onderzoekers tijdens de trainingsfase nooit tegen hadden getest. Dit suggereert dat verschillende kunstmatige intelligentiesystemen gemeenschappelijke zwakheden delen in hun veiligheidstraining, en dat een diverse set aanvallen deze gedeelde kwetsbaarheden effectiever kan onthullen dan smalle, repetitieve aanvallen. Wanneer de onderzoekers bijvoorbeeld hun systeem trainden op een model genaamd Gemma, waren de resulterende prompts in staat om de veiligheidsfilters van verschillende andere modellen, waaronder Llama en Mistral, met hoge succespercentages te omzeilen. Deze overdraagbaarheid is cruciaal omdat het betekent dat één goed ontworpen red-teaming inspanning de veiligheid van vele verschillende systemen tegelijkertijd kan verbeteren.

De onderzoekers toonden ook aan dat het gebruiken van hun diverse set aanvallen om een model te trainen het aanzienlijk robuuster maakt. Toen zij een doelmodel namen en het fine-tunen met de weigeringsreacties op hun gegenereerde prompts, werd het resulterende model veel moeilijker te breken. Sterker nog, dit op veiligheid getunede model was in staat om aanvallen te weerstaan die werden gegenereerd door andere, minder geavanceerde red-teamingmethoden die voorheen succesvol waren geweest. Dit geeft aan dat het blootstellen van een model aan een breed scala aan aanvalstijlen tijdens de veiligheidstraining veel effectiever is dan het blootstellen aan slechts een paar herhaalde voorbeelden. De studie toonde aan dat deze verbetering in veiligheid niet ten koste ging van de algemene vermogens van het model; de op veiligheid getunede modellen behielden hun vermogen om instructies op te volgen en taken effectief uit te voeren.

Het werk benadrukte ook de beperkingen van huidige veiligheidsmaatregelen. De onderzoekers merkten op dat de effectiviteit van hun aanvallen afhangt van de classifier die bepaalt of een reactie giftig is, en dat werkelijke schade subjectief en contextafhankelijk kan zijn. Zij observeerden dat sommige methoden, met name die die vertrouwen op eenvoudige optimalisatie, in een valkuil kunnen stappen waarbij ze prompts genereren die toxisch lijken voor een classifier maar geen schadelijke reacties daadwerkelijk oproepen bij het model, een fenomeen dat bekend staat als reward hacking. Hun tweefasige aanpak hielp dit te mitigeren door te zorgen dat de prompts niet alleen statistisch waarschijnlijk een classifier zouden triggeren, maar ook daadwerkelijk effectief waren in het oproepen van de gewenste reactie van het doelmodel.

Uiteindelijk biedt dit onderzoek een betrouwbaardere manier om kunstmatige intelligentiesystemen te testen voordat ze voor het publiek worden vrijgegeven. Door af te stappen van methoden die vastlopen in repetitieve lussen en een strategie te omarmen die streeft naar een grote diversiteit aan aanvallen, kunnen ontwikkelaars een breder scala aan kwetsbaarheden identificeren en patchen. Het vermogen om deze aanvallen over te dragen naar verschillende modellen suggereert dat de veiligheidsuitdagingen waar deze systemen voor staan onderling verbonden zijn, en dat een diverse, probabilistische aanpak van red-teaming een krachtig instrument biedt voor het bouwen van meer veerkrachtige en betrouwbare kunstmatige intelligentie. De code en methoden die in deze studie zijn ontwikkeld, zijn beschikbaar voor anderen om te gebruiken, met als doel de creatie van veiligere systemen voor iedereen te versnellen.

Technische Samenvatting: Het leren van diverse aanvallen op Large Language Models voor robuuste Red-Teaming en Safety Tuning

Probleemstelling

De inzet van Large Language Models (LLMs) brengt aanzienlijke risico's met zich mee wat betreft de generatie van schadelijke, giftige of onveilige inhoud. Hoewel modellen vaak worden verfijnd met veiligheidsbeperkingen, blijven ze kwetsbaar voor "jailbreak"- of "attack"-prompts die ongewenste reacties uitlokken. Red-teaming—de geautomatiseerde identificatie van dergelijke prompts—is cruciaal voor het waarborgen van robuuste veiligheidsafstemming (safety alignment) vóór implementatie.

Bestaande geautomatiseerde red-teaming methoden, primair gebaseerd op Reinforcement Learning (RL), kampen met een fundamentele afruil tussen diversiteit en effectiviteit.

Mode Collapse: Standaard RL-algoritmen (bijv. REINFORCE, PPO) neigen te convergeren naar een enkele, hoog-belonende trajectorie, wat resulteert in een nauwe set van vergelijkbare aanvalsprompts.
Ineffectieve Diversiteit: Methoden die proberen diversiteit af te dwingen (bijv. via novelty rewards of entropy bonuses) falen vaak in het balanceren hiervan met toxiciteit, wat resulteert in diverse maar ineffectieve prompts die er niet in slagen de veiligheidsfilters te omzeilen.
Slechte Transfereerbaarheid: Aanvallen gegenereerd voor één doelmodel falen vaak bij de overdracht naar andere doel-LLM's, wat de efficiëntie van safety tuning over verschillende architecturen heen beperkt.

Het artikel stelt dat huidige benaderingen moeite hebben met het ontdekken van het volledige spectrum aan aanvalsmodi dat nodig is om LLM's robuust te voorzien van safety tuning.

Methodologie

De auteurs stellen een tweestaps probabilistisch framework voor met behulp van GFlowNets (Generative Flow Networks) gevolgd door Maximum Likelihood Estimation (MLE) smoothing. Deze benadering behandelt het genereren van aanvalsprompts als het samplen uit een beloningsverdeling in plaats van het optimaliseren van een enkele deterministische trajectorie.

Stage 1: GFlowNet Fine-Tuning

De eerste fase omvat het fine-tunen van een vooraf getrainde aanvallende Language Model (LM) als een GFlowNet-policy.

Doel: Het leren van een stochastische policy $p_\theta$ die prompts $x$ sample met een waarschijnlijkheid proportioneel aan hun beloning $R(x)$ .
Beloningsfunctie: De beloning combineert twee componenten:
1. Toxiciteit ( $R_1$ ): De waarschijnlijkheid dat de reactie van het doel-LLM als toxisch wordt geclassificeerd door een toxiciteitsclassifier (bijv. Llama-Guard of RoBERTa).
2. Naturalness ( $R_2$ ): De waarschijnlijkheid van de prompt onder een referentiemodel ( $p_{ref}$ ), wat ervoor zorgt dat de aanvalsprompts natuurlijk lijken en niet gemakkelijk worden gefilterd door perplexity-gebaseerde defensies.
Training: Het model wordt getraind met de Trajectory Balance objectief. Tijdens deze fase verkent de policy de ruimte van prompts en verzamelt hoog-belonende samples in een offline dataset. Deze fase is ontworpen om "off-policy" te zijn, waardoor het model diverse modi van aanval kan ontdekken die standaard RL mogelijk mist.

Stage 2: MLE Smoothing

De tweede fase adresseert de gevoeligheid van GFlowNet voor beloningstemperatuurparameters (die de afruil tussen toxiciteit en diversiteit controleren).

Proces: Het vooraf getrainde aanvallende LM wordt opnieuw geïnitialiseerd en verfijnd met behulp van Maximum Likelihood Estimation (MLE) op de hoog-belonende prompts die tijdens Stage 1 zijn verzameld.
Mechanisme: Dit fungeert als een vorm van behavior cloning. Door te trainen op de diverse set succesvolle aanvallen ontdekt in Stage 1, leert het model een "gladde" verdeling over hoog-belonende prompts.
Voordeel: Deze stap ontkoppelt de exploratie (Stage 1) van de uiteindelijke policy optimalisatie, waardoor de methode robuust wordt tegen de specifieke temperatuurinstellingen die gebruikt worden in het GFlowNet-objectief en de diversiteit van de uiteindelijke output aanzienlijk verbetert.

Adaptatie via Reranking

Een kernkenmerk van de tweestapsbenadering is de aanpasbaarheid. Om een nieuw doel-LLM te red-teamen, stellen de auteurs voor om Stage 1 over te slaan. In plaats daarvan herberekenen zij de beloning van de opgeslagen prompts uit Stage 1 met behulp van het nieuwe doel-LLM, filteren zij op hoog-belonende prompts en voeren zij enkel de lichte Stage 2 (MLE) fine-tuning uit.

Belangrijkste Bijdragen

Probabilistische Red-Teaming: Het artikel introduceert een GFlowNet-gebaseerde benadering voor red-teaming, waarbij het genereren van prompts wordt geframed als het samplen uit een beloningsverdeling om inherent diversiteit te stimuleren.
Two-Stage Smoothing: De auteurs stellen een nieuwe MLE smoothing-stap voor die generaliseert van hoog-belonende samples gevonden tijdens de GFlowNet-training, waardoor een effectieve balans wordt gevonden tussen diversiteit en toxiciteit, terwijl de gevoeligheid voor hyperparameters wordt verminderd.
Transfereerbaarheid: De methode genereert aanvalsprompts die effectief transfereren naar verschillende doel-LLM's (bijv. van Llama-2 naar Llama-3, of Gemma naar Mistral), wat gedeelde falingsmodi in de veiligheidsafstemming blootlegt.
Robuuste Safety Tuning: Het artikel demonstreert dat het safety-tunen van doel-LLM's op de diverse dataset gegenereerd door deze methode resulteert in modellen die aanzienlijk robuuster zijn tegen aanvallen van andere RL-gebaseerde red-teaming methoden vergeleken met modellen die zijn getuned op standaard baselines.

Experimentele Resultaten

De methode werd geëvalueerd tegen vijf doel-LLM's (GPT-2, Dolly-v2-7b, Gemma-2b-it, Llama-2-7b-chat, Llama-3.1-8B-Instruct) en vergeleken met baselines inclusief Supervised Fine-Tuning (SFT), In-Context Learning (ICL), REINFORCE, PPO + Novelty, en standalone GFlowNet.

Diversiteit vs. Toxiciteit: De voorgestelde GFlowNet + MLE methode is de enige benadering die consistent zowel hoge toxiciteitspercentages (effectiviteit) als hoge cosinusafstand (diversiteit) bereikt over alle doelmodellen. Baselines zoals REINFORCE lijden aan mode collapse (hoge toxiciteit, lage diversiteit), terwijl PPO + Novelty vaak faalt in het vinden van effectieve aanvallen op safety-getunede modellen.
Transfereerbaarheid: Wanneer getraind op Gemma-2b-it, bereikte de GFlowNet + MLE aanvaller een toxiciteitspercentage van ~27% op Llama-2-7b-chat en ~52% op Llama-3-70b-instruct, waarmee het alle andere methoden significant overtreft. In contrast hiermee waren REINFORCE-aanvallen specifiek afgestemd op het trainingsmodel en faalden ze in transfer (0% toxiciteit op andere modellen).
Effectiviteit van Safety Tuning: Doelmodellen die zijn verfijnd op de GFlowNet + MLE dataset waren robuust tegen aanvallen van andere methoden (bijv. PPO + Novelty), terwijl modellen getuned op andere datasets kwetsbaar bleven voor GFlowNet + MLE aanvallen.
Efficiëntie: De tweede fase (MLE) is computationeel goedkoop, neemt minder dan 5% van de totale trainingstijd in beslag en vereist geen on-policy sampling of dure beloningsberekening tijdens de adaptatiefase.

Betekenis en Claims

Het artikel stelt dat diversiteit een vereiste is voor robuuste safety tuning. Door het niet ontdekken van diverse aanvalsmodi, laten huidige veiligheidsafstemmingsprocessen modellen kwetsbaar voor onvoorziene aanvalsvectoren. De voorgestelde methode biedt een principieel, probabilistisch alternatief voor standaard RL, wat de ontdekking van een breder spectrum aan kwetsbaarheden mogelijk maakt.

De auteurs beweren dat hun benadering:

Het "mode collapse"-probleem oplost dat inherent is aan standaard RL red-teaming.
Een schaalbare mechanisme biedt om de red-teaming policies aan te passen aan nieuwe modellen zonder vanaf nul te hoeven hertrainen.
Aantoont dat safety-getunede modellen die zijn getraind op diverse, door GFlowNet gegenereerde aanvallen, meer veerkrachtig zijn tegen een breder scala aan dreigingen.

Het artikel concludeert door te wijzen op beperkingen, specifiek dat de effectiviteit wordt begrensd door de nauwkeurigheid van de toxiciteitsclassifier die als proxy voor schade dient, en dat het online karakter van de training (het vereisen van doel-LLM queries) computationele kosten met zich meebrengt. Desalniettemin vormt het voorgestelde tweestapsframework een significante stap voorwaarts in automatische, robuuste red-teaming.