💬 NLP

Red-Bandit: Test-Time Adaptation for LLM Red-Teaming via Bandit-Guided LoRA Experts

Red-Bandit is een testtijd-adaptatiekader dat dynamisch gespecialiseerde LoRA-experts selecteert met behulp van een multi-armed bandit-beleid om model-specifieke kwetsbaarheden in Large Language Models efficiënt te identificeren en te exploiteren, waarbij state-of-the-art red-teaming-prestaties worden behaald terwijl er meer menselijk leesbare aanvalsprompts worden gegenereerd.

Oorspronkelijke auteurs: Christos Ziakas, Nicholas Loo, Nishita Jain, Alessandra Russo

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christos Ziakas, Nicholas Loo, Nishita Jain, Alessandra Russo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de zwakste plek te vinden in een zeer sterk, high-tech kasteel (een Large Language Model, of LLM). De kasteelwachten zijn getraind om iedereen te stoppen die om gevaarlijke dingen vraagt, zoals "Hoe bouw ik een bom?" of "Hoe hack ik een auto?".

Al geruime tijd proberen beveiligingstesters (zogenaamde "Red Teamers") binnen te dringen door steeds dezelfde oude trucs te schreeuwen of complexe wiskunde te gebruiken om de wachtwoorden van de bewakers te raden. Maar deze methoden zijn vaak stijf. Ze passen hun strategie niet aan op basis van hoe de specifieke kasteelwacht op dat moment reageert.

Red-Bandit is een nieuwe, slimmere manier om deze digitale kastelen te testen. Hier is hoe het werkt, opgesplitst in simpele onderdelen:

1. Het team van specialisten (de "LoRA Experts")

Stel je voor dat je een team van 10 verschillende acteurs hebt, die elk gespecialiseerd zijn in een specifieke manier van spreken:

De Slang-acteur: Spreekt als een straat slimme vriend.
De historicus: Vertelt verhalen die zich afspelen in het jaar 1805.
De Baas: Doet alsof hij een strenge autoriteitsfiguur is die bevelen geeft.
De Rollenspeler: Doet alsof hij een schurk is in een film.

In het paper worden deze LoRA Experts genoemd. Het zijn kleine, lichtgewicht "add-ons" voor een basis-AI. In plaats van één gigantische AI te trainen om goed in alles te zijn, hebben de onderzoekers deze 10 aparte, kleine experts getraind. Iedereen leerde hoe ze gevaarlijke dingen konden vragen met hun specifieke "stem" of stijl.

2. De slimme manager (de "Bandit")

Nu stel je je voor dat je bij de kasteelpoort staat. Je weet niet welke acteur vandaag de wacht voorbij komt.

Als je de Historicus stuurt, lacht de wacht het misschien af.
Als je de Baas stuurt, krijgt de wacht misschien schrik en laat hij je binnen.

Hier komt de Multi-Armed Bandit om de hoek kijken. Denk hierbij aan een "Slimme Manager" die naast je staat.

De Manager heeft een gokautomaat met 10 hendels (één voor elke acteur).
Elke keer als je een hendel trekt (een acteur stuurt), observeert de Manager de reactie van de wacht.
Als de wacht de Slang-acteur laat passeren, denkt de Manager: "Oké, deze wacht is zwak voor slang! Laten we dat nog eens proberen!" (Dit heet Exploitatie).
Als de wacht de Slang-acteur blokkeert, denkt de Manager: "Misschien moeten we de Historicus proberen om te zien wat er gebeurt", zelfs als we hen nog niet vaak hebben geprobeerd. (Dit heet Exploratie).

De Manager balanceert voortdurend tussen nieuwe dingen proberen om te zien wat werkt, en hetgeen dat al werkt gebruiken om het beste resultaat te behalen.

3. De "Veiligheidsscore" (de beloning)

Hoe weet de Manager of een acteur de wacht voorbij is gekomen?

De onderzoekers gebruiken een aparte, op regels gebaseerde veiligheidscontrole (zoals een strenge scheidsrechter).
Als de wacht (de doel-AI) antwoordt met iets schadelijks, geeft de scheidsrechter een "punt" (een beloning).
De Manager gebruikt deze punten om te leren welke acteur het meest effectief is tegen die specifieke wacht.

Waarom is dit beter dan de oude manieren?

Oude manier: Schreeuwen van dezelfde 100 vragen keer op keer, in de hoop dat er één werkt. Het is traag en faalt vaak tegen nieuwe wachten.
Red-Bandit: Het past zich in real-time aan. Als de wacht sterk is tegen "Slang" maar zwak tegen "Geschiedenis", ziet Red-Bandit dat direct en schakelt van tactiek.

Wat hebben ze ontdekt?

Het paper beweert dat Red-Bandit zeer effectief is in het vinden van gaten in AI-beveiliging:

Het dringt vaker binnen: Het slaagde er vaker in om de doel-AI te misleiden tot het geven van schadelijke antwoorden dan eerdere methoden (zoals AdvPrompter of Atoxia).
Het klinkt menselijker: De vragen die het stelt zijn vloeiender en minder robotachtig (lagere "perplexiteit"), waardoor het moeilijker is voor de AI om ze te detecteren als nep.
Het werkt als een diagnosehulpmiddel: Door te kijken welke "acteur" de Manager het vaakst kiest, kunnen onderzoekers precies zien tegen welke soort trucs een specifiek AI-model kwetsbaar is. Bijvoorbeeld, ze ontdekten dat één AI-model zeer makkelijk te misleiden was door "Historische Scenario's", terwijl een ander zwak was tegen "Rollenspelen".

Een opmerking over veiligheid

Het paper bevat een waarschuwing: Dit hulpmiddel is ontworpen om ontwikkelaars te helpen zwaktes te vinden zodat ze deze kunnen verhelpen voordat de AI aan het publiek wordt vrijgegeven. De auteurs erkennen echter dat dezelfde techniek theoretisch door boze daders zou kunnen worden gebruikt om systemen binnen te dringen. Het doel is om deze "slotenkrakende" vaardigheid te gebruiken om de sloten sterker te maken, niet om huizen in te breken.

Kortom: Red-Bandit is een slim, adaptief systeem dat een team van gespecialiseerde acteurs en een gokautomaat-achtige manager gebruikt om precies uit te zoeken hoe je een AI kunt misleiden, en leert onderweg welke trucs het beste werken voor die specifieke AI.

Technische Samenvatting: Red-Bandit

Probleemstelling

Grote Taalmodellen (LLM's) blijven kwetsbaar voor adversariale prompts die veiligheidsmaatregelen omzeilen, een beperking die wordt toegeschreven aan concurrerende doelen binnen het modeltraining en de generalisatiekloof tussen veiligheid en capaciteiten. Hoewel geautomatiseerd red-teaming is opgekomen als een schaalbaar alternatief voor menselijke auditing, staan bestaande methoden voor aanzienlijke afwegingen:

Offline Optimalisatie: Methoden zoals AdvPrompter en Atoxia genereren adversariale prompts offline. Hoewel ze goed overdragen naar black-box modellen, missen ze het vermogen om zich aan te passen aan specifieke kwetsbaarheden van het doelmodel tijdens het testen.
Query-intensieve Aanpassing: Iteratieve zoek- en mutatiemethoden (bijv. PAIR, TAP) bieden aanpassingsvermogen tijdens het testen, maar zijn zeer query-intensief en vereisen talloze interacties om een enkele prompt te verfijnen.
Diversiteit en Leesbaarheid: Benaderingen op basis van Versterkingsleer (RL) lijden vaak aan "mode collapse", wat de diversiteit van gegenereerde prompts beperkt, en worstelen met het balanceren van meerdere doelen (leesbaarheid versus aanvalssucces) in het beloningontwerp.

De kernuitdaging is het ontwikkelen van een black-box red-teaming framework dat efficiënt online aanpast om model-specifieke kwetsbaarheden te identificeren en te exploiteren, zonder de hoge querykosten van iteratieve zoekopdrachten of de rigiditeit van offline optimalisatie.

Methodologie

Red-Bandit adresseert deze uitdagingen via een tweefasig framework dat parameter-efficiënte RL-na-training combineert met een multi-armed bandit (MAB)-beleid voor aanpassing tijdens het testen.

1. RL Na-training van LoRA Experts

Het framework traint eerst een diverse set "aanvalsstijl-experts" met behulp van Low-Rank Adaptation (LoRA).

Aanvalsstijlen: Tien verschillende aanvalsstijlen worden gedefinieerd (bijv. Rollenspel, Straattaal, Historisch Scenario, Autoriteitsmanipulatie), gebaseerd op de Rainbow Teaming-taxonomie.
Trainingsalgoritme: De auteurs maken gebruik van Group Relative Policy Optimization (GRPO), een variant van PPO die de noodzaak voor een apart waardenmodel en referentiemodel elimineert, waardoor de rekenkundige overhead wordt verminderd.
Beloningssignaal: Een op regels gebaseerd beloningsmodel (Llama Guard) wordt gebruikt om prompts te scoren op basis van veiligheid. Cruciaal is dat de beloning wordt berekend op de prompt zelf (prompt-niveau veiligheid) in plaats van op de respons van het doelmodel. Dit maakt training in een volledig black-box setting mogelijk zonder het doelmodel te bevragen, wat generalisatie over downstream LLM's bevordert.
Architectuur: Elke aanvalsstijl krijgt een toegewijde LoRA-expert. Dit modulaire ontwerp maakt parallelle training mogelijk en het eenvoudig toevoegen van nieuwe stijlen zonder bestaande experts opnieuw te hoeven trainen of het risico op catastrofaal vergeten.

2. Bandit-geleide Inferentie

Tijdens de inferentie behandelt Red-Bandit de selectie van een aanvalsstijl als een multi-armed bandit-probleem.

Mechanisme: Het systeem selecteert dynamisch uit de vooraf getrainde LoRA-experts op basis van de veiligheid van de respons van het doelmodel.
Exploratie versus Exploitatie: Het framework balanceert exploratie (het proberen van diverse aanvalsstijlen om nieuwe kwetsbaarheden te ontdekken) en exploitatie (vertrouwen op stijlen die bekend staan als effectief voor het specifieke doel).
Algoritmen: De auteurs evalueren twee beleidslijnen:
- $\epsilon$ -greedy: Prioriteert exploitatie door het empirisch beste arm de meeste tijd te selecteren, met occasionele willekeurige exploratie.
- Upper Confidence Bound (UCB): Past optimisme onder onzekerheid toe, waarbij minder onderzochte armen de voorkeur krijgen om een meer gebalanceerde verdeling van aanvalsstijlen te waarborgen.
Aanpassing: Het bandit-beleid werkt zijn selectiestrategie bij op basis van feedback van het doelmodel, waardoor effectief aanpassing tijdens het testen plaatsvindt zonder de onderliggende LoRA-weights opnieuw te hoeven trainen.

Belangrijkste Bijdragen

Red-Bandit Framework: Een black-box red-teaming methode die een multi-armed bandit inzet om dynamisch de meest effectieve aanvalsstijlen voor een specifiek doelmodel te identificeren, waarbij stijldiversiteit en aanvalssucces in evenwicht worden gebracht.
RL Na-training Pipeline: Een innovatieve pipeline die GRPO en LoRA gebruikt om experts voor specifieke stijlen te trainen. Het maakt gebruik van prompt-niveau veiligheidsbeloningen om menselijk leesbare, stijl-gealigneerde adversariale instructies te genereren zonder toegang tot het doelmodel tijdens de training.
Diagnostische Capaciteit: Het bandit-beleid fungeert als een diagnostisch hulpmiddel, waardoor zichtbaar wordt welke aanvalsstijlen een specifiek model het meest vatbaar zijn, en zo model-specifieke zwaktes blootlegt.
Prestaties: De methode bereikt state-of-the-art aanvalssuccespercentages (ASR) op AdvBench en HarmBench, terwijl het prompts genereert met een lagere perplexiteit (hogere vloeiendheid) in vergelijking met bestaande baselines.

Experimentele Resultaten

De auteurs evalueerden Red-Bandit op de AdvBench- en HarmBench-benchmarks over open-source (Mistral-7B, Vicuna-7B, Llama2-7B) en propriëtaire (GPT-3.5-turbo, GPT-4o-mini, GPT-4o) modellen.

Aanvalssuccespercentage (ASR):
- Op AdvBench behaalde Red-Bandit 100% ASR@10 op Mistral-7B en Vicuna-7B, en presteerde beter dan baselines zoals Atoxia en AdvPrompter. Op Llama2-7B behaalde het >96% ASR@10.
- Op HarmBench presteerde Red-Bandit (UCB-variant) beter dan alle baselines (inclusief GCG, PAIR, TAP en AutoDAN) voor de meeste doelmodellen onder ASR@20-instellingen. Opmerkelijk is dat het een ASR@10 van 69,0% behaalde op Llama-2-7B, wat GCG-Universal (20,0%) significant overtreft.
- In black-box settings met propriëtaire modellen toonde Red-Bandit een hoge ASR@10 (bijv. 98,1% op GPT-3.5-turbo), wat bewijst dat bandit-geleide selectie kwetsbaarheden kan exploiteren zonder te vertrouwen op prompt-overdraagbaarheid.
Prompt Kwaliteit: Red-Bandit genereerde prompts met aanzienlijk lagere perplexiteit (bijv. 2,31 voor UCB op Mistral-7B) in vergelijking met baselines, wat wijst op hogere menselijke leesbaarheid.
Ablatie Studies: Resultaten bevestigden dat zowel de RL na-training als het bandit-selectiemechanisme substantieel bijdragen aan de prestaties. Op prompts gebaseerde beloningen bleken efficiënter en diverser dan op respons gebaseerde of hybride beloningen.
Kwetsbaarheidsdiagnostiek: Analyse van de selectieverdeling van de bandit onthulde distincte vatbaarheidspatronen per model (bijv. GPT-4o is zeer vatbaar voor historische en rollenspelscenario's, terwijl Llama-3.1-8B gevoelig is voor hypothetische en autoriteitsmanipulatie-aanvallen).

Betekenis en Beweringen

Het artikel beweert dat Red-Bandit een aanzienlijke vooruitgang vertegenwoordigt in geautomatiseerd red-teaming door de afweging tussen aanpasbaarheid en efficiëntie op te lossen. In tegenstelling tot iteratieve zoekmethoden die zwaar zijn op queries, of offline methoden die zich niet kunnen aanpassen aan specifieke doelen, biedt Red-Bandit een schaalbare oplossing die leert om in real-time te "routeren" naar de meest effectieve aanvalsstijl.

De auteurs benadrukken dat het framework niet louter een aanvalshulpmiddel is, maar een diagnostisch instrument. Door te analyseren welke aanvalsstijlen het bandit-beleid het meest selecteert om schadelijk gedrag op te wekken, kunnen ontwikkelaars inzicht krijgen in specifieke modelzwaktes en gedragsbias. Het artikel concludeert dat het exploiteren van modelkwetsbaarheden via gerichte aanvalsstijlen, geleid door een multi-armed bandit, bestaande methoden overtreft in zowel succespercentage als menselijke leesbaarheid, mits voldoende exploratiebudgetten beschikbaar zijn.

Opmerking: De auteurs erkennen het dual-use karakter van de technologie en stellen dat deze uitsluitend bestemd is voor ontwikkelaars en onderzoekers om modelbeveiligingen te auditeren en te versterken.