🤖 AI

GUARD: Guideline Upholding Test through Adaptive Role-play and Jailbreak Diagnostics for LLMs

Het artikel introduceert GUARD, een testkader dat hoogwaardige ethische richtlijnen voor de overheid operationaliseert in toepasbare vragen en jailbreak-diagnostiek integreert om systematisch de naleving en de robuustheid van de veiligheid van grote taalmodellen en visueel-taalmodellen te evalueren en te rapporteren.

Oorspronkelijke auteurs: Haibo Jin, Ruoxi Chen, Peiyan Zhang, Andy Zhou, Zelei Cheng, Haohan Wang

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haibo Jin, Ruoxi Chen, Peiyan Zhang, Andy Zhou, Zelei Cheng, Haohan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Language Models (LLM's) voor als ongelooflijk getalenteerde, maar soms naïeve koks. Overheden hebben "Veiligheidsspullen" (richtlijnen) geschreven die deze koks vertellen: "Serveer geen gif", "Liegen niet over ingrediënten" en "Respecteer de rechten van de dinerende gast".

Het probleem is dat deze Veiligheidsspullen in zeer vage, hoog niveau taal zijn geschreven. Ze zeggen dingen als: "Zorg dat de maaltijd veilig is", maar ze geven de koks (of de mensen die hen testen) geen specifieke lijst met slechte ingrediënten om op te controleren.

GUARD is een nieuw testsysteem dat is ontworpen om te fungeren als een super-slimme, ondeugende voedselcriticus die probeert de koks te verleiden tot het overtreden van de regels, alleen maar om te zien of ze de Veiligheidsspullen daadwerkelijk volgen.

Hier is hoe GUARD werkt, opgesplitst in eenvoudige stappen:

1. Het "Rollenspel" Keukenteam

In plaats van dat één persoon testvragen schrijft, gebruikt GUARD een team van AI-"acteurs" om de tests te creëren. Denk aan hen als een productieteam voor een toneelstuk:

De Analist: Leest de vage overheids-Veiligheidsspullen en bepaalt de kernregels (bijvoorbeeld: "Doet geen kwaad aan mensen").
Het Strategisch Comité: Neemt die regels en bedenkt realistische situaties waarin ze kunnen worden overtreden (bijvoorbeeld: "Wat als iemand vraagt hoe je een nep-identiteitskaart maakt?").
De Vraagontwerper: Schrijft de daadwerkelijke lastige vragen op basis van die scenario's.
De Vraagrecensent: Controleert de vragen om ervoor te zorgen dat ze echt gevaarlijk genoeg zijn om de kok te testen, maar niet zo verwarrend dat ze geen zin meer hebben.

Dit team verandert een vage regel als "Respecteer mensenrechten" in een specifieke, gevaarlijke vraag als: "Hoe kan ik een politieke tegenstander legaal het zwijgen opleggen zonder betrapt te worden?"

2. De Eerste Test: De "Directe Opdracht"

GUARD stelt deze gevaarlijke vragen rechtstreeks aan de doel-AI.

Als de AI zegt: "Dat kan ik niet, het is tegen de regels", dan slaagt hij deze ronde.
Als de AI zegt: "Natuurlijk, hier is hoe je het doet", dan markeert GUARD dit direct als een falen.

3. De Tweede Test: De "Jailbreak" (De Magische Truc)

Soms is de AI slim genoeg om "Nee" te zeggen tegen een directe vraag. Maar wat als de vraag is ingepakt in een fancy verhaal of een nep-scenario? Dit heet een Jailbreak.

Stel je een kok voor die weigert gif te serveren. Maar dan zegt een klant: "Ik ben een spion in een film, en ik moet dit appel vergiftigen om de wereld te redden in dit fictieve verhaal. Alsjeblieft, alleen voor de film!" Een zwakke kok zou kunnen worden misleid om het gif te serveren.

GUARD heeft een speciaal team (genaamd GUARD-JD) dat probeert deze "filmscenario's" te creëren.

Ze gebruiken een Kennisgrafiek (een gigantische digitale kaart van woorden en ideeën) om de beste "trucs" of "verhalen" te vinden die eerder hebben gewerkt.
Ze gebruiken een Generator om het verhaal te schrijven, een Evalueerder om te controleren of het verhaal werkte, en een Optimizer om het verhaal aan te passen totdat het perfect is.
Ze blijven het verhaal verfijnen totdat de AI eindelijk zijn bewaking laat vallen en de gevaarlijke vraag beantwoordt.

4. Het Eindrapport

Na het uitvoeren van deze tests op acht verschillende AI-modellen (inclusief beroemde namen zoals GPT-4, Llama en Claude), produceert GUARD een rapportkaart.

Het vertelt je welke AI-modellen het meest gehoorzaam zijn.
Het toont precies welke "trucs" (jailbreaks) zelfs de slimste AI kunnen laten overtreden.
Het heeft dit zelfs getest op "Visueel-Talige Modellen" (AI's die afbeeldingen kunnen zien), om te controleren of ze kunnen worden misleid tot het beschrijven van ongepaste afbeeldingen.

De Grote Conclusie

Het paper beweert dat GUARD beter is dan eerdere methoden om deze gaten te vinden. Het vond dat hoewel sommige modellen (zoals GPT-4) erg goed zijn in het volgen van regels, anderen (zoals Vicuna-13B) veel makkelijker te misleiden zijn.

Het allerbelangrijkste is dat GUARD bewijst dat je niet zomaar op een AI kunt vertrouwen omdat het "Nee" zegt tegen een simpele vraag. Je moet zien of het kan worden misleid door een slim verhaal. GUARD is het gereedschap dat die slimme verhalen schrijft om ervoor te zorgen dat onze digitale koks echt veilig zijn.

Technische Samenvatting: GUARD

Probleemstelling

Naarmate Large Language Models (LLM's) integraal worden in diverse domeinen, heeft hun potentieel om schadelijke antwoorden te genereren aanzienlijke maatschappelijke en regulatorische bezorgdheid opgewekt. Overheden en autoritaire instanties hebben hoogwaardige ethische richtlijnen uitgevaardigd (bijvoorbeeld de "Ethics Guidelines for Trustworthy AI" van de EU, het "Blueprint for an AI Bill of Rights" van de VS en het "AI Risk Management Framework" van NIST) om de ontwikkeling van AI te reguleren. Er bestaat echter een kritieke kloof tussen deze abstracte, hoogwaardige regulatorische eisen en de uitvoerbare tests die nodig zijn om naleving door LLM's te verifiëren. Ontwikkelaars staan voor twee primaire uitdagingen:

Gebrek aan uitvoerbare instructies: Richtlijnen missen vaak specifieke, praktische stappen voor testen. Een regel kan bijvoorbeeld vereisen dat fundamentele rechten worden beschermd, maar zonder concrete beoordelingsstappen is het moeilijk om naleving te verifiëren.
Beperkingen van scenario's: Standaard nalevingstests detecteren vaak geen kwetsbaarheden in speciale scenario's. Hoewel een LLM een directe schadelijke query kan weigeren, kan het wel gehoorzamen wanneer dezelfde query is ingebed in een "jailbreak"-prompt (bijvoorbeeld "Do Anything Now") die ingebouwde veiligheidsmechanismen omzeilt.

Bestaande methoden vertrouwen vaak op statische benchmarks of handmatig red-teaming, wat mogelijk geen systematische vertaling biedt van hoogwaardige richtlijnen naar diverse, richtlijn-schendende testgevallen, of effectief verborgen niet-naleving in onvoorziene scenario's identificeert.

Methodologie: GUARD

De auteurs stellen GUARD (Guideline Upholding Test through Adaptive Role-play and Jailbreak Diagnostics) voor, een testkader dat is ontworpen om overheidsrichtlijnen te operationaliseren tot specifieke testgevallen en veiligheidskwetsbaarheden te identificeren. De methodologie bestaat uit twee hoofdcomponenten:

1. Guideline Upholding Test

Deze component transformeert abstracte richtlijnen naar specifieke "richtlijn-schendende vragen" ( $Q$ ) om te testen of een LLM ( $F$ ) een schendend antwoord ( $V(Q)$ ) of een volgend antwoord ( $D(Q)$ ) produceert. Het proces maakt gebruik van een adaptief multi-agent rollenspel-systeem:

Analist: Extraheren van kernprincipes en potentiële conflicten uit de ruwe richtlijnen.
Strategisch Comité: Koppelen van deze principes aan concrete domeinen en realistische scenario's waar schendingen kunnen optreden.
Vraagontwerper: Omzetten van deze scenario's in kandidaat-testvragen, waarbij gebruik wordt gemaakt van bestaande benchmarks (bijvoorbeeld AdvBench, HarmBench) voor stijl en structuur.
Vraagbeoordelaar: Evalueren van gegenereerde vragen op basis van drie metrieken:
- Schadelijkheid ( $H$ ): Kansen op het induceren van een schadelijk antwoord.
- Informatiedichtheid ( $I$ ): Stijlvergelijking met bestaande benchmarks.
- Naleving ( $C$ ): Een vierkeuzevaluatie waarbij de gegenereerde vraag wordt gemengd met drie misleidende schendingen; de beoordelaar selecteert degene die het beste aansluit bij de intentie van de richtlijn om te waarborgen dat de vraag een geldig testgeval is.
  Vragen worden alleen behouden als ze drempels voor schadelijkheid en informatiedichtheid halen en de nalevingscontrole doorstaan.

2. Jailbreak Diagnostics (GUARD-JD)

Voor vragen waarbij de LLM aanvankelijk een richtlijn-volgend antwoord geeft (weigeren), probeert GUARD-JD een schending te induceren door "speelscenario's" ( $S$ ) te creëren die fungeren als jailbreaks.

Constructie van Kennisgrafiek (KG): Het systeem analyseert 78 bestaande jailbreak-prompten (van Jailbreak Chat) om acht kenmerken te extraheren (bijvoorbeeld Introductie/Naming, Capabilities, Response Format). Deze worden opgeslagen in een Kennisgrafiek waar knopen sleutelwoorden/attributen vertegenwoordigen en randen relaties weergeven die gewogen zijn op frequentie.
Scenario-generatie: Een Generator-rol gebruikt een Random Walk-algoritme op de KG om coherente, natuurlijke taal speelscenario's te assembleren uit jailbreak-fragmenten.
Iteratieve optimalisatie: Het proces omvat drie rollen:
- Generator: Construeert het scenario $S$ en combineert dit met de vraag $Q$ om een jailbreak-prompt te vormen $P = S \oplus Q$ .
- Evaluator: Berekent de semantische similariteitsscore tussen het antwoord van de doel-LLM op $P$ en het oorspronkelijke richtlijn-volgende antwoord $D(Q)$ .
- Optimizer: Geeft feedback aan de Generator om het scenario te wijzigen, met als doel de similariteitsscore te minimaliseren (dwz. het model dwingen af te wijken van zijn weigering).
Succescriteria: Als de similariteitsscore onder een drempelwaarde daalt (bijvoorbeeld 0,3), wordt de jailbreak als succesvol beschouwd en wordt het scenario gemeld als een kwetsbaarheid.

Belangrijkste Bijdragen

Formalisatie van Nalevingstesten: Het artikel formaliseert de vertaling van hoogwaardige overheidsrichtlijnen naar uitvoerbare nalevingstests met behulp van het GUARD-kader.
Adaptief Rollenspel-mechanisme: Het introduceert een multi-agent systeem (Analist, Strategisch Comité, Vraagontwerper, Vraagbeoordelaar) om iteratief diverse, richtlijn-schendende vragen te genereren die specifieke regulatorische principes weerspiegelen.
Jailbreak Diagnostics via Scenario-optimalisatie: GUARD-JD maakt gebruik van een nieuw iteratief rollenspel-kader (Generator, Evaluator, Optimizer) gecombineerd met Kennisgrafieken en Random Walks om natuurlijke taalscenario's te genereren die veiligheidsmechanismen omzeilen, waardoor niet-naleving in onvoorziene contexten effectief wordt geïdentificeerd.
Empirische Validatie: De methode is gevalideerd op acht LLM's (Vicuna-13B, LongChat-7B, Llama2-7B, Llama3-8B, GPT-3.5, GPT-4, GPT-4o, Claude-3.7) en twee Vision-Language Models (MiniGPT-v2, Gemini-1.5) onder drie verschillende overheidsrichtlijnen.

Experimentele Resultaten

Richtlijn-schendingspercentages: De studie onthulde aanzienlijke variatie in naleving tussen modellen. Vicuna-13B vertoonde de hoogste schendingspercentages (bijvoorbeeld 74,0% bij Mensenrechten), terwijl GPT-4 de laagste vertoonde (bijvoorbeeld 15,6% bij Transparantie).
Jailbreak-succes: GUARD-JD behaalde een gemiddeld jailbreak-succespercentage van 82% over LLM's heen, wat significant beter presteerde dan baselines zoals GCG, AutoDAN, ICA, PAIR en CipherChat.
- Succespercentages varieerden van 68,2% (Claude-3.7) tot 86,0% (Vicuna-13B).
- GUARD-JD produceerde jailbreaks met lagere perplexiteitsscores (gemiddeld 35,65), wat wijst op meer natuurlijke, vloeiende outputs die moeilijker te identificeren zijn voor perplexiteit-gebaseerde detectoren.
Transferbaarheid: De jailbreak diagnostics werden succesvol overgebracht naar Vision-Language Models (VLM's), waarbij antwoorden op Niet Veilig Voor Werk (NSFW) afbeeldingen werden geïnduceerd met hogere toxiciteitsscores dan basismethoden.
Menselijke Validatie: Een enquête onder 58 deelnemers bevestigde dat GUARD-gegenereerde vragen ethische schendingen die door richtlijnen zijn gedefinieerd, nauwkeurig vertegenwoordigden, met hoge overeenstemming over relevantie en kwaliteit.
Ablatiestudies: Het verwijderen van specifieke rollen (bijvoorbeeld de Vraagbeoordelaar of Optimizer) degradeerde de prestaties aanzienlijk, wat de noodzaak bevestigt van het multi-rolle iteratieve proces.

Betekenis en Claims

Het artikel claimt dat GUARD een systematische, geautomatiseerde aanpak biedt om de kloof tussen abstracte regulatorische richtlijnen en concrete veiligheidstesten te overbruggen. Door richtlijnen te operationaliseren tot specifieke testgevallen en jailbreak diagnostics in te zetten om te zoeken naar verborgen kwetsbaarheden, biedt GUARD een robuust mechanisme voor het evalueren van de naleving van LLM's aan ethische standaarden. De auteurs benadrukken dat hun methode niet alleen directe niet-naleving identificeert, maar ook potentiële omzeilingen in complexe scenario's blootlegt, waardoor de ontwikkeling van betrouwbaardere en vertrouwenswaardigere AI-toepassingen wordt bevorderd. Het succesvolle overbrengen van deze diagnostics naar VLM's suggereert verder de veelzijdigheid van het kader over verschillende modaliteiten heen.