🤖 AI

Single-Configuration Attack Success Rate Is Not Enough: Jailbreak Evaluations Should Report Distributional Attack Success

Dit position paper betoogt dat huidige jailbreak-evaluaties die vertrouwen op succespercentages voor een enkele configuratie ontoereikend zijn voor het karakteriseren van bedreigingen, en stelt voor om distributiematen zoals Variant Sensitivity Measure (VSM) en Union Coverage (UC) toe te passen om het volledige scala aan aanvalprestaties over parametervariaties beter te vatten.

Oorspronkelijke auteurs: Carsten Maple, Abhishek Kumar, Riya Tapwal

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Carsten Maple, Abhishek Kumar, Riya Tapwal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingswachter bent die probeert uit te zoeken hoe makkelijk het is om een high-tech gebouw binnen te dringen.

In de wereld van AI-veiligheid testen onderzoekers vaak "jailbreak"-aanvallen—methodes die zijn ontworpen om AI-modellen te misleiden tot het zeggen van dingen die ze niet zouden moeten zeggen. De huidige standaard voor het rapporteren van deze tests is als een dief die zegt: "Ik heb één specifieke sleutel gevonden die 80% van de tijd de voordeur opent. Daarom is dit gebouw 80% kwetsbaar."

Dit artikel betoogt dat deze manier van rapporteren misleidend en onvolledig is. Het is als zeggen dat een gebouw veilig is omdat je slechts één sleutel op één deur hebt geprobeerd, en het feit negeert dat er 36 andere sleutels zijn die verschillende deuren kunnen openen, of dat de "beste" sleutel alleen werkt op een zeer specifiek type slot.

Hier is de uiteenzetting van het argument van het artikel met behulp van eenvoudige analogieën:

Het Probleem: De "Beste Sleutel"-Fout

De meeste AI-veiligheidspapers rapporteren één enkel getal: de Attack Success Rate (ASR) (Aanvalsuccespercentage). Ze kiezen de enige beste combinatie van instellingen (zoals de beste "sleutel") en zeggen: "Kijk, deze aanval werkt 80% van de tijd!"

De auteurs zeggen dat dit is als een dief die je één sleutel laat zien die de voordeur opent en beweert: "Zo veilig is dit gebouw." Maar wat als:

Die sleutel alleen werkt op de voordeur, maar er zijn 10 andere sleutels die de achter-, zij- en kelderdeuren openen?
Het "80% succes" een gelukkig toeval was dat alleen gebeurt met één zeer specifieke instelling, terwijl de andere 99 instellingen nauwelijks werken?

Als verdedigers (de beveiligingswachters) alleen kijken naar dat ene "beste" getal, kunnen ze de voordeur repareren en denken dat ze veilig zijn, terwijl de achter- en zijdeuren wijd open blijven staan.

De Oplossing: Twee Nieuwe Maatbekers

De auteurs stellen twee nieuwe manieren voor om het gevaar te meten, die ze VSM en UC noemen.

1. VSM (Variant Sensitivity Measure): "Hoe gelukkig was die sleutel?"

Stel je voor dat je een zak met 100 verschillende sleutels hebt.

Scenario A: 95 van hen openen de deur makkelijk. Eén is een mislukking. Als je de "beste" sleutel rapporteert, vertel je de waarheid over de gemiddelde ervaring.
Scenario B: Slechts 1 sleutel werkt perfect, en de andere 99 zijn nutteloos. Als je de "beste" sleutel rapporteert, lieg je over de gemiddelde ervaring.

VSM meet de kloof tussen het "beste" resultaat en het "gemiddelde" resultaat.

Lage VSM: De aanval is consistent. Het kopregelgetal is betrouwbaar.
Hoge VSM: Het kopregelgetal is een toevalstreffer. De aanval werkt alleen als je ongelooflijk geluk hebt met de instellingen. Het artikel vond dat voor sommige aanvallen het "beste" resultaat vijf keer beter was dan het gemiddelde resultaat, wat betekent dat het kopregelgetal wild optimistisch was.

2. UC (Union Coverage): "Hoeveel deuren kunnen worden geopend?"

Dit is het belangrijkste deel voor veiligheid.
Stel je voor dat je 36 verschillende sleutels hebt.

Sleutel A opent 60% van de deuren.
Sleutel B opent een ander 40% van de deuren.
Sleutel C opent de resterende 20%.

Als je alleen kijkt naar de "beste" sleutel (Sleutel A), denk je dat 60% van het gebouw kwetsbaar is. Maar als je alle sleutels samen probeert, realiseer je je dat 100% van het gebouw kwetsbaar is.

UC meet het totale percentage deuren dat kan worden geopend als een aanvaller elke variatie van de aanval probeert. Het artikel vond dat voor sommige aanvallen de "Union Coverage" 33% hoger was dan de "Beste Enkele Configuratie". Dit betekent dat verdedigers die alleen naar het beste getal kijken, een enorm stuk van het gevaar missen.

Wereldwijde Voorbeelden uit het Artikel

De auteurs testten deze ideeën op twee beroemde "aanvalsfamilies" (PAIR en Bijection Learning) met drie verschillende AI-modellen.

De PAIR-aanval: Ze probeerden verschillende "personas" (zoals doen alsof je een autoriteitsfiguur bent versus een logisch denker).
- De Kopregel: "Autoriteitsondersteuning" werkte 69% van de tijd.
- De Realiteit: Toen ze alle drie de personas combineerden, konden ze 88% van de gevallen binnenbreken. Het enkele getal miste 19% van de kwetsbare prompts.
De Bijection-aanval: Deze gebruikt verschillende "codering"-trucs (zoals het veranderen van de taal of de spaties in de tekst).
- De Kopregel: De beste enkele instelling werkte 81% van de tijd.
- De Realiteit: Toen ze alle 36 mogelijke combinaties probeerden, waren 100% van de prompts gebroken. Het "beste" getal miste volledig het feit dat elke enkele testcase kwetsbaar was als je genoeg variaties probeerde.

Waarom Dit Belangrijk Is

Het artikel zegt niet dat de huidige getallen wiskundig "fout" zijn; ze zijn gewoon onvolledig.

Voor Verdedigers: Als je alleen de "beste" aanval repareert, laat je de andere 30% van het gebouw onvergrendeld. Je moet de "Union Coverage" kennen om te weten hoeveel van het gebouw daadwerkelijk in gevaar is.
Voor Onderzoekers: Als je twee aanvallen vergelijkt, één met een "Beste" score van 80% (maar zeer inconsistent) en een andere met een "Beste" score van 60% (maar zeer consistent), kun je niet zomaar zeggen dat de eerste "beter" is. Je moet weten of de eerste gewoon een gelukkig toevalstreffer is.

De Conclusie

De auteurs vragen de AI-onderzoeksgemeenschap om te stoppen met alleen het "Beste Geval"-getal te schreeuwen. In plaats daarvan moeten ze rapporteren:

Het Beste Geval (De kopregel).
Het Gemiddelde Geval (Hoe typisch is dat succes?).
De Totale Dekking (Hoeveel verschillende prompts kunnen worden gebroken als je alle variaties probeert?).

Totdat onderzoekers beginnen met het rapporteren van dit volledige plaatje, zijn we als beveiligingswachters die alleen de voordeur controleren en aannemen dat de rest van het gebouw veilig is.

Technische Samenvatting: Enkele Configuratie Aanvalsuccespercentage Is Niet Voldoende

Probleemstelling

De huidige literatuur over jailbreak-aanvallen op Large Language Models (LLM's) vertrouwt voornamelijk op het rapporteren van een enkel Aanvalsuccespercentage (ASR) dat is afgeleid van een beperkte, vaak willekeurig geselecteerde, configuratie van parameters. Deze praktijk gaat ervan uit dat een enkele "best-case" configuratie de hele aanvalsfamilie adequaat vertegenwoordigt. Echter, moderne jailbreak-aanvallen zijn geparametriseerde families die meerdere interne variabelen omvatten, zoals systeemprompt-sjablonen, conversierondes, cipher-dispersie, les-shots en optimalisatiezaden.

Het artikel betoogt dat het uitsluitend rapporteren van de beste enkele configuratie fundamenteel ontoereikend is voor het karakteriseren van het bedreigingslandschap, omdat:

Onvolledige Bedreigingskarakterisering: Verschillende varianten van dezelfde aanvalsfamilie slagen vaak voor verschillende subsets van prompts. Een enkele configuratie kan een significant deel van het totale aanvalsoppervlak missen.
Misleidende Vergelijkingen: Het vergelijken van aanvallen op basis uitsluitend van kop-ASR-cijfers is gebrekkig als de onderliggende variantruimten verschillen in gevoeligheid. Een aanval met een hoog kop-ASR maar hoge variantie (kwetsbaar voor parameterwijzigingen) is niet direct vergelijkbaar met een aanval met een lager kop-ASR maar hoge consistentie.
Blindvlekken bij Verdedigers: Verdedigers die zich uitsluitend richten op de gerapporteerde beste configuratie, kunnen kwetsbaarheden missen die worden blootgelegd door andere levensvatbare varianten van dezelfde aanvalsfamilie.

Methodologie en Voorgestelde Metrieken

Om deze gaten aan te vullen, stellen de auteurs een verschuiving voor van enkelvoudige rapportage naar distributieve rapportage. Zij introduceren twee nieuwe metrieken om het standaard Beste ASR aan te vullen:

1. Variantgevoeligheidsmaat (VSM)

VSM kwantificeert hoe representatief het gerapporteerde beste ASR is voor de gemiddelde prestatie over de geteste variantruimte. Het wordt gedefinieerd als:
$VSM = \frac{\text{Beste ASR} - \text{Gemiddeld ASR}}{\text{Beste ASR}}$

Bereik: 0 tot bijna 1.
Interpretatie: Een VSM dicht bij 0 geeft aan dat alle varianten vergelijkbaar presteren (het kopnummer is representatief). Een VSM dicht bij 1 geeft aan dat het kopnummer een extreme uitschieter weerspiegelt en dat de typische prestatie significant lager is.

2. Unie-dekking (UC)

UC meet het totale fractie van prompts die onveilige antwoorden oproepen wanneer de unie van alle geteste configuraties wordt genomen. Het wordt gedefinieerd als:
$UC = \frac{|\bigcup_{v \in V} S(v)|}{|P|}$
Waarbij $V$ de variantruimte is, $S(v)$ de verzameling prompts is die succesvol zijn ge-jailbreakt door variant $v$ , en $P$ de volledige verzameling geëvalueerde prompts is.

Interpretatie: UC vangt het totale aanvalsoppervlak op dat toegankelijk is voor een aanvaller die bereid is meerdere varianten te proberen. De kloof tussen Beste ASR en UC geeft aan hoeveel van de bedreiging wordt gemist door het selecteren van een enkele configuratie.

Rapportageconventie

De auteurs stellen voor dat toekomstige artikelen het volgende moeten rapporteren:

ASR per variant over een duidelijk genummerde variantruimte.
Beste ASR en Gemiddeld ASR.
De berekende VSM.
De Unie-dekking (UC) over de volledige variantruimte.

Empirische Resultaten

De auteurs valideren hun kader met twee aanvalsfamilies (PAIR en Bijection Learning) over drie open-source doelmodellen (Mistral-7B, Qwen3-0.6B en Llama-3.1-8B) met behulp van een gestratificeerde subset van 100 prompts uit de HarmBench-dataset.

Casestudie 1: PAIR (Prompt Automatic Iterative Refinement)

Opzet: Getest 3 systeemprompt-sjablonen gekruist met 3 conversiedieptes (totaal 9 configuraties) per model.
Vondsten:
- Mistral-7B: De beste enkele configuratie (Authority Endorsement, $K=3$ ) behaalde 69% ASR. Echter, de Unie-dekking over alle 9 configuraties was 88%. De VSM was 0,425, wat aangeeft dat het kopnummer de typische prestatie significant overdrijft.
- Qwen3-0.6B: Beste ASR was 75%, terwijl de Unie-dekking 93% bereikte. VSM was 0,312.
- Conclusie: Sjablonen zijn complementair; verschillende sjablonen jailbreaken verschillende prompts. Vertrouwen op het beste sjabloon mist 19–24 procentpunten van het aanvalsoppervlak.

Casestudie 2: Bijection Learning

Opzet: Getest 6 dispersieniveaus gekruist met 6 les-shot-aantallen (totaal 36 configuraties) per model.
Vondsten:
- Extreme Gevoeligheid: VSM-waarden waren consistent hoog (0,80–0,86) over alle modellen, wat aangeeft dat de beste configuratie een ernstige uitschieter is ten opzichte van het gemiddelde.
- Mistral-7B: Beste ASR was 81%, maar Unie-dekking bereikte 100%. Elke geëvalueerde prompt werd ge-jailbreakt door ten minste één van de 36 configuraties, ondanks dat de beste enkele variant slechts 81% dekking bood.
- Llama-3.1-8B: Beste ASR was 17%, maar Unie-dekking was 43%.
- Conclusie: Enkele-configuratie-rapportage onderschat tegelijkertijd de totale kwetsbaarheid (UC) en overschat de consistentie van de aanval (hoge VSM).

Belangrijkste Bijdragen

Identificatie van Rapportagefalen: Het artikel identificeert dat huidige evaluatiepraktijken niet blootleggen of gerapporteerde ASR-waarden representatief, fragiel of onvolledig zijn wat betreft promptdekking.
Voorstel voor Distributieve Standaarden: Het pleit voor een nieuwe standaard die rapportage vereist van variantruimten, ASR per variant, VSM en UC.
Empirisch Bewijs: Door middel van PAIR- en Bijection-casestudies wordt aangetoond dat de keuze van variant de gemeten ASR en prompt-niveau dekking drastisch verandert, en dat verschillende varianten disjuncte sets van kwetsbaarheden blootleggen.
Nuttigheid voor Verdedigers en Onderzoekers: Het legt uit hoe deze metrieken onderscheid maken tussen piekprestaties van een enkele configuratie en gemiddelde prestaties, wat verdedigers helpt bij het prioriteren van patches en onderzoekers bij het maken van eerlijke vergelijkingen tussen artikelen.

Betekenis en Beweringen

Het artikel beweert dat enkele-configuratie ASR-rapportage niet "fout" is, maar onvolledig. Het betoogt niet dat bestaande cijfers onjuist zijn, maar dat ze de nodige context (distributie- en prompt-overlappingsinformatie) missen om correct geïnterpreteerd te worden.

De betekenis van dit werk ligt in het potentieel om:

Defensie te Verbeteren: Door de "Unie-Beste-kloof" te benadrukken, kunnen verdedigers prioriteit geven aan patches voor prompts die kwetsbaar zijn voor elke variant, in plaats van alleen de best bekende variant.
Evaluatie te Standaardiseren: Door VSM en UC in te voeren, kan de gemeenschap weg van kop-gerichte vergelijkingen naar een robuustere karakterisering van jailbreak-bedreigingen.
Verborgen Bedreigingen te Onthullen: De metrieken leggen bloot dat het totale bereikbare aanvalsoppervlak van een aanval aanzienlijk groter kan zijn (18–33 procentpunten hoger in de experimenten) dan wat wordt gesuggereerd door zijn beste enkele configuratie.

De auteurs concluderen dat distributieve rapportage, inclusief VSM en UC, de nieuwe minimumstandaard moet worden voor het evalueren van geparametriseerde jailbreak-aanvallen, aangezien dit slechts een vollediger rapportage vereist van data die al wordt gegenereerd tijdens standaard experimenten.