💬 NLP

Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks

Dit artikel toont aan dat interne veiligheidsscores, die steunen op prompt-afhankelijke aandachtmetingen, er niet in slagen jailbreak-succes te voorspellen omdat wrapping-aanvallen zowel de inhoud als de meetcoördinaten veranderen, waardoor scores voor schadelijke intentie de werkelijke schadelijke uitkomsten anti-ranken over meerdere modellen en aanvallenfamilies.

Oorspronkelijke auteurs: Mingyu Luo, Ming Deng, Zilang Qiu, Yiming Cheng, Ci Tao, Xue Tan, Sijin Sun, Yangfu Li, Ping Chen, Jun Dai, Xiaoyan Sun

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingyu Luo, Ming Deng, Zilang Qiu, Yiming Cheng, Ci Tao, Xue Tan, Sijin Sun, Yangfu Li, Ping Chen, Jun Dai, Xiaoyan Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat jij de hoofd van de beveiliging bent van een zeer praatgrage, zeer slimme robot. Deze robot is ontworpen om behulpzaam te zijn, maar heeft een donkere kant: als iemand hem misleidt met een slim geformuleerd verzoek, kan hij zijn regels vergeten en gevaarlijk advies gaan uitspuwen, zoals hoe je een bom bouwt of een virus schrijft. Dit wordt een "jailbreak" genoemd. Om dit te stoppen, hebben ingenieurs een "veiligheidsdetector" gebouwd die werkt als een uitsmijter bij een club. Deze uitsmijter bekijkt het verzoek van de persoon voordat de robot überhaupt begint te praten. Als het verzoek er verdacht uitziet, plakt de uitsmijter een hoge "gevaarsscore" erop en zet de persoon eruit.

Lange tijd dacht iedereen dat dit systeem perfect werkte. De logica was simpel: "Als de uitsmijter een hoge gevaarsscore geeft, is het verzoek slecht, en zal de robot definitief 'nee' zeggen." Het leek een solide plan. Maar hier zit de crux: de uitsmijter beoordeelt de intentie van het verzoek, terwijl het werkelijke gedrag van de robot afhangt van een heleboel andere zaken, zoals hoe de robot op dat exacte moment denkt en hoe hij de truc interpreteert. Het is alsof een beveiligingsbeambte een filmscript beoordeelt op basis van alleen de titel, uitgaande van het feit dat een enge titel een horrorfilm betekent, zonder de eigenlijke scènes ooit te bekijken. De grote vraag die wetenschappers zich hebben gesteld is: voorspelt een hoge gevaarsscore op het verzoek daadwerkelijk dat de robot er niet in zal slagen om misleid te worden? Of is de uitsmijter gewoon aan het gokken?

Dit artikel, getiteld "Measuring the Wrong Thing", gaat achter de schermen van dit beveiligingssysteem te werk om het te auditeren. De onderzoekers, onder leiding van Mingyu Luo en collega's, besloten te testen of de "gevaarsscore" echt voorspelt of een jailbreak zal slagen. Ze zetten een slim experiment op met een tool die ze zelf hebben uitgevonden, genaamd "Active Attention Probing". Denk aan deze tool als een speciale, onzichtbare microfoon die op een vaste plek in de hersenen van de robot is geplaatst. In plaats van naar het hele chaotische gesprek te luisteren (dat elke keer verandert wanneer er een truc wordt toegevoegd), luistert deze microfoon naar een specifiek, onveranderlijk signaal direct nadat de robot het verzoek heeft gelezen. Dit stelt hen in staat om precies te meten waar de robot aan het verzoek denkt, zonder dat de ruis van de truc zelf de meting verstoort.

Ze namen een reeks schadelijke verzoeken en testten deze op twee manieren: eerst in hun kale, voor de hand liggende vorm, en daarna gehuld in een "jailbreak"-verkleedkostuum (zoals een rollenspel of een nep-codeeropdracht). Ze kwamen tot een schokkende ontdekking. Wanneer ze de schadelijke verzoeken in deze vermommingen verpakten, werden de verzoeken feitelijk succesvoller in het misleiden van de robot. Het succespercentage sprong van een minieme 5% naar een veel grotere 27%. Echter, de veiligheidsdetector deed precies het tegenovergestelde: de "gevaarsscore" dacht dat de vermomde verzoeken juist veiliger waren. De score daalde, waardoor de gevaarlijke verzoeken onschuldig leken.

Het resultaat is een complete verwarring. De onderzoekers ontdekten dat onder de verzoeken die er daadwerkelijk in slaagden de robot te misleiden, de veiligheidsdetector de laagste gevaarsscores gaf. Onder de verzoeken die faalden, gaf de detector juist de hoogste scores. Het is alsof de uitsmijter de echte criminelen gewoon langs de deur laat lopen omdat ze een vermomming dragen, terwijl hij de onschuldige mensen tegenhoudt die alleen een opvallend shirt dragen. Sterker nog, de detector was zo verward dat hij succesvolle aanvallen als "minder gevaarlijk" classificeerde dan mislukte aanvallen, met een score die slechter was dan willekeurig gokken (een AUROC van slechts 0,220, waarbij 0,5 een muntworp is).

Het artikel controleerde ook of dit probleem erger wordt wanneer aanvallers hun stijl veranderen of verschillende talen gebruiken. Ze ontdekten dat hoewel de detector misschien nog steeds goed is in het herkennen van de intentie om schadelijk te zijn, hij volledig het vermogen verliest om te voorspellen of de robot daadwerkelijk zal gehoorzamen. De "kalibratie" van de detector (hoe goed de cijfers overeenkomen met de realiteit) valt uiteen, en de drempels die worden gebruikt om slechte verzoeken te blokkeren, werken niet meer.

Kortom, het artikel bewijst dat een veiligheidsscore die goed is in het identificeren van "slechte intentie", eigenlijk verschrikkelijk is in het voorspellen van "succesvolle jailbreaks". De auteurs laten zien dat de huidige manier waarop we deze veiligheidssystemen testen gebrekkig is, omdat het ervan uitgaat dat het opsporen van een slecht idee gelijkstaat aan het stoppen van de slechte uitkomst. Maar in werkelijkheid wordt het verzoek voor de detector zelfs veiliger naarmate de truc slimmer wordt, terwijl het voor de robot juist gevaarlijker wordt. Het artikel zegt niet dat veiligheidsdetectoren nutteloos zijn, maar wel dat we de score niet kunnen vertrouwen om te vertellen of een specifieke aanval zal werken. We hebben een nieuwe manier nodig om veiligheid te meten die kijkt naar de werkelijke uitkomst, niet alleen naar de intentie.

Technische Samenvatting: Het verkeerde meten

Probleemstelling
Huidige interne veiligheidsmechanismen voor Large Language Models (LLM's) vertrouwen vaak op "interne veiligheidsscores" die vóór de tekstgeneratie worden berekend om schadelijke intentie te detecteren. Deze scores worden doorgaans gevalideerd door hun vermogen om schadelijke prompts van onschuldige prompts te onderscheiden (classificatie van schadelijke intentie). De heersende aanname is dat een hoge score die duidt op schadelijke intentie ook de waarschijnlijkheid van een succesvolle jailbreak (gerealiseerd succes) voorspelt tegen een specifiek doelmodel.

Dit paper daagt deze inferentie uit. Het stelt dat schadelijke intentie een eigenschap is van de prompt, terwijl een jailbreak-succes een uitkomst is die wordt bepaald door de interactie tussen de prompt, het doelmodel, het decoding-beleid en de rechter (judge). De auteurs argumenteren dat filters die zijn afgestemd op scores die "schadelijke intentie" meten, hun budget voor fout-positieven verkeerd kunnen toewijzen door aanvallingen te blokkeren die sowieso al zouden falen, terwijl ze succesvolle aanvallen doorlaten als die succesvolle aanvallen lager scoren op de interne metriek.

Methodologie
Om deze inferentie te auditeren, introduceren de auteurs Active Attention Probing (AAP).

Active Attention Probing (AAP): In tegen tegenstelling tot passieve attention-detectoren die lezen van prompt-afhankelijke locaties (die veranderen wanneer een wrapper wordt toegevoegd), voegt AAP een vaste, inhoudsonafhankelijke probe-embedding in de systeemregio van het model in. Dit biedt een stabiele meetcoördinaat, waardoor een directe vergelijking mogelijk is tussen een basale prompt en de "gewrappte" (jailbreak) versie zonder de verwarring van verschuivende meetlocaties.
Matched Design: De studie koppelt elke basisdoelstelling aan een eenvoudige versie en een gewrappte versie. Het genereert echte completions van doelmodellen (voornamelijk Llama-3.1-8B-Instruct, met transfers naar Mistral, Qwen, Gemma en Phi) en labelt de gerealiseerde uitkomsten met onafhankelijke judges (Llama Guard 3, Qwen3 en StrongREJECT).
Evaluatiemetrieken: De auteurs maken onderscheid tussen drie validiteitscriteria:
1. Constructvaliditeit: Rangschikt de score de schadelijke intentie correct?
2. Uitkomstvaliditeit: Rangschikt de score het gerealiseerde jailbreak-succes correct?
3. Beslissingsvaliditeit: Handhaaft een vaste drempelwaarde zijn operationele gedrag onder distributieverschuiving?
Controles: De studie gebruikt meerdere controles om artefacten uit te sluiten, waaronder rare token probes, passieve (geen-insertie) reads, norm-gematchte controles, en checks voor attention-dilutie en sequentielengte-effecten.

Belangrijkste Resultaten

Inverse Ranking van Succes: De kernbevinding is dat een sterke score voor schadelijke intentie het gerealiseerde jailbreak-succes in de tegenovergestelde richting kan rangschikken.
- Op Llama verhoogde het wrappen van een schadelijk verzoek de werkelijke schadelijke generatiesnelheid van 0,05 naar 0,27.
- Tegelijkertijd daalde de schadelijke intentie AUROC van 0,936 naar 0,803.
- Cruciaal was dat, onder de gewrappte schadelijke prompts, de score deze 27 succesvolle aanvallen onder de 73 gefaalde aanvallen plaatste, wat resulteerde in een uitkomst AUROC van 0,220 (significant lager dan toeval).
Robuustheid over Kanalen en Doelen: Deze omkering houdt stand over verschillende meetkanalen (rare token, passief, system span, refusal logit), verschillende doelmodellen, zeven verschillende aanvalfamilies (inclusief GCG, AutoDAN, PAIR, TAP) en onafhankelijke judges.
Effecten van Distributieverschuiving:
- Kalibratie versus Ranking: Onder distributieverschuivingen (bijv. parafrasering, meertalige vertaling, codering) overleeft het vermogen van de score om de schadelijke intentie te rangschikken vaak, maar falen de kalibratie en de drempelwaarde-transfer.
- Ranking-falen: Sterkere oppervlakteverschuivingen (bijv. Base64-codering toegepast op beide klassen) kunnen de schadelijkheidsscheiding volledig wegnemen, waardoor de AUROC tot het niveau van toeval daalt.
- Drempelwaarde-transfer: Een drempelwaarde die is vastgesteld op het brondomein, verliest een significante F1-score op verschoven domeinen, zelfs wanneer de ranking nog steeds geldig is.
Impact op Implementatie: Wanneer toegepast als filter met een vaste fout-positieve ratio voor onschuldige prompts, blokkeert de filter bij voorkeur aanvallen die waarschijnlijk zouden falen. Het laat een onevenredig groot aantal succesvolle jailbreaks toe, wat de schadelijke frequentie onder toegelaten prompts verhoogt.

Bijdragen

Onderscheid van Constructen: Het paper maakt formeel onderscheid tussen prompt-schadelijkheid en doelspecifiek jailbreak-succes, waarbij beide worden geschat op gematchte prompts met gerealiseerde uitkomsten.
Demonstratie van Anti-Ranking: Het levert empirisch bewijs dat een score die gevalideerd is voor schadelijke intentie, het gerealiseerde succes in de tegenovergestelde richting kan voorspellen. Dit resultaat blijft standhouden over verschillende meetkanalen, doelmodellen en aanvalfamilies.
Audit van Distributieverschuiving: De studie scheidt rankingverlies, waarschijnlijkheids-miscalibratie en drempelwaarde-transfer, en toont aan dat distributieverschuiving de kalibratie en drempelwaarde-transfer aantast voordat het de ranking aantast, en dat sterke verschuivingen de ranking volledig kunnen vernietigen.
Methodologische Tool: De introductie van Active Attention Probing (AAP) maakt meting met vaste coördinaten mogelijk in attention-gebaseerde auditing, waardoor de verwarring van prompt-afhankelijke leeslocaties wordt weggenomen.

Betekenis en Claims
Het paper claimt dat validatie van schadelijkheid geen validiteit vestigt voor de voorspelling van gerealiseerd succes. Een hoge interne veiligheidsscore die schadelijke intentie aangeeft, is geen betrouwbare voorspeller dat een prompt een specifiek doelmodel succesvol zal jailbreaken. Sterker nog, succesvolle jailbreaks onderdrukken vaak de interne kenmerken waarop de veiligheidsscore steunt, waardoor ze lager scoren dan mislukte pogingen.

De auteurs concluderen dat veiligheidsdetectoren niet noodzakelijkerwijs "falen" in hun geformuleerde taak van het identificeren van schadelijke intentie; eerder is de interpretatie dat een dergelijke score jailbreak-succes voorspelt, ongeldig. Daarom moeten benchmarks en audits expliciet de naam geven aan het construct dat aan elk label is gekoppeld: het detecteren van schadelijkheid vereist labels op promptniveau ( $H$ ), terwijl gerealiseerd succes vereist dat uitkomsten op generatieniveau ( $Y_m$ ) worden geïndexeerd voor de specifieke target, het decoding-beleid en de judge. Het paper pleit voor aparte validatieprocessen voor deze verschillende constructen.

Meer zoals dit