🤖 machine learning

When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

Dit artikel onthult dat standaard kruisvalidatie de generalisatie van classificatiemodellen voor kwaadaardige prompts met 8–16,5 AUC-punten overschat in vergelijking met een rigoureuze Leave-One-Dataset-Out-evaluatie, wat wijst op wijdverbreide dataset-afhankelijke shortcuts in modelkenmerken die huidige technieken voor domeingeneralisatie niet lijken te mitigeren.

Oorspronkelijke auteurs: Max Fomin

Gepubliceerd 2026-07-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Max Fomin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingsbeambte traint voor een hightech museum. Je doel is om de bewaker te leren hoe hij een dief moet herkennen die een gestolen artefact verbergt, ongeacht hoe hij het probeert te camoufleren. In de wereld van kunstmatige intelligentie zijn deze "dieven" kwaadaardige instructies die proberen een robotbrein (een Large Language Model) te misleiden om iets te doen wat het niet zou moeten doen, zoals geheimen onthullen of schadelijke code schrijven. Dit wordt "prompt injection" genoemd. Om de bewaker te trainen, laten wetenschappers hem meestal een enorme stapel foto's zien van bekende dieven en bekende onschuldige bezoekers. Als de bewaker 99% van de foto's goed heeft, juichen we meestal en zeggen: "Geweldig werk! Je bent klaar voor de echte wereld!"

Maar hier is de crux: wat als de bewaker eigenlijk niet leert hoe een dief eruitziet? Wat als hij gewoon leert hoe het fotoalbum eruitziet? Misschien werden alle foto's van dieven genomen in een rode kamer, en alle foto's van onschuldige mensen in een blauwe kamer. De bewaker kijkt misschien alleen naar de kleur van de muur in plaats van naar het gezicht van de persoon. Dit artikel gaat over een groep onderzoekers die besloten te testen of hun beveiligingsbeambten echt slim waren of gewoon heel goed waren in het onthouden van de kleur van de trainingskamer. Ze bouwden een nieuwe test waarbij de bewaker een dief moet ontdekken in een gloednieuwe kamer die hij nog nooit heeft gezien, om te zien of hij echt het verschil kan zien tussen goed en kwaad.

De Grote "Kleur van de Kamer"-truc

De onderzoekers, onder leiding van Max Fomin, ontdekten dat de standaardmanier waarop we AI-beveiligingsbeambten testen, ons voorliegt. Ze ontdekten dat wanneer we deze bewakers testen met de gebruikelijke methode (het mengen van alle trainingsfoto's en testfoto's samen), de bewakers eruitzien als genieën en ongelooflijk hoge scores behalen. Maar toen de onderzoekers een striktere test gebruikten genaamd LODO (Leave-One-Dataset-Out), waarbij de bewaker wordt gedwongen een confrontatie aan te gaan met een gloednieuwe "kamer" (een nieuwe dataset) die hij tijdens de training nog nooit heeft gezien, zagen de bewakers er plotseling veel minder indrukwekkend uit.

In simpele woorden waren de standaardtests alsojd een meerkeuzequiz waarbij de antwoorden verborgen zaten in de vraagstelling. Het artikel laat zien dat huidige veiligheidsclassificaties vaak gewoon "dataset-shortcuts" memoriseren. In plaats van diepe, complexe patronen van een kwaadaardige aanval te leren, leren ze oppervlakkige aanwijzingen zoals: "deze tekst lijkt uit het 'WildJailbreak'-bestand te komen, dus het moet slecht zijn," of "deze e-mail lijkt uit het 'Enron'-bestand te komen, dus het is veilig."

Het Experiment: 18 Verschillende Kamers

Om dit te bewijzen, bouwde het team een enorme trainingsplaats met 18 verschillende datasets (verzamelingen tekst), met meer dan 105.000 monsters. Deze bevatten alles van directe jailbreak-pogingen tot onschuldige zakelijke e-mails. Ze trainden de veiligheidsclassificaties op deze teksten met behulp van vier verschillende AI-modellen (waaronder Llama, Gemma en Qwen).

Wanneer ze de standaard "mix-en-match"-testmethode gebruikten, scoorden de classificaties bijna perfect, met nauwkeurigheidspercentages die vaak boven de 99% lagen. Het leek op een totale overwinning. Echter, toen ze overschakelden naar de LODO-methode—trainen op 17 datasets en strikt testen op de 18e dataset die ze nog nooit hadden gezien—daalden de scores drastisch.

Het gat was enorm. De standaardtests overschatten de mate van generalisatie van de AI met 8,0 tot 16,5 procentpunt. In sommige specifieke gevallen was de daling zelfs schokkend, met nauwkeurigheidsverschillen variërend van 1% tot 25%, afhankelijk van de dataset. Bijvoorbeeld: een classificatie die er op standaardtests uitzag als een 99,5% genie, daalde naar een prestatie van 79,4% bij het testen op een nieuwe dataset genaamd "Mosscap". Dit bewees dat de AI niet het concept van "slecht gedrag" leerde, maar simpelweg de "stijl" van de trainingsdata herkende.

Het "Shortcut" Detectiewerk

De onderzoekers stopten niet bij het vinden van de kloof; ze wilden weten waarom het gebeurde. Ze gebruikten een speciaal hulpmiddel genaamd een Sparse Autoencoder (SAE), die werkt als een microscoop om naar de kleine interne schakelaars (features) in het brein van de AI te kijken. Ze wilden zien welke schakelaars activeerden wanneer de AI een beslissing nam.

Ze ontdekten dat een aanzienlijk deel van de "hersencapaciteit" van de AI werd verspild aan dataset-shortcuts.

28% tot 44% van de belangrijkste features die de AI gebruikte om beslissingen te nemen, waren in fekelijk slechts shortcuts die de dataset identificeerden, niet de aanval.
Ze bouwden zelfs een aparte "dataset-identiteit-classificatie" die met 96,6% nauwkeurigheid kon raden uit welke dataset een stuk tekst kwam, enkel door naar de interne signalen van de AI te kijken. Dit bevestigde dat de datasets zo verschillend waren dat de AI ze gemakkelijk uit elkaar kon houden, en dat de AI die vaardigheid gebruikte om de veiligheidstest te bedriegen.

Het artikel onderzocht ook of standaardoplossingen dit probleem konden oplossen. Ze probeerden veelvoorkomende trucs zoals "adversarial training" (de AI leren terug te vechten tegen lastige voorbeelden) en "reweighting" (de AI laten letten op moeilijkere voorbeelden). Helaftelijk gezien, geen van deze standaardoplossingen sloot de kloof. De onderzoekers ontdekten dat de signalen voor "welke dataset dit is" en "is dit een veiligheidsdreiging" in het brein van de AI met elkaar verstrengeld waren. Het proberen te verwijderen van het "dataset"-signaal beschadigde per ongeluk het "veiligheid"-signaal, wat het probleem nog moeilijker maakte om op te lossen.

De Zilveren Rand: Betere Verklaringen

Hoewel het nieuws over de kloof ernstig is, biedt het artikel een slim hulpmiddel om het probleem in de toekomst aan te pakken. De onderzoekers ontwikkelden een manier om de verklaringen van de AI te "wegen". In plaats van alleen te vragen: "Welke features deden je denken dat dit slecht was?", vroegen ze: "Welke features deden je denken dat dit slecht was en bleven consistent over alle verschillende kamers heen?"

Door de features die slechts "dataset-shortcuts" waren weg te filteren, konden ze veel betrouwbaardere verklaringen genereren voor waarom een AI iets als verdacht markeerde. Ze ontdekten dat deze methode de top 20 redenen voor het markeren van een prompt in ongeveer 98% van de gevallen veranderde, waardoor de logica van de AI effectief werd opgeschoond en de "bedriegende" logica werd verwijderd.

De Kern van de Zaak

Dit artikel beweert niet dat het het probleem van AI-beveiliging heeft opgelost. Sterker nog, het stelt expliciet dat ze geen methode hebben gevonden om de kloof te dichten met de huidige technieken. In plaats daarvan boden ze een cruciale reality check. Ze toonden aan dat de huidige "gouden standaard" voor het testen van AI-veiligheid gebrekkig is, omdat het AI-modellen laat bedriegen door de bron van de data te memoriseren in plaats van het gevaar te begrijpen.

De les voor iedereen die AI-agenten bouwt of gebruikt is duidelijk: als je beveiligingsbeambte 99% scoort op een test waarbij de trainings- en testdata uit dezelfde stapel komen, kun je hem niet vertrouwen om een echte aanval uit een nieuwe bron aan te pakken. Je moet hem testen op data die hij nog nooit heeft gezien om te weten of hij werkelijk veilig is. De auteurs hebben hun tools vrijgegeven zodat anderen deze strengere tests kunnen uitvoeren, om ervoor te zorgen dat toekomstige AI-beambten daadwerkelijk leren om dieven te herkennen, en niet alleen de kleur van de kamer.

Technische Samenvatting: Wanneer benchmarks liegen: Evaluatie van kwaadaardige prompt-classifiers onder ware distributieverschuiving

Probleemstelling

De implementatie van op LLM gebaseerde agenten in autonome omgevingen introduceert kritieke beveiligingskwetsbaarheden, specifiek prompt-injectie, jailbreak-aanvallen en schadelijke verzoeken. Hoewel recente literatuur classifiers heeft ontwikkeld om deze dreigingen te detecteren, overschatten huidige evaluatiepraktijken de generalisatiecapaciteiten aanzienlijk. Standaardprotocollen maken doorgaans gebruik van train-test splits waarbij de testmonsters afkomstig zijn uit dezelfde datasetbronnen als de trainingsdata. Deze methodologie staat classifiers toe om "dataset-identiteitssignalen" te exploiteren—kenmerken die wijzen op de herkomst van de data (bijv. specifieke formattering voor WildJailbreak of Enron)—in plaats van algemene aanvalssemantiek te leren. Als gevolg hiervan rapporteren modellen bijna perfecte prestaties (AUC > 0,99) die niet vertaalt naar ware out-of-distribution (OOD) scenario's.

Methodologie

Constructie van de Benchmark

De auteurs hebben een benchmark samengesteld van 18 datasets met in totaal 105.000 monsters, die vier families van kwaadaardige inputs beslaan (schadelijke verzoeken, jailbreaks, prompt-injecties inclusief indirecte/agent-gebaseerde injecties, en extractie-aanvallen) naast benigne bronnen. De datasets variëren in compositie, waarbij sommige 100% kwaadaardig, 100% benigne of gemengde klassen zijn.

Evaluatieprotocol: Leave-One-Dataset-Out (LODO)

Om ware generalisatie te meten, stelt het artikel Leave-One-Dataset-Out (LODO) evaluatie voor. In tegenstelling tot standaard cross-validatie (CV) of helder gehouden testsets die data uit dezelfde bronnen mengen, traint LODO een classifier op $N-1$ datasets en evalueert deze strikt op de gehouden $N$ -de dataset. Dit zorgt ervoor dat de classifier nog nooit voorbeelden heeft gezien van de bron van de testdistributie.

Model- en Kenmerkvergelijking

Modellen: Experimenten beslaan vier LLM's uit drie families: Llama-3.1-8B, Gemma-3-27B, Qwen-3.5-2B/4B, en gedeeltelijke resultaten voor Llama-3.3-70B.
Classifiers: De studie maakt gebruik van op activaties gebaseerde classifiers (lineaire probes en 2-laagse MLP's) getraind op:
- Ruwe Activaties: Geëxtraheerd uit de residual stream (voornamelijk laag 31 voor Llama).
- Sparse Autoencoder (SAE) Kenmerken: Gedecodeerde activaties van laag 27 (Llama) en laag 42 (Gemma) om interpreteerbaarheid mogelijk te maken.
Shortcut-analyse: De auteurs introduceren een LODO-coëfficiënt behoudsmetriek ( $r_j$ ) om SAE-kenmerken te analyseren. Deze metriek meet de stabiliteit van de classifier-coëfficiënt van een kenmerk wanneer een specifieke dataset wordt gehouden. Kenmerken met een lage retentie ( $r_j \ll 1$ ) of tekenomkeringen worden geïdentificeerd als "dataset-shortcuts".
Baseline Vergelijkingen: De studie vergelijkt activatie-probes met productie-guardrails (PromptGuard 2, LlamaGuard), LLM-as-Judge (LJ) varianten, en toegewijde tekstgebaseerde prompt-injectie detectoren (ProtectAI, Deepset).

Belangrijkste Resultaten

1. Standaard Evaluatie Overschat Generalisatie Ernstig

Standaard 5-voudige CV en helder gehouden testset-evaluaties rapporteren AUC-scores tussen 0,996 en 0,999. In contrast hiermee onthult LODO-evaluatie een significante prestatiedaling:

Geaggregeerde Kloof: De CV-LODO AUC-kloof varieert van 8,0 tot 16,5 procentpunt over de vier modellen.
Per-Dataset Variantie: De nauwkeurigheidskloof voor specifieke gehouden datasets varieert van 1,2% tot 25,4%. Bijvoorbeeld, op de Jayavibhav dataset daalt de nauwkeurigheid van 94,5% (helder gehouden test) naar 69,1% (LODO).
Universaliteit: Deze kloof is consistent over alle geteste modelfamilies en groottes (2B tot 70B parameters).

2. Dataset Identiteit en Veiligheidssignalen Zijn Verstrengeld

Onderscheidbaarheid: Een logistische regressie-classifier kan de dataset-identiteit van een monster voorspellen met 96,6% nauwkeurigheid met behulp van SAE-kenmerken en 89,1% met ruwe activaties, wat bevestigt dat datasets triviaal onderscheidbaar zijn in de feature-ruimte.
Subspace Overlap: Het projecteren van activaties op het orthogonale complement van de top dataset-voorspellende richtingen degradeert de LODO-prestaties met 1,75 procentpunt. Dit suggereert dat de subspace die de dataset identificeert gedeeltelijk overlapt met de subspace die relevant is voor veiligheidsclassificatie.
Shortcuts: Analyse van de top 50 SAE-kenmerken laat zien dat 28% (Llama) tot 44% (Gemma) "shortcuts" zijn. Dit omvat "pure dataset shortcuts" (directe voorspelling van dataset-identiteit) en "context-afhankelijke shortcuts" (kenmerken die over datasets heen vuren maar de klasse-signaal alleen afleiden uit specifieke dataset-composities).

3. Ineffectiviteit van Standaard Mitigaties

De auteurs testten zeven standaard domein-generalisatie (DG) technieken, waaronder adversarial training (DANN), subspace projectie, sample reweighting en class balancing. Geen van deze methoden slaagde erin de CV-LODO kloof te dichten; in sommige gevallen (bijv. subspace projectie) verslechterden de prestaties zelfs. Dit impliceert dat standaard DG-aannames—dat dataset-identificerende en taak-relevante signalen netjes gescheiden kunnen worden—niet standhouden voor prompt-aanval detectie.

4. Vergelijking met Productie Baselines

Activatie Probes vs. Guardrails: Bij gelijke False Positive Rates (FPR) presteren activatie-gebaseerde probes beter dan PromptGuard 2 en LlamaGuard bij indirecte en agentische aanvallen, die tekst-alleen guardrails vaak niet detecteren vanwege een gebrek aan tool-schema ondersteuning.
LLM-as-Judge Gevoeligheid: De prestaties van LLM-as-Judge zijn zeer gevoelig voor prompt-templates, waarbij de True Positive Rates (TPR) variëren van 11% tot 93% afhankelijk van de prompt-framing, vaak ten koste van onacceptabel hoge FPR's.
Tekst Detectoren: Toegewijde tekst-classifiers (bijv. ProtectAI, Deepset) vertonen extreme trade-offs onder LODO-stijl evaluatie, of missen de meeste aanvallen of genereren onbruikbare false positive rates.

5. LODO-Gewogen Verklaringen

Door SAE-attributies te wegen met de retentie-metriek ( $z_j \cdot w_j \cdot r_j$ ), filteren de auteurs de dataset-artefact kenmerken eruit. Dit herrangschikt de top-20 kenmerken voor ongeveer 98% van de monsters, wat betrouwbaardere per-prompt verklaringen biedt die zich richten op echte aanvalspatronen in plaats van dataset-specifieke formattering.

Betekenis en Claims

Het artikel claimt dat het huidige evaluatieparadigma voor prompt-aanval classifiers fundamenteel gebrekkig is, wat leidt tot een vals gevoel van veiligheid. De primaire bijdragen zijn:

LODO Noodzakelijkheid: Het vaststellen dat Leave-One-Dataset-Out evaluatie vereist is om de ware generalisatiekloof (8–16pp) bloot te leggen die standaard CV maskeert.
Shortcut Taxonomie: Het definiëren van een retentie-metriek en taxonomie die dataset-afhankelijke kenmerken identificeert die firing-ratio heuristieken missen.
Bewijs van Verstrengeling: Het aantonen dat dataset-identiteit en veiligheids-relevante subspaces gedeeltelijk overlappen, wat verklaart waarom standaard domein-generalisatie fixes falen.
Diagnostisch Nut: Het bieden van een framework om dataset-artefacten uit verklaringen te filteren en classifiers te benchmarken onder condities die de real-world deployment shifts beter reflecteren.

De auteurs stellen expliciet dat zij geen definitieve oplossing bieden om de kloof te dichten, waarbij zij opmerken dat het ontwarren van dataset-identiteit van veiligheidssignalen een openstaand probleem blijft. In plaats daarvan bieden zij een diagnostisch hulpmiddel om te voorkomen dat er beloftes worden gedaan over productieprestaties op basis van opgeblazen CV-metrieken.