🤖 machine learning

When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

Questo articolo rivela che la cross-validazione standard sovrastima significativamente la capacità di generalizzazione dei classificatori di prompt malevoli di 8–16,5 punti di AUC rispetto a una rigorosa valutazione Leave-One-Dataset-Out, esponendo diffusi scorciatoie dipendenti dal dataset nelle caratteristiche del modello che le attuali tecniche di generalizzazione del dominio non riescono a mitigare.

Autori originali: Max Fomin

Pubblicato 2026-07-21

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Max Fomin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di stare addestrando una guardia giurata per un museo hi-tech. Il tuo obiettivo è insegnare alla guardia come individuare un ladro che nasconde un manufatto rubato, non importa come cerchi di travestirlo. Nel mondo dell'intelligenza artificiale, questi "ladri" sono istruzioni malevole che cercano di ingannare un cervello robotico (chiamato Large Language Model) per fargli fare qualcosa che non dovrebbe, come rivelare segreti o scrivere codice dannoso. Questo si chiama "prompt injection". Per addestrare la guardia, gli scienziati di solito mostrano loro una enorme pila di foto di ladri noti e di visitatori innocenti noti. Se la guardia indovina il 99% delle foto, di solito esultiamo e diciamo: "Ottimo lavoro! Sei pronta per il mondo reale!".

Ma ecco il problema: e se la guardia non stesse imparando davvero che aspetto ha un ladro? E se stesse solo imparando che aspetto ha l'album fotografico? Magari tutte le foto dei ladri sono state scattate in una stanza rossa, e tutte le foto delle persone innocenti in una stanza blu. La guardia potrebbe limitarsi a controllare il colore della parete invece di guardare il volto della persona. Questo articolo parla di un gruppo di ricercatori che ha deciso di testare se le loro guardie fossero davvero intelligenti o solo molto brave a memorizzare il colore della stanza di addestramento. Hanno costruito un nuovo test dove la guardia deve individuare un ladro in una stanza completamente nuova che non ha mai visto prima, per vedere se sa davvero distinguere tra bene e male.

Il grande trucco del "colore della stanza"

I ricercatori, guidati da Max Fomin, hanno scoperto che il modo standard in cui testiamo le guardie di sicurezza dell'IA ci sta mentendo. Hanno scoperto che quando testiamo queste guardie usando il metodo abituale (mescolando tutti i foto di addestramento e di test insieme), le guardie sembrano geni, ottenendo punteggi incredibilmente alti. Ma quando i ricercatori hanno usato un test più severo chiamato LODO (Leave-One-Dataset-Out), dove la guardia è costretta ad affrontare una "stanza" completamente nuova (un nuovo dataset) che non ha mai visto durante l'addestramento, le guardie sono improvvisamente apparse molto meno impressionanti.

In termini semplici, i test standard erano come dare alla guardia un quiz a scelta multipla dove le risposte sono nascoste nel formato della domanda. L'articolo dimostra che gli attuali classificatori di sicurezza stanno spesso solo memorizzando "scorciatoie del dataset". Invece di apprendere i pattern profondi e complessi di un attacco malevolo, stanno imparando indizi superficiali come "questo testo sembra provenire dal file 'WildJailbreak', quindi deve essere cattivo" o "questa email sembra provenire dal file 'Enron', quindi deve essere sicura".

L'esperimento: 18 diverse stanze

Per dimostrare questo, il team ha costruito un enorme campo di addestramento con 18 diversi dataset (collezioni di testo), contenenti oltre 105.000 campioni. Questi includevano tutto, dai tentativi diretti di jailbreak alle innocue email aziendali. Hanno addestrato i classificatori di sicurezza su questi testi utilizzando quattro diversi modelli di IA (inclusi Llama, Gemma e Qwen).

Quando hanno utilizzato il metodo di test standard "mix-and-match", i classificatori hanno ottenuto punteggi quasi perfetti, con tassi di accuratezza spesso superiori al 99%. Sembrava una vittoria totale. Tuttavia, quando hanno cambiato al metodo LODO — addestrando su 17 dataset e testando rigorosamente sul 18° dataset che non avevano mai visto — i punteggi sono crollati drasticamente.

Il divario era enorme. I test standard hanno sovrastimato la capacità di generalizzazione dell'IA di 8,0 - 16,5 punti percentuali. In alcuni casi specifici, il calo è stato ancora più scioccante, con scarti di accuratezza che variavano dall'1% al 25% a seconda del dataset. Ad esempio, un classificatore che sembrava un genio al 99,5% nei test standard è sceso a un performer al 79,4% quando testato su un nuovo dataset chiamato "Mosscap". Ciò ha dimostito che l'IA non stava imparando il concetto di "comportamento cattivo"; stava solo riconoscendo lo "stile" dei dati di addestramento.

Il lavoro investigativo sulle "scorciatoie"

I ricercatori non si sono fermati al rilevamento del divario; volevano sapere perché fosse accaduto. Hanno utilizzato uno strumento speciale chiamato Sparse Autoencoder (SAE), che agisce come un microscopio per guardare dentro i minuscoli interruttori interni (feature) del cervello dell'IA. Volevano vedere quali interruttori si attivavano quando l'IA prendeva una decisione.

Hanno scoperto che una parte significativa della "potenza cerebrale" dell'IA veniva sprecata in scorciatoie del dataset.

Dal 28% al 44% delle principali feature che l'IA usava per prendere decisioni erano in realtà solo scorciatoie che identificavano il dataset, non l'attacco.
Hanno persino costruito un separato "classificatore di identità del dataset" che poteva indovinare da quale dataset provenisse un pezzo di testo con un'accuratezza del 96,6% solo guardando i segnali interni dell'IA. Questo ha confermato che i dataset erano così distinti che l'IA poteva facilmente distinguerli e stava usando questa capacità per imbrogliare nel test di sicurezza.

L'articolo ha anche esplorato se le soluzioni standard potessero risolvere il problema. Hanno provato trucchi comuni come l' "adversarial training" (insegnare all'IA come combattere contro esempi truccati) e il "reweighting" (far sì che l'IA presti più attenzione agli esempi difficili). Sfortunatamente, nessuna di queste soluzioni standard ha colmato il divario. I ricercatori hanno scoperto che i segnali per "di quale dataset si tratti" e "se sia una minaccia alla sicurezza" erano intrecciati all'interno del cervello dell'IA. Cercare di rimuovere il segnale del "dataset" danneggiava accidentalmente il segnale della "sicurezza", rendendo il problema ancora più difficile da risolvere.

Il lato positivo: Migliori spiegazioni

Sebbene la notizia del divario sia seria, l'articolo offre uno strumento intelligente per aiutare a risolvere il problema in futuro. I ricercatori hanno sviluppato un modo per "pesare" le spiegazioni dell'IA. Invece di chiedere semplicemente: "Quali feature hanno fatto pensare che questo fosse cattivo?", hanno chiesto: "Quali feature hanno fatto pensare che questo fosse cattivo e sono rimaste coerenti in tutte le diverse stanze?".

Filtrando le feature che erano solo "scorciatoie del dataset", sono riusciti a generare spiegazioni molto più affidabili sul perché un'IA avesse segnalato un prompt. Hanno scoperto che questo metodo ha cambiato le prime 20 ragioni per cui un prompt veniva segnalato in circa il 98% dei casi, pulendo efficacementamente il ragionamento dell'IA e rimuovendo la logica dell' "imbroglio".

Conclusione

Questo articolo non sostiene di aver risolto il problema della sicurezza dell'IA. Anzi, afferma esplicitamente che non hanno trovato un metodo per colmare il divario utilizzando le tecniche attuali. Invece, hanno fornito un fondamentale controllo di realtà. Hanno dimostrato che l'attuale "standard d'oro" per testare la sicurezza dell'IA è difettoso perché permette ai modelli di IA di imbrogliare memorizzando la fonte dei dati invece di comprendere il pericolo.

Il messaggio per chiunque costruisca o utilizzi agenti di IA è chiaro: se la tua guardia giurata ottiene il 99% in un test dove i dati di addestramento e di test provengono dallo stesso mucchio, non puoi fidarti della sua capacità di gestire un attacco reale proveniente da una nuova fonte. Devi testarla su dati che non ha mai visto prima per sapere se è veramente sicura. Gli autori hanno rilasciato i loro strumenti affinché altri possano eseguire questi test più severi, assicurando che le future guardie dell'IA imparino davvero a individuare i ladri, e non solo il colore della stanza.

Sintesi Tecnica: Quando i Benchmark Mentono: Valutazione dei Classificatori di Prompt Maliziosi sotto Veri Shift di Distribuzione

Definizione del Problema

L'impiego di agenti basati su LLM in ambienti autonomi introduce vulnerabilità critiche di sicurezza, specificamente injection di prompt, attacchi di jailbreak e richieste dannose. Sebbene la letteratura recente abbia sviluppato classificatori per rilevare queste minacce, le attuali pratiche di valutazione sovrastimano significativamente le capacità di generalizzazione. I protocolli standard utilizzano tipicamente partizioni train-test in cui i campioni di test originano dalle stesse fonti dei dati di addestramento. Questa metodologia permette ai classificatori di sfruttare i "segnali di identità del dataset" — caratteristiche che indicano la provenienza dei dati (ad esempio, il formattazione specifica di WildJailbreak o Enron) — piuttosto che apprendere semantiche di attacco generalizzabili. Di conseguenza, i modelli riportano prestazioni quasi perfette (AUC > 0,99) che non si traducono in scenari reali di fuori distribuzione (OOD).

Metodologia

Costruzione del Benchmark

Gli autori hanno compilato un benchmark di 18 dataset per un totale di 105.000 campioni, coprendo quattro famiglie di input maliziosi (richieste dannose, jailbreak, prompt injection inclusi indiretti/basati su agenti, e attacchi di estrazione) insieme a fonti benigne. I dataset variano nella composizione, con alcuni al 100% maliziosi, 100% benigni o a classi miste.

Protocollo di Valutazione: Leave-One-Dataset-Out (LODO)

Per misurare la vera generalizzazione, l'articolo propone la valutazione Leave-One-Dataset-Out (LODO). A differenza della cross-validazione (CV) standard o dei set di test tenuti da parte che mescolano dati provenienti dalle stesse fonti, LODO addestra un classificatore su $N-1$ dataset e lo valuta rigorosamente sul $N$ -esimo dataset tenuto da parte. Ciò garantisce che il classificatore non abbia mai visto esempi dalla fonte della distribuzione di test.

Analisi dei Modelli e delle Caratteristiche

Modelli: Gli esperimenti spaziano su quattro LLM di tre famiglie: Llama-3.1-8B, Gemma-3-27B, Qwen-3.5-2B/4B, e risultati parziali per Llama-3.3-70B.
Classificatori: Lo studio utilizza classificatori basati sulle attivazioni (probi lineari e MLP a 2 strati) addestrati su:
- Attivazioni Raw: Estratte dal residuo (principalmente lo strato 31 per Llama).
- Caratteristiche di Sparse Autoencoder (SAE): Decomposizione delle attivazioni dagli strati 27 (Llama) e 42 (Gemma) per consentire l'interpretabilità.
Analisi degli Shortcut: Gli autori introducono una metrica di ritenzione del coefficiente LODO ( $r_j$ ) per analizzare le caratteristiche SAE. Questa metrica misura la stabilità del coefficiente del classificatore di una caratteristica quando un dataset specifico viene tenuto da parte. Le caratteristiche con bassa ritenzione ( $r_j \ll 1$ ) o inversioni di segno sono identificate come "dataset shortcuts".
Confronti con Baseline: Lo studio confronta i probe di attivazione con i guardrail di produzione (PromptGuard 2, LlamaGuard), varianti di LLM-as-Judge (LJ) e detector di prompt-injection dedicati basati su testo (ProtectAI, Deepset).

Risultati Chiave

1. La Valutazione Standard Sovrastima Gravemente la Generalizzazione

Le valutazioni standard di 5-fold CV e i set di test tenuti da parte riportano punteggi AUC compresi tra 0,996 e 0,999. Al contrario, la valutazione LODO rivela un calo significativo delle prestazioni:

Gap Aggregato: Il gap AUC CV-LODO varia da 8,0 a 16,5 punti percentuali attraverso i quattro modelli.
Varianza per Dataset: Il gap di accuratezza per specifici dataset tenuti da parte varia dall'1,2% al 25,4%. Ad esempio, sul dataset Jayavibhav, l'accuratezza scende dal 94,5% (test tenuto da parte) al 69,1% (LODO).
Universalità: Questo gap è coerente in tutte le famiglie di modelli e dimensioni testate (da 2B a 70B di parametri).

2. L'Identità del Dataset e i Segnali di Sicurezza sono Entangled

Distinguibilità: Un classificatore di regressione logistica può predire l'identità del dataset di un campione con una precisione del 96,6% usando le caratteristiche SAE e dell'89,1% usando le attivazioni raw, confermando che i dataset sono trivialmente distinguibili nello spazio delle caratteristiche.
Sovrapposizione di Sottospazi: Proiettare le attivazioni sul complemento ortogonale delle principali direzioni predittive del dataset degrada le prestazioni LODO di 1,75 punti percentuali. Ciò suggerisce che il sottospazio che identifica il dataset si sovrappone parzialmente al sottospazio rilevante per la classificazione della sicurezza.
Shortcut: L'analisi delle prime 50 caratteristiche SAE rivela che il 28% (Llama) al 44% (Gemma) sono "shortcut". Questi includono "pure dataset shortcuts" (predizione diretta dell'identità del dataset) e "context-dependent shortcuts" (caratteristiche che si attivano attraverso i dataset ma derivano il segnale di classe solo da specifiche composizioni di dataset).

3. Inefficacia delle Mitigazioni Standard

Gli autori hanno testato sette tecniche standard di generalizzazione del dominio (DG), tra cui l'addestramento avversario (DANN), la proiezione di sottospazio, il ri-pesaggio dei campioni e il bilanciamento delle classi. Nessuno di questi metodi ha avuto successo nel colmare il gap CV-LODO; in alcuni casi (ad esempio, la proiezione di sottospazio), le prestazioni sono peggiorate ulteriormente. Ciò implica che le assunzioni standard della DG — ovvero che i segnali identificativi del dominio e quelli rilevanti per il task possano essere separati chiaramente — non valgono per il rilevamento di attacchi ai prompt.

4. Confronto con le Baseline di Produzione

Activation Probes vs. Guardrail: A parità di Tasso di Falsi Positivi (FPR), i probe basati su attivazione superano PromptGuard 2 e LlamaGuard negli attacchi indiretti e agentici, che i guardrail basati solo su testo spesso non riescono a rilevare a causa della mancanza di supporto per gli schemi degli strumenti (tool-schema).
Sensibilità di LLM-as-Judge: Le prestazioni di LLM-as-Judge sono altamente sensibili ai template dei prompt, con i Tassi di Veri Positivi (TPR) che variano dall'11% al 93% a seconda dell'inquadramento del prompt, spesso a costo di FPR inaccettabilmente alti.
Detector di Testo: I classificatori di testo dedicati (es. ProtectAI, Deepset) mostrano trade-off estremi sotto valutazione in stile LODO, o mancano la maggior parte degli attacchi o generano tassi di falsi positivi inutilizzabili.

5. Spiegazioni Pesate con LODO

Pesando le attribuzioni SAE con la metrica di ritenzione ( $z_j \cdot w_j \cdot r_j$ ), gli autori filtrano le caratteristiche artefatto del dataset. Questo riclassifica le prime 20 caratteristiche per circa il 98% dei campioni, fornendo spiegazioni più affidabili per ogni prompt che si concentrano su veri pattern di attacco piuttosto che su formattazioni specifiche del dataset.

Significato e Rivendicazioni

L'articolo sostiene che l'attuale paradigma di valutazione per i classificatori di attacco ai prompt sia fondamentalmente errato, portando a un falso senso di sicurezza. I principali contributi sono:

Necessità di LODO: Stabilire che la valutazione Leave-One-Dataset-Out è necessaria per far emergere il vero gap di generalizzazione (8–16pp) che la CV standard maschera.
Tassonomia degli Shortcut: Definire una metrica di ritenzione e una tassonomia che identifichi le caratteristiche dipendenti dal dataset che le euristiche del rapporto di attivazione (firing-ratio) mancano.
Evidenza dell'Entanglement: Dimostrare che i sottospazi dell'identità del dataset e della sicurezza rilevante si sovrappongono parzialmente, spiegando perché le correzioni standard di generalizzazione del dominio falliscono.
Utilità Diagnostica: Fornire un framework per filtrare gli artefatti del dataset dalle spiegazioni e testare i classificatori in condizioni che riflettono meglio i cambiamenti del mondo reale durante la distribuzione.

Gli autori dichiarano esplicitamente di non fornire una soluzione definitiva per colmare il gap, osservando che il disincastro tra l'identità del dataset e i segnali di sicurezza rimane una sfida aperta. Invece, offrono uno strumento diagnostico per evitare di promettere eccessivamente sulle prestazioni in produzione basandosi su metriche CV gonfiate.