💻 computer science

Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift

Questo articolo rivela che gli attuali rilevatori di prompt injection, pur apparendo ben calibrati sui benchmark standard, diventano pericolosamente eccessivamente sicuri di sé quando affrontano distribuzioni di attacco spostate, assegnando costantemente punteggi di confidenza quasi perfetti ad attacchi mancati ad alta gravità a causa di una dipendenza dal content-keying piuttosto che dall'analisi strutturale.

Autori originali: Md Anas Biswas

Pubblicato 2026-06-23

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Md Anas Biswas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un guardiano della sicurezza molto severo all'ingresso di un edificio hi-tech. Il compito di questo guardiano è leggere ogni pezzo di carta (o messaggio digitale) che gli viene consegnato e decidere: "È sicuro farlo entrare, o è un trucco?"

Se il guardiano dice: "Questo è sicuro al 99%", le porte automatiche dell'edificio si aprono e il messaggio va direttamente al computer principale per essere elaborato. Se il guardiano dice: "Questo è pericoloso", le porte rimangono chiuse.

Questo documento parla di una scoperta spaventosa: A volte, il guardiano sbaglia, ma lo fa con estrema sicurezza.

Ecco la suddivisionione delle scoperte del documento utilizzando semplici analogie:

1. Il problema del "Sbagliare con Sicurezza"

Di solito, se un guardiano della sicurezza commette un errore, potrebbe essere incerto. Potrebbe dire: "Ehm, questo sembra un po' sospetto, ma non ne sono sicuro". In quel caso, il sistema dell'edificio potrebbe fare un doppio controllo o chiedere l'intervento di un essere umano.

Ma questo documento ha scoperto che quando questi guardiani IA mancano un attacco reale, non esitano. Guardano un trucco pericoloso, dicono: "Questo è sicuro al 100%" e aprono la porta con totale certezza.

L'analogia: Immagina un metal detector in un aeroporto. Se suona, sai che c'è del metallo. Ma immagina uno scenario in cui il metal detector è rotto. Quando un terrorista passa con una bomba, il detector non resta solo in silenzio; annuncia ad alta voce: "Tutto libero! Nessun metallo rilevato!" e il terrorista passa tranquillamente. Questo è ciò che stanno facendo questi guardiani IA. Stanno dando un "semaforo verde" ad attacchi pericolosi con assoluta fiducia.

2. Il "Punto Cieco" (Il Dirottamento)

I ricercatori hanno testato questi guardiani contro diversi tipi di trucchi.

I trucchi "Ovvi": Quando l'attacco era rumoroso e aggressivo (come un tentativo di jailbreak), i guardiani erano in realtà piuttosto bravi a rilevarli.
I trucchi "Invisibili": I guardiani sono falliti miseramente di fronte a un tipo specifico di attacco chiamato "Indirect Behavior Hijacking" (Dirottamento del comportamento indiretto).
- L'analogia: Immagina una spia che nasconde un'istruzione segreta all'interno di una lettera noiosa e innocua. La spia scrive: "Per favore, riassumi questa ricetta per la torta di mele", ma nascosta all'interno del testo c'è un comando che dice al computer di "Eliminare tutti i file".
- L'IA guardiana legge la lettera, vede una ricetta noiosa e pensa: "Oh, questa è solo una ricetta! Totalmente sicura!" e lascia entrare la lettera. Il computer legge poi l'istruzione nascosta e cancella i file.
- Il documento ha scoperto che tutti e tre i principali guardiani IA testati erano ciechi di fronte a questo specifico trucco. Hanno lasciato passare questi attacchi di "dirottamento" con una fiducia quasi perfetta.

3. La "Matematica Sbagliata" dei punteggi di sicurezza

Il documento spiega perché i controlli di sicurezza standard hanno mancato questo problema.

L'analogia: Immagina un insegnante che valuta una classe. Se 99 studenti sono bravi e 1 studente è un imbroglione, e l'insegnante prende il voto corretto per i 99 studenti bravi, l'insegnante sembra un valutatore "perfetto" (accuratezza del 100%).
Tuttavia, se quell'unico imbroglione ottiene un voto sufficiente perché l'insegnante era troppo convinto che fosse bravo, il sistema fallisce.
Il documento afferma che il modo standard di misurare questi guardiani IA (chiamato "calibrazione raggruppata" o pooled calibration) è come quell'insegnante. Esso media gli errori. Poiché ci sono moltissimi messaggi "sicuri", la matematica dice che il guardiano sta facendo un ottimo lavoro. Ma la matematica nasconde il fatto che il guardiano sta fallendo clamorosamente proprio su l'unica cosa che conta: gli attacchi pericolosi.
I ricercatori hanno creato un nuovo punteggio di "gravità". Questo punteggio chiede: "Quando il guardiano manca un attacco, quanto era sicuro di sé?". La risposta era sempre: "Molto sicuro".

4. Perché falliscono? (La trappola del "Contenuto")

I ricercatori hanno indagato perché i guardiani fossero così sicuri riguardo a questi trucchi nascosti. Hanno scoperto che i guardiani stavano guardando la cosa sbagliata.

L'analogia: Immagina un guardiano che guarda solo il colore di un pacco. Se il pacco è marrone (innocuo), lo lascia entrare. Se è rosso (pericoloso), lo ferma.
Gli attaccanti si sono resi conto di questo. Hanno preso un'istruzione pericolosa (che di per sé potrebbe apparire "rossa") e l'hanno avvolta all'interno di un documento lungo e noioso, "marrone" (come una ricetta o un rapporto).
Il guardiano ha guardato l'involucro marrone, ha ignorato l'istruzione pericolosa nascosta all'interno e ha detto: "Sicuro!".
Il documento ha dimostrato che se prendi la stessa istruzione pericolosa e la metti in un documento noioso, la fiducia del guardiano nella sua sicurezza schizza alle stelle. Il guardiano è "content-keyed" (si basa sul contenuto/parole) anziché "structure-keyed" (non capisce che un'istruzione è stata nascosta all'interno di un documento).

5. Il "Trucco Magico" (Far funzionare l'attacco)

I ricercatori non si sono limitati a trovare il problema; hanno dimostrato quanto sia facile sfruttarlo.

L'analogia: Hanno costruito un "cancella-magico" (un semplice strumento di IA) che poteva prendere un'istruzione pericolosa e riscriverla in una prosa noiosa e innocua.
Quando hanno usato questo strumento sugli attacchi, i guardiani IA hanno smesso di vederli come attacchi. I guardiani li hanno lasciati passare con il 100% di fiducia.
Fondamentalmente, quando questi attacchi riscritti venivano inviati al computer bersaglio, il computer comunque faceva il danno. Il "cancella-magico" faceva apparire l'attacco sicuro al guardiano, ma il computer comprendeva ancora il comando nascosto.

In sintesi

Il documento conclude che non possiamo fidarci di questi guardiani IA per dirci se sta avvenendo un attacco se l'attacco appare leggermente diverso da quelli per cui sono stati addestrati.

L'avvertimento: Il fatto che un guardiano dica "Sicuro" con un punteggio alto non significa che sia sicuro. In realtà, quando questi guardiani mancano un attacco reale, sono spesso più sicuri di sé rispetto a quando hanno ragione.
La soluzione: Abbiamo bisogno di nuovi modi per misurare questi guardiani che guardino specificamente a quanto sono sicuri di sé quando commettono errori, non solo a quante volte azzeccano la risposta complessiva. Abbiamo anche bisogno di guardiani che capiscano come le istruzioni vengono nascoste, non solo quali parole vengono usate.

In breve: Il documento avverte che i nostri guardiani della sicurezza digitale sono attualmente "troppo sicuri di sé" riguardo alla loro sicurezza, specialmente quando gli attaccanti nascondono i loro trucchi all'interno di testi noiosi. Dobbiamo smettere di fidarci ciecamente dei loro "semafori verdi".

Riepilogo Tecnico: Confidentemente Sbagliati: Calibrazione Sensibile alla Gravità dei Rilevatori di Prompt-Injection sotto Shift di Attacco

1. Definizione del Problema

I rilevatori di prompt-injection (modelli di guardia) vengono implementati per valutare input non attendibili e determinare se fidarsi o bloccarli sulla base di un punteggio di confidenza. Un'ipotesi critica in questa pipeline è che il rilevatore sia calibrato: un punteggio di bassa probabilità di attacco dovrebbe corrispondere a una reale bassa probabilità di attacco.

Il documento identifica un modo specifico di fallimento che le metriche standard non colgono: i falsi negativi ad alta confidenza. Ciò accade quando un rilevatore assegna a un attacco reale un punteggio di bassa probabilità con quasi certezza. Poiché i sistemi a valle interpretano i punteggi bassi come forte evidenza di sicurezza, questi "errori sicuri" sono più pericolosi di quelli incerti, poiché vengono accettati implicitamente.

Il problema centrale è lo shift della distribuzione. I rilevatori sono tipicamente calibrati su benchmark puliti e in-distribuzione (es. prompt isolati). Tuttavia, in fase di deployment, gli attacchi si spostano verso forme indirette (incorporati in documenti, output di strumenti) e nuovi stili (hijacking del comportamento). Il documento indaga se la confidenza di questi rilevatori rimanga valida quando la distribuzione degli attacchi si sposta dal benchmark di origine, mentre la soglia operativa rimane congelata.

2. Metodologia

2.1 Setup Sperimentale

Lo studio valuta tre rilevatori rilasciati senza riaddestramento:

ProtectAI-v2: Un classificatore di sequenze DeBERTa-v3-base.
Prompt-Guard-2 (86M): Un checkpoint basato su Llama.
Prompt-Guard-2 (22M): Un checkpoint basato su Llama più piccolo (4 volte meno parametri).

2.2 Protocollo di Trasporto a Soglia Congelata (Frozen-Threshold Transport)

Per isolare l'effetto dello shift della distribuzione, gli autori utilizzano un protocollo di trasporto a soglia congelata:

Calibrazione: Per ogni rilevatore viene impostato un singolo punto operativo (soglia $t$ ) su un benchmark diretto e pulito (deepset/prompt-injections) per mirare a un tasso di falsi positivi dell'1%.
Trasporto: Questa soglia è congelata e applicata invariata attraverso cinque distinti shift di distribuzione:
1. Diretto: Baseline in-distribuzione.
2. Indiretto-Dannoso (Indirect-Harmful): Truffe, frodi e disinformazione incorporate in documenti.
3. Indiretto-Hijack (Indirect-Hijack): Istruzioni incorporate in documenti che sovrascrivono il comportamento del modello (es. codifica, traduzione) senza contenuti dannosi.
4. Jailbreak: Prompt di roleplay/jailbreak isolati (stress test vicino alla in-distribuzione).
5. Over-defense: Prompt benigni contenenti parole trigger.

2.3 Famiglia di Metriche

Il documento introduce una nuova metrica, la Gravità ( $S$ ), insieme alle metriche standard:

Tasso di Falsi Negativi (FNR): Visione classica dell'accuratezza.
Gravità ( $S$ ): Il valore medio di $(1 - p)$ attraverso gli attacchi mancati. $S \approx 1.0$ indica che il rilevatore è quasi certo che l'attacco mancato sia sicuro. Questa metrica è condizionata all'attacco ed è invariante rispetto ai tassi di base benigni.
Errore di Calibrazione Condizionato all'Attacco ( $ECE_{atk}$ ): L'errore di calibrazione atteso limitato solo ai veri attacchi.
Errore di Calibrazione Aggregato ( $ECE_{pooled}$ ): La metrica standard calcolata sia sugli attacchi che sui benigni.

2.4 Validazione e Esperimenti di Meccanismo

Validazione a Valle: Gli injection mancati vengono testati contro modelli target reali (Qwen2.5-7B/3B) per verificare se riescono effettivamente come exploit.
Esperimento Struttura vs Contenuto: Un esperimento controllato 2x2 che varia il payload (dannoso vs benigno-hijack) e la struttura (isolato vs incorporato) per determinare se i rilevatori si concentrano sul contenuto o sulla struttura dell'injection.
Giudice Generativo: Un LLM (Qwen2.5-7B) istruito per rilevare injection viene testato per vedere se i risultati si generalizzano oltre i classificatori encoder.
Attacco Adversariale: Un riscrivitore black-box tenta di parafrasare genuine injection in prosa innocua per massimizzare la confidenza del rilevatore nella sicurezza (massimizzazione della gravità).

3. Risultati Chiave

3.1 Il Fenomeno "Confidentemente Sbagliato"

In tutti i rilevatori e shift, la Gravità ( $S$ ) rimane tra 0.99 e 1.00 quando i rilevatori mancano un attacco.

Mentre il Tasso di Falsi Negativi (FNR) varia significativamente (da 0.01 a 0.97 a seconda dello shift e del rilevatore), la confidenza delle mancate rilevazioni non cambia.
Quando questi rilevatori falliscono, falliscono con quasi certezza, fornendo un verdetto di "sicurezza" al sistema a valle.

3.2 Il Punto Cieco: Indirect Behavior Hijacking

Tutti e tre i rilevatori (e il giudice generativo) mostrano un punto cieco unanime verso gli injection di indirect behavior-hijack (es. base encoding, sostituzione di emoji, override di traduzione).

I FNR per questa categoria variano da 0.69 a 0.97.
La Gravità rimane vicina a 1.0.
Questo fallimento è strutturale: i rilevatori non riconoscono un'istruzione incorporata in un documento benigno se il payload stesso non è "dannoso" in senso semantico.

3.3 Fallimento delle Metriche di Calibrazione Standard

Il documento dimostra che l'Errore di Calibrazione Aggregato ( $ECE_{pooled}$ ) non riesce a limitare questo rischio.

Proposizione: All'aumentare del tasso di base benigno, i falsi negativi ad alta confidenza vengono diluiti in bin dominati dai benigni nel calcolo dell'errore aggregato.
Evidenza: Prompt-Guard-2 (86M) su un injection indiretto dannoso ha un errore aggregato di 0.062 (apparendo ben calibrato) ma un errore condizionato all'attacco di 0.907 (fortemente mal calibrato). La metrica aggregata media via il pericolo specifico degli attacchi mancati.

3.4 Meccanismo: Focus sul Contenuto, non sulla Struttura

Gli esperimenti controllati rivelano che i rilevatori si concentrano sul contenuto superficiale dannoso piuttosto che sul fatto strutturale di un injection.

ProtectAI-v2: I punteggi scendono significativamente (da ~0.52 a ~0.07) quando un benigno-hijack viene incorporato in un documento coerente, suggerendo che il contesto benigno "lava" l'attacco.
Prompt-Guard-2: I punteggi rimangono vicini allo zero indipendentemente dall'incorporamento, indicando che è cieco ai payload benigni.
Giudice Generativo: Condivide lo stesso punto cieco (FNR 0.805 su hijack) e la stessa gravità (1.0), provando che il problema non è unico per le architetture encoder. Tuttavia, il giudice è suscettibile a "meta-istruzioni" che gli dicono che il contenuto è sicuro, mentre gli encoder no.

3.5 Esploitabilità a Valle

Real Exploits: Le injection mancate con alta confidenza non sono teoriche; hanno successo contro modelli live con tassi comparabili agli attacchi che i rilevatori intercettano (circa il 40% di tasso di successo).
Misses Manufatti: Un debole riscrivitore black-box può trasformare genuine injection in prosa innocua. Questo porta i tassi di mancate rilevazioni dei detector vicino a 1.0 e aumenta il "tasso di miss manufatti ad alta confidenza" (attacchi che sono sia passati con fiducia che riusciti a valle) a circa il 15-17%, con il massimo successo sulla categoria più pericolosa (Sostituzione Emoji, ~69%).

3.6 Fallimento del Trasporto della Soglia

Il ri-tuning della soglia sui dati benigni della distribuzione target (la soglia "oracle") non risolve il problema per gli shift indiretti.

Per gli shift indiretti, i documenti benigni stessi ottengono punteggi alti, costringendo la soglia al limite superiore per mantenere un basso tasso di falsi positivi.
Di conseguenza, anche una soglia oracle risulta in FNR di 0.98–0.99 per alcuni rilevatori. Ciò indica un fallimento della discriminazione (sovrapposizione delle distribuzioni di punteggio) piuttosto che un semplice fallimento di calibrazione.

4. Contributi e Rivendicazioni

Il documento rivendica sei contributi specifici:

Metrica di Gravità ( $S$ ): Una metrica condizionata all'attacco e asimmetrica rispetto alla sicurezza, che misura la confidenza dei falsi negativi, invariante rispetto ai tassi di base benigni.
Panel di Trasporto a Soglia Congelata: Un framework di valutazione rigoroso che fissa un punto operativo per ogni rilevatore e misura le prestazioni attraverso cinque shift con intervalli di confidenza bootstrap.
Proposizione sull'Errore Aggregato: Una prova formale che l'errore di calibrazione aggregato standard non può limitare il rischio dei falsi negativi ad alta confidenza perché vengono diluiti dalla maggioranza benigna al calare del tasso di base.
Validazione a Valle: Evidenza empirica che le injection mancate con alta confidenza sono exploit funzionanti contro modelli reali.
Identificazione del Meccanismo: Esperimenti controllati che mostrano come i rilevatori si concentrino sul contenuto del payload piuttosto che sulla struttura dell'injection, spiegando il punto cieco verso le injection di benign-hijack.
Dimostrazione Adversariale: Un avversario black-box che sfrutta il focus sul contenuto per manificare miss ad alta confidenza, particolarmente sulle categorie di attacco ad alta potenza.

5. Significatività e Limitazioni

Significatività:
Il documento sostiene che l'entità di un punteggio di guardia non deve essere letta come una confidenza calibrata di sicurezza una volta che la distribuzione degli attacchi subisce uno shift. Il rischio primario non è solo che i rilevatori perdano attacchi, ma che li perdano con alta confidenza, portando i sistemi a valle a fidarsi di exploit funzionanti. La pratica standard di riportare solo l'accuratezza o l'errore di calibrazione aggregato nasconde questo specifico e critico modo di fallimento.

Rivendicazioni Modeste:

Gli autori non pretendono di essere i primi a studiare la calibrazione dei modelli di guardia o a osservare informalmente che l'errore aggregato non limita il rischio.
Rivendicano di essere i primi a formalizzare questo fallimento tramite una proposizione, applicare una lente di gravità a un panel di soglia congelata, validare gli exploit a valle, identificare il meccanismo strutturale (content-keying) e dimostrare un avversario che massimizza la gravità.
Lo studio è limitato ai checkpoint rilasciati così come pubblicati; non pretende di descrivere le migliori prestazioni raggiungibili di tali modelli.
L'attacco di "miss manufatto" utilizza un parafrasatore debole e fisso; i tassi riportati sono limiti inferiori di quanto sia possibile ottenere.

Conclusione:
Il documento conclude che colmare questo divario richiede più di semplici modelli più grandi. È necessaria una segnalazione di addestramento per l'injection strutturale indipendente dalla pericolosità del payload e obiettivi di calibrazione che penalizzino i falsi negativi ad alta confidenza piuttosto che l'errore aggregato. Fino ad allora, i rilevatori dovrebbero essere valutati con metriche di gravità e di calibrazione condizionata all'attacco per rendere visibili i fallimenti ad alta confidenza prima del deployment.