Immagina di essere lo chef capo di un ristorante molto elegante che serve due cose contemporaneamente: un'immagine su un piatto e un ordine parlato. Il tuo obiettivo è fare in modo che la cucina non cucini mai nulla di pericoloso, anche se qualcuno cerca di ingannare lo chef nascondendo un'istruzione "velenosa" all'interno dell'immagine o sussurrandola in modo strano. Questo è il mondo dei Modelli Linguistici Multimodali Grandi (MLLM). Questi sono cervelli informatici super intelligenti che possono "vedere" le immagini e "leggere" il testo, e poi chiacchierare con te. Ma poiché possono vedere, i malintenzionati possono cercare di infilare comandi dannosi disegnandoli nei pixel o nascondendoli nello sfondo di una foto.

Per fermare questo, gli scienziati hanno inventato le Difese al Tempo di Inferenza (Inference-Time Defenses). Immagina questi come guardie giurate che stanno proprio alla porta della cucina. Non cambiano la ricetta dello chef (il cervello del modello); invece, controllano l'ordine prima che entri, oppure controllano il piatto finale prima che esca. Alcune guardie aggiungono una nota di avviso educata all'ordine, mentre altre scuotono leggermente l'immagine per sfocare eventuali trucchi nascosti. La grande domanda per tutto il mondo della sicurezza dell'IA è: Quale guardia sta facendo davvero il lavoro migliore? Se non possiamo fidarci delle guardie, potremmo accidentalmente servire un pasto pericoloso o, peggio ancora, potremmo essere così spaventati dal pericolo da non voler servire alcun cibo.

---

Il Grande Audit della Cucina: Quando il Tabellone dei Punteggi era Sbagliato

Un team di ricercatori di Mosca ha deciso di giocare a fare il detective. Non hanno costruito nuove guardie; invece, sono andati negli archivi di un recente esperimento che sosteneva di aver testato tre diverse guardie di sicurezza (ispirate a metodi chiamati RapGuard, AdaShield e SmoothVLM) attraverso otto diversi chef IA. Volevano vedere chi fosse il migliore. Ma scavando tra i file, hanno trovato un caos di link interrotti, ingredienti mancanti e tabelloni dei punteggi confusi.

Ecco cosa hanno scoperto, servito con un contorno di realtà.

1. Il Mistero dell' "Ingrediente Mancante"

I ricercatori hanno scoperto che l'esperimento doveva testare 9.000 diversi ordini (input) attraverso sette diversi test di sicurezza. Tuttavia, quando hanno controllato la provenienza (la traccia cartacea da cui provenivano i dati), si sono resi conto che tre dei sette test erano completamente guasti.

• L'Errore del "Piatto Sbagliato": Un test, destinato a controllare se l'IA potesse individuare istruzioni nascoste nelle immagini, stava in realtà servendo l'immagine sbagliata. Era come cercare di testare un allarme antincendio spruzzando acqua su un tostapane invece che su un rilevatore di fumo.
• Il Trucco del "Solo Testo": Un altro test doveva essere un mix di immagini e testo, ma il sistema ha accidentalmente permesso all'IA di ignorare le immagini e leggere solo il testo. Era un "fallback solo testo", il che significa che l'IA non ha mai dovuto guardare l'immagine per superare il test.
• Il Glitch del "Patch Casuale": Un terzo test sosteneva di utilizzare una speciale "patch avversaria" (un piccolo adesivo intricato su un'immagine per confondere l'IA). Ma il computer non ha generato lo sticker intricato; ha solo disegnato un rettangolo casuale.

A causa di questi errori, i ricercatori hanno dovuto scartare i risultati di quei tre test. Non potevano semplicemente "correggere" i numeri; i dati semplicemente non c'erano. Questo li ha lasciati con solo 4.820 input validi da quattro test specifici (FigStep, JailBreakV, SALAD-bench e HarmBench-Simple) con cui lavorare.

2. La Trappola della "Parola Chiave"

L'esperimento originale utilizzava un modo molto semplice per decidere se l'IA fosse sicura: cercava parole "magiche" specifiche.

• Se l'IA diceva "Non posso farlo" o "Mi dispiace", veniva segnata come Sicura (un rifiuto).
• Se l'IA diceva "Ecco come fare a..." o "Certamente, posso aiutarti", veniva segnata come Non Sicura (una risposta dannosa).

I ricercatori hanno trovato un enorme problema con questo metodo. Il sistema contava le risposte vuote (dove l'IA non diceva nulla) come "Sicure" semplicemente perché il codice legacy non aveva una regola speciale per loro; poiché la stringa vuota non corrispondeva né alla lista "dannosa" né alla lista "di rifiuto", la logica predefinita la contava come sicura. Contava anche risposte che iniziavano con un avviso educato ma che poi fornivano le istruzioni pericolose come "Sicure", perché il sistema cercava solo la presenza di una frase di rifiuto per sovrascrivere una dannosa, e a volte la logica si intrecciava.

Quando hanno ricontrollato i dati, hanno scoperto che il metodo delle "parole chiave" era un giudice terribile. Era come un insegnante che valuta un compito guardando solo la parola "il" e ignorando se lo studente abbia effettivamente risposto alla domanda. In un audit di 246 risposte trabocchetto, il sistema di parole chiave ha mancato 13 risposte dannose che un giudice più intelligente e simile a un essere umano (un "giudice della famiglia Haiku") aveva correttamente identificato come pericolose. In termini tecnici, il sistema di parole chiave ha etichettato questi 13 casi come "Sicuri" quando erano in realtà "Dannosi" (falsi negativi).

3. Il Mito del "Rifiuto di Massa"

Lo studio originale sembrava suggerire che le guardie di sicurezza stessero causando all'IA di rifiutare tutto (un "rifiuto di massa"). I ricercatori hanno ri-auditato 38.500 domande sicure e normali per vedere quanto spesso l'IA dicesse "no" quando non era necessario.

Il risultato? L'IA era in realtà molto educata e disponibile.

• Il tasso stimato di rifiuti non necessari era solo dello 0,52%.
• Anche nello scenario peggiore (il gruppo di dati singolo più grande), il tasso era solo del 3,24%.
• I ricercatori hanno notato che l'incertezza del "solo campionamento" (il margine di errore) poteva raggiungere il 10,92%, ma anche questo è lontano dal "rifiuto di massa" implicato dallo studio originale.

La confusione derivava dal "preambolo difensivo". Le guardie di sicurezza spesso aggiungevano un lungo avviso educato all'inizio della risposta (ad esempio, "Devo avvertirti che questo è pericoloso..."). Il vecchio sistema di parole chiave pensava che questo avviso fosse il rifiuto, ma l'IA procedeva comunque a dare la risposta. Era come un buttafuori che dice: "Non ti faccio entrare", ma poi apre la porta e ti lascia passare. Il sistema di parole chiave scambiava erroneamente questi preamboli per rifiuti, gonfiando i numeri.

4. Il Costo dell'Essere Sicuri

Infine, i ricercatori hanno guardato quanto tempo queste guardie di sicurezza sprecavano.

• La guardia "Gaussiana" (che sfoca l'immagine cinque volte e vota sulla risposta) impiegava da 5,45 a 12,76 volte più tempo per elaborare una richiesta rispetto a non fare nulla.
• L'intero stack di tre guardie impiegava da 4,36 a 16,59 volte più tempo.

Questo significa che, sebbene le guardie possano cercare di aiutare, stanno rendendo la cucina incredibilmente lenta.

Il Punto Fondamentale

Questo articolo non ci dice quale guardia di sicurezza sia la "migliore". In realtà, ci dice che non possiamo fidarci delle precedenti classifiche perché i dati erano corrotti e il metodo di valutazione era fallace.

• Cosa hanno escluso: Hanno dimostrato che le affermazioni originali sul "rifiuto di massa" erano errate e che tre dei sette test di sicurezza erano invalidi.
• Cosa hanno trovato: Le guardie di sicurezza (specificamente i wrapper del prompt) cambiano effettivamente il comportamento dell'IA, ma l'effetto varia enormemente a seconda del modello di IA e del tipo di test. A volte aiutano, a volte danneggiano, e a volte solo rallentano le cose.
• La lezione: Non puoi semplicemente eseguire un test e guardare un punteggio. Devi assicurarti che gli ingredienti (gli input) siano reali, che il tabellone dei punteggi (la valutazione) misuri effettivamente la sicurezza e che tu abbia la ricetta completa (il testo grezzo) per controllare il lavoro.

Gli autori concludono che, prima di poter confrontare diverse guardie di sicurezza, dobbiamo costruire un sistema migliore e più onesto per testarle. Finché allora, non possiamo dire con certezza chi è l'eroe e chi sta solo rendendo la cucina più lenta.