💻 informatica

From Money to Prompt Laundering: CLEANSE*, a Risk-Calibrated Multi-View Detector

Questo articolo introduce CLEANSE*, un rilevatore multi-vista calibrato sul rischio che identifica efficacemente gli attacchi di prompt laundering fondendo segnali semantici, strutturali, cross-lingua e stilometrici, ottenendo prestazioni superiori nella riduzione del rischio e dei tassi di successo degli attacchi pur mantenendo una bassa latenza attraverso diversi benchmark e stress test.

Autori originali: Samer Abaddi

Pubblicato 2026-10-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Samer Abaddi

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I modelli linguistici di grandi dimensioni sono strumenti potenti capaci di scrivere storie, risolvere problemi e rispondere a domande, ma sono anche vulnerabili a un tipo specifico di inganno. Proprio come una banca deve distinguere tra un deposito legittimo e un trasferimento fraudolento, questi sistemi digitali devono saper distinguere tra una richiesta innocua e un comando nascosto progettato per violare le loro regole di sicurezza. Gli attaccanti hanno imparato a mascherare le istruzioni dannose avvolgendole in storie dall'aspetto innocente, traducendole in lingue diverse o nascondendole all'interno di formattazioni complesse. Questo processo, noto come "prompt laundering" (riciclaggio di prompt), permette a un obiettivo malevolo di scivolare oltre i filtri standard cambiando il proprio aspetto pur mantenendo intatto il proprio intento pericoloso. La sfida per i ricercatori è costruire un sistema che possa vedere attraverso questi travestimenti, riconoscendo la minaccia sottostante anche quando la superficie appare completamente sicura.

Un ricercatore ha sviluppato un nuovo sistema di rilevamento chiamato CLEANSE* per affrontare questa sfida. Invece di affidarsi a un singolo metodo per individuare i problemi, il sistema agisce come una squadra di specialisti, ognuno dei quali esamina l'input da un'angolazione diversa. Uno specialista esamina il significato profondo delle parole per vedere se l'intento corrisponde a modelli dannosi noti. Un altro osserva la struttura della richiesta, controllando se la storia segue un flusso logico o se è stata deformata in una forma strana che suggerisce un intento nascosto. Un terzo specialista controlla se il significato rimane lo stesso quando il testo viene tradotto avanti e indietro tra le lingue, una tecnica che spesso rivela incongruenze nei comandi mascherati. Lo specialista finale scruta i dettagli superficiali, come la punteggiatura, i codi di formattazione e l'uso di caratteri insoliti, che vengono spesso utilizzati per nascondere le istruzioni. Combinando i risultati di tutte queste diverse prospettive, il sistema crea un unico punteggio calibrato che indica quanto sia probabile che una richiesta sia un attacco riciclato.

Il ricercatore ha testato questo sistema multi-prospettiva contro una vasta collezione di prompt, inclusi migliaia di esempi in cui gli attaccanti hanno cercato di nascondere le loro vere intenzioni utilizzando vari trucchi. Ha misurato quanto bene il sistema si fosse comportato mantenendo il numero di falsi allarmi — ovvero il blocco di richieste innocue — rigorosamente basso. In questi test, il nuovo sistema si è dimostrato significativamente più efficace dei metodi precedenti che si affidavano a un solo modo di analizzare i dati. Quando il ricercatore ha impostato il sistema per bloccare solo l'uno percento delle richieste innocue, il nuovo rilevatore ha ridotto il rischio di far passare un prompt dannoso di un margine misurabile rispetto agli strumenti più vecchi. Ha inoltre ridotto il tasso di successo degli attacchi, il che significa che meno istruzioni malevole sono riuscite a scivolare oltre la guardia. Il sistema ha ottenuto questi risultati mantenendo un alto livello di accuratezza nelle sue previsioni, garantendo che, quando segnalava una richiesta, questa fosse realmente sospetta. Inoltre, il sistema è rimasto veloce, elaborando le richieste in una frazione di secondo, il che è essenziale per l'uso in tempo reale in applicazioni dove gli utenti si aspettano risposte immediate.

Lo studio ha anche esplorato quanto bene il sistema gestisce situazioni mai viste prima, come richieste in lingue per le quali non è stato esplicitamente addestrato o attacchi che combinano nuovi modi di nascondere le istruzioni. Anche in questi scenari difficili, il sistema ha tenuto il passo meglio dei rilevatori a metodo singolo. Ha dimostrato che, guardando il problema da più angolazioni, il sistema può adattarsi a nuovi trucchi senza dover essere completamente riaddestrato. Il ricercatore ha osservato che, sebbene il sistema sia robusto, non è perfetto; può ancora essere confuso da attacchi estremamente complessi o adattivi, e le sue prestazioni dipendono dalla qualità degli strumenti utilizzati per analizzare la struttura del testo. Tuttavia, i risultati suggeriscono che questo approccio multi-prospettiva offre un modo pratico e potente per mettere in sicurezza i modelli linguistici di grandi dimensioni contro l'evoluzione della minaccia del prompt laundering.

Le implicazioni di questo lavoro vanno oltre il semplice blocco di input negativi. Il sistema è progettato per essere flessibile, permettendo alle organizzazioni di regolare quanto siano rigorose in base alle loro esigenze specifiche. Ad esempio, un servizio finanziario potrebbe scegliere di essere più cauto e bloccare più richieste per evitare qualsiasi rischio, mentre uno strumento educativo potrebbe preferire lasciarne passare di più per evitare di frustrare gli studenti, affidandosi alla capacità del sistema di segnalare i casi ambigui per la revisione umana. Il ricercatore ha fornito un quadro che consente di prendere queste decisioni con dati chiari sui compromessi tra sicurezza ed esperienza dell'utente. Rendendo il processo di rilevamento trasparente e regolabile, il lavoro aiuta a colmare il divario tra la ricerca avanzata sulla sicurezza dell'IA e le necessità pratiche di implementazione di queste tecnologie nel mondo reale. Lo studio conclude che, sebbene la battaglia contro il prompt laundering sia in corso, l'utilizzo di una combinazione di indizi semantici, strutturali e superficiali fornisce una difesa più forte rispetto al ricorso a una singola linea di indagine.

Sintesi Tecnica: CLEANSE*, un rilevatore multi-view calibrato sul rischio per il Prompt Laundering

1. Definizione del Problema: Prompt Laundering

Il documento affronta il prompt laundering, una specifica trasformazione avversaria in cui istruzioni malevole ( $I_m$ ) vengono mascherate attraverso l'inquadramento narrativo, la traduzione, la codifica simbolica, il gioco di ruolo o cambiamenti di formattazione ( $\mathcal{L}$ ) per creare un prompt ( $P' = \mathcal{L}(I_m)$ ). L'obiettivo dell'attaccante è preservare l'intento dannoso minimizzando al contempo la divergenza osservabile dal testo benigno, così da eludere i filtri di sicurezza.

L'autore formalizza questo processo come un problema di offuscamento vincolato. L'attaccante cerca di massimizzare la probabilità di aggirare i gate di sicurezza ( $q_\psi$ ) e i rilevatori ( $g_\phi$ ) mantenendo un'alta preservazione dell'intento (prossimità semantica a $I_m$ ) e una bassa divergenza superficiale (conformità osservazionale a una distribuzione benigna). Questo si distingue dai classici jailbreak o prompt injection, concentrandosi specificamente sul travestimento dell'istruzione piuttosto che solo sul canale di consegna. Il modello di minaccia tiene conto di attaccanti con un "budget" finito di operatori (camuffamento narrativo, offuscamento linguistico, ecc.) e distingue tra avversari black-box, gray-box e white-box.

2. Metodologia: Il Framework CLEANSE*

L'autore propone CLEANSE* (Cross-Lingual, sEmantic, NArrative, Stylometry Ensemble), un rilevatore multi-view calibrato sul rischio progettato per operare come un servizio side-car accanto agli stack di Large Language Models (LLM). Il sistema valuta gli input (pre-gate) e, opzionalmente, il contesto o gli output (post-gate) utilizzando quattro viste parallele che catturano diversi bias induttivi:

Vista Semantica (Prossimità dell'Intento): Utilizza embedding multilingue ottimizzati per le istruzioni (intfloat/multilingual-e5-large-instruct) per misurare la distanza di un prompt da un manifold benigno e la sua prossimità a un archivio di prototipi di intenti malevoli sanitizzati. Opera il regime di laundering caratterizzato da "alto mantenimento dell'intento e bassa divergenza superficiale".
Vista Narrativa/Strutturale (Continuità dell'Obiettivo): Costruisce un grafo ruolo-azione leggero ( $G_P$ ) che rappresenta entità, obiettivi, precondizioni ed effetti. Valuta l'allineamento di questo grafo rispetto a una libreria di sottografi non sicuri canonici ( $G_{mal}$ ), rilevando se l'infrastruttura sottostante rimane intatta nonostante la riformulazione superficiale.
Vista Cross-Linguale (Consistenza): Esegue una traduzione a andata e ritorno attraverso un set fisso di lingue per rilevare derive semantiche o instabilità. Un'alta varianza negli embedding della traduzione suggerisce un intento travestito che non si traduce naturalmente.
Vista Stilometrica/Markup (Indizi Superficiali): Quantifica le caratteristiche superficiali inclusi n-grammi di token/caratteri (compresi i caratteri a larghezza zero), ritmi di punteggiatura, delta di perplexity e pattern HTML/Markdown/XML per identificare offuscamenti steganografici o basati sulla formattazione.

Fusione e Calibrazione:
Queste quattro viste producono sub-score calibrati ( $D_{sem}, D_{nar}, D_{xlang}, D_{styl}$ ) che vengono fusi in un unico punteggio di anomalia $A(P)$ . I pesi di fusione sono appresi su dati di sviluppo e calibrati (tramite regressione isotonica) per minimizzare una funzione di danno $H(\cdot)$ specifica per il deployment a un tasso di falsi positivi (FPR) fisso. Il sistema impiega una politica a tre vie: Allow (punteggio basso), Block (punteggio alto) o Escalate (punteggio intermedio) per la revisione umana. Per migliorare la robustezza, il sistema applica lo "smoothing semantico" aggregando i punteggi su parafrasi che preservano l'intento.

Training e Dati:
Il modello è addestrato su un corpus di circa $10^6$ prompt stratificati in oltre 12 lingue, 6 generi e 4 regimi di formattazione. Il dataset include istruzioni benigne, intenti malevoli diretti (sanitizzati) e varianti "laundered" generate tramite composizioni di operatori a budget. Il training utilizza il view-dropout, il mixup nello spazio delle feature e il hard-negative mining per migliorare la robustezza contro attacchi composti.

3. Contributi Chiave

Il documento presenta tre contributi primari:

Formalizzazione: Una formulazione rigorosa delle trasformazioni di laundering che preservano l'intento come un problema di ottimizzazione vincolata che coinvolge composizioni di operatori e budget.
Architettura: Un rilevatore multi-view che fonde evidenze semantiche, strutturali, cross-linguali e stilometriche, esplicitamente progettato per affrontare la "frontiera del laundering" dove i segnali superficiali sono benigni ma l'intento è malevolo.
Valutazione: Un corpus di valutazione focalizzato sul laundering e stress test che coprono performance in-distribution (ID), out-of-distribution (OOD) per lingue/composizioni e benchmark esterni (JailbreakBench), con un focus su Risk@FPR (danno atteso a un tasso di falsi positivi fisso) piuttosto che sulla semplice accuratezza.

4. Risultati Sperimentali

La valutazione è stata condotta su un set di test isolato con split bloccati per lingua, genere e formato.

Performance In-Distribution (ID):
- Riduzione del Rischio: CLEANSE* ha ridotto il Risk@FPR di 0,7, 0,8 e 1,0 unità assolute rispettivamente a 0,5%, 1% e 2% di FPR, rispetto a un baseline puramente semantico.
- Attack Success Rate (ASR): Ridotto dall'11,6% all'8,4% (un calo relativo del 27,6%).
- Calibrazione: L'Errore di Calibrazione Attesa (ECE) è migliorato dal 2,7% all'1,8%.
- Latenza: Ha raggiunto latenze p50/p95 di 15/28 ms, rispettando gli SLO (Service Level Objectives) inferiori ai 30 ms.
Performance sulla Frontiera e OOD:
- Sulla "frontiera del laundering" (bassa divergenza superficiale, alto mantenimento dell'intento), il Risk@FPR all'1% di FPR è sceso da 6,2 (solo semantico) a 4,9.
- L'ASR sulla frontiera è sceso dal 18,4% al 12,7%.
- Il sistema ha dimostrato tassi di trasferimento (TR) inferiori verso modelli non visti (0,41 contro 0,58 per i baseline) e una minore deriva del rischio su lingue OOD (turco, persiano, ebraico) e composizioni di operatori non visti.
Benchmark Esterni:
- Su JailbreakBench, CLEANSE* ha ottenuto un rischio di 5,3 e un ASR/miss rate del 14,8%, superando Llama Guard 3-8B, WildGuard, ShieldLM e il baseline puramente semantico.
- Nei test di stress RAG/Agent (scansione del contesto recuperato), la combinazione di scoring pre- e post-gate ha ottenuto un rischio di 5,4 con un tasso di passaggio di strumenti non sicuri del 3,6%.
Studi di Ablazione:
- La rimozione della vista Narrativa/Grafica ha causato la maggiore penalità relativa di sicurezza per millisecondo risparmiato (Ablation Efficiency Ratio di 0,40 rischio/ms), seguita dalla Cross-linguale (0,20) e dalla Semantica (0,19).
- Le viste sono risultate complementari piuttosto che ridondanti; le rimozioni a coppie hanno mostrato effetti di interazione positivi, in particolare tra le viste Semantica e Narrativa.

5. Significato e Dichiarazioni

Il documento sostiene che il prompt laundering rappresenti una minaccia distinta ed evolutiva che richiede strategie di rilevamento che vadano oltre il semplice matching di parole chiave o la classificazione a singola vista. La significatività di CLEANSE* risiede nel suo approccio calibrato sul rischio, che ottimizza esplicitamente la minimizzazione del danno atteso a un tasso controllato di falsi positivi, piuttosto che la massimizzazione della pura accuratezza di classificazione.

L'autore argomenta che l'ensemble multi-view cattura con successo la natura di "offuscamento vincolato" degli attacchi di laundering combinando l'analisi dell'intento latente con il rilevamento di anomalie a livello superficiale. I risultati suggeriscono che un tale sistema può ridurre significativamente il tasso di successo degli attacchi sulla frontiera del laundering mantenendo una bassa latenza adatta al deployment in tempo reale.

Il documento mantiene una posizione modesta, riconoscendo i limiti inclusi:

Sensibilità agli errori di estrazione dei grafi (vista narrativa).
Copertura limitata per le lingue a basse risorse e per gli attacchi multimodali adattivi.
Restrizioni sui materiali di riproducibilità (i prompt malevoli operativi e le ricette di attacco esatte sono trattenuti per evitare usi impropri).

L'autore conclude che, sebbene il sistema dimostri robustezza contro le attuali strategie di laundering, è necessaria una valutazione continua contro il red-teaming adattivo e l'espansione delle viste verso il laundering multimodale per le iterazioni future. Il lavoro fornisce un framework per integrare la sicurezza nel rilevamento dell'IA attraverso soglie calibrate, bande di escalation e documentazione pronta per l'audit (datasheet e model cards).