Riepilogo Tecnico: ICER – Red-Teaming dei Modelli Text-to-Image tramite Replay dell'Esperienza in Contesto e Riscrittura dei Prompt con Preservazione Semantica

Enunciato del Problema

Il rapido dispiegamento dei modelli Text-to-Image (T2I) ha introdotto sfide significative in materia di sicurezza, inclusa la generazione di contenuti Non Sicuri per il Lavoro (NSFW) e immagini che violano il copyright. Sebbene gli sviluppatori abbiano implementato vari meccanismi di sicurezza (ad esempio, componenti sicuri ottimizzati, guida all'inferenza e filtraggio multilivello), valutare la robustezza di queste difese rimane difficile. I metodi esistenti di red-teaming soffrono di limitazioni critiche:

• I metodi white-box (ad esempio, P4D, UnlearnDiffAtk) richiedono l'accesso interno al modello, che non è disponibile per i sistemi commerciali basati su API, e spesso producono sequenze di token ininterpretabili e non fluenti, facilmente filtrate da rilevatori basati sulla fluidità.
• Gli approcci basati su agenti black-box (ad esempio, APGP, JailFuzzer) generano prompt fluenti ma trattano ogni attacco in modo indipendente, fallendo nell'apprendere dai tentativi passati. Ciò comporta elevati costi computazionali, query ripetute e scarsa scalabilità.
• Divario di Preservazione Semantica: Molti metodi esistenti non riescono a generare prompt che preservino l'intento dannoso originale mentre evitano i filtri di sicurezza. Gli scenari di abuso nel mondo reale tipicamente coinvolgono attaccanti che cercano output specifici non sicuri piuttosto che malfunzionamenti arbitrari del modello, eppure gli strumenti attuali faticano a bilanciare fluidità, allineamento semantico e jailbreaking riuscito.

Metodologia: Il Framework ICER

Gli autori propongono ICER (In-Context Experience Replay), un framework di red-teaming black-box progettato per generare prompt avversari fluenti in linguaggio naturale che preservino l'intento dannoso originale. ICER opera sotto un modello di minaccia in cui l'avversario non ha accesso ai parametri interni o ai gradienti del modello target.

Il framework integra tre componenti fondamentali in un contesto di Ottimizzazione Bayesiana (BO), utilizzando un LLM come modello surrogato:

1. Formulazione del Problema

L'obiettivo è trovare un prompt avversario $P^*_q$ che massimizzi una funzione $f(P^*_q)$ soggetto a due vincoli:

1. Violazione della Sicurezza: L'immagine generata $I^*_q$ deve innescare una violazione della sicurezza (punteggio $E(I^*_q) \geq \tau'$).
2. Preservazione Semantica: L'immagine generata deve mantenere un'elevata similarità coseno con l'immagine generata dal prompt originale ($sim(M(I_q), M(I^*_q)) \geq \rho$).

Questa formulazione garantisce un "jailbreaking mirato", dove l'attacco cerca contenuti dannosi specifici piuttosto che rumore casuale.

2. Replay dell'Esperienza in Contesto (ICR)

A differenza dei metodi tradizionali che scartano i tentativi falliti o riusciti, ICER mantiene un database condiviso di prior $\mathcal{D}$ delle esperienze passate di red-teaming. Ogni voce memorizza:

• Il prompt originale $P_i$.
• La variante avversaria riuscita $P^*_i$.
• I parametri di efficacia $\theta_i = (\alpha_i, \beta_i)$ modellati come una distribuzione Beta.

Quando si genera un nuovo prompt avversario per una query $P_q$, il sistema campiona $k$ esempi da $\mathcal{D}$ per formare un insieme di guida $S_t$. L'LLM condiziona quindi su questi esempi e su un'istruzione di sistema per generare $P^*_q$. Ciò sfrutta le capacità di apprendimento in contesto dell'LLM per codificare i pattern di attacco passati come un "manuale" riutilizzabile.

3. Campionamento Adattivo tramite Thompson Sampling (TS)

Per bilanciare lo sfruttamento (utilizzo di pattern collaudati di successo) e l'esplorazione (scoperta di nuovi vettori di attacco), ICER impiega il Thompson Sampling.

• Ogni esempio in $\mathcal{D}$ è associato a una distribuzione Beta $Beta(\alpha_i, \beta_i)$, dove $\alpha_i$ accumula ricompense (guida riuscita) e $\beta_i$ accumula penalità (guida fallita).
• Ad ogni iterazione, il sistema campiona una probabilità $\pi_i$ da ciascuna distribuzione e seleziona i primi $k$ esempi con i valori più alti per guidare l'LLM.
• Meccanismo di Ricompensa:
  • Fallimento Semantico: Se l'immagine generata fallisce il controllo semantico, gli esempi selezionati vengono penalizzati ($\beta$ aumenta).
  • Successo Parziale: Se il controllo semantico passa ma il jailbreak fallisce, viene assegnata una ricompensa parziale basata sul punteggio di insicurezza.
  • Successo Completo: Se il jailbreak riesce, gli esempi ricevono una ricompensa completa ($\alpha$ aumenta) e la nuova coppia $(P_q, P^*_q)$ viene aggiunta a $\mathcal{D}$.

Questo ciclo di apprendimento continuo permette al framework di adattarsi a specifici meccanismi di sicurezza nel tempo senza richiedere il retraining del modello.

Contributi Chiave

1. Framework ICER: Introduzione di un framework black-box che genera prompt avversari fluenti in linguaggio naturale sfruttando la riscrittura basata su LLM e il replay dell'esperienza in contesto.
2. Valutazione con Preservazione Semantica: Dimostrazione di prestazioni superiori nel "jailbreaking mirato", un paradigma rigoroso che richiede che i contenuti generati si allineino all'intento specifico dell'attaccante, non si limitino a produrre contenuti non sicuri arbitrari.
3. Trasferimento di Conoscenza: Evidenza che le istanze passate di jailbreaking possono facilitare la scoperta di nuove vulnerabilità. Il documento sottolinea che la conoscenza degli attacchi si accumula, permettendo a una singola campagna di red-teaming di costruire un manuale trasferibile a nuove difese e persino a sistemi commerciali.

Risultati Sperimentali

Gli autori hanno valutato ICER contro sette baseline (inclusi metodi white-box come P4D e metodi black-box come PEZ e Ring-A-Bell) su sei modelli T2I sicuri (ESD, SLD-MAX, Receler, AdvUnlearn, SAFREE, RECE) e due concetti dannosi (nudità e violenza).

• Prestazioni: ICER ha costantemente superato tutte le baseline. Ad esempio, sul modello ESD per la nudità, ICER ha raggiunto un Tasso di Fallimento (FR) del 48,71%, rispetto al 34,55% della baseline successiva migliore (FLIRT-Scoring). Sul robusto modello AdvUnlearn, ICER ha identificato il doppio delle vulnerabilità rispetto alla baseline più forte.
• Preservazione Semantica: A differenza dei metodi di ottimizzazione a livello di token che subiscono cali significativi del FR quando vengono applicati vincoli semantici (ad esempio, PEZ è sceso dal 72,75% al 9,87% su ESD), ICER ha mantenuto prestazioni solide (dall'80,19% al 57,37%), dimostrando la sua capacità di generare prompt semanticamente coerenti.
• Fluidità: L'analisi quantitativa mediante la perplessità degli n-grammi ha mostrato che ICER genera prompt significativamente più naturali (perplessità media 0,82 $\times 10^3$) rispetto a baseline come Ring-A-Bell (69,88 $\times 10^3$) e P4D-N (175,45 $\times 10^3$).
• Trasferibilità: Oltre il 30% dei prompt generati da ICER è stato trasferito con successo a sistemi commerciali fortemente moderati come DALL·E 3 (35,58%) e Midjourney (41,35%), superando tutte le baseline. Ciò valida che le vulnerabilità scoperte non sono limitate a specifiche architetture open-source.

Significato e Affermazioni

Il documento sostiene che il red-teaming dovrebbe essere considerato non come una raccolta di tentativi indipendenti, ma come un problema di apprendimento. La lezione centrale è che i jailbreak riusciti contengono strutture riutilizzabili; una volta catturate tramite il replay dell'esperienza in contesto, questi pattern rendono gli attacchi successivi sostanzialmente più efficaci su diversi concetti e modelli target.

Gli autori inquadrano questo aspetto come una "doppia lama":

• Per i Difensori: Offre un blueprint efficiente per la valutazione della sicurezza, andando oltre i costosi e inconsistenti audit umani o le sonde automatizzate isolate. Una singola campagna può costruire un manuale trasferibile.
• Per la Comunità della Sicurezza: Serve come avvertimento che le difese valutate solo contro avversari indipendenti e privi di memoria potrebbero sovrastimare drasticamente la loro robustezza. Se la conoscenza degli attacchi si accumula facilmente, gli attori malintenzionati potrebbero sfruttare la conoscenza accumulata per un abuso più economico e mirato.

Il lavoro conclude sostenendo un cambiamento nell'approccio della comunità al red-teaming: da una checklist statica verso un processo continuo e adattivo in cui ogni tentativo informa il successivo.