Sintesi Tecnica: Modulazione dell'Attenzione Introspectiva per la Generazione di Testo-Immagine Sicura

1. Definizione del Problema

I modelli di generazione testo-immagine (T2I) basati su flussi allo stato dell'arte, come quelli basati su Diffusion Transformers (DiT) e flussi rettificati (ad es., FLUX.1-dev), mostrano capacità generative straordinarie ma rimangono vulnerabili alla produzione di contenuti non sicuri (violenza, immagini esplicite, contenuti sessuali). Queste vulnerabilità sono esacerbate quando i modelli vengono perfezionati tramite tecniche di adattamento efficienti nei parametri, come LoRA o DreamBooth, che possono facilmente aggirare le barriere di sicurezza pre-distribuite.

I meccanismi di sicurezza esistenti rientrano in tre categorie, ognuna con limitazioni significative:

• Filtraggio Esterno: Si affida a blacklist di prompt o classificatori basati su CLIP; questi sono fragili contro il prompting avversario, la parafrasi e gli attacchi di jailbreak.
• Soppressione basata sull'Addestramento: Comporta l'eradicazione di concetti o il fine-tuning sicuro. Questi metodi sono computazionalmente costosi, spesso limitati a specifiche architetture di diffusione precoci e possono causare l'"eradicazione semantica collaterale" (degradazione della generazione di concetti benigni).
• Guida al Tempo di Inferenza: Metodi come Safe Latent Diffusion (SLD) o Latent Guard richiedono spesso un nuovo addestramento o inducono l'eradicazione semantica. Inoltre, le modifiche ai pesi possono essere annullate da nuovi adapter.

Il problema centrale è la mancanza di un approccio meccanicistico, privo di addestramento, che possa intervenire durante il processo di generazione per sopprimere concetti non sicuri senza compromettere l'allineamento semantico o la qualità percettiva dell'output, particolarmente nelle moderne architetture basate su transformer.

2. Metodologia: Modulazione dell'Attenzione Introspectiva

Gli autori propongono un intervento principato, al tempo di inferenza, che regola la dinamica dell'attenzione di un modello attraverso l' "introspezione". Il metodo opera senza modificare i pesi del modello base o effettuare un nuovo addestramento.

Concetto Core

Il metodo sfrutta l'osservazione che i meccanismi di attenzione nei diffusion transformer codificano strutture interne ricche. La formazione di concetti non sicuri si riflette in specifici pattern di attenzione (ad es., alta cross-attention dai token di regioni corporee ai token dell'immagine). L'approccio consiste nell'analizzare queste attivazioni di attenzione in tempo reale e ricalibrarle per guidare la generazione lontano da concetti non sicuri, preservando al contempo la coerenza semantica.

Workflow Tecnico

1. Estrazione dell'Attenzione a Doppio Percorso: Ad ogni timestep di denoising $t$, il metodo estrae gli stati di attenzione ($\Phi_t$) da entrambi i blocchi transformer a stream singolo e a stream doppio. Questi stati includono la self-attention (coerenza spaziale) e la cross-attention (corrispondenza testo-immagine).
2. Ottimizzazione Vincolata alla Sicurezza: Il metodo formula la sicurezza come un problema di ottimizzazione vincolata per trovare un insieme di attenzione modulata $\varphi^*_t$. La funzione obiettivo $\mathcal{L}_{int}$ bilancia tre termini:
   • Energia di Coerenza ($E_{coh}$): Penalizza la deviazione da un'attenzione di riferimento sicura ($\Phi^{safe}_t$) per mantenere l'allineamento testo-immagine.
   • Regolarizzatore di Sicurezza ($R_{safe}$): Quantifica la massa di attenzione non sicura utilizzando regressori logistici sparsi ($W_{unsafe}$) pre-calcolati e addestrati su esempi etichettati. Questo termine penalizza i pattern di attenzione correlati a contenuti dannosi.
   • Divergenza di Prossimità ($D$): Utilizza la divergenza KL per vincolare l'attenzione modulata vicino all'originale $\Phi_t$, prevenendo perturbazioni fuori distribuzione.
3. Processo di Ottimizzazione: $\varphi^*_t$ viene risolto tramite gradiente discendente proiettato (PGD) inizializzato sull'attenzione originale. Ciò consente una soppressione fine per singola testa, dove le teste con alti pattern non sicuri vengono corrette, mentre le teste benigne rimangono minimamente perturbate.
4. Controllo del Rapporto di Introspezione: Un parametro $\alpha_{intro}$ controlla il compromesso tra l'intervento di sicurezza e la fedeltà dell'output, permettendo una forza di sicurezza regolabile durante l'esecuzione.
5. Velocità Corretta e Campionamento: L'attenzione modulata $\varphi^*_t$ viene reiniettata nel transformer per rivalutare il campo di velocità ($\hat{v}_\theta$). Il passo di generazione procede utilizzando questa velocità vincolata dalla sicurezza, guidando il campione latente verso risultati sicuri.

3. Contributi Chiave

• Meccanismo Unico nel suo Genere: Introduce un meccanismo di sicurezza introspectiva basato sull'attenzione, progettato specificamente per la sicurezza al tempo di inferenza in modelli di diffusione transformer di alta qualità.
• Intervento Privo di Addestramento: Il metodo non richiede il riaddestramento del modello base o degli adapter. Opera puramente durante il processo di inferenza regolando la dinamica dell'attenzione.
• Regressione Logistica Sparsa per il Rilevamento dell'Insicurezza: Sviluppa un meccanismo per identificare ed estrarre pattern di attenzione non sicuri utilizzando rappresentazioni di concetti pre-appresi, consentendo una soppressione mirata.
• Controllo del Compromesso Principato: Implementa un processo di ottimizzazione con controllo del rapporto di introspezione, fornendo una gestione del compromesso tra sicurezza e qualità.
• Valutazione Esaustiva: Valuta estensivamente la tecnica su benchmark standard (I2P, SneakyPrompts, MMA-Diffusion, UnlearnDiffAtk) e dimostra la superiorità rispetto ai metodi di eradicazione dei concetti esistenti (UCE, ESD, EraseAnything, FlowEdit, MCE).

4. Risultati Sperimentali

Il metodo è stato valutato su FLUX.1-dev adattato con LoRA per la generazione non sicura, nonché su SDXL.

• Performance di Sicurezza:
  • Sul benchmark I2P, il metodo ha raggiunto un Tasso di Nudità (NR) del 39,6%, un miglioramento relativo del 30% rispetto al baseline (56,3%).
  • Su SneakyPrompts (jailbreak avversari), ha mantenuto un NR robusto del 70,5% rispetto all'81,5% del baseline.
  • Validazione tramite Modello Vision-Language (VLM): Utilizzando Qwen-VL, il metodo ha segnalato solo l'1,7% delle immagini come non sicure (16 immagini), una riduzione del 79% rispetto al baseline. Notevolmente, i baseline di eradicazione dei concetti (UCE, ESD) hanno spesso aumentato le violazioni rilevate dai VLM a causa dell'incoerenza semantica.
• Qualità e Allineamento:
  • A differenza degli altri metodi che degradano la qualità, l'approccio proposto ha migliorato i punteggi CLIP (allineamento testo-immagine) in tutti i benchmark. Ad esempio, su I2P, il punteggio CLIP è salito da 30,52 (baseline) a 30,82.
  • Il metodo ha raggiunto la dominanza di Pareto, migliorando simultaneamente sicurezza e qualità, laddove altri metodi affrontavano un compromesso in cui i guadagni di sicurezza degradavano la qualità.
• Generalizzazione:
  • Il metodo è agnostico rispetto al modello, applicato con successo a diverse varianti di FLUX (Dev, Kontext, Schnell, Krea) e SDXL senza riaddestramento.
  • Sopprime efficacemente varie categorie non sicure tra cui nudità, violenza, attività illegali e autolesionismo.

5. Significato e Rivendicazioni

L'articolo sostiene che la regolazione dello spazio dell'attenzione offre una via decisamente più promettente per la generazione sicura di immagini basate su diffusion transformer rispetto agli esistenti meccanismi di eradicazione dei concetti.

Le rivendicazioni chiave includono:

• Robustezza Intrinseca: Regolando direttamente la dinamica dell'attenzione, il metodo mostra una robustezza intrinseca contro gli adattamenti efficienti nei parametri (come LoRA) che tipicamente aggirano i filtri di sicurezza statici.
• Comprensione Meccanicistica: L'approccio va oltre le patch post-hoc intervenendo direttamente nel processo generativo, affrontando la causa radice dell'emergere di contenuti non sicuri (pattern di attenzione) piuttosto che solo l'output.
• Superiorità rispetto all'Eradicazione: I risultati rivelano che l'eradicazione tradizionale dei concetti può essere inefficace o addirittura controproducente sulle architetture moderne, talvolta peggiorando la sicurezza o causando gravi artefatti visivi. Al contrario, la modulazione dell'attenzione introspettiva preserva la coerenza visiva e la fedeltà semantica.
• Distribuzione Pratica: Il metodo consente di distribuire un singolo modello con una forza di sicurezza regolabile al runtime, eliminando la necessità di mantenere molteplici versioni del modello per diversi livelli di sicurezza.

Gli autori riconoscono i limiti, notando che il metodo dipende da rappresentazioni apprese dei concetti di sicurezza che potrebbero presentare lacune di copertura contro prompt altamente avversari (es. SneakyPrompts) e che assume un contesto operativo di sicurezza affidabile. Tuttavia, pongono questo lavoro come un passo fondamentale verso i meccanismi di enforcement delle policy che permettono la creatività senza superare i confini etici.