Sintesi Tecnica: Proteggere la Generazione di Testo-Immagine tramite l'Ottimizzazione tra Prompt e Rumore in Fase di Inferenza (PNO)

1. Definizione del Problema

I modelli di diffusione Text-to-Image (T2I), pur essendo capaci di generare immagini di alta qualità e diversificate, sono soggetti alla produzione di contenuti non sicuri contenenti materiale sensibile o inappropriato a causa dei bias ereditati da dataset di addestramento su larga scala e non filtrati. I meccanismi di sicurezza esistenti affrontano limitazioni significative:

• Filtraggio dei Dati e Riaddestramento: Computazionalmente costosi e spesso incapaci di rimuovere tutto il contenuto non sicuro.
• Fine-tuning: Richiede risorse sostanziali, fatica a generalizzare su prompt mai visti e rischia di degradare la qualità dell'immagine.
• Interventi in Fase di Inferenza (Guida/Editing): Metodi come il negative prompting o l'editing del modello sono spesso facili da aggirare e mancano di robustezza contro gli attacchi avversari.
• Conflitto Fondamentale: Esiste una tensione intrinseca tra il seguire fedelmente i prompt dell'utente ed evitare output non sicuri. Gli attuali metodi spesso non riescono a bilanciare questi obiettivi, o compromettono la sicurezza o deviano significativamente dalla semantica intesa.

Inoltre, i sistemi T2I sono altamente vulnerabili agli attacchi avversari in cui vengono creati prompt malevoli per aggirare i filtri di sicurezza. Il documento identifica una lacuna critica: non esiste un approccio robusto, che non richieda addestramento, capace di sopprimere efficacemente la generazione tossica mantenendo un'alta coerenza tra prompt e immagine senza richiedere un esteso riaddestramento del modello.

2. Metodologia: Prompt-Noise Optimization (PNO)

Gli autori propongono la Prompt-Noise Optimization (PNO), un nuovo framework, privo di addestramento, che opera durante la fase di inferenza. PNO tratta la generazione di immagini sicure come un problema di ottimizzazione, regolando congiuntamente due componenti fondamentali del processo di campionamento della diffusione:

2.1. Variabili di Ottimizzazione

Invece di modificare i pesi del modello o il prompt testuale discreto, PNO ottimizza in spazi continui:

1. Embedding del Prompt Continuo ($c$): La rappresentazione latente del prompt testuale (ad esempio, tramite CLIP). L'ottimizzazione in questo spazio continuo permette un controllo più fine sulla semantica rispetto alla modifica del testo discreto.
2. Traiettoria del Rumore Iniettato ($\tau = \{x_T, z_T, \dots, z_1\}$): La sequenza di campioni di rumore utilizzati durante il processo di denoising (specificamente nel campionamento DDIM). La traiettoria del rumore controlla i dettagli di basso livello e la specifica realizzazione dell'immagine.

2.2. Funzione Obiettivo

L'obiettivo è minimizzare una funzione di perdita di tossicità preservando la natura gaussiana del rumore e mantenendo l'allineamento con il prompt originale. Il problema di ottimizzazione è formulato come:
$$\min_{c, \tau} L_{toxic}(x_0) + \lambda L_{reg}(\tau)$$
Soggetto a:
$$x_0 = \text{DDIM}(c, \tau)$$

• $L_{toxic}(x_0)$: Una funzione di perdita che quantifica l'inappropriatezza dell'immagine generata $x_0$, tipicamente misurata da un classificatore di sicurezza delle immagini pre-addestrato (es. Q16).
• $L_{reg}(\tau)$: Un termine di regolarizzazione che assicura che la traiettoria del rumore ottimizzata rimanga vicina a una distribuzione gaussiana standard, impedendo che il processo di generazione diventi instabile.
• $\lambda$: Un iperparametro che controlla la forza della regolarizzazione.

2.3. Algoritmo

PNO impiega un ciclo di ottimizzazione basato sul gradiente (Algoritmo 2):

1. Inizializzazione: Inizializza l'embedding del prompt $c$ dal testo dell'utente e la traiettoria del rumore $\tau$ tramite campionamento casuale.
2. Campionamento: Genera un'immagine $x_0$ utilizzando il campionatore DDIM con l'attuale $c$ e $\tau$.
3. Valutazione: Calcola la perdita di tossicità e la perdita di regolarizzazione.
4. Aggiornamento: Calcola i gradienti rispetto a entrambi $c$ e $\tau$ e aggiornali utilizzando un ottimizzatore (es. Adam).
5. Terminazione: Il processo itera finché la perdita di tossicità non scende sotto una soglia o viene raggiunto un numero massimo di iterazioni.

2.4. Giustificazione Teorica per l'Ottimizzazione Congiunta

Il documento sostiene che ottimizzare solo il prompt o solo il rumore sia subottimale:

• Solo Rumore: Può regolare solo i dettagli di basso livello. Se l'embedding del prompt codifica un concetto tossico, la perturbazione del rumore non può rimuovere la tossicità semantica di alto livello.
• Solo Prompt: Può rimuovere la tossicità ma spesso richiede grandi deviazioni nello spazio degli embedding, portando a una significativa perdita di allineamento semantico con il prompt originale.
• Ottimizzazione Congiunta: Utilizzando entrambe le direzioni, la traiettoria del rumore può assorbire parte del "gradiente di tossicità", permettendo all'embedding del prompt di muoversi solo quanto necessario per uscire dalla regione tossica. Ciò si traduce in un compromesso superiore tra sicurezza e allineamento.

3. Contributi Chiave

1. Framework Innovativo: Introduzione di PNO, il primo approccio che sfrutta l'ottimizzazione in fase di inferenza sia degli embedding dei prompt che delle traiettorie del rumore di diffusione per migliorare la sicurezza T2I senza riaddestramento del modello.
2. Scoperta della Sinergia: Dimostrazione della sinergia teorica ed empirica tra gli embedding dei prompt (che controllano "cosa" viene generato) e le traiettorie del rumore (che controllano "come" viene renderizzato) nel raggiungere gli obiettivi di sicurezza.
3. Robustezza: Validazione del fatto che PNO è robusto contro gli attacchi avversari progettati per aggirare i meccanismi di sicurezza esistenti.
4. Compromesso Ottimale: Evidenza empirica che mostra come PNO raggiunga una frontiera di Pareto superiore ai metodi esistenti, bilanciando meglio la sicurezza dell'immagine e l'allineamento del prompt rispetto a qualsiasi baseline.
5. Efficienza: Un metodo privo di addestramento che comporta solo costi marginali di inferenza rispetto ai pesanti requisiti di risorse del fine-tuning o del riaddestramento.

4. Risultati Sperimentali

Gli autori hanno valutato PNO sul dataset I2P (prompt tossici naturali) e sul dataset Ring-a-bell (prompt avversari) utilizzando Stable Diffusion 1.5 (SD1.5) come backbone.

4.1. Riduzione della Tossicità

• Dataset I2P: PNO ha ottenuto generazioni quasi sicure al 100% in quasi tutte le categorie, superando significativamente i baseline come SafeGen, SalUn, UCE e i metodi in fase di inferenza come SLD e il Negative Prompting.
• Robustezza Avversaria: Sul dataset Ring-a-bell, PNO ha ridotto la percentuale di tossicità allo 0,00% (metrica Q16), mentre altri metodi hanno faticato significativamente, producendo spesso immagini non sicure a tassi comparabili o superiori al modello base.
• Generalizzazione: I risultati sono rimasti coerenti quando valutati con modelli Vision-Language (VLM) indipendenti e controllati con diversi classificatori di sicurezza (MHSC), escludendo il reward hacking contro un singolo valutatore.

4.2. Qualità e Allineamento

• Punteggio CLIP: PNO ha mantenuto alti punteggi CLIP (allineamento testo-immagine), dimostrando che l'applicazione della sicurezza non è avvenuta a scapito dell'ignorare il prompt dell'utente.
• Compromesso: Le configurazioni di PNO (variando i tassi di apprendimento) hanno formato una frontiera di Pareto dominante, offrendo migliori compromessi tra sicurezza e allineamento rispetto a qualsiasi altro metodo valutato.
• Efficienza: PNO ha raggiunto generazioni sicure entro 3 iterazioni (meno di 20 secondi) per oltre il 60% dei prompt. Non richiede dati di addestramento aggiuntivi o fine-tuning del modello, operando efficacemente su GPU di fascia consumer.

4.3. Studi di Ablazione

• Congiunto vs Singolo: L'ottimizzazione congiunta di rumore e prompt ha superato significativamente l'ottimizzazione di un singolo componente, raggiungendo una tossicità quasi nulla con un ragionevole allineamento e meno iterazioni.
• Inizializzazione: La ricerca casuale per la traiettoria del rumore iniziale ha migliorato le prestazioni in tutte le metriche.
• Dimensione del Passo (Step Size): Passi più grandi hanno minimizzato la tossicità più velocemente, mentre passi più piccoli hanno dato priorità all'allineamento, offrendo flessibilità per diverse priorità dell'utente.

5. Significato e Rivendicazioni

Il documento afferma che PNO rappresenta un passo avanti significativo nel rendere affidabili i modelli di diffusione T2I. Il suo significato primario risiede in:

• Sicurezza Senza Addestramento: Offre una soluzione pratica e implementabile che non richiede i costi proibitivi di riaddestramento o fine-tuning di grandi modelli.
• Robustezza: Affronta la vulnerabilità critica degli attuali sistemi agli attacchi avversari, fornendo un meccanismo di difesa difficile da aggirare.
• Ottimizzazione Bilanciata: Risolve il conflitto tra sicurezza e utilità sfruttando il controllo ortogonale fornito dalle traiettorie del rumore e dagli embedding dei prompt, raggiungendo un livello di preservazione dell'allineamento che le precedenti interazioni di sicurezza non potevano ottenere.

Gli autori concludono che PNO ha il potenziale per diventare un approccio standard per la generazione sicura di immagini, con lavori futuri focalizzati sull'ottimizzazione della velocità di inferenza e sullo sviluppo di funzioni obiettivo più robuste per la valutazione della sicurezza.