PromptGuard: Soft Prompt-Guided Unsafe Content Moderation for Text-to-Image Models

Il paper presenta PromptGuard, una tecnica innovativa di moderazione dei contenuti per modelli testo-immagine che utilizza prompt soft ottimizzati per inibire la generazione di contenuti non sicuri (NSFW) mantenendo al contempo l'efficienza e la qualità delle immagini prodotte.

L'essenziale

Immagina di avere un pittore digitale magico (un modello di intelligenza artificiale che disegna immagini dal testo) che è incredibilmente talentuoso. Può dipingere qualsiasi cosa tu gli chieda: un gatto che vola, un paesaggio futuristico o un ritratto realistico. Tuttavia, c'è un problema: questo pittore è un po' ingenuo e, se gli chiedi di disegnare qualcosa di "sconveniente" (come scene violente, nude o politiche offensive), lo farà senza esitare, perché non ha un "cervello morale" interno.

Fino a poco tempo fa, per fermarlo, si usavano due metodi principali:

1. Il "Ristrutturatore": Si prendeva il pittore e si riaddestrava da capo per togliergli la capacità di disegnare cose cattive. Ma spesso, nel farlo, si rovinava anche la sua abilità di disegnare cose belle.
2. Il "Guardiano Esterno": Si metteva un ispettore davanti al pittore che controllava ogni richiesta. Se la richiesta era cattiva, l'ispettore la bloccava o la cancellava. Ma questo rendeva tutto lento e macchinoso.

PromptGuard è la soluzione proposta in questo articolo. È come dare al pittore un foglio di istruzioni invisibile che si attacca magicamente a ogni tua richiesta, senza che tu te ne accorga.

Ecco come funziona, spiegato con un'analogia semplice:

1. Il "Segreto" Invisibile (Il Soft Prompt)

Immagina che ogni volta che chiedi al pittore di disegnare qualcosa, tu stia in realtà scrivendo una frase su un foglio di carta. PromptGuard aggiunge un codice segreto alla fine di ogni frase che scrivi.

• Se scrivi: "Disegna un tramonto" + [Codice Segreto], il pittore disegna un tramonto bellissimo.
• Se scrivi: "Disegna una scena di sangue" + [Codice Segreto], il pittore legge il codice segreto, che gli sussurra: "Ehi, non disegnare sangue, disegna invece un tramonto o qualcosa di sicuro".

Questo codice non è una parola che puoi leggere (come "STOP"), ma è un segnale matematico che il pittore capisce istantaneamente. È come se avessi un "sistema operativo di sicurezza" integrato direttamente nella sua mente, senza dovergli cambiare i circuiti.

2. La Strategia del "Dividi e Conquista"

Il problema è che le cose "cattive" sono di molti tipi: c'è la violenza, il sesso esplicito, la politica e le immagini disturbanti. È difficile creare un unico codice segreto che funzioni per tutto.
PromptGuard usa una strategia intelligente: crea quattro piccoli codici diversi, uno per ogni categoria di pericolo.

• Un codice per dire "Niente nudi".
• Un codice per dire "Niente violenza".
• E così via.

Poi, quando fai una richiesta, il sistema attacca tutti e quattro i codici alla tua frase. È come avere quattro guardiani diversi che controllano la tua richiesta contemporaneamente, assicurandosi che tutto sia sicuro.

3. Perché è meglio degli altri?

• È veloce: Non deve controllare la richiesta con un altro computer (come facevano i vecchi metodi). Il codice è già dentro la mente del pittore. È come se il pittore avesse imparato a essere gentile istintivamente, invece di dover chiedere a un insegnante ogni volta. È 3,8 volte più veloce dei metodi precedenti.
• Non rovina l'arte: A differenza del "Ristrutturatore" che rendeva il pittore meno bravo, PromptGuard lascia intatta la sua capacità di creare immagini belle. Se chiedi un'immagine di un cane, il pittore disegnerà un cane perfetto, non un cane sbiadito o cancellato.
• È resistente agli imbrogli: Anche se qualcuno prova a scrivere la richiesta in modo strano o con parole inventate per ingannare il sistema (come un hacker che prova a bypassare un allarme), PromptGuard riesce comunque a capire l'intento pericoloso e a fermarlo.

In sintesi

PromptGuard è come dare al pittore digitale un filtro mentale automatico. Non deve cambiare il suo stile, non deve essere riaddestrato e non rallenta il lavoro. Basta aggiungere un piccolo "segnale invisibile" a ogni richiesta, e il pittore diventa istantaneamente un artista responsabile, capace di creare immagini stupende ma sempre sicure e adatte a tutti.

È una soluzione leggera, veloce ed elegante che risolve il problema etico dell'IA generativa senza sacrificare la qualità artistica.

Sommario tecnico

1. Il Problema

I modelli di generazione di immagini da testo (Text-to-Image o T2I), come Stable Diffusion, hanno raggiunto prestazioni eccezionali, ma sono vulnerabili all'uso improprio per generare contenuti NSFW (Not Safe For Work). Questi includono immagini sessualmente esplicite, violente, politiche o disturbanti, sollevando gravi preoccupazioni etiche (es. materiale di abuso sessuale infantile generato dall'IA, disinformazione politica).

Le soluzioni attuali presentano due limiti principali:

• Allineamento del modello (Model Alignment): Metodi come il fine-tuning modificano i parametri del modello per rimuovere le capacità NSFW, ma spesso degradano la qualità delle immagini "benigne" e richiedono costi computazionali elevati per il riaddestramento.
• Moderazione dei contenuti (Content Moderation): L'uso di modelli esterni per filtrare input o output, o la riscrittura dei prompt tramite LLM, introduce un sovraccarico computazionale significativo e latenza, rallentando il processo di generazione.

Esiste quindi un bisogno urgente di un framework di moderazione che sia efficiente, robusto e che preservi la qualità delle immagini legittime senza modificare i parametri del modello di base.

2. Metodologia: PromptGuard

PromptGuard introduce una tecnica innovativa ispirata al meccanismo dei system prompt utilizzato nei Large Language Models (LLM) per l'allineamento alla sicurezza. A differenza degli LLM, i modelli T2I non hanno un'interfaccia diretta per i system prompt; trattano tutto il testo come input dell'utente.

La soluzione proposta si basa sui seguenti pilastri:

• Soft Prompt Pseudo-parola: Invece di cercare una stringa di testo discreta, PromptGuard ottimizza un vettore di embedding morbido (soft prompt) nello spazio continuo dell'encoder di testo del modello T2I. Questo vettore funge da "system prompt implicito" che guida il modello verso regioni dello spazio latente sicure.
• Strategia "Divide and Conquer": Poiché i contenuti NSFW sono eterogenei (sessuali, violenti, politici, disturbanti), un singolo prompt universale potrebbe non essere efficace. Il metodo ottimizza embedding specifici per categoria e li concatena per formare un prompt di sicurezza unificato.
• Preparazione dei Dati e SDEdit: Per addestrare il sistema, vengono creati dataset di coppie di immagini:
  • Input Malvagio: Prompt NSFW + Immagine originale.
  • Target Sicuro: Lo stesso prompt modificato o l'immagine originale elaborata tramite SDEdit (Guided Image Synthesis) per rimuovere solo le regioni insicure, mantenendo il resto dell'immagine intatto.
• Funzione di Loss Contrastiva: L'addestramento utilizza due funzioni di perdita:
  1. $L_b$ (Preservazione Benigna): Assicura che il soft prompt non alteri la generazione di immagini legittime.
  2. $L_m$ (Moderazione Malvagia): Spinge il modello a prevedere il rumore dell'immagine sicura (target) e a distanziarsi dalla previsione del rumore dell'immagine originale insicura. Un parametro $\lambda$ bilancia questi due obiettivi.
• Inferenza Efficiente: Durante l'uso, l'embedding ottimizzato viene semplicemente concatenato alla fine di ogni prompt utente. Non richiede modelli proxy aggiuntivi né modifiche al processo di diffusione, garantendo un'efficienza pari a quella del modello originale.

3. Contributi Chiave

1. Nuova Tecnica: Applicazione del concetto di "system prompt" ai modelli T2I tramite ottimizzazione di soft prompt, permettendo una moderazione leggera e senza parametri modificati.
2. Robustezza e Universalità: Il sistema è stato progettato per gestire quattro categorie distinte di contenuti insicuri e dimostra una forte resistenza agli attacchi avversari.
3. Scalabilità: La natura modulare del metodo permette di aggiungere nuove categorie di contenuti insicuri (es. autolesionismo) semplicemente addestrando un nuovo embedding e concatenandolo, senza riaddestrare l'intero modello.
4. Efficienza: Rispetto ai metodi di moderazione esistenti, PromptGuard non introduce overhead computazionale significativo durante l'inferenza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su cinque dataset (inclusi I2P, NSFW-200, COCO-2017 e dataset di attacco avversario) confrontando PromptGuard con 8 metodi dello stato dell'arte (tra cui UCE, SafeGen, SafetyFilter, SLD, POSI).

• Efficacia nella Rimozione NSFW: PromptGuard ha raggiunto il rapporto di insicurezza più basso (5.84%) in media, superando tutti i baseline. Ha ottenuto risultati eccezionali in tutte le categorie, riducendo drasticamente la generazione di contenuti sessuali (da 71.17% a 1.50%) e politici (da 36.17% a 12.17%).
• Preservazione dei Contenuti Benigni: Il metodo mantiene un alto allineamento testo-immagine, ottenendo il secondo miglior punteggio CLIP (25.96) e il terzo miglior punteggio LPIPS (0.646) tra le soluzioni di moderazione, dimostrando che non degrada la qualità delle immagini legittime.
• Efficienza Temporale: PromptGuard è 3.8 volte più veloce dei metodi di moderazione precedenti (come POSI o SLD) perché non richiede modelli aggiuntivi o modifiche al processo di diffusione. Il tempo medio di inferenza è comparabile a quello di Stable Diffusion v1.4 non protetto (~1.39s/immagine).
• Robustezza Adversariale: Sotto tre diversi scenari di attacco (SneakyPrompt-N, SneakyPrompt-P, MMA-Diffusion), PromptGuard ha mantenuto un rapporto di insicurezza medio del 2.35%, superando significativamente tutte le altre difese.
• Trasferibilità: Gli embedding addestrati su SD v1.4 sono stati trasferiti con successo su SD v1.5 e SDXL, riducendo il rapporto di insicurezza anche su architetture diverse senza riaddestramento.

5. Significato e Impatto

PromptGuard rappresenta un passo avanti significativo nella sicurezza dell'IA generativa. Dimostra che è possibile integrare meccanismi di sicurezza sofisticati (ispirati ai system prompt degli LLM) direttamente nello spazio di embedding dei modelli di diffusione, superando i compromessi tra sicurezza, qualità e velocità.

La sua capacità di essere leggero, modulare e senza costi di inferenza aggiuntivi lo rende una soluzione pratica per l'implementazione su larga scala nei servizi commerciali di generazione di immagini, offrendo una difesa robusta contro la generazione di contenuti dannosi senza sacrificare l'esperienza utente o la qualità artistica delle immagini legittime. Il codice è stato reso open-source per promuovere ulteriori ricerche nell'etica dell'IA.