🤖 AI

Inference-Only Prompt Projection for Safe Text-to-Image Generation with TV Guarantees

Questo articolo introduce SPOT, un framework di inferenza che proietta selettivamente prompt non sicuri verso un "insieme di sicurezza tau" utilizzando un LLM e un VLM di salvaguardia per ridurre significativamente la generazione di immagini inappropriate, preservando al contempo il comportamento dei prompt benigni senza riaddestrare il modello di diffusione.

Autori originali: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

Pubblicato 2026-05-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una macchina magica per l'arte congelata (un'IA da Testo a Immagine) che può disegnare tutto ciò che descrivi. È incredibilmente talentuosa, ma a volte, se le dai un prompt complicato o pericoloso, potrebbe accidentalmente disegnare qualcosa di inappropriato.

Il problema è: se cerchi di "aggiustare" la macchina stessa per fermarla dal disegnare cose cattive, spesso rompi accidentalmente anche la sua capacità di disegnare cose belle. È come cercare di impedire a uno chef di cucinare cibo piccante togliendogli il coltello; all'improvviso, non riesce nemmeno a tagliare le verdure per un'insalata.

Questo articolo introduce un nuovo metodo chiamato SPOT (Selezione della Proiezione del Prompt) che agisce come un editor intelligente posizionato prima della macchina, invece di cercare di ricostruire la macchina stessa.

Ecco come funziona, usando semplici analogie:

1. La Regola della "Macchina Congelata"

Gli autori hanno deciso di non toccare affatto la macchina per l'arte. L'hanno lasciata esattamente com'era (congelata). Perché? Perché se cambi la macchina, cambi la sua personalità. Volevano mantenere esattamente lo stesso comportamento "buono" della macchina, fermando solo il comportamento "cattivo".

2. La "Mappa di Sicurezza" (L'Insieme Sicuro τ)

Immagina una mappa dove alcune aree sono "Zone Verdi" (sicure da disegnare) e altre sono "Zone Rosse" (non sicure).

L'Obiettivo: Se chiedi qualcosa in una Zona Verde, l'editor lascia la tua richiesta così com'è. La macchina disegna esattamente ciò che hai chiesto.
Il Problema: Se chiedi qualcosa in una Zona Rossa, l'editor deve intervenire. Ma invece di dire semplicemente "No", cerca la Zona Verde più vicina che assomigli ancora alla tua richiesta originale.

3. Il Team Investigativo a Due Fasi

SPOT utilizza un processo in due fasi per gestire le richieste rischiose, agendo come un team di sicurezza con uno scanner economico e un ispettore severo.

Fase 1: Lo Scanner Veloce (L'LLM)
Quando arriva un prompt rischioso, un'IA veloce e basata solo sul testo (l'LLM) agisce come una sentinella. Genera rapidamente alcune versioni "riscritte" del tuo prompt. Si chiede: "Se cambio questa parola con quell'altra, sembra più sicuro?"
- Sceglie la versione più vicina alla tua idea originale ma la sposta fuori dalla Zona Rossa e dentro la Zona Verde.
- Questo è veloce ed economico perché guarda solo le parole, non le immagini.
Fase 2: L'Ispettore Severo (Il VLM)
Una volta che l'editor sceglie il prompt riscritto migliore, la macchina per l'arte vera e propria disegna l'immagine. Poi, una seconda IA (un Modello Linguistico-Visivo) guarda l'immagine effettiva che è stata creata.
- Si chiede: "Questa immagine è davvero sicura?"
- Se l'immagine è sicura, ottiene il via libera.
- Se l'immagine è ancora non sicura (magari la macchina ha frainteso il nuovo prompt), il sistema torna alla Fase 1, prova una riscrittura diversa e disegna di nuovo.

4. Il Compromesso tra "Sicurezza e Creatività"

L'articolo fa un punto matematico molto importante: Non puoi rendere un'IA più sicura senza modificarne leggermente l'output.
Pensaci come a un fiume. Se vuoi deviare una pericolosa inondazione (immagini non sicure) lontano da un villaggio, devi costruire un nuovo canale. Quel nuovo canale cambia il percorso dell'acqua.

Il trucco di SPOT: Costruisce un nuovo canale solo per l'inondazione pericolosa. Se l'acqua sta già fluendo in sicurezza (prompt benigni), lascia il fiume esattamente dove si trova. Questo assicura che quando chiedi un "gattino carino", ottieni ancora un "gattino carino", e non un "gatto dei cartoni animati" o uno "schermo nero".

5. I Risultati

Gli autori hanno testato questo metodo su quattro diversi set di dati e tre diverse macchine per l'arte.

Sicurezza: Ha ridotto con successo il numero di immagini inappropriate di molto (tra il 14% e il 44% meglio di altri metodi).
Creatività: Ha mantenuto le immagini "buone" che sembrano quasi esattamente le stesse che sarebbero state senza filtri di sicurezza.
Velocità: Poiché la prima fase (lo scanner di testo) è così veloce, l'intero processo è molto più rapido rispetto ai metodi che controllano ogni singola idea di immagine prima di disegnarla.

Riepilogo

SPOT è come un buttafuori in un club che non cambia la musica o il DJ (il modello IA). Invece, se qualcuno prova a dire qualcosa di scortese alla porta, il buttafuori suggerisce gentilmente di riformularlo in qualcosa di educato. Se la frase riformulata fa entrare la persona, entrano. Se continuano a provare a essere scortesi, non entrano. Ma se erano educati fin dall'inizio, entrano direttamente senza essere toccati.

Questo assicura che il club rimanga sicuro senza rovinare l'esperienza per gli ospiti buoni.

Riepilogo Tecnico: SPOT – Proiezione Selettiva dei Prompt tramite Variazione Totale

Enunciato del Problema
I modelli di diffusione Text-to-Image (T2I) abilitano una sintesi open-ended di alta qualità ma comportano rischi significativi per la sicurezza, poiché gli utenti possono evocare immagini dannose o in violazione delle policy. I metodi esistenti di allineamento alla sicurezza soffrono spesso di un compromesso critico: le interventi globali (come la modifica dei pesi del generatore o l'applicazione di prompt soft universali) possono perturbare il comportamento del modello anche su prompt benigni, degradando la qualità dell'immagine e la fedeltà semantica. Al contrario, i metodi che verificano le immagini generate spesso incorrono in elevati costi computazionali o non riescono a localizzare gli interventi di sicurezza solo sugli input a rischio. Il documento identifica una tensione fondamentale: ridurre l'insicurezza attesa al di sotto di un livello di riferimento richiede intrinsecamente una deviazione nella distribuzione delle immagini condizionate dal prompt. La sfida consiste nel raggiungere la sicurezza senza distorcere globalmente il comportamento del generatore congelato su input benigni.

Metodologia
Gli autori propongono SPOT (Selective Prompt prOjecTion), un framework di inferenza che approssima una "proiezione sicura" senza riaddestrare il generatore o apprendere riscrittori specifici per categoria. La metodologia si fonda su un'analisi teorica che utilizza la distanza di Variazione Totale (TV).

Fondamento Teorico (SPAT): Il documento formalizza il Compromesso Allineamento Sicurezza-Prompt (SPAT). Dimostra che se l'insicurezza è misurata come un'aspettativa limitata sulle immagini generate, ridurre tale aspettativa al di sotto di un livello di riferimento (il comportamento del generatore congelato) necessita di una deviazione distribuzionale da tale riferimento. Di conseguenza, l'obiettivo non è evitare la deviazione interamente, ma localizzarla strettamente ai prompt che richiedono intervento.
Insieme $\tau$ -Sicuro e Proiezione: Gli autori definiscono un insieme $\tau$ -sicuro di prompt, $C_{safe,\tau}$ , dove il rischio di riferimento è al massimo una soglia $\tau$ . L'intervento è formulato come la proiezione dei prompt a rischio (quelli fuori da $C_{safe,\tau}$ ) verso i prompt più vicini all'interno di tale insieme, lasciando invariati i prompt già sicuri.
Protocollo a Cascata in Due Stadi: Poiché la proiezione esatta è intrattabile (poiché l'appartenenza dipende dal rischio atteso a livello di immagine), SPOT approssima questo processo tramite una cascata in due stadi:
- Stadio 1 (Ricerca solo Prompt): Un Large Language Model (LLM) genera riscritture candidate per un dato prompt. Questi candidati sono classificati utilizzando un obiettivo soft che bilancia la prossimità semantica al prompt originale (misurata tramite distanza di embedding della frase) contro un punteggio di sicurezza basato solo sul prompt. Questa fase agisce come un router economico per identificare candidati promettenti.
- Stadio 2 (Verifica a Livello di Immagine): Il generatore di diffusione (mantenuto congelato) campiona un'immagine dal miglior prompt candidato trovato nello Stadio 1. Un modello di salvaguardia Vision-Language Model (VLM) verifica l'immagine generata contro la stessa soglia di sicurezza $\tau$ .
- Meccanismo di Riprova: Se l'immagine fallisce la verifica, il processo si ripete con nuovi candidati fino a esaurire un budget di riprova $R$ . Se il budget è esaurito, viene restituito il tentativo finale.

Contributi Chiave

Compromesso Sicurezza Basato su Riferimento: Il documento formalizza lo SPAT, dimostrando che ridurre l'insicurezza della popolazione al di sotto di un livello di riferimento richiede una deviazione distribuzionale condizionata dal prompt. Ciò fornisce una giustificazione teorica per l'intervento selettivo piuttosto che per la modifica globale del modello.
Proiezione Selettiva dei Prompt: Gli autori definiscono l'insieme $\tau$ -sicuro e formulano l'intervento di sicurezza come la proiezione dei prompt a rischio verso tale insieme, preservando i prompt sicuri, minimizzando efficacemente la deriva semantica sugli input benigni.
Cascata LLM/VLM in Tempo di Inferenza: SPOT realizza questa proiezione utilizzando un LLM per la classificazione dei candidati e un VLM per la verifica finale dell'immagine. Questo design separa la ricerca economica dalla verifica autorevole, evitando il costo computazionale della generazione esaustiva di immagini durante la fase di ricerca.
Sicurezza Forte e Preservazione del Benigno: Il framework ottiene riduzioni significative dei contenuti inappropriati mantenendo il comportamento del generatore congelato sui prompt benigni.

Risultati Sperimentali
Gli autori hanno valutato SPOT su quattro dataset (CoProV2, I2P, Unsafe Diffusion e COCO) e tre backbones di diffusione (SD1.5, SD2.1, SDXL).

Prestazioni di Sicurezza: SPOT ha ottenuto riduzioni relative del punteggio di inappropriato (IP) che variano dal 14,2% al 44,4% rispetto a baseline forti di allineamento alla sicurezza (es. AlignGuard, LatentGuard, SLD). Su SD1.5, SPOT ha ridotto l'IP a 0,04 su CoProV2, 0,06 su I2P e 0,04 su UD, superando le baseline che spesso mostravano IP più elevati su dataset fuori distribuzione.
Preservazione dei Prompt Benigni: Sul dataset COCO, SPOT ha preservato la qualità dell'immagine (FID) e l'allineamento testo-immagine (CLIPScore) vicini al riferimento non allineato. Ad esempio, su SD1.5, SPOT ha ottenuto un FID di 32,46 e un CLIPScore di 33,36, quasi identici alla baseline non allineata (32,34/33,42), mentre baseline aggressive come UCE e PNO hanno mostrato un degrado significativo.
Selettività: SPOT ha lasciato 97,70% dei prompt benigni COCO invariati, sostanzialmente più alto di baseline come VALOR (92,4%) e IPR (54,9%), dimostrando la sua capacità di evitare modifiche non necessarie.
Efficienza: La cascata a due stadi ha fornito un speedup da 4,3× a 5,1× rispetto ai metodi di ricerca basati solo su VLM. SPOT è stato il 22,4% più veloce di VALOR e il 61,1% più veloce di IPR, ottenendo al contempo punteggi IP più bassi.
Robustezza: Il metodo ha dimostrato robustezza contro quattro attacchi di prompt avversari basati su testo (MMA, Ring-A-Bell, SneakyPrompt, P4D), con i punteggi IP totali che sono aumentati solo marginalmente (da 0,04 a 0,06) sotto attacco.

Significato e Affermazioni
Il documento afferma che SPOT offre un approccio principiato all'allineamento alla sicurezza sfruttando l'insight teorico secondo cui i guadagni di sicurezza richiedono una deviazione distribuzionale, ma che tale deviazione dovrebbe essere confinata ai prompt a rischio. Mantenendo il generatore congelato e utilizzando un meccanismo di proiezione selettiva, SPOT evita la "deriva semantica" e il degrado delle prestazioni spesso associati alla modifica globale del modello o alla soppressione aggressiva. Gli autori posizionano SPOT come una soluzione pratica, in tempo di inferenza, che consente di regolare i livelli di sicurezza tramite una soglia ( $\tau$ ) senza riaddestramento, rendendola adattabile a diverse policy di sicurezza e dataset. Il lavoro sottolinea che la sicurezza non richiede di compromettere l'utilità dei prompt benigni, a condizione che l'intervento sia selettivo e verificato a livello di immagine.