Sintesi Tecnica: Steering Semantico per la Generazione Controllabile

Definizione del Problema

I Multimodal Diffusion Transformers (MM-DiT), come le serie Stable Diffusion 3 e FLUX, hanno stabilito nuovi standard nel campo della generazione da testo a immagine, superando i modelli tradizionali basati su U-Net in termini di qualità e risoluzione. Tuttavia, le loro potenti capacità generative introducono significativi rischi per la sicurezza, tra cui il potenziale di sintetizzare contenuti non adatti al lavoro (NSFW), opere protette da copyright e immagini di persone reali.

Gli esistenti metodi di cancellazione dei concetti affrontano critiche limitazioni quando applicati agli MM-DiT:

1. Modifica dei Parametri: La maggior parte dei metodi richiede il fine-tuning o la modifica dei pesi del modello. Questi sono spesso specifici per l'architettura, computazionalmente costosi e impraticabili per modelli implementati su larga scala.
2. Limitazioni del Metodo "Tuning-Free": Gli attuali approcci senza tuning, che si affidano a interventi basati su prompt (ad esempio, i prompt negativi), faticano con gli MM-DiT. A causa dell'esteso pre-training, gli MM-DiT incorporano i concetti profondamente nelle loro rappresentazioni interne, rendendoli resistenti a un superficiale ingegneria dei prompt. Inoltre, l'espanso spazio semantico e i codificatori testuali dipendenti dal contesto (ad esempio, T5-XXL) negli MM-DiT rendono i prompt negativi inefficaci per catturare associazioni implicite e variazioni concettuali.
3. Disallineamento Architetturale: I metodi progettati per i Large Language Models (LLM) o per architetture U-Net di piccola scala non si traducono bene nel processo di denoising continuo e iterativo e nella doppia architettura multimodale degli MM-DiT.

Metodologia

Gli autori propongono un metodo di steering semantico tuning-free che manipola direttamente le rappresentazioni interne del modello durante l'inferenza. L'approccio si basa su un'analisi approfondita dell'architettura MM-DiT e dei suoi meccanismi generativi.

1. Analisi dei Ruoli per Blocco e dei Timestep

Attraverso un'analisi empirica (iniezione di rumore e visualizzazione delle mappe di attenzione), gli autori hanno identificato una struttura gerarchica negli MM-DiT:

• Blocchi Iniziali (Early Blocks): Codificano le strutture globali dell'immagine.
• Blocchi Finali (Late Blocks): Raffinano i dettagli fini.
• Blocchi Intermedi (Middle Blocks): Codificano principalmente le rappresentazioni semantiche centrali dei concetti target.
• Timestep Intermedi: Forniscono la rappresentazione più fedele della semantica target, bilanciando coerenza strutturale e dettagli visivi.

2. Costruzione del Vettore di Steering

Invece di operare sui token di immagine ridondanti (ad esempio, 4096 token), il metodo sfrutta la scarsità del ramo testuale (154–333 token).

• Preparazione dei Dati: Viene creato un dataset di prompt accoppiati, dove un prompt contiene il concetto indesiderato ($C^-$) e l'altro contiene un concetto sicuro desiderabile ($C^+$) con lo stesso contesto.
• Estrazione: Il modello elabora queste coppie attraverso un blocco intermedio ($b$). I vettori di output per i token testuali specifici che differiscono vengono estratti dal ramo testuale.
• Derivazione del Vettore: Un vettore di steering ($v_{steer}$) viene costruito calcolando la differenza media tra le rappresentazioni del concetto sicuro e di quello indesiderato:
  $$v_{steer} = l \cdot \frac{v_b}{||v_b||}, \quad \text{dove } v_b = \frac{1}{n} \sum_{i=1}^{n} (x^+_{b,i} - x^-_{b,i})$$
  Qui, $l$ è un parametro di forza dello steering determinato empiricamente.

3. Iniezione del Vettore di Steering

Per garantire una guida coerente senza distorcere l'immagine, il vettore viene iniettato strategicamente:

• Strategia Spaziale: Il vettore viene iniettato in blocchi consecutivi iniziali e intermedi. Iniettare solo nei blocchi medi/finali è inefficace a causa delle strutture già stabilite, mentre iniettare solo nei blocchi iniziali causa distorsione strutturale. L'effetto cumulativo attraverso più blocchi assicura uno spostamento semantico unificato.
• Strategia Temporale: Sfruttando la traiettoria di campionamento del flusso rettificato (rectified flow) degli MM-DiT (che segue percorsi dritti e deterministici), lo stesso vettore di steering calcolato a un timestep intermedio viene applicato costantemente su tutti i passi di denoising. Ciò garantisce coerenza temporale ed evita la necessità di costruire un vettore per ogni timestep.

Contributi Chiave

1. Semantic Steering Leggero: Un framework tuning-free adattato per le architetture MM-DiT su larga scala che raggiunge la cancellazione controllata dei concetti al momento dell'inferenza senza modificare i parametri del modello.
2. Intuizione Architetturale: Il design sfrutta le proprietà specifiche degli MM-DiT, inclusa la divisione per blocchi dei ruoli generativi (concentrazione semantica nei blocchi medi), la disparità informativa tra le modalità (uso di token testuali sparsi) e la traiettoria di campionamento dritta del flusso rettificato.
3. Efficienza a Singolo Vettore: Il metodo raggiunge una cancellazione efficace utilizzando un singolo vettore di steering iniettato in blocchi chiave, risultando in un carico computazionale trascurabile.
4. Valutazione Completa: Esperimenti estesi dimostrano prestazioni allo stato dell'arte nella cancellazione di diversi concetti (celebrità, stili artistici, nudità) mantenendo al contempo la qualità dell'immagine e la robustezza.

Risultati Sperimentali

Il metodo è stato valutato su Stable Diffusion-v3.5-medium e FLUX.1 in tre categorie: Celebrità, Stile Artistico e Nudità.

• Efficacia della Cancellazione: Il metodo ha superato i baseline (inclusi Safe Latent Diffusion, TraSCE, Negative Prompting e metodi di modifica del modello come UCE e ESD) nelle metriche di cancellazione (GIPHY, LLaVA, Matrice di Gram, NudeNet). Ad esempio, su FLUX.1, ha ottenuto un punteggio GIPHY di 0.014 per la cancellazione di celebrità rispetto a 0.117 per UCE e 0.433 per SLD.
• Qualità dell'Immagine: Il metodo ha preservato la qualità estetica e la fedeltà complessiva dell'immagine, ottenendo bassi punteggi FID (che indicano un impatto minimo sulla generazione di immagini non correlate) e punteggi CLIP competitivi.
• Robustezza: Il metodo ha dimostrato una robustezza superiore contro quattro tipi di attacchi avversari (Ring-A-Bell, MMA-Diffusion, I2P, P4D) mirati alla nudità, ottenendo i punteggi NudeNet più bassi tra tutti i metodi testati.
• Controllabilità: A differenza dei metodi che si limitano a sopprimere i concetti, questo approccio consente lo steering multi-stile, permettendo la trasformazione di un concetto cancellato in uno stile sicuro specifico definito dall'utente (ad esempio, trasformare lo "stile Van Gogh" in "Cartone Animato" o "Acquerello").

Significato e Rivendicazioni

L'articolo sostiene che questo lavoro colma una lacuna critica nella sicurezza e controllabilità dei modelli di generazione testo-immagine di prossima generazione. Spostando il paradigma dall'ingegneria esterna dei prompt all'intervento diretto sulle rappresentazioni interne, il metodo affronta le limitazioni degli attuali approcci tuning-free sugli MM-DiT.

Gli autori sottolineano che il loro approccio:

• Evita il costo computazionale e le barriere di implementazione associati al fine-tuning di grandi modelli.
• Fornisce una difesa robusta contro gli attacchi avversari che aggirano i filtri basati su prompt.
• Offre una base per la ricerca futura nella generazione controllabile, dimostrando che un controllo semantico preciso può essere ottenuto con un intervento minimo (un singolo vettore) comprendendo la meccanica generativa intrinseca del modello.

Il lavoro conclude che lo steering semantico è una strategia vitale ed efficace per garantire la distribuzione sicura di potenti MM-DiT senza comprometterne le capacità generative.