Conditioned Activation Transport for T2I Safety Steering

Il paper propone Conditioned Activation Transport (CAT), un nuovo framework che utilizza mappe di trasporto non lineari condizionate su un dataset contrastivo per ridurre la generazione di contenuti tossici nei modelli Text-to-Image senza compromettere la qualità delle immagini su prompt sicuri.

L'essenziale

Immagina che i modelli di intelligenza artificiale che creano immagini (Text-to-Image) siano come grandi chef molto talentuosi. Questi chef possono cucinare piatti meravigliosi su richiesta: "Fammi un ritratto di un gatto" o "Disegnami un tramonto sulla spiaggia".

Tuttavia, c'è un problema: a volte, se gli dai un ordine un po' strano o pericoloso (come "un gatto che sta commettendo un crimine"), lo chef potrebbe obbedire troppo letteralmente e creare un'immagine offensiva o pericolosa.

Fino ad ora, per fermare questo, gli scienziati usavano due metodi principali:

1. Filtri alla fine: Come un ispettore che controlla il piatto prima di servirlo. Se è velenoso, lo butta via. Ma questo non impedisce allo chef di provare a cucinarlo.
2. Steering "Lineare" (Il metodo vecchio): Immagina di prendere lo chef per mano e dirgli: "Spostati di un passo a sinistra per non cucinare cose cattive". Il problema è che questo movimento è globale e rigido. Se lo sposti per evitare il crimine, potresti spingerlo anche quando sta cucinando un piatto innocente e delizioso, rovinando il gusto o la forma del cibo. In termini tecnici, le immagini belle venivano "rovinate" o diventavano strane.

La Soluzione: CAT (Trasporto Attivato Condizionato)

Gli autori di questo paper hanno inventato un nuovo metodo chiamato CAT. Ecco come funziona, usando un'analogia semplice:

Immagina che la mente dello chef AI sia una città con molte strade.

• Le strade "Sicure" portano a immagini belle e innocue.
• Le strade "Pericolose" portano a immagini tossiche.

I vecchi metodi cercavano di spostare tutte le auto (le immagini) verso la zona sicura, anche quelle che erano già in sicurezza. Risultato: il traffico si bloccava e le auto belle venivano danneggiate.

CAT funziona in modo intelligente e mirato:

1. La Mappa Precisa (Dataset SafeSteer):
   Prima di tutto, gli scienziati hanno creato una mappa incredibilmente dettagliata. Hanno preso 2.300 coppie di richieste: una innocua e una pericolosa, ma che sono quasi identiche (come "un tatuaggio a ragnatela" vs "un tatuaggio a ragnatela con una svastica"). Questo ha permesso loro di capire esattamente dove si trova il "pericolo" nella mente dello chef, senza confonderlo con le cose belle.

2. Il Navigatore Intelligente (Trasporto Non Lineare):
   Invece di dare un ordine rigido ("Spostati a sinistra"), CAT usa un navigatore GPS intelligente. Questo navigatore capisce che la città non è piatta e dritta (lineare), ma ha curve, incroci e strade tortuose (geometria non lineare).

   • Se l'auto è già nella zona sicura, il navigatore dice: "Nessun problema, continua a guidare normalmente".
   • Se l'auto sta entrando in una strada pericolosa, il navigatore calcola la curva esatta per riportarla sulla strada sicura, senza sballottarla.

3. Il Freno Condizionato (Conditioning):
   Questo è il segreto. Il sistema CAT ha un interruttore magico.

   • Se la richiesta è innocua (es. "un gatto"), l'interruttore è OFF. Lo chef lavora liberamente e l'immagine viene perfetta.
   • Se la richiesta è pericolosa (es. "un gatto che uccide"), l'interruttore si ACCENDE solo in quel preciso momento e solo in quella parte specifica della mente dello chef, correggendo il tiro.

Perché è importante?

Prima, per evitare le immagini cattive, dovevamo "accecare" parzialmente l'AI, rendendo le immagini belle un po' sfocate o strane. Con CAT, otteniamo il meglio di entrambi i mondi:

• Sicurezza: Le immagini cattive spariscono (come se il navigatore impedisse di entrare in un vicolo cieco pericoloso).
• Qualità: Le immagini belle restano perfette, perché il sistema non le tocca se non è necessario.

In sintesi, gli autori hanno insegnato all'AI a distinguere con precisione chirurgica tra "cose belle" e "cose cattive", intervenendo solo quando serve, proprio come un assistente personale che ti ferma solo se stai per inciampare, ma ti lascia correre libero quando il terreno è sicuro.

Sommario tecnico

Titolo: Conditioned Activation Transport per la Guida alla Sicurezza nei Modelli Text-to-Image (T2I)

1. Il Problema

I modelli di generazione immagini da testo (Text-to-Image o T2I) hanno mostrato capacità impressionanti, ma rimangono vulnerabili alla generazione di contenuti tossici, offensivi o non sicuri. Sebbene esistano metodi di intervento durante l'inferenza come lo steering (guida) delle attivazioni, gli approcci attuali presentano un compromesso critico:

• Degrado della qualità: Le tecniche di steering lineare (come Activation Addition o Linear-ACT) spesso riducono la sicurezza a costo di distruggere la qualità dell'immagine o la coerenza semantica, specialmente quando applicate a prompt benigni.
• Limitazioni geometriche: I metodi lineari assumono che le regioni di attivazione "sicure" e "insicure" siano separabili linearmente. Tuttavia, le manifolds (varietà) delle rappresentazioni tossiche nei modelli T2I sono spesso non lineari, non convesse o multimodali.
• Mancanza di dati contrastivi: Non esistono dataset che contengano coppie di prompt "sicuri" e "insicuri" semanticamente allineati (con alta similarità semantica), rendendo difficile isolare la direzione specifica della tossicità senza introdurre deriva semantica.

2. Metodologia

Gli autori propongono un nuovo framework chiamato Conditioned Activation Transport (CAT), che risolve il compromesso tra sicurezza e fedeltà dell'immagine attraverso due componenti principali:

A. SafeSteerDataset
Per addestrare mappe di trasporto precise, gli autori hanno creato un nuovo dataset contrastivo:

• Composizione: 2.300 coppie di prompt (sicuri vs. insicuri) organizzati in 23 sottocategorie (es. odio, violenza, sessualità, illegalità).
• Criterio di selezione: Le coppie sono state filtrate per garantire una alta similarità coseno (> 0.7) tra il prompt sicuro e quello insicuro. Questo assicura che le differenze semantiche siano minime e che la differenza nelle attivazioni del modello sia dovuta esclusivamente al concetto tossico, non al contesto generale.

B. Conditioned Activation Transport (CAT)
Il framework opera durante l'inferenza modificando le attivazioni interne del modello generativo. La formula di steering è:
$$z' = z + \alpha \cdot C(\bar{z}) \cdot (T_\theta(\bar{z}) - \bar{z})$$
Dove:

1. Mappa di Trasporto Non Lineare ($T_\theta$): A differenza dei metodi lineari, CAT utilizza una rete neurale (MLP) per apprendere una mappa di trasporto che proietta le attivazioni insicure sulla varietà sicura. Questo permette di gestire geometrie complesse (es. crescenti non convesse, cluster multimodali) che le trasformazioni affini non possono gestire.
2. Condizionamento Geometrico ($C$): Un meccanismo di "gate" che decide quando applicare lo steering. Invece di applicare la correzione globalmente (che danneggia le immagini sicure), $C$ attiva la modifica solo se l'attivazione corrente si trova all'interno di una regione definita come "insicura".
   • Viene utilizzata la distanza di Mahalanobis per modellare la distribuzione delle attivazioni tossiche, creando un confine decisionale ellissoidale più preciso rispetto alle scatole di delimitazione (bounding box) rettangolari usate in passato.
   • L'approccio include una regolarizzazione durante l'addestramento per garantire che la mappa $T_\theta$ agisca come identità (non faccia nulla) sugli input già sicuri.

3. Contributi Chiave

1. SafeSteerDataset: Un dataset pubblico e contrastivo con 2.300 coppie semanticamente allineate, fondamentale per l'isolamento preciso delle direzioni di sicurezza.
2. Framework CAT: Un metodo che combina mappature di trasporto non lineari (MLP) con un condizionamento geometrico basato sulla distanza di Mahalanobis. Questo risolve il problema della sovrapposizione tra regioni sicure e insicure.
3. Validazione Trasversale: La prima valutazione completa dello steering della sicurezza su due architetture state-of-the-art distinte: Z-Image (un modello Diffusion Transformer) e Infinity (un modello Autoregressivo ad alta risoluzione).

4. Risultati Sperimentali

Gli esperimenti dimostrano che CAT supera significativamente i metodi basati su steering lineare (ActAdd, Linear-ACT):

• Riduzione del Tasso di Successo dell'Attacco (ASR): CAT riduce drasticamente la generazione di contenuti tossici. Ad esempio, su Z-Image, l'ASR scende dal 33.91% (senza steering) al 6.96%.
• Mantenimento della Qualità (CLIP Score): Mentre i metodi lineari spesso crollano nel punteggio CLIP (indicando immagini distrutte o incoerenti, es. da 0.33 a 0.16), CAT mantiene un punteggio CLIP elevato (0.33), preservando la fedeltà visiva e la coerenza semantica.
• Generalizzazione: Il metodo funziona efficacemente sia su modelli Diffusion che Autoregressivi e su singole categorie di tossicità (es. solo contenuti sessuali), dimostrando che le frontiere di sicurezza sono intrinsecamente non lineari.
• Analisi Geometrica: Su dati sintetici, CAT è l'unico metodo capace di mappare correttamente distribuzioni non convesse (es. forma "luna") e multimodali, mentre i metodi lineari falliscono o collassano le varianze.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Supera i limiti lineari: Dimostra empiricamente che la sicurezza nei modelli T2I non può essere risolta semplicemente spostando le attivazioni lungo un vettore lineare globale; è necessario modellare la geometria complessa delle manifolds tossiche.
• Preserva l'utilità: Offre una soluzione pratica per la sicurezza che non sacrifica la qualità dell'immagine, rendendo lo steering delle attivazioni un'opzione viable per la produzione reale.
• Risorsa Open Source: La pubblicazione di SafeSteerDataset e del codice permette alla comunità di ricerca di sviluppare e valutare futuri metodi di sicurezza in modo più rigoroso e riproducibile.

In sintesi, CAT rappresenta un avanzamento fondamentale verso modelli generativi più sicuri, utilizzando una comprensione geometrica profonda delle rappresentazioni latenti per intervenire solo quando necessario, senza disturbare la generazione di contenuti benigni.