Attention, May I Have Your Decision? Localizing Generative Choices in Diffusion Models

1. Il Problema: Opacità delle Decisioni Implicithe nei Modelli Diffusion

I modelli di diffusione da testo a immagine (T2I) possiedono capacità generative straordinarie, ma il loro funzionamento interno rimane un "black box". Un aspetto critico è la gestione di prompt non completamente descrittivi (es. "una foto di fiori" senza specificare il colore o lo sfondo). In questi scenari, il modello deve prendere decisioni implicite per generare dettagli non esplicitati nel testo, basandosi su pattern appresi dai dati di addestramento.

Queste decisioni implicite possono portare a risultati problematici, come la perpetuazione di bias sociali (es. associare automaticamente certi ruoli professionali a un genere specifico) o distorsioni rappresentative (es. far apparire sempre un singolo politico per il concetto di "Presidente USA").
La sfida principale risiede nel fatto che le tecniche di localizzazione esistenti si concentrano sull'iniezione di prompt espliciti (es. forzare la parola "uomo" nel prompt) per tracciare le conoscenze. Tuttavia, questo approccio maschera i meccanismi interni che il modello utilizza quando non riceve istruzioni specifiche, rendendo difficile intervenire sulle scelte generative di default.

2. Metodologia: ICM (Implicit Choice-Modification)

Gli autori propongono che il processo decisionale per le scelte implicite sia computazionalmente localizzato in modo diverso rispetto al condizionamento testuale esplicito. Per validare questa ipotesi e intervenire con precisione, introducono ICM, un metodo basato su tre fasi principali:

A. Localizzazione tramite Linear Probing (Sondaggio Lineare)

Invece di iniettare attributi nel prompt, il metodo utilizza prompt generici (es. "una foto di una persona") per generare un dataset di immagini.

1. Estrazione delle Attivazioni: Vengono estratte le attivazioni intermedie di ogni strato del modello durante la generazione.
2. Pseudo-etichettatura: Un classificatore esterno (es. basato su CLIP o FairFace) analizza le immagini generate per assegnare un'etichetta all'attributo implicito deciso dal modello (es. genere, età, razza).
3. Addestramento dei Probes: Vengono addestrati classificatori lineari (logistic regression) sulle attivazioni di ogni strato per prevedere l'attributo. Gli strati che mostrano la massima separabilità lineare (alta accuratezza di classificazione) sono identificati come i punti critici dove il modello prende la decisione implicita.

B. Scoperta Chiave: Il Ruolo degli Strati Self-Attention

Un risultato fondamentale del paper è la scoperta che gli strati Self-Attention mostrano una separabilità degli attributi significativamente superiore rispetto agli strati Cross-Attention quando si tratta di decisioni implicite.

• Mentre i Cross-Attention integrano le informazioni esplicite del testo, gli Self-Attention sembrano essere responsabili della risoluzione delle ambiguità e della solidificazione delle scelte stocastiche iniziali (rumore) in una generazione coerente.
• Questo contraddice l'assunzione comune che il condizionamento testuale (e quindi i bias associati) sia gestito principalmente dai cross-attention.

C. Intervento Mirato (Steering e Fine-tuning)

Una volta identificati gli strati ottimali (tipicamente un sottoinsieme di strati self-attention), ICM applica interventi mirati:

• Activation Steering: Si calcola un vettore di steering basato sui pesi del classificatore lineare addestrato. Durante la generazione, questo vettore viene aggiunto alle attivazioni degli strati selezionati per spostare la distribuzione verso un attributo desiderato (es. da "uomo" a "donna" o viceversa) senza ri-addestrare il modello.
• Fine-tuning Selettivo: Si applica l'adattamento a basso rango (LoRA) esclusivamente agli strati selezionati per correggere i bias in modo permanente.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli, inclusi Stable Diffusion v1.5, SDXL e SANA (basato su Transformer).

• Performance nel Debiasing: ICM supera gli stati dell'arte (SOTA) nel ridurre i bias di genere, età e razza.
  • Misurando la Fairness Discrepancy (FD), ICM ottiene riduzioni drastiche (es. FD di 0.087 per il genere su SD v1.5) mantenendo al contempo un'elevata qualità dell'immagine (FID basso) e un'ottima allineamento con il prompt (CLIP-T alto).
  • Metodi precedenti che intervenivano su tutti gli strati o solo sui cross-attention causavano spesso artefatti visivi o degradazione della qualità.
• Confronto Self vs. Cross-Attention: L'intervento sugli strati Self-Attention si è rivelato molto più efficace per il debiasing rispetto ai Cross-Attention, confermando che le decisioni implicite nascono e si consolidano nei primi.
• Scalabilità: Il metodo funziona efficacemente su modelli di grandi dimensioni (SDXL, SANA) e su compiti complessi come la generazione di "Presidenti USA", permettendo di guidare la generazione verso un candidato specifico (es. Barack Obama) preservando la coerenza dello sfondo e dello stile, cosa che fallisce quando si interviene su tutti gli strati.
• Qualità delle Immagini: L'intervento su un sottoinsieme selezionato di strati preserva la struttura dell'immagine originale molto meglio rispetto all'intervento indiscriminato su tutti gli strati o su strati non pertinenti.

4. Contributi Chiave

1. Localizzazione delle Decisioni Implicite: Dimostrazione che è possibile localizzare gli strati responsabili delle scelte generative implicite tramite linear probing, senza ricorrere all'iniezione di prompt espliciti.
2. Ruolo degli Strati Self-Attention: Identificazione del fatto che gli strati self-attention sono i principali responsabili della discriminazione tra opzioni implicite, superando in separabilità gli strati cross-attention per questo scopo specifico.
3. Metodo ICM: Introduzione di una tecnica di steering e fine-tuning precisa che interviene solo su un piccolo sottoinsieme di strati, ottenendo prestazioni di debiasing superiori e minimizzando gli artefatti.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti fondamentale nell'interpretabilità dei modelli di diffusione. Sposta il paradigma dalla semplice manipolazione del prompt o dall'intervento globale sul modello verso una localizzazione meccanicistica precisa.

• Efficienza: Permette di correggere bias e controllare la generazione intervenendo su pochi strati, riducendo il costo computazionale e il rischio di degradazione della qualità.
• Sicurezza ed Etica: Fornisce uno strumento potente per mitigare i bias sociali (genere, razza, età) in modo più efficace e controllato, rendendo i modelli T2I più equi e affidabili.
• Comprensione Teorica: Offre nuove intuizioni su come i modelli di diffusione trasformano il rumore iniziale in dettagli specifici quando le istruzioni testuali sono ambigue, rivelando che il "processo decisionale" è un fenomeno localizzato e non diffuso in tutta l'architettura.

In sintesi, il paper dimostra che per controllare le scelte "invisibili" di un'IA generativa, non bisogna guardare solo a cosa l'utente scrive (prompt), ma a come il modello risolve internamente le ambiguità, e che la chiave per farlo risiede negli strati di self-attention.