Sintesi Tecnica: EquiSteer

Problematica

I modelli di diffusione text-to-image (T2I), pur essendo potenti per compiti creativi, riproducono e amplificano sistematicamente i pregiudizi demografici presenti nei loro dati di addestramento. Per prompt comuni come "una foto di un infermiere" o "una foto di un CEO", i modelli tendono costantemente verso output orientati a generi specifici (femmina e maschio, rispettivamente) anziché riflettere il prompt testuale in modo neutro. Gli approcci di debiasing esistenti affrontano limitazioni significative:

• I metodi basati sul finetuning richiedono l'accesso ai pesi del modello e a dati aggiuntivi, ostacolando la scalabilità e il trasferimento tra diverse architetture.
• I metodi basati sulla guida (guidance) operano spesso a livello di batch, fallendo nel debiasing dei singoli campioni e faticando nei casi di multi-attributo.
• Gli interventi sugli embedding testuali sono sensibili alla formulazione del prompt e offrono un controllo spaziale limitato sull'output generato.

Inoltre, gli attuali metodi spesso non riescono a distinguere tra prompt privi di attributi (es. "un medico") e prompt con attributi specifici (es. "un medico uomo"), portando alla modifica involontaria di attributi esplicitamente richiesti.

Metodologia: EquiSteer

Gli autori propongono EquiSteer, un framework training-free che opera al tempo di inferenza per guidare le attivazioni della cross-attention (CA) al fine di ottenere una generazione di immagini più equa. Il metodo opera per singolo campione senza modificare i pesi del modello. Si basa sul meccanismo CASteer, ma lo riutilizza dalla soppressione di concetti al debiasing controllato.

Il framework consiste in tre componenti principali:

1. Vettori di Guida Precomputati

Per ogni attributo target (es. genere, razza, età), EquiSteer precomputa vettori di guida nello spazio di attivazione della CA. Questi vettori sono derivati da coppie di prompt contrastivi (es. "un uomo" vs "una donna") e catturano la direzione nello spazio di attivazione associata a specifici attributi demografici.

2. Meccanismo di Gating Consapevole del Prompt

Per evitare la modifica di prompt che specificano esplicitamente un attributo, EquiSteer introduce un meccanismo di gating.

• Rilevamento: Misura l'allineamento tra l'output della CA e il vettore di guida dell'attributo utilizzando una statistica del prodotto scalare ($\langle ca^{out}_{ltk}, s^X_{lt} \rangle$).
• Soglia (Thresholding): Valutando la risposta massima del token a un livello di gating specifico ($l_{gate}$) e a un timestep ($t=0$), il sistema distingue tra prompt con attributo specifico e prompt con attributo neutro.
• Azione: Se il segnale supera una soglia calibrata, il prompt è trattato come attributo-specifico e l'intervento viene saltato (generazione vanilla). Altrimenti, viene applicato il debiasing.

3. Guida Adattiva con Ortogonalizzazione

Per i prompt neutri in cui il debiasing viene attivato, EquiSteer esegue due passaggi per garantire un'iniezione di attributi pulita:

• Ortogonalizzazione: Prima di iniettare l'attributo target, l'output della CA viene proiettato affinché sia ortogonale al sottospazio spaziato da tutti i vettori di guida degli attributi. Ciò rimuove segnali di attributi preesistenti e potenzialmente conflittuali che potrebbero portare ad artefatti di attributi misti.
• Magnitudo Adattiva: La forza della guida ($\alpha$) non è fissa ma viene calibrata per corrispondere alla tipica forza del segnale osservata nei prompt con attributo specifico. Ciò assicura che l'attributo target sia espresso con una magnitudo sufficiente senza essere troppo debole o travolgente.

Il metodo supporta il debiasing multi-concetto (es. genere + razza + età) applicando questi passaggi sequenzialmente per ogni concetto in ogni livello di cross-attention.

Contributi Chiave

1. Dimostrazione della Sterzata della CA (CA Steerability): Il paper stabilisce che le attivazioni della cross-attention codificano gli attributi demografici in un modo che permette una diretta guida al tempo di inferenza per il controllo dell'equità.
2. Framework EquiSteer: L'introduzione di un metodo training-free caratterizzato da gating consapevole del prompt e ortogonalizzazione dello spazio degli attributi. Questo design affronta specificamente i fallimenti dei metodi di guida di base: la preservazione dei prompt con attributi specifici e la prevenzione delle generazioni con attributi misti.
3. Validazione Completa: Il metodo è validato su quattro distinti backbone T2I (SD-1.5, SD-2.1, SDXL e SANA) e molteplici concetti demografici (genere, razza, età, corporatura, occhiali).

Risultati Sperimentali

Gli autori hanno valutato EquiSteer rispetto a recenti baseline, inclusi FairDiffusion, Unified Concept Editing (UCE) e Text Embedding Intervention (TEI).

• Miglioramento dell'Equità: EquiSteer riduce il gap di parità medio fino all'87% rispetto al modello non debiased e fino al 47% rispetto alla più forte baseline disponibile (TEI).
• Preservazione dell'Attributo: A differenza di altri metodi che degradano le prestazioni su prompt specifici, EquiSteer mantiene un'alta fedeltà ai prompt con attributo specifico (es. generando correttamente "un infermiere uomo" quando richiesto), raggiungendo punteggi di preservazione quasi perfetti.
• Qualità e Allineamento: Il metodo preserva la qualità dell'immagine e l'allineamento testo-immagine, con punteggi CLIP e metriche CMMD competitivi con i modelli vanilla e altre baseline.
• Generalizzazione: L'approccio si trasferisce efficacemente attraverso diverse famiglie di prompt, inclusi quelli parafrasati, a contesto lungo e composizionali, senza richiedere ricalibrazione.
• Debiasing Multi-Concetto: Il framework gestisce con successo il debiasing simultaneo di più attributi (es. genere, razza, età e corporatura) in un singolo passaggio di generazione.

Significato e Rivendicazioni

Il paper afferma che EquiSteer offre una via pratica e scalabile per una generazione di immagini guidata dal testo più equa. Operando interamente al tempo di inferenza senza riaddestramento, supera le barriere di dati e computazione associate agli approcci basati sul finetuning. Gli autori sottolineano che il loro metodo è il primo a combinare efficacemente il controllo per singolo campione con la capacità di distinguere tra prompt neutri e specifici, risolvendo così i problemi di "attributi misti" e "sovra-correzione" che hanno limitato le precedenti tecniche di guida.

Il lavoro suggerisce che l'interpretabilità della cross-attention può essere direttamente sfruttata come meccanismo di equità, fornendo una soluzione robusta e agnostica rispetto al modello che si integra naturalmente nei normali pipeline di campionamento. Gli autori osservano che, sebbene il metodo sia general-purpose, esso si basa sulla calibrazione specifica del concetto (vettori di guida e soglie) e attualmente opera a livello di immagine, il che potrebbe presentare sfide per prompt altamente composizionali con molteplici entità.