Training-Free Debiasing of Diffusion Models via CLIP-Guided Denoising Optimization

Sintesi Tecnica: Mitigazione del Bias senza Addestramento nei Modelli di Diffusione tramite Ottimizzazione del Denoising Guidata da CLIP

Definizione del Problema
I modelli di diffusione text-to-image (T2I), come Stable Diffusion, generano immagini di alta qualità ma spesso mostrano un significativo bias demografico. Nonostante ricevano prompt neutri (ad esempio, "una foto di un CEO"), questi modelli producono costantemente rappresentazioni stereotipate riguardo al genere e alla razza, rinforzando i pregiudizi sociali esistenti e portando alla sottorappresentazione sistematica di determinati gruppi. Le soluzioni esistenti affrontano critiche limitazioni: gli approcci basati sull'addestramento (riaddestramento o fine-tuning) sono computazionalmente costosi e difficili da applicare a modelli già distribuiti o a codice chiuso, mentre i metodi durante l'inferenza si affidano spesso all'ingegneria dei prompt euristica o a manipolazioni statiche dello spazio latente che degradano la qualità dell'immagine, l'allineamento semantico o mancano di adattabilità dinamica.

Metodologia: Text Embedding Steering (TES)
Gli autori propongono il Text Embedding Steering (TES), un framework che non richiede addestramento per mitigare il bias demografico ottimizzando direttamente i text embedding condizionali durante il processo di diffusione, senza modificare i parametri del modello. L'osservazione fondamentale che guida TES è che gli attributi demografici sono determinati in gran parte nelle fasi iniziali del denoising, quando si forma la struttura globale dell'immagine.

Il metodo opera attraverso una strategia di ottimizzazione a due stadi integrata nella pipeline standard di classifier-free guidance (CFG) utilizzando il campionamento DDIM:

1. Allineamento Globale nelle Fasi Iniziali: Prima che emergano i dettagli visivi fini, TES esegue un aggiornamento del gradiente iniziale sul text embedding per guidare la traiettoria di generazione globale verso una distribuzione demografica target predefinita.
2. Raffinamento Iterativo durante il Denoising: Dopo l'allineamento iniziale, TES affina continuamente l'embedding durante i successivi step di denoising. Questo raffinamento utilizza il feedback basato su CLIP derivato dalle stime intermedie di "immagine pulita" ($\hat{x}_0$) ricostruite ad ogni timestep.

Obiettivo di Ottimizzazione
TES ottimizza una perturbazione additiva ($\Delta e$) all'originale text embedding ($e_0$), tale che $e_t = e_0 + \Delta e$. L'ottimizzazione minimizza una funzione di perdita composita ($L_{total}$) calcolata su una specifica finestra temporale in cui l'immagine ricostruita è semanticamente significativa ma la traiettoria rimane flessibile:

• Perdita di Attributo ($L_{attr}$): Incoraggia l'immagine generata ad allinearsi con una descrizione di attributo target (ad esempio, "una persona donna") pur opponendosi a un attributo contrastante (ad esempio, "una persona uomo"), utilizzando la similarità del coseno di CLIP.
• Perdita di Professione ($L_{prof}$): Preserva il contenuto semantico del prompt originale (ad esempio, "CEO") per evitare che il modello si discosti dal soggetto inteso.
• Regolarizzazione ($L_{reg}$): Una penalità $L_2$ sulla perturbazione dell'embedding per prevenire deviazioni eccessive dall'embedding originale.

Il framework regola dinamicamente il tasso di apprendimento in base al timestep, applicando aggiornamenti più piccoli durante le fasi ad alto rumore e aumentando la forza man mano che diventano disponibili informazioni semantiche affidabili.

Contributi Chiave

1. Framework Senza Addestramento: TES mitiga il bias demografico ottimizzando continuamente i text embedding durante l'inferenza, richiedendo nessun riaddestramento del modello, fine-tuning o moduli ausiliari.
2. Strategia a Due Stadi: Gli autori identificano l'importanza critica dell'intervento nelle fasi iniziali per il controllo della traiettoria globale, combinato con il raffinamento iterativo per mantenere la stabilità e prevenire il ritorno a risultati distorti.
3. Controllo Dinamico Consapevole del Contesto: A differenza dei metodi che si affidano a direzioni fisse o mappature statiche, TES adatta l'embedding in base alle stime intermedie dell'immagine pulita, consentendo un orientamento demografico consapevole del contesto.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su Stable Diffusion v2.1 (e v1.5 per la generalizzazione) su sei categorie professionali (ad esempio, CEO, infermiere, tassista) e due attributi demografici (genere e razza).

• Equità (Fairness): TES supera significativamente gli altri baselines senza addestramento (come LightFair, EntiGen) e l'originale Stable Diffusion. Per il debiasing di genere, ha ridotto il Bias-O da 0,85 (baseline) a 0,26 e la Discrepanza di Equità (FD) da 0,54 a 0,13. Per il debiasing di razza, il Bias-O è sceso da 0,63 a 0,15.
• Qualità e Semantica: Nonostante l'aggressivo debiasing, TES mantiene una qualità d'immagine competitiva. Ha ottenuto i migliori punteggi FID (226,13 per il genere, 228,52 per la razza) e alti punteggi CLIP-T, indicando un forte allineamento semantico testo-immagine. Il metodo preserva con successo la semantica della professione e la coerenza visiva pur alterando gli attributi demografici.
• Studi di Ablazione: I risultati confermano che sia l'allineamento della fase iniziale che il raffinamento iterativo sono necessari; l'uso di un solo stadio porta o a un scarso controllo dell'equità o a un'instabilità dell'allineamento semantico. Inoltre, l'inclusione della perdita di preservazione della professione è essenziale per mantenere il soggetto inteso.

Significatività e Rivendicazioni
Il paper sostiene che TES dimostra come l'ottimizzazione del text embedding durante l'inferenza sia una soluzione pratica e scalabile per la generazione consapevole dell'equità. Disaccoppiando la mitigazione del bias dal riaddestramento del modello, l'approccio offre un meccanismo plug-and-play che può essere applicato ai modelli di diffusione esistenti e già distribuiti. Gli autori affermano che il loro metodo raggiunge un equilibrio superiore tra equità e qualità dell'immagine rispetto allo stato dell'arte, producendo rappresentazioni più equilibrate e realistiche dei ruoli sociali senza sacrificare l'affidabilità o la fedeltà visiva del contenuto generato. Il lavoro evidenzia come l'orientamento dinamico e consapevole del contesto degli embedding sia una via percorribile per ridurre i bias demografici sistematici nell'IA generativa.