Riepilogo Tecnico: CO-ALIGN – Mitigazione Efficiente del Bias nei Modelli di Diffusione T2I tramite Grafi di Concetti

1. Definizione del Problema

I modelli di diffusione Text-to-Image (T2I) riproducono e amplificano sistematicamente i bias demografici (genere, razza, età) ereditati dai loro corpora di addestramento (es. LAION-5B). Questi bias non sono semplici artefatti superficiali, ma proprietà strutturali della l'organizzazione dei concetti appresa dal modello, dove i concetti distorti condividono uno strato neurale sproporzionato con attributi stereotipati.

Le tecniche esistenti di mitigazione del bias intervengono tipicamente su un solo livello della pipeline di generazione:

• Solo Text Encoder: I metodi perfezionano gli embedding o guidano i segnali durante l'inferenza per rimuovere le direzioni distorte. Tuttavia, ciò lascia invariata l'organizzazione interna dei concetti del denoiser. Di conseguenza, il denoiser riceve segnali di condizionamento fuori distribuzione che non riesce a interpretare coerentemente, portando a output semanticamente incoerenti.
• Solo Denoiser: I metodi modificano i pesi della cross-attention o gli spazi latenti per reindirizzare i prompt. Tuttavia, il text encoder continua a indirizzare i prompt sottospecificati (es. "un infermiere/un'infermiera") verso embedding di attributi distorti, annullando parzialmente la correzione lato denoiser.

Il problema centrale identificato è che trattare il text encoder e il denoiser come target di correzione indipendenti è subottimale. Correggere uno senza l'altro interrompe la loro armonia geometrica, determinando un compromesso in cui il miglioramento dell'equità (fairness) porta a un forte aumento dell'incoerenza semantica.

2. Metodologia: CO-ALIGN

Gli autori propongono CO-ALIGN (Concept Ontology Alignment), un framework che mitiga il bias allineando le ontologie dei concetti interni sia del text encoder che del denoiser verso una topologia target. L'ipotesi centrale è che il bias risieda nelle relazioni tra i concetti piuttosto che nelle singole rappresentazioni, e che una debiasing efficace richieda un'armonia geometrica congiunta tra le componenti.

A. Estrazione del Grafo di Concetti

CO-ALIGN costruisce grafi di concetti pesati ($G$) per entrambe le componenti, dove i nodi rappresentano concetti e gli archi rappresentano la forza dello strato neurale condiviso.

• Grafo del Text Encoder ($G_{TE}$): Definito dalla similarità del coseno pairwise degli embedding del last hidden state mediati e normalizzati in $L_2$ per un vocabolario di concetti $C$.
• Grafo del Denoiser ($G_U$): Definito utilizzando "impronte digitali di neuroni concettuali" (concept neuron fingerprints). Gli autori identificano sottoinsiemi sparsi di parametri (neuroni concettuali) nelle matrici di proiezione della cross-attention ($W^K, W^Q, W^V$) che sono critici per un determinato concetto. Gli archi del grafo sono calcolati come la media della similarità del coseno dei profili di gradiente mascherati (impronte digitali) di questi neuroni attraverso layer e teste.

B. Obiettivo di Allineamento

Il framework allinea l'attuale grafo di concetti ($A$) verso una matrice di adiacenza target ($A_{GT}$) che codifica una topologia desiderata (es. uguale prossimità di "Infermiere" rispetto a "Infermiere Maschio" e "Infermiera Femmina").

• Differentiable Ranking Loss ($L_{rank}$): Opera riga per riga su un sottoinsieme supervisionato di concetti (concetti target). Utilizza ranghi soft derivati da confronti di coppia sigmoidali differenziabili per allineare i ranking di similarità attuali ai target di rango rigidi derivati da $A_{GT}$.
• Static Anchor Loss ($L_{anchor}$): Impedisce la deriva dei concetti "ancora" (es. varianti di attributi specifici) penalizzando le deviazioni dalle loro rappresentazioni pre-allineamento.
• Preservation Loss ($L_{pres}$): Una standard perdita di predizione del rumore su coppie di riferimento per garantire che il modello non soffra di dimenticanza catastrofica (catastrophic forgetting) di concetti al di fuori dell'ambito di editing.

L'obiettivo totale è $L = \delta \cdot L_{rank} + \gamma \cdot L_{pres} + L_{anchor}$. L'allineamento viene eseguito sequenzialmente: prima sul text encoder, poi sul denoiser (ricalibrato sulla geometria aggiornata).

C. Proprietà Emergente: Propagazione del Vicinato

Una scoperta chiave è che l'allineamento di un concetto supervisionato trascina il suo vicinato semantico verso la topologia target senza supervisione diretta. Questo effetto di "propagazione delle etichette", analogo all'apprendimento semi-supervisionato basato su grafi, permette di affrontare i concetti di bypass avversari (concetti semanticamente adiacenti a un target che evadono l'unlearning) portandoli all'interno del raggio di località del target di unlearning.

3. Contributi Chiave

1. Diagnosi del Fallimento a Singola Componente: Il paper dimostra che le tecniche di debiasing a componente singola (solo encoder o solo denoiser) portano inevitabilmente a un compromesso tra equità e coerenza della generazione, lasciando un bias residuo o producendo output incoerenti.
2. Framework CO-ALIGN: Un approccio innovativo che estrae e allinea congiuntamente grafi di concetti sia dal text encoder che dal denoiser, preservando l'armonia geometrica tra di essi.
3. Prestazioni Superiori: CO-ALIGN supera lo stato dell'arte ottenendo una riduzione significativa del bias mantenendo un'alta qualità dell'immagine e la coerenza semantica.
4. Robustezza dell'Unlearning: Il paper sfrutta l'effetto di propagazione del vicinato per migliorare significativamente la robustezza avversaria delle tecniche di unlearning post-hoc (targeting "Nudità"), rendendole efficaci contro i prompt di bypass senza modificare la procedura di unlearning stessa.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Stable Diffusion v1.5 su quattro occupazioni (infermiere, medico, vigile del fuoco, receptionist) e tre assi demografici (genere, razza, età).

• Equità (Fairness): CO-ALIGN ha ottenuto i punteggi di Fairness Discrepancy (FD) più bassi, mostrando un miglioramento del 30% nella fairness di genere e un miglioramento del 75,4% nella fairness di razza rispetto ai migliori baseline.
• Qualità dell'Immagine: Il metodo ha migliorato la fedeltà dell'immagine del 2,8% (CLIP-I) e ha ridotto la Fréchet Inception Distance (FID) di 11,4 rispetto al modello base, superando tutti i baseline.
• Coerenza: Fondamentalmente, CO-ALIGN ha ridotto gli output semanticamente incoerenti dell'88% rispetto al modello base. Al contrario, i metodi a componente singola hanno mostrato un forte aumento dell'incoerenza man mano che l'equità migliorava.
• Robustezza dell'Unlearning: Applicato come fase di pre-allineamento per l'unlearning (mirando alla "Nudità"), CO-ALIGN ha ridotto significativamente il tasso di successo dei prompt di bypass avversari. Ad esempio, il prompt "Creampie", che generava nudità nell'88-100% dei casi con i baseline, è sceso allo 0-32% dopo il pre-allineamento con CO-ALIGN.

5. Significato e Rivendicazioni

Il paper sostiene che CO-ALIGN rappresenti un cambio di paradigma, passando dal trattare il bias come una proprietà di singoli parametri al vederlo come un'asimmetria nella topologia interna dei concetti del modello. Imponendo un allineamento congiunto, il metodo raggiunge un equilibrio Pareto-ottimale tra equità e qualità della generazione che i metodi a componente singola non possono raggiungere.

Oltre alla mitigazione del bias immediata, gli autori evidenziano l'effetto di propagazione del vicinato come una significativa proprietà emergente. Ciò consente al framework di potenziare la robustezza dei meccanismi di sicurezza esistenti (come l'unlearning dei concetti) contro gli attacchi avversari, suggerendo che l'allineamento strutturale dell'ontologia del modello sia uno strumento potente per il deployment di un'IA responsabile.

Gli autori rimangono modesti riguardo ai limiti, osservando che l'estrazione del grafo del denoiser è computazionalmente intensiva e che il metodo è attualmente validato solo su Stable Diffusion v1.5, richiedendo adattamenti per architetture basate su transformer come DiT o SDXL. Riconoscono anche che, sebbene CO-ALIGN riduca il bias, non può eliminare completamente i bias strutturali intrinseci nei dati di addestramento raccolti dal web.