Riepilogo Tecnico: RAIGen – Identificazione di Attributi Rari nei Modelli Generativi Text-to-Image

1. Definizione del Problema

I modelli di diffusione text-to-image (T2I), come Stable Diffusion, generano immagini ad alta fedeltà ma ereditano e amplificano i bias presenti nei loro dati di addestramento. Mentre il lavoro precedente affronta questo problema attraverso approcci closed-set (mitigazione dei bias in categorie predefinite come genere o razza) o approcci open-set (identificazione degli attributi dominanti della maggioranza), rimane una lacuna critica. I metodi esistenti trascurano la sistematica sottorappresentazione di attributi rari o di minoranza che sono codificati nelle rappresentazioni interne del modello ma vengono soppressi durante la generazione. Questi attributi possono essere sociali, culturali o stilistici e non sono necessariamente noti a priori. Sopprimere gli attributi dominanti non amplifica automaticamente questi tratti sottorappresentati; al contrario, spesso rialloca la massa di probabilità in modo non uniforme. È necessario un framework per scoprire sistematicamente questi attributi di minoranza "soppressi" senza fare affidamento su etichette predefinite.

2. Metodologia: Framework RAIGen

RAIGen è un framework label-free progettato per identificare attributi rari direttamente dalle rappresentazioni latenti interne dei modelli di diffusione. Opera attraverso tre fasi principali:

2.1. Decomposizione delle Caratteristiche tramite Matryoshka Sparse Autoencoders (MSAEs)

Per mappare le rappresentazioni interne intrecciate in caratteristiche semanticamente interpretabili, RAIGen impiega Matryoshka Sparse Autoencoders (MSAEs).

• Input: Il framework estrae le rappresentazioni bottleneck ($h_t$) da un modello di diffusione durante il processo di campionamento inverso (tipicamente al timestep finale dove l'informazione semantica è più espressa).
• Architettura: Gli MSAE decompongono queste rappresentazioni in una gerarchia di feature latenti sparse ($z$) a diversi livelli di granularità.
• Selezione del Livello: Sebbene gli MSAE offrano livelli fini, RAIGen si concentra sul livello più grossolano ($k_1$). I livelli più fini tendono a frammentare un singolo concetto in part-feature localizzate e fragili, mentre il livello più grossolano produce feature semanticamente e spazialmente coerenti, adatte all'identificazione di attributi globali.

2.2. Lo Score di Minoranza

Per distinguere gli attributi rari e significativi dal rumore o dalle caratteristiche comuni, RAIGen introduce uno Score di Minoranza ($s$) che combina due segnali complementari:

1. Frequenza di Attivazione ($\nu$): La proporzione di campioni in un dataset in cui un neurone specifico è attivo. Gli attributi rari corrispondono a neuroni con bassa frequenza di attivazione.
2. Distintività Semantica ($d$): La distanza del coseno tra il centroide CLIP pesato dall'attivazione del neurone ($\mu_i$) e il centroide globale del dataset ($\mu_{D_c}$). Ciò garantisce che il neurone rappresenti un concetto che devia significativamente dalla media semantica del dataset.

Lo score è calcolato come:
$$s(z) = d \odot (1 - \nu)$$
Questa formulazione privilegia i neuroni che sono sia infrequentemente attivi sia semanticamente distinti.

2.3. Pipeline di Scoperta e Verifica

• Classifica: I neuroni sono classificati in base al loro Minority Score.
• De-duplicazione: Per garantire un set compatto e diversificato, la ridondanza viene valutata tramite distanze del coseno a coppie tra i centroidi dei neuroni. I neuroni con semantica simile vengono filtrati, mantenendo solo il rappresentante con lo score più alto.
• Interpretabilità: Le immagini con la massima attivazione per i neuroni selezionati vengono visualizzate con heatmap di attivazione MSAE. Annotazioni leggibili dall'uomo vengono generate utilizzando modelli linguistici multimodali (MLLM) per descrivere gli attributi scoperti.
• Natura Label-Free: Il processo non richiede categorie di minoranza o etichette di attributi predefinite, basandosi esclusivamente sulle rappresentazioni interne del modello e su un prior semantico pre-addestrato (CLIP) per la misurazione della distintività.

3. Contributi Chiave

1. Primo Framework Label-Free: RAIGen è il primo framework, a conoscenza degli autori, per l'identificazione di attributi rari nei modelli di diffusione che non richiede categorie di minoranza predefinite. Sposta l'attenzione dall'identificazione dei bias dominanti alla scoperta di feature di minoranza soppresse codificate nel modello.
2. Nuova Metrica di Minoranza: Il paper propone una metrica che combina la frequenza di attivazione del neurone e la distintività semantica, validata come proxy affidabile per identificare concetti sottorappresentati.
3. Auditing e Amplificazione Sistematica: RAIGen dimostra la capacità di rivelare attributi oltre le categorie fisse di equità attraverso molteplici architetture (Stable Diffusion 1.4, 2, XL, e FLUX.1-schnell). Inoltre, consente l'amplificazione mirata di questi attributi rari attraverso interventi leggeri sui prompt.

4. Risultati Sperimentali

Gli autori hanno valutato RAIGen su Stable Diffusion v1.4, SDXL e FLUX.1-schnell utilizzando WinoBias (basato sull'occupazione) e COCO (scene diverse).

• Validazione dell'Euristica: In un setting controllato con fattori rari di ground-truth noto, gli autori hanno dimostrato che i latenti meno frequentemente attivati negli MSAE mappano sproporzionatamente verso feature rare (correlazione di Spearman $\rho \approx 0.991$), validando la frequenza di attivazione come proxy per la rarità.
• Performance Quantitativa: Su WinoBias e COCO, gli attributi scoperti da RAIGen hanno mostrato una "Presenza di Attributo" significativamente inferiore (circa 0.20) rispetto agli attributi di maggioranza identificati da OpenBias (circa 0.94), confermando che RAIGen isola le feature soppresse.
• Risultati Qualitativi: RAIGen ha scoperto con successo diversi attributi di minoranza, tra cui:
  • Sociali/Equità: Mediche donne, sceriffe donne.
  • Contestuali/Stilistici: Medici in ritratti incorniciati, medici con cartelle cliniche, treni con grandi pennacchi di fumo, treni visti di lato con motion blur, e donne con capelli dalla texture afro-riccia.
  • Cross-Architettura: Il metodo si è generalizzato a modelli basati su transformer (FLUX.1-sell), sebbene con heatmap leggermente più diffuse rispetto alle architetture U-Net.
• Studio Utente: Uno studio con 25 partecipanti ha confermato che gli attributi scoperti da RAIGen sono percettivamente rari. Per cinque professioni, i partecipanti hanno riportato la presenza di questi attributi in meno di 3 immagini su 10 generate in media, validando il fatto che queste feature sono codificate ma sottospresse nella campionatura standard.
• Amplificazione: Utilizzando le annotazioni di RAIGen per revisionare i prompt, si è ottenuta una riduzione sostanziale della deviazione della presenza dell'attributo (ad esempio, da 0.50 a 0.22 in SD v1.4), dimostrando che la reintroduzione di descrittori di minoranza aumenta efficacementamente la copertura delle mode sottorappresentate.

5. Significato e Rivendicazioni

Il paper posiziona RAIGen come uno strumento fondamentale per l'auditing completo dei modelli generativi. La sua importanza risiede nel:

• Colmare il Divario: Affronta il limite degli strumenti di mitigazione del bias attuali che gestiscono solo categorie note o trend della maggioranza, consentendo la scoperta di "incognite ignote" nello spazio latente del modello.
• Scoperta Basata sulla Rappresentazione: Fondando la scoperta nelle rappresentazioni interne del modello anziché in modelli del mondo esterni, RAIGen identifica le feature che il modello ha effettivamente appreso ma che sceglie di non esprimere.
• Utilità Pratica: Fornisce un meccanismo per l'amplificazione mirata, permettendo agli sviluppatori di migliorare sistematicamente la diversità degli output generati senza dover riaddestrare il modello.

Gli autori mantengono una posizione modesta, osservando che RAIGen può solo far emergere attributi già codificati nel modello; non può scoprire minoranze socialmente rilevanti che il modello non ha affatto appreso. Suggeriscono che RAIGen debba essere visto come una componente di un framework di auditing ibrido, che integra i prior semantici esterni (come gli strumenti basati su LLM) per fornire una visione completa della sottorappresentazione. Riconoscono inoltre il potenziale uso improprio, come la generazione deliberata di immagini sensibili o stereotipate, sottolineando la necessità di governance e salvaguardie.