Diffusion Mental Averages

1. Il Problema

I modelli di diffusione pre-addestrati (come Stable Diffusion) possono generare infinite variazioni di un singolo concetto (es. "un cane", "la libertà"). Tuttavia, sorge una domanda fondamentale: possiedono questi modelli una propria "media mentale" del concetto? Ovvero, esiste un'immagine prototipica che rappresenti la media semantica di ciò che il modello immagina, mantenendo la nitidezza e il realismo di un campione tipico?

Le sfide principali identificate dagli autori sono:

• Inadeguatezza delle medie pixel: Le tecniche tradizionali di allineamento e mediazione a livello di pixel (usate per volti o animali) falliscono per concetti astratti o complessi, producendo immagini sfocate e irrealistiche a causa della perdita di dettagli fini.
• Mancanza di uno spazio semantico decodificabile: A differenza di GAN o VAE, i modelli di diffusione non hanno un collo di bottiglia latente esplicito e decodificabile dove le medie semantiche possano essere calcolate e poi riconvertite in immagini realistiche.
• Ambiguità multimodale: Concetti come "cane" o "bicicletta" hanno molteplici modalità (razze, tipi). Una singola media globale tende a fondere queste modalità, creando un'immagine confusa che non rappresenta fedelmente nessuna delle sottocategorie.

2. Metodologia: Diffusion Mental Averages (DMA)

Gli autori propongono DMA, un metodo che calcola la media all'interno dello spazio semantico del modello di diffusione, trattando il processo di generazione come un allineamento di traiettorie.

A. Allineamento delle Traiettorie di Denoising

Invece di generare immagini e poi mediare i risultati, DMA ottimizza congiuntamente più latenti di rumore iniziali ($K$) affinché le loro traiettorie di denoising convergano verso una semantica condivisa.

1. Spazio Semantico (h-space): Il metodo sfrutta lo strato "h-space" (vicino al collo di bottiglia della U-Net), che è stato dimostrato contenere informazioni semantiche interpretabili e quasi lineari.
2. Processo Iterativo:
   • Si inizializzano $K$ latenti rumorosi.
   • Ad ogni timestep $t$, si estrae l'attivazione h-space per ogni latente.
   • Si calcola la media delle attivazioni ($\bar{A}^{(t)}$) di tutti i latenti.
   • Si ottimizzano i latenti rumorosi (tramite discesa del gradiente sul rumore) per minimizzare la distanza tra la loro attivazione h-space e la media $\bar{A}^{(t)}$.
   • Si procede al denoising fino al timestep successivo.
3. Risultato: Questo processo allinea progressivamente le strutture da grossolane a fini, producendo un'unica immagine prototipo nitida e realistica che rappresenta il consenso semantico del modello.

B. Scoperta e Gestione delle Modalità (Mode Discovery)

Per concetti multimodali (es. "cane" con diverse razze), DMA integra un passo di clustering:

1. Clustering: I campioni vengono clusterizzati in uno spazio semantico stabile (come CLIP o BLIP-VQA per clustering guidato da attributi).
2. Condizionamento Specifico: Per evitare incoerenze tra lo spazio di clustering e lo spazio di diffusione, il metodo adatta il condizionamento del modello per ogni cluster. Utilizza Textual Inversion o LoRA (Low-Rank Adaptation) per apprendere un embedding specifico che guida il processo di denoising verso la sottosemantica del cluster, garantendo medie fedeli per ogni modalità.

3. Contributi Chiave

• Primo metodo per medie realistiche da Diffusion: DMA è il primo approccio in grado di generare medie coerenti e realistiche direttamente da modelli di diffusione pre-addestrati, formulando il compito come allineamento di traiettorie.
• Gestione della Multimodalità: Estende il concetto di media a concetti ambigui attraverso clustering e condizionamento leggero (LoRA/Textual Inversion), permettendo di visualizzare le diverse "modalità" di un concetto.
• Generalizzazione: Il metodo funziona su diverse varianti di Stable Diffusion (SD1.5, Realistic Vision, PixelArt) e si estende ad architetture diverse come i Diffusion Transformers (DiT), identificando strati semantici analoghi (es. l'ultimo blocco transformer).
• Strumento di Analisi: Fornisce uno strumento concreto per analizzare i bias del modello e le rappresentazioni interne dei concetti.

4. Risultati Sperimentali

Gli autori hanno valutato DMA su 12 concetti (animali, persone, oggetti, astratti) confrontandolo con baseline come GANgealing, Dataset Distillation (D4M, MGD3) e medie VAE.

• Qualità Visiva e Coerenza: DMA supera tutte le baseline. Mentre le medie VAE e GANgealing sono coerenti ma sfocate, e le tecniche di distillazione (D4M/MGD3) sono realistiche ma inconsistenti (variano molto cambiando il seed), DMA ottiene il miglior equilibrio tra coerenza (stesso risultato da seed diversi), rappresentatività (vicinanza alla distribuzione del concetto) e qualità percettiva (ImageReward).
• Concetti Astratti: DMA riesce a visualizzare concetti astratti come "Libertà" (rappresentando coerentemente la Statua della Libertà) o "Povertà", dove i metodi basati su allineamento spaziale falliscono completamente.
• Analisi dei Bias: Il metodo ha rivelato bias specifici dei modelli (es. la tendenza di alcuni modelli a generare soldati maschili, mentre altri sono più neutri) e bias culturali (es. la rappresentazione dell'Italia come canali di Venezia).
• Efficienza: Sebbene il processo richieda circa 10 ore su una GPU RTX 4080 per concetto (con $K=1000$), gli autori mostrano che è possibile ridurre i tempi sacrificando leggermente la coerenza (riducendo i passi di ottimizzazione o il numero di latenti).

5. Significato e Impatto

Il lavoro introduce un nuovo paradigma per l'interpretazione dei modelli generativi:

• Interpretabilità: Permette di "vedere" cosa il modello ha imparato come media di un concetto, offrendo una sintesi visiva immediata.
• Audit dei Bias: È uno strumento potente per diagnosticare come i dati di addestramento e l'architettura influenzano la rappresentazione di categorie sociali, etniche o concettuali.
• Nuova Frontiera: Dimostra che è possibile estrarre rappresentazioni semantiche stabili da modelli di diffusione senza bisogno di riaddestramento massiccio o accesso ai dati originali, aprendo la strada a nuove tecniche di analisi e compressione dei dati (dataset distillation) basate su modelli pre-addestrati.

In sintesi, Diffusion Mental Averages trasforma la capacità generativa dei modelli di diffusione in uno strumento analitico, rivelando le "medie mentali" nascoste all'interno delle loro rappresentazioni latenti.