Exposing Diversity Bias in Deep Generative Models: Statistical Origins and Correction of Diversity Error

1. Il Problema

I modelli generativi profondi (come GAN, VAE e modelli di diffusione) hanno raggiunto risultati eccezionali nella sintesi di dati di alta qualità. Tuttavia, un aspetto critico spesso trascurato è la loro capacità di catturare fedelmente la diversità della distribuzione dei dati sottostante.
Il paper identifica un bias sistematico verso il basso nella diversità: i campioni generati dai modelli moderni tendono ad avere una diversità inferiore rispetto ai dati reali di test, anche quando i modelli producono immagini di alta qualità. La domanda centrale è: questo deficit di diversità è intrinseco ai modelli o deriva da limiti statistici legati alla dimensione finita dei dataset di addestramento?

2. Metodologia e Analisi Teorica

Gli autori adottano un approccio basato su metriche di diversità senza riferimento (reference-free) e fondate sull'entropia, specificamente:

• Vendi Score: Basato sull'entropia di von Neumann della matrice di similarità del kernel.
• RKE (Rényi Kernel Entropy): Una variante basata sull'entropia di Rényi di ordine 2.

Analisi Statistica del Bias

Il cuore teorico del lavoro risiede nell'analisi del comportamento a campione finito di queste metriche:

1. Sottostima dell'Entropia: Gli autori dimostrano che, per variabili casuali discrete e per operatori di covarianza del kernel, l'entropia stimata su un insieme finito di $n$ campioni è sistematicamente inferiore all'entropia della distribuzione di popolazione (teoria classica di Miller, 1955).
2. Monotonia della Diversità: Viene provato teoricamente (Proposizione 1) che il valore atteso del log-Vendi score aumenta monotonicamente con la dimensione del campione ($n$).
3. Conseguenza: Poiché i modelli generativi vengono addestrati su dataset finiti, la loro distribuzione empirica $\hat{P}_n$ possiede intrinsecamente una diversità inferiore rispetto alla vera distribuzione $P$. Ottimizzare il modello per minimizzare la divergenza rispetto a $\hat{P}_n$ (come fanno le loss standard) porta inevitabilmente a un modello che eredita e amplifica questo deficit di diversità.

Esperimenti Empirici

• Confronto Dataset vs. Modelli: Su dataset come ImageNet, FFHQ e MS-COCO, i campioni reali mostrano costantemente punteggi Vendi e RKE più alti rispetto ai campioni generati da modelli SOTA (es. DiT, StyleGAN-XL, LDM).
• Effetto della Dimensione del Dataset: Addestrando modelli su subset ridotti dei dati, la diversità generata diminuisce drasticamente, confermando che la dimensione limitata del training set è una causa principale del bias.

3. Contributi Chiave

1. Identificazione della Causa Statistica: Il paper dimostra che il bias di diversità non è solo un fallimento dell'architettura del modello, ma una conseguenza statistica inevitabile della stima dell'entropia su campioni finiti.
2. Principio di Proiezione sull'Entropia: Viene introdotto un principio teorico (Teorema 1) secondo cui proiettare una distribuzione appresa su un "super-livello" di entropia (insieme convesso di distribuzioni ad alta entropia) riduce la divergenza (es. MMD, KL) rispetto alla distribuzione target reale, purché quest'ultima si trovi in quella regione ad alta entropia.
3. Strategie di Correzione:
   • Regularizzazione in Addestramento: Aggiunta di termini di penalità basati sull'entropia (Vendi o RKE) alla funzione di loss.
   • Guida all'Inferenza (Guidance): Applicazione di gradienti basati su RKE/Vendi durante il processo di generazione (es. nei modelli di diffusione) per spingere i campioni verso regioni più diversificate.
   • Ripesatura Post-Hoc (Projected-Vendi): Un metodo per riassegnare i pesi probabilistici a un set fisso di campioni generati per massimizzare la diversità mantenendo la vicinanza alla distribuzione originale.

4. Risultati Sperimentali

• Miglioramento delle Metriche: L'applicazione della guida basata su RKE (SPARKE) o Vendi ai modelli DiT e DDIM ha portato a:
  • Un aumento significativo dei punteggi Vendi e RKE (diversità).
  • Un miglioramento simultaneo delle metriche di qualità come FID (Fréchet Inception Distance) e KD (Kernel Distance), smentendo il compromesso classico tra qualità e diversità.
  • Miglioramenti anche in Recall e Coverage.
• Validazione della Proiezione: Il metodo di ripesatura post-hoc (Projected-Vendi) ha dimostrato di aumentare la diversità dei campioni generati da modelli come BigGAN e LDM, riducendo al contempo la distanza dal dataset di test.
• Robustezza: I risultati sono coerenti su diversi dataset (ImageNet, FFHQ, LSUN) e con diversi embedding (DINOv2, CLIP, Inception).

5. Significato e Implicazioni

Questo lavoro cambia la prospettiva sulla valutazione dei modelli generativi:

• Diagnosi del Bias: Fornisce una spiegazione teorica solida al perché i modelli generativi "collassano" sulla diversità, attribuendola a limiti statistici dei dataset di addestramento piuttosto che solo a difetti di ottimizzazione.
• Nuovo Paradigma di Addestramento: Suggerisce che l'ottimizzazione standard (minimizzazione della divergenza empirica) è insufficiente. È necessario incorporare vincoli di entropia o diversità espliciti per allineare il modello alla vera distribuzione dei dati.
• Strumenti Pratici: Offre metodi implementabili (guida all'inferenza, regularizzazione, ripesatura) che possono essere applicati a modelli esistenti per migliorare la loro capacità di generare varietà senza sacrificare la fedeltà.

In sintesi, il paper dimostra che la diversità nei modelli generativi è un problema di stima statistica che può essere mitigato attraverso tecniche di regolarizzazione basate sull'entropia, portando a modelli più fedeli alla complessità dei dati reali.