Heavy-Tailed Class-Conditional Priors for Long-Tailed Generative Modeling

1. Il Problema: Bias Geometrico nei Modelli Generativi Long-Tail

I modelli generativi, in particolare gli Autoencoder Variazionali (VAE), tendono a fallire nella rappresentazione accurata delle classi rare quando addestrati su dataset con distribuzioni sbilanciate (long-tail).

• Causa Radice: L'ottimizzazione standard sotto una distribuzione empirica sbilanciata porta a un bias geometrico nello spazio latente. Le classi maggioritarie occupano regioni di volume maggiore nello spazio latente, mentre le classi minoritarie sono confinate in regioni più piccole con capacità rappresentativa ridotta.
• Limiti delle Soluzioni Esistenti:
  • I VAE standard utilizzano priors Gaussiani isotropi, che non riescono a catturare strutture a "coda lunga" o rare.
  • Il modello t3VAE (basato su distribuzioni di Student's t) introduce priors a coda pesante per migliorare la robustezza, ma mantiene un prior globale unico. Di conseguenza, anche con priors di Student's t, la massa probabilistica nello spazio latente rimane proporzionale alla frequenza delle classi empiriche, non risolvendo il problema dello sbilanciamento geometrico.

2. Metodologia: C-t3VAE (Conditional t3-VAE)

Gli autori propongono il C-t3VAE, un modello che risolve il bias geometrico assegnando un prior specifico per classe, basato sulla distribuzione di Student's t, sullo spazio congiunto latente-output.

Componenti Chiave:

1. Prior Condizionale per Classe:
   Invece di un prior globale $p(z)$, il modello definisce un prior specifico per ogni classe $y$:
   $$p(z|y) = t_m(z | \mu_y, \Sigma_y, \nu)$$
   Dove $\mu_y$ è un vettore di media apprendibile per la classe $y$. Questo design garantisce che ogni classe occupi una regione latente proporzionalmente uguale, mitigando il dominio delle classi maggioritarie.

2. Divergenza $\gamma$-Power:
   Poiché la divergenza KL tra distribuzioni di Student's t non ha una forma chiusa, il modello utilizza la divergenza $\gamma$-power (introdotta da Eguchi, 2021). Questo permette di derivare un obiettivo di ottimizzazione in forma chiusa, evitando approssimazioni numeriche costose.

3. Funzione di Obiettivo (Loss):
   La funzione di perdita per una classe $y$ è derivata dalla divergenza $\gamma$ e include:

   • Un termine di ricostruzione (errore di input).
   • Un termine di allineamento tra la media del posterior e la media della classe $\mu_y$.
   • Termini di regolarizzazione sul covarianza del posterior (traccia e determinante) per evitare collassi della matrice di covarianza.
     $$L(\gamma, y) = \mathbb{E}_x \left[ \frac{\mathbb{E}_z[\|x - \mu_\theta(z)\|^2]}{\sigma^2} + \|\mu_\phi(x) - \mu_y\|^2 + \frac{\nu \text{Tr}(\Sigma_\phi(x))}{\nu + n - 2} - \frac{\nu C_1}{C_2} |\Sigma_\phi(x)|^{-\frac{\gamma}{2(1+\gamma)}} \right]$$

4. Campionamento Equilibrato (Equal-Weight Mixture):
   Per la generazione, il modello utilizza una distribuzione di campionamento che è una miscela a pesi uguali delle distribuzioni di Student's t per ogni classe:
   $$p^*_\nu(z) = \sum_{y=1}^K \alpha_y \cdot t_m(\mu_y, \tau^2 I, \nu + n), \quad \text{con } \alpha_y = \frac{1}{K}$$
   Questo approccio è fondamentale: campionare in proporzione alla frequenza empirica reintrodurrebbe il bias durante la generazione. L'uso di pesi uguali ($\alpha_y = 1/K$) garantisce una generazione bilanciata.

5. Parametro $\tau$ Teorico:
   Gli autori derivano analiticamente la varianza ottimale $\tau^2$ per la distribuzione di campionamento, basandosi sulla geometria della divergenza, fornendo un'inizializzazione principiale.

3. Contributi Principali

• Proposta del Modello C-t3VAE: Un VAE condizionale che combina la robustezza delle code pesanti (Student's t) con una struttura condizionale per classe, risolvendo il problema dell'allocazione della massa probabilistica.
• Obiettivo Chiuso: Derivazione di una funzione di perdita in forma chiusa basata sulla divergenza $\gamma$-power, evitando l'uso di approssimazioni numeriche per la KL-divergenza tra distribuzioni t.
• Schema di Campionamento Teorico: Introduzione di uno schema di campionamento a miscela a pesi uguali con varianza analiticamente derivata, che garantisce la copertura uniforme delle classi durante la generazione.
• Analisi della Soglia di Imbalanciamento: Identificazione empirica di una soglia critica ($\rho \approx 5$) oltre la quale i modelli basati su Gaussiane diventano subottimali, fornendo una guida per la selezione del modello.

4. Risultati Sperimentali

Il modello è stato valutato su tre dataset: SVHN-LT, CIFAR100-LT e CelebA (con attributi sbilanciati come "Mustache").

• Metriche Globali (FID):

  • In scenari di forte sbilanciamento ($\rho \ge 50$), il C-t3VAE supera costantemente i baselines (VAE, C-VAE, t3VAE) ottenendo punteggi FID inferiori (migliori).
  • Su SVHN-LT e CIFAR100-LT, il modello riduce il FID fino a 15 punti rispetto ai baselines ottimizzati.
  • Il modello mantiene prestazioni competitive anche in scenari bilanciati o leggermente sbilanciati.

• Valutazione Per-Classe (Precision, Recall, F1):

  • Il C-t3VAE mostra un Recall significativamente superiore per le classi "coda" (minoritarie) rispetto ai modelli Gaussiani, indicando una migliore copertura delle modalità (mode coverage) e meno collasso delle modalità.
  • La Precision rimane competitiva, suggerendo che la qualità delle immagini generate non viene sacrificata per la diversità.
  • Il modello supera il C-VAE (Gaussiano condizionale) in termini di F1-score nelle classi rare.

• Soglia Critica ($\rho \approx 5$):
  Gli esperimenti rivelano che per rapporti di sbilanciamento $\rho < 5$, i modelli basati su Gaussiane (C-VAE) possono essere sufficienti. Tuttavia, per $\rho \ge 5$, il mismatch tra prior e posterior nei modelli Gaussiani diventa non lineare e compressivo per le classi minoritarie, rendendo il C-t3VAE nettamente superiore.

5. Significato e Implicazioni

Questo lavoro è significativo perché sposta il focus dalla semplice "robustezza agli outlier" (tipica delle code pesanti) alla correzione geometrica dello spazio latente causata dallo sbilanciamento dei dati.

• Decoupling Capacità/Frequenza: Dimostra che è possibile disaccoppiare la capacità rappresentativa di una classe dalla sua frequenza empirica attraverso un'allocazione intenzionale della massa del prior.
• Efficienza: A differenza di approcci complessi come Diffusion Models o GANs che richiedono addestramenti instabili, il C-t3VAE mantiene la stabilità e l'efficienza computazionale dei VAE, offrendo una soluzione praticabile per la generazione long-tail.
• Guida Pratica: La scoperta della soglia $\rho \approx 5$ offre un criterio pratico per i ricercatori: se lo sbilanciamento è moderato, i modelli Gaussiani possono bastare; se è severo, è necessario passare a priors condizionali a coda pesante.

In sintesi, il C-t3VAE rappresenta un avanzamento teorico e pratico nella generazione long-tail, risolvendo il problema fondamentale di come la struttura del prior influenza la geometria latente in presenza di dati sbilanciati.