Heavy-Tailed Class-Conditional Priors for Long-Tailed Generative Modeling

Probleemstelling

Generatieve modellen, zoals Variational Autoencoders (VAE's), kampen vaak met prestatieverlies bij het werken met onbalans in de data (long-tail distributies). Wanneer een model wordt getraind op een dataset waarbij sommige klassen (de "head" classes) veel vaker voorkomen dan andere (de "tail" classes), neigt het model ertoe om de latent ruimte (de interne representatie) te alloceren in verhouding tot de empirische frequentie van de klassen.

• Geometrische Bias: Dit resulteert in een "geometrische bias" waarbij de meeste latent ruimte wordt ingenomen door de dominante klassen, terwijl minderheidklassen worden opgesloten in kleine, ondervertegenwoordigde gebieden.
• Beperkingen van bestaande oplossingen: Bestaande methoden zoals de t3VAE introduceren zwaarstaartige (heavy-tailed) Student's t-verdelingen als prior om robuustheid tegen uitbijters te bieden. Echter, deze gebruiken nog steeds één globale prior. Hierdoor blijft de totale prior-massa evenredig verdeeld over de klassen op basis van hun frequentie, wat de ondervertegenwoordiging van zeldzame klassen in de latent ruimte niet volledig oplost.

Methodologie: C-t3VAE

De auteurs stellen C-t3VAE (Conditional t3-VAE) voor, een model dat de geometrische bias oplost door de prior te decoupleren van de empirische frequentie.

1. Per-Klasse Student's t-Prior:
   In plaats van één globale prior, definieert C-t3VAE een specifieke Student's t-verdeling voor elke klasse $y$ over de gezamenlijke latent-output ruimte $(x, z)$.

   • De prior $p(z|y)$ is een multivariate Student's t-distributie met een leerbaar klassencentrum $\mu_y$.
   • Dit zorgt ervoor dat elke klasse een proportioneel gelijke regio in de latent ruimte inneemt, ongeacht hoe vaak die klasse in de trainingsdata voorkomt.

2. Doelfunctie op basis van $\gamma$-Power Divergentie:
   Omdat de Kullback-Leibler (KL) divergentie tussen Student's t-verdelingen geen gesloten vorm heeft, gebruikt het model de $\gamma$-power divergence (een generalisatie van de KL-divergentie).

   • De auteurs leiden een gesloten vorm af voor de loss-functie $L(\gamma, y)$ per klasse.
   • De totale loss is de som van de per-klasse losses, waarbij elke klasse gelijk gewicht krijgt tijdens het trainen. Hierdoor wordt de frequentie-afhankelijke schaling uit de loss-functie verwijderd.

3. Gelijk-gewogen Latent Mixturing voor Generatie:
   Voor het genereren van nieuwe data (sampling) wordt een mixturing-strategie gebruikt waarbij elke klasse een gelijke kans heeft ($\alpha_y = 1/K$).

   • De sampling-verdeling is een mixturing van Student's t-verdelingen: $p^*_\nu(z) = \sum \alpha_y \cdot t_m(\mu_y, \tau^2 I, \nu + n)$.
   • De variantieparameter $\tau^2$ wordt theoretisch afgeleid om de divergentie tussen de prior en de posterior te minimaliseren.

Kernbijdragen

• C-t3VAE Architectuur: Een nieuwe generatieve architectuur die per-klasse Student's t-priors combineert met een gelijk-gewogen sampling-scheme om de dominantie van meerderheidsklassen te doorbreken.
• Theoretische Afleiding: Een gesloten vorm van de trainingsdoelstelling gebaseerd op $\gamma$-power divergence, specifiek voor class-conditional Student's t-verdelingen.
• Analytische Sampling: Een theoretisch onderbouwde methode om de optimale variantie ($\tau$) voor de sampling-verdeling af te leiden, wat leidt tot een evenwichtige latent mixturing.
• Identificatie van een Drempelwaarde: De auteurs identificeren empirisch een kritieke drempel voor onbalans ($\rho \approx 5$). Onder deze drempel presteren Gaussische modellen nog redelijk, maar daarboven wordt de C-t3VAE aanzienlijk superieur.

Resultaten

Het model is getest op drie datasets met lange staarten: SVHN-LT, CIFAR100-LT en CelebA.

• FID Scores (Fréchet Inception Distance):
  • C-t3VAE behaalt consistent lagere FID-scores (betere kwaliteit) dan Gaussische VAE's, C-VAE's en de standaard t3VAE, vooral bij ernstige onbalans (bijv. $\rho = 100$).
  • Op CelebA (Mustache-attribuut, $\rho=25$) verbetert C-t3VAE de FID met tot wel 15 punten ten opzichte van de beste baselines.
• Per-Klasse Evaluatie (Precision, Recall, F1):
  • Recall: C-t3VAE toont een aanzienlijk hogere recall voor zeldzame klassen, wat aangeeft dat het model beter in staat is om de "modes" van minderheidklassen te dekken (minder mode collapse).
  • F1 Score: Door de verbeterde recall en een concurrerende precision, behaalt C-t3VAE de hoogste F1-scores voor tail-classes.
  • Gaussische vs. Heavy-Tailed: Bij een onbalansratio $\rho < 5$ presteren Gaussische modellen (C-VAE) soms nog beter of gelijkwaardig. Zodra $\rho \geq 5$, breekt de Gaussische prior de latent ruimte te veel voor minderheidklassen, terwijl de heavy-tailed prior van C-t3VAE dit opvangt.

Betekenis en Impact

Dit werk biedt een fundamentele oplossing voor het probleem van onbalans in generatieve modellen binnen het VAE-ramek.

1. Geometrisch Inzicht: Het benadrukt dat onbalans niet alleen een sampling-probleem is, maar een fundamenteel geometrisch probleem in de latent ruimte dat door de prior-distributie wordt opgelegd.
2. Robuustheid: Het toont aan dat het combineren van heavy-tailed distributies met class-conditional priors en gelijk-gewogen training essentieel is voor het genereren van hoge kwaliteit data voor zeldzame klassen.
3. Toepassingsgebied: De bevindingen zijn relevant voor domeinen waar onbalans kritiek is, zoals medische beeldvorming (zeldzame ziektes) en gezichtsreconstructie, waar bias in generatieve modellen tot sociale of diagnostische ongelijkheden kan leiden.
4. Efficiëntie: De methode behoudt dezelfde rekencomplexiteit als standaard conditionele VAE's, waardoor het een praktische en schaalbare oplossing is.