Exposing Diversity Bias in Deep Generative Models: Statistical Origins and Correction of Diversity Error

Probleemstelling

Diepe generatieve modellen (zoals GANs, VAEs en Diffusiemodellen) hebben aanzienlijke vooruitgang geboekt in het genereren van hoogwaardige samples. Echter, naast de kwaliteit van individuele samples, is er een systematisch, maar onderbelicht probleem: diversiteitsbias.

De auteurs stellen de vraag of deze modellen de diversiteit van de onderliggende data-distributie (de "waarheid") wel echt kunnen vastleggen. Hun centrale hypothese is dat moderne generatieve modellen een systematische neerwaartse bias vertonen; ze genereren samples die minder divers zijn dan de werkelijke data, zelfs als de kwaliteit (fidelity) hoog is.

Methodologie

De aanpak van het paper combineert statistische theorie, empirische evaluatie en nieuwe regularisatiestrategieën.

1. Evaluatiemetrics (Referentievrije Diversiteit)

In plaats van traditionele metrics zoals FID (Fréchet Inception Distance) die een referentiedataset nodig hebben, gebruiken de auteurs referentievrije, entropie-gebaseerde metrics:

• Vendi Score: Gebaseerd op de von Neumann-entropie van een genormaliseerde kernel-similariteitsmatrix. Het kwantificeert diversiteit via het exponentiële van de spectrale entropie.
• RKE (Rényi Kernel Entropy): Een orde-2 Rényi-entropie-analoog die tracterbaar is en een interpretatie van modetelling biedt.
• Data: De modellen worden geëvalueerd op standaard benchmarks (ImageNet, FFHQ, MS-COCO) met embeddings van DINOv2.

2. Statistische Analyse van de Bias

De auteurs analyseren de oorsprong van de bias door te kijken naar het finite-sample gedrag (beperkte steekproefgrootte) van entropie-estimatoren:

• Theoretisch Bewijs: Ze bewijzen (Propositie 1) dat de verwachte log-Vendi score monotoon toeneemt met de steekproefgrootte $n$. Dit betekent dat entropie-estimatoren op eindige datasets systematisch de ware populatie-entropie onderschatten.
• Mechanisme: Omdat generatieve modellen worden getraind op eindige datasets, leren ze een verdeling die al een "diversiteitskloof" heeft ten opzichte van de ware populatie. Het minimaliseren van divergentie naar deze empirische (beperkte) verdeling versterkt dit verlies aan diversiteit.

3. Regularisatie en Correctie Strategieën

Om deze bias te mitigeren, stellen de auteurs drie mechanismen voor die gebaseerd zijn op het projecteren van de geleerde verdeling naar een super-niveau-set van hoge entropie:

• Training-time Regularisatie: Toevoegen van een entropie-term (VNE of Inverse-RKE) aan de verliesfunctie tijdens het trainen.
• Sampling-time Guidance: Voor diffusiemodellen wordt een gradient-bias toegevoegd tijdens het generatieproces (reverse-time trajectory) om de samples te sturen naar gebieden met hogere diversiteit (geïnspireerd op SPARKE en Vendi Guidance).
• Post-hoc Reweighting: Na het genereren van een set samples, worden de gewichten van de samples geoptimaliseerd (via een convexe projectie) om de diversiteit te maximaliseren terwijl de afstand tot de oorspronkelijke verdeling (gemeten via Kernel Distance/MMD) klein blijft.

Belangrijkste Resultaten

1. Empirische Bevestiging van Bias:

   • Over alle geteste datasets en modellen (StyleGAN-XL, LDM, BigGAN, etc.) behalen reële datasets consistent hogere Vendi en RKE scores dan de gegenereerde samples.
   • De diversiteitsscore van reële data blijft stijgen naarmate de steekproefgrootte toeneemt, terwijl gegenereerde samples vaak onder een plateau blijven of een lagere curve volgen.

2. Invloed van Trainingsdatagrootte:

   • Experimenten waarbij modellen werden getraind op subsets van de data (bijv. 10%, 50% van ImageNet) tonen aan dat kleinere trainingssets leiden tot lagere diversiteit in de gegenereerde samples. Dit bevestigt dat de beperkte grootte van trainingsdata een directe oorzaak is van de diversiteitsbias.

3. Effectiviteit van Correctie:

   • Guidance & Regularisatie: Het toepassen van Vendi- of RKE-guidance op diffusiemodellen (zoals DiT-XL-2) leidt tot een significante stijging in diversiteitsscores (Vendi/RKE).
   • Kwaliteit vs. Diversiteit: Cruciaal is dat deze toename in diversiteit niet ten koste gaat van de kwaliteit. Integendeel, de FID (Fréchet Inception Distance) en KD (Kernel Distance) scores verbeteren ook, wat aangeeft dat de samples dichter bij de ware data-distributie komen.
   • Post-hoc Projectie: Het herschalen van gegenereerde samples via de voorgestelde projectie-algoritmen resulteert in aanzienlijk hogere diversiteitsscores met slechts een marginale toename in de afstand tot de data.

Bijdragen en Significantie

• Statistische Fundamentele Inzicht: Het paper legt de eerste theoretische link tussen de bekende neerwaartse bias van entropie-estimatoren op eindige steekproeven en de diversiteitsproblematiek in generatieve modellen. Het toont aan dat de bias een inherente eigenschap is van het trainen op eindige data, niet alleen een falen van het modelarchitectuur.
• Nieuwe Evaluatiestandaard: Het introduceert en valideert Vendi en RKE als robuuste, referentievrije metrics om de "ware" diversiteit van generatieve modellen te meten zonder afhankelijk te zijn van een externe referentiedataset.
• Praktische Oplossingen: Het biedt een theoretisch onderbouwde en empirisch gevalideerde route om diversiteitsbias te corrigeren via entropie-gebaseerde regularisatie en guidance. Dit opent de deur voor generatieve modellen die niet alleen realistische, maar ook statistisch representatieve en diverse samples kunnen produceren.

Conclusie:
De auteurs concluderen dat moderne generatieve modellen systematisch te weinig diversiteit genereren als gevolg van de beperkte grootte van trainingsdatasets en de inherente bias van entropie-estimatoren. Door entropie-gebaseerde metrics te gebruiken als stuurkracht (via regularisatie of guidance), kan deze bias worden gecorrigeerd, wat leidt tot modellen die zowel kwalitatief hoogwaardig als statistisch diverser zijn.