Epistemic Generative Adversarial Networks

Probleemstelling

Generatieve modellen, en met name Generative Adversarial Networks (GANs), kampen vaak met een gebrek aan output-diversiteit. In plaats van een breed scala aan variaties te genereren, neigen ze ertoe om "mode collapse" (modetoeval) of "mode dropping" te vertonen. Hierbij convergeert de generator naar een smal subset van de doelverdeling, waardoor het model slechts beperkte en repetitieve varianten produceert.

De oorzaken hiervan liggen vaak in een onbalans in de trainingsdynamiek tussen de generator en de discriminator, of in het feit dat de discriminator te zwak is om de volledige diversiteit van de data te onderscheiden. Bestaande oplossingen (zoals architecturale aanpassingen of regularisatie) lossen dit vaak niet fundamenteel op en missen een principieel theoretisch kader om de onzekerheid inherent aan generatieve processen te modelleren en te benutten.

Methodologie

Het paper introduceert Epistemic GANs (E-GAN), een nieuw raamwerk dat de Dempster-Shafer theorie van bewijs (evidentie) integreert in zowel de verliesfunctie als de architectuur van GANs. Dit raamwerk vervangt traditionele probabilistische benaderingen door een aanpak die onzekerheid en "onwetendheid" expliciet kan modelleren.

De methode rust op drie pijlers:

1. Belief-based Discriminator:

   • In plaats van een enkele scalar (kans) uit te geven voor "echt" of "nep", voorspelt de discriminator een belief functie.
   • De output bestaat uit twee genormaliseerde massa's: $b_{real}$ (ondersteuning voor "echt") en $b_{fake}$ (ondersteuning voor "nep").
   • Cruciaal is dat $b_{real} + b_{fake} \leq 1$. Het verschil tot 1 vertegenwoordigt de massa van "onwetendheid" (ignorance). Dit stelt de discriminator in staat om twijfel te uiten bij ambiguë samples in plaats van gedwongen te worden tot een harde binaire beslissing, wat zachtere en informatiever gradiënten oplevert voor de generator.

2. Generator met Per-Pixel Massafuncties:

   • De generator is opgesplitst in twee modules. De eerste module voorspelt voor elk pixelgebied (region) een Dirichlet-verdeling die een discrete massafunctie definieert over intensiteitsintervallen.
   • In plaats van één deterministische pixelwaarde, genereert het model een interval of een verdeling van mogelijke waarden.
   • Dit stelt het model in staat om epistemische onzekerheid (onzekerheid door gebrek aan kennis) te kwantificeren. Gebieden met hoge onzekerheid (zoals objectgrenzen) worden gemarkeerd, wat de generator aanmoedigt om alternatieve, plausibele patronen te verkennen in plaats van te herhalen.

3. Generalized Evidential Loss Function:

   • Discriminator Loss: Combineert klassieke adversariale termen met regularisatie om de normalisatie ($b_{real} + b_{fake} \leq 1$) te handhaven.
   • Generator Loss: Bestaat uit drie componenten:
     • Een adversariale term om realisme te maximaliseren.
     • Een variatie-term (gewogen door $\beta$) die de Dirichlet-verdelingen aanmoedigt om massa te verspreiden over meerdere categorieën, waardoor mode-ontdekking en diversiteit worden gestimuleerd.
     • Een intervalkleur-term (gewogen door $\gamma$) die de breedte van de gesamplede intervallen minimaliseert waar nodig, om te zorgen dat de output coherent en niet te diffuus blijft.

Belangrijkste Bijdragen

1. Nieuw E-GAN Raamwerk: Een unieke aanpak die belief functies in zowel de discriminator als de generator implementeert, wat leidt tot betere kwaliteit en verklaarbaarheid van de generatie.
2. Architecturale Innovatie: Aanpassingen aan de GAN-architectuur om te werken binnen een theorie van bewijs, inclusief een generator die per-pixel massafuncties (via Dirichlet-verdelingen) voorspelt.
3. Generalized Loss: Een nieuwe verliesfunctie die effectief trainen mogelijk maakt binnen dit raamwerk, met specifieke termen om een balans te vinden tussen stochastische diversiteit en precisie.
4. Principieel Onzekerheidskader: Het biedt een theoretisch onderbouwde manier om onzekerheid te modelleren in generatieve processen, wat essentieel is voor betrouwbare toepassing (bijv. in medische beeldvorming).

Resultaten

De auteurs hebben hun methode getest op drie datasets: CelebA (gezichten), CIFAR-10 (natuurlijke objecten) en Food-101 (voedsel). De resultaten werden vergeleken met een standaard DCGAN-baseline.

• Kwaliteit (FID): De Epistemic GAN behaalde een lagere Fréchet Inception Distance (FID) op alle datasets (bijv. 17.3 vs 18.5 op CelebA), wat aangeeft dat de gegenereerde beelden dichter bij de echte data-verdeling liggen en minder visuele artefacten bevatten.
• Diversiteit (Vendi Score): De Epistemic GAN behaalde een hogere Vendi Score (bijv. 5.86 vs 5.70 op CelebA), wat aantoont dat het model een bredere dekking van de doelverdeling bereikt en minder last heeft van mode collapse.
• Efficiëntie: De extra complexiteit van het berekenen van belief functies en Dirichlet-sampling leidt tot een verwaarloosbare rekentijdstijging van ongeveer 1,5% per epoch.

Betekenis en Impact

Dit werk markeert een significante verschuiving in het trainingsparadigma van GANs. Door onzekerheid niet als een bijproduct maar als een centraal ontwerpelement te behandelen, kunnen generatieve modellen:

• Meer diversiteit genereren zonder in te leveren op realisme.
• Interpreteerbare onzekerheidskaarten produceren, die aangeven waar het model twijfelt (bijv. bij randen of complexe texturen).
• Betrouwbaarder worden voor kritieke toepassingen, zoals medische beeldvorming, waar het begrijpen van de grenzen van het model cruciaal is.

De paper stelt een fundamentele basis voor toekomstig onderzoek naar onzekerheidskwantificering in diepe generatieve modellen en opent de deur voor toepassing in andere paradigmas zoals diffusiemodellen.