Epistemic Generative Adversarial Networks

1. Problématique : Le manque de diversité et l'effondrement de mode

Les modèles génératifs, et particulièrement les Réseaux Antagonistes Génératifs (GAN), souffrent d'un problème persistant : le manque de diversité dans les échantillons générés. Ce phénomène, souvent appelé effondrement de mode (mode collapse), se produit lorsque le générateur produit des échantillons très similaires, se concentrant sur un sous-ensemble étroit de la distribution cible plutôt que de couvrir toute la variété des données d'entraînement.

Les causes principales incluent :

• Des dynamiques d'entraînement déséquilibrées entre le générateur et le discriminateur.
• L'incapacité du générateur à capturer la gamme complète de la diversité des données.
• L'absence d'un cadre théorique rigoureux pour quantifier et exploiter l'incertitude épistémique (l'incertitude due au manque de connaissances du modèle) dans le processus génératif.

Les solutions existantes (modifications de la fonction de perte, architectures complexes, régularisation) sont souvent coûteuses en calcul ou manquent de fondement théorique pour modéliser l'ignorance et l'incertitude inhérentes.

2. Méthodologie : L'intégration de la théorie de Dempster-Shafer

Les auteurs proposent une généralisation des GANs basée sur la théorie de Dempster-Shafer des preuves, qui généralise la théorie des probabilités classiques. Au lieu de prédire des probabilités scalaires (vrais/faux), le modèle opère sur des fonctions de croyance (belief functions) et des fonctions de masse.

A. Architecture du Discriminateur (Sorties de Croyance)

Contrairement aux GANs classiques qui outputent une probabilité unique $D(x) \in [0, 1]$, le discriminateur de l'E-GAN prédit deux masses normalisées :

• $b_{real}$ : la croyance que l'image est réelle.
• $b_{fake}$ : la croyance que l'image est fausse.
• Ignorance : La somme $b_{real} + b_{fake}$ peut être inférieure à 1. La différence ($1 - (b_{real} + b_{fake})$) représente la masse d'ignorance, permettant au discriminateur de s'abstenir de juger des échantillons ambigus plutôt que de forcer une décision binaire. Cela fournit des gradients plus informatifs et plus doux au générateur.

B. Architecture du Générateur (Prédiction de Masse Régionale)

Le générateur est restructuré en deux modules pour intégrer l'incertitude au niveau des pixels :

1. Prédiction de fonction de masse : Au lieu de générer une valeur d'activation déterministe pour chaque région de pixels, le réseau prédit les paramètres d'une distribution Dirichlet. Cela définit une fonction de masse discrète sur un ensemble d'états perceptuels (intervalles d'intensité).
2. Échantillonnage d'intervalles : À partir de cette distribution, le modèle échantillonne des intervalles qui sont ensuite décodés en une image finale.

• Avantage : Cela permet au générateur de quantifier son incertitude locale (par exemple, aux frontières d'objets) et d'encourager l'exploration de motifs plausibles alternatifs, augmentant ainsi la diversité.

C. Fonction de Perte Généralisée

La fonction de perte est redéfinie pour opérer dans le cadre des fonctions de croyance :

• Perte du Discriminateur ($L_D$) : Combine des termes adversariaux classiques (maximiser la croyance pour les vrais, minimiser pour les faux) avec des régularisateurs qui pénalisent toute violation de la contrainte de normalisation ($b_{real} + b_{fake} \le 1$).
• Perte du Générateur ($L_G$) : Comprend trois termes :
  1. Le terme adversarial (tromper le discriminateur).
  2. Un terme de variance sur les distributions Dirichlet ($\beta$) : encourage la dispersion de la masse sur plusieurs catégories pour favoriser l'exploration des modes et la diversité.
  3. Un terme de largeur d'intervalle ($\gamma$) : encourage des prédictions plus précises (intervalles plus étroits) là où le modèle est confiant, évitant ainsi des sorties trop diffuses.

3. Contributions Clés

1. Approche E-GAN unique : Introduction d'un cadre génératif basé sur la prédiction de fonctions de croyance dans les deux réseaux (générateur et discriminateur), améliorant la qualité et l'explicabilité.
2. Améliorations Architecturales : Adaptation des réseaux pour fonctionner dans un cadre théorique des croyances, incluant une tête de prédiction de masse par Dirichlet pour l'estimation d'incertitude au niveau des régions.
3. Fonction de Perte Nouvelle : Développement d'une formulation de perte généralisée intégrant des termes d'équilibre entre la stochasticité (diversité) et la précision.
4. Preuves Expérimentales : Démonstration que l'approche surpasse les modèles standards en termes de qualité d'image et de diversité sur plusieurs jeux de données.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données : CelebA (visages), CIFAR-10 (objets naturels) et Food-101 (nourriture).

• Métriques utilisées :
  • FID (Fréchet Inception Distance) : Pour évaluer la fidélité et la qualité visuelle (plus bas est mieux).
  • Vendi Score : Pour mesurer la diversité des échantillons (plus haut est mieux).
• Performances :
  • L'E-GAN a obtenu des scores FID plus bas que le GAN standard sur tous les jeux de données (ex: 17.3 vs 18.5 sur CelebA), indiquant une meilleure fidélité.
  • L'E-GAN a obtenu des Vendi Scores plus élevés (ex: 5.86 vs 5.70 sur CelebA), prouvant une meilleure couverture des modes et une plus grande diversité.
• Qualité Visuelle : Les images générées sont plus variées avec moins de textures répétitives. Quelques artefacts mineurs sont observés mais ne compromettent pas la cohérence globale.
• Surcharge Computationnelle : L'ajout des calculs de fonctions de croyance et d'échantillonnage Dirichlet n'entraîne qu'une surcharge négligeable d'environ 1,5 % par époque par rapport à un GAN standard, rendant l'approche très pratique.

5. Signification et Impact

Ce travail représente une avancée significative pour plusieurs raisons :

• Théorique : Il fournit un cadre fondé sur la théorie des preuves (Dempster-Shafer) pour modéliser l'incertitude épistémique dans les GANs, comblant le fossé entre la génération et la quantification de l'incertitude.
• Pratique : Il offre une méthode pour générer des données synthétiques non seulement réalistes, mais aussi diversifiées et interprétables (via des cartes d'incertitude).
• Applications : Cette approche est particulièrement pertinente pour des domaines critiques comme l'imagerie médicale, où la diversité des échantillons et la compréhension de l'incertitude du modèle sont essentielles pour un déploiement fiable.

En conclusion, les Epistemic GANs proposent une méthodologie rigoureuse pour intégrer la quantification de l'incertitude dans les modèles génératifs profonds, ouvrant la voie à des systèmes de synthèse de données plus robustes, transparents et diversifiés.