Résumé Technique : L'initialisation est la moitié de la bataille : Générer des images diversifiées à partir d'un potentiel de guidage postérieur

1. Énoncé du problème

Malgré la haute fidélité des modèles génératifs modernes, y compris les modèles de diffusion et de Flow Matching, ils souffrent fréquemment d'un effondrement de mode (mode collapse). Même avec des graines aléatoires variables, les échantillons générés convergent souvent vers des sorties stéréotypées, limitant le potentiel créatif et, dans les cas extrêmes, menant à la mémorisation exacte des données d'entraînement.

Les stratégies existantes sans réentraînement pour améliorer la diversité se concentrent principalement sur l'intervention pendant la trajectoire de génération (par exemple, en manipulant les échelles de guidage ou en repoussant les trajectoires les unes des autres). Les auteurs identifient une omission critique dans ces approches : l'initialisation gaussienne isotrope standard ($x_T \sim \mathcal{N}(0, I)$) est souvent agnostique au paysage du potentiel de guidage. Géométriquement, les régions avec un potentiel de guidage conditionnel élevé induisent des taux de contraction de volume élevés dans le flux génératif. Par conséquent, des trajectoires stochastiques distinctes initialisées dans ces régions à haut potentiel sont attirées vers un mode dominant unique, provoquant l'effondrement. À l'inverse, les auteurs émettent l'hypothèse que l'initialisation à partir de bassins à faible potentiel permet aux trajectoires de diverger naturellement, préservant ainsi la diversité.

2. Méthodologie : Initialisation Induisant la Diversité (DivIn)

Le papier propose DivIn, une méthode sans réentraînement, applicable lors de l'inférence, qui reformule la sélection du bruit initial non pas comme un tirage à partir d'un a priori fixe, mais comme un échantillonnage à partir d'un potentiel de guidage postérieur.

2.1. Formulation théorique

Les auteurs définissent une distribution cible $p_{\text{diverse}}(x_T | c)$ qui repondère l'a priori gaussien standard vers des régions riches en diversité :
$$p_{\text{diverse}}(x_T | c) \propto \exp(-\tau \cdot U(x_T, c)) \cdot p(x_T)$$
où :

• $p(x_T)$ est l'a priori gaussien isotrope standard.
• $\tau$ est un hyperparamètre de température contrôlant le compromis entre l'adhérence à l'a priori et la maximisation de la diversité.
• $U(x_T, c)$ est un potentiel de guidage servant de proxy pour l'intensité du guidage conditionnel à l'initialisation.

2.2. Le Proxy du Potentiel de Guidage

Pour garantir la robustesse et la compatibilité "plug-and-play" à travers différents schémas d'inférence (par exemple, des nombres de pas variables) et architectures (Diffusion vs Flow Matching), le potentiel $U(x_T, c)$ est défini dans l'espace des données estimées à l'aide d'un potentiel de Tweedie généralisé :
$$U(x_T, c) = \|\hat{x}_0(x_T, c) - \hat{x}_0(x_T, \emptyset)\|^2$$
Ici, $\hat{x}_0$ représente l'estimation de débruitage en une seule étape des données propres. Cette métrique mesure la distance euclidienne entre les estimations de débruitage conditionnelle et inconditionnelle. Minimiser ce potentiel pénalise les états initiaux où le guidage conditionnel exerce une attraction excessivement forte vers un mode dominant, biaisant l'initialisation vers des régions plus plates du paysage.

2.3. Échantillonnage via la Dynamique de Langevin

Puisque l'échantillonnage direct de $p_{\text{diverse}}$ est intraitable, DivIn utilise la dynamique de Langevin pour faire transiter itérativement les échantillons de l'a priori gaussien initial vers le postérieur cible. La règle de mise à jour pour l'état latent $x_T$ à l'itération $k$ est :
$$x_T^{(k+1)} = x_T^{(k)} - \eta \left( \tau \nabla_{x_T^{(k)}} U(x_T^{(k)}, c) + x_T^{(k)} \right) + \sqrt{2\eta}\xi^{(k)}$$
Ce mécanisme équilibre trois forces :

1. Force de Diversité ($-\tau \nabla U$) : Pousse le latent loin des bassins à haut potentiel vers des régions plus plates.
2. Contrainte d'A Priori ($-x_T$) : Ancre le latent dans le manifold valide de la distribution normale originale, empêchant la dérive hors-manifold.
3. Bruit Stochastique ($\sqrt{2\eta}\xi$) : Injecte du bruit pour échapper aux minima locaux peu profonds et encourager l'exploration.

Contrairement aux méthodes d'optimisation déterministes (ex: l'initialisation sensible à la netteté, SAIL) qui font s'effondrer le volume de la distribution en cherchant une graine optimale unique, DivIn effectue un échantillonnage de la distribution postérieure, préservant l'entropie et permettant une véritable diversité.

3. Contributions Clés

1. Identification de l'initialisation comme un facteur critique : Le papier révèle que l'effondrement de mode est significativement piloté par la géométrie du paysage d'initialisation, spécifiquement l'attraction des trajectoires vers des régions à haut potentiel définies par le guidage conditionnel.
2. Formulation du Potentiel de Guidage Postérieur : Les auteurs formulent l'initialisation optimale comme un postérieur pondéré par la diversité qui repondère l'a priori standard, utilisant un potentiel de Tweedie généralisé qui est robuste aux variations des étapes d'inférence et unifie les architectures de Diffusion et de Flow Matching.
3. Algorithme DivIn : Un algorithme "plug-and-play", sans réentraînement, exploitant la dynamique de Langevin pour échantillonner ce postérieur. Il est orthogonal aux méthodes de diversité basées sur la trajectoire.
4. Justification Théorique : Le papier fournit une analyse théorique (Théorème A.3) liant la netteté conditionnelle élevée (courbure) à une perte rapide d'entropie durant le processus inverse, démontant que l'échantillonnage à partir de régions à faible potentiel préserve le volume de la distribution.

4. Résultats Expérimentaux

Des expériences approfondies ont été menées sur ImageNet-1K (classe-vers-image) et un jeu de prompts généraux (texte-vers-image) en utilisant Stable Diffusion v1.4 et Stable Diffusion 3.5 Medium (Flow Matching).

• Amélioration de la Diversité : DivIn surpasse systématiquement les méthodes d'initialisation de référence (comme SAIL) et les méthodes basées sur la trajectoire (Particle Guidance, CADS, Interval Guidance) dans les métriques de diversité telles que le Vendi Score, le Recall et la Couverture (Coverage).
  • Sur ImageNet (SD v1.4), DivIn a atteint un Vendi Score de 4.688 (contre 4.265 pour le modèle de base), surpassant SAIL (4.549) et les méthodes de trajectoire.
  • Sur le texte-vers-image (SD v3.5), DivIn a augmenté le Vendi Score de 1.803 à 1.864 pour le modèle de base.
• Préservation de la Qualité : Contrairement à de nombreuses méthodes de diversité qui sacrifient la qualité au profit de la diversité, DivIn maintient ou améliore la fidélité des images. Il a obtenu le FID le plus bas (16.158) parmi les bases autonomes sur ImageNet et a maintenu des scores CLIP et esthétiques élevés sur les tâches de texte-vers-image.
• Orthogonalité et Frontière de Pareto : Une découverte clé est que DivIn est orthogonal aux interventions basées sur la trajectoire. Combiner DivIn avec des méthodes comme PG, CADS ou IG élargit considérablement la frontière de Pareto diversité-qualité, atteignant une plus grande diversité au même niveau de fidélité qu'une méthode seule.
• Efficacité : DivIn induit un surcoût computationnel minimal. Avec une seule étape de Langevin ($K=1$), il n'ajoute que ~3% au temps de calcul par image (ex: de 0.754s à 0.779s), alors que les méthodes d'optimisation déterministes comme SAIL nécessitent souvent des échantillonnages de rejet plus complexes ou des approximations du second ordre.
• Stabilité : Contrairement à SAIL, qui est sensible aux seuils d'arrêt précoce et peut engendrer des artefacts de haute fréquence dus aux latents hors-manifold, DivIn reste stable et préserve la gaussianité de l'espace latent.

5. Signification et Revendications

Le papier affirme que l'initialisation est "la moitié de la bataille" dans la génération d'images diversifiées. En déplaçant l'attention de la trajectoire de génération vers le paysage d'initialisation, DivIn traite une cause profonde de l'effondrement de mode que les méthodes basées sur la trajectoire négligent.

Les auteurs soulignent que :

• DivIn est une stratégie universelle, "plug-and-play", compatible avec les modèles de diffusion standards et les modèles de Flow Matching modernes.
• Il fournit une source distincte de diversité non capturée par les interventions de trajectoire, permettant la découverte de modes diversifiés que l'échantillonnage standard manque.
• La méthode équilibre efficacement le compromis entre diversité et qualité, repoussant la frontière de Pareto sans pénaliser l'alignement sémantique ou la fidélité de l'image.
• Il offre une alternative plus robuste à l'optimisation déterministe de la graine (comme SAIL) en maintenant l'entropie de la distribution grâce à l'échantillonnage stochastique.

Le papier conclut que bien que DivIn dépende actuellement d'un hyperparamètre de température et ajoute un surcoût infime à l'inférence, il représente un changement fondamental dans la manière dont la diversité générative peut être améliorée, offrant un outil orthogonal puissant aux mécanismes d'échantillonnage existants.