🤖 machine learning

Diverse Sampling in Diffusion Models with Marginal Preserving Particle Guidance

L'article présente EDDY, un mécanisme de guidage sans entraînement pour les modèles de diffusion et d'appariement de flux qui améliore la diversité des échantillons grâce à une dynamique sans divergence tout en préservant strictement la distribution marginale et en maintenant une haute qualité de génération.

Auteurs originaux : Gal Vinograd, Idan Achituve, Ethan Fetaya

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gal Vinograd, Idan Achituve, Ethan Fetaya

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un artiste ayant maîtrisé un style de peinture spécifique. Vous pouvez peindre une belle chaise, une pièce confortable ou un coucher de soleil avec un réalisme parfait. Cependant, chaque fois que vous tentez de peindre une « pièce confortable », vous vous retrouvez à peindre exactement la même pièce, avec seulement un éclairage légèrement différent. Vous souhaitez de la variété — des agencements de meubles différents, des couleurs différentes, des angles différents — sans perdre l'ambiance « pièce confortable ».

C'est le problème que le papier EDDY (Exact-marginal Diversification via Divergence-free dYnamics) tente de résoudre pour les générateurs d'images par IA.

Voici le détail de son fonctionnement, en utilisant des analogies simples :

Le Problème : L'Effet « Clone »

Les générateurs d'images par IA modernes (comme les modèles de diffusion) fonctionnent en partant d'un tas de bruit aléatoire (statique) et en le nettoyant progressivement pour révéler une image.

Le Problème : Si vous demandez à l'IA de générer 10 images d'un « chat » et que vous le faites 10 fois séparément, vous obtenez 10 chats différents. Mais si vous lui demandez de générer 10 chats en même temps pour gagner du temps, ils finissent souvent par se ressembler de manière suspecte. Ce sont des « clones ».
L'Ancienne Solution : Les méthodes précédentes tentaient de forcer l'IA à être différente en ajoutant une « force répulsive », comme dire à l'IA : « Hé, ne peins pas ce que ton voisin est en train de peindre ! »
Le Défaut : Les anciennes méthodes étaient comme un videur maladroit dans une fête. Elles poussaient les images si fort qu'elles se déformaient. Les chats pouvaient sembler différents, mais ils pouvaient aussi avoir trois pattes ou des artefacts étranges, car l'IA était forcée d'enfreindre ses propres règles pour éviter les autres.

La Solution : Le « Banc de Poissons » (EDDY)

Les auteurs proposent une nouvelle façon de guider l'IA, comparable à un banc de poissons.

L'Objectif : Vous voulez que les poissons (les images) se dispersent et explorent tout l'océan (diversité), mais vous voulez aussi qu'ils restent dans les limites spécifiques de l'océan (maintenir une haute qualité et suivre le prompt).
L'Ingrédient Secret (L'Astuce Physique) : Le papier utilise un concept mathématique appelé l'équation de Fokker-Planck. Imaginez cela comme la « loi de conservation » pour le processus de peinture de l'IA. Elle dit : Si vous déplacez les particules (images) d'une manière très spécifique et tourbillonnante, vous pouvez changer leur position relative les unes par rapport aux autres, sans changer la forme globale de l'océan dans lequel ils nagent.
Comment ça marche :
- Imaginez que l'IA peint 10 images simultanément.
- EDDY examine chaque paire d'images. Si deux images se rapprochent trop (sont trop similaires), EDDY leur donne une légère poussée tourbillonnante pour les écarter.
- La Magie : Cette poussée est « sans divergence ». En termes courants, c'est comme un tourbillon dans une rivière. L'eau tourne, repoussant les choses, mais la quantité totale d'eau à un endroit spécifique reste exactement la même.
- Grâce à cette astuce mathématique, les images deviennent diverses (elles explorent différents « modes » ou variations), mais la qualité de chaque image individuelle reste parfaite. Elles ne se déforment pas et ne se brisent pas.

Le Défi « Perceptif »

Le papier note que pour des tâches complexes comme le texte-vers-image, nous ne pouvons pas simplement mesurer la similarité en regardant les pixels (comme comparer deux photos côte à côte). Nous devons mesurer si elles ressentent similaires.

L'Analogie : Imaginez essayer de dire si deux peintures sont similaires. Vous ne comptez pas les pixels ; vous regardez l'« ambiance » ou le « style ».
La Solution : EDDY utilise un « espace de caractéristiques » (comme les embeddings DINO ou CLIP) pour mesurer cette ambiance. Cependant, faire les calculs exacts pour cette « ambiance » est incroyablement lent et coûteux pour un ordinateur.
Le Raccourci : Les auteurs ont créé une approximation ingénieuse (en utilisant des « différences finies » et une « estimation de la trace de Hutchinson »). Imaginez un artiste habile qui peut deviner le coup de pinceau parfait en faisant quelques croquis rapides et grossiers au lieu de calculer chaque pixel. C'est rapide, et bien que ce ne soit pas mathématiquement parfait à 100 %, cela fonctionne presque aussi bien que la version parfaite.

Les Résultats

Le papier a testé EDDY sur des données synthétiques et de vrais modèles texte-vers-image (comme FLUX et Stable Diffusion).

Diversité : Il a généré avec succès une plus grande variété d'images (par exemple, différents agencements de chaises dans une pièce) par rapport aux méthodes standard.
Qualité : Contrairement aux anciennes méthodes de « videur maladroit » qui créaient des artefacts étranges, EDDY a maintenu les images avec un aspect photoréaliste et fidèle au prompt.
Efficacité : Il ajoute une petite quantité de temps supplémentaire au processus de génération (environ 25 % plus lent), mais il évite la nécessité de réentraîner le modèle d'IA à partir de zéro.

Résumé

EDDY est un nouveau « policier de la circulation » pour la génération d'images par IA. Au lieu de forcer les images à être différentes en les brisant, il utilise une astuce mathématique tourbillonnante pour les pousser doucement à s'écarter. Cela permet à l'IA de créer un ensemble diversifié d'images de haute qualité qui suivent toutes parfaitement le prompt, sans les distorsions étranges observées dans les méthodes précédentes.

Résumé technique : EDDY – Diversification exacte marginale via des dynamiques sans divergence

Énoncé du problème

Les modèles de diffusion et d'appariement de flux (flow matching) se sont imposés comme des outils génératifs puissants dans des modalités telles que les images, les molécules et le texte. Une stratégie courante lors de l'inférence pour améliorer la qualité des échantillons est le guidage, où le terme de dérive est ajusté pour satisfaire des conditions ou des contraintes. Cependant, lors de la génération de plusieurs échantillons pour une même condition, l'échantillonnage standard indépendant et identiquement distribué (I.I.D.) produit souvent une faible diversité, les sorties se regroupant autour de modes similaires.

Les méthodes existantes pour remédier à ce manque de diversité introduisent généralement des interactions entre les échantillons, telles que l'optimisation des latents de bruit initiaux ou l'ajout de potentiels répulsifs lors de l'échantillonnage. Bien que ces approches puissent augmenter la diversité, l'article identifie un défaut critique : elles déforment souvent la distribution marginale des échantillons individuels. Cette distorsion entraîne un compromis où l'augmentation de la diversité se fait au détriment de la fidélité de l'échantillon, se manifestant par des artefacts visibles, une adhérence réduite au prompt ou une dégradation perceptuelle. Le défi central consiste à introduire une diversité basée sur les particules qui encourage les échantillons à explorer différents modes de la distribution conditionnelle sans altérer la distribution marginale cible d'un échantillon unique, et idéalement sans nécessiter d'entraînement supplémentaire.

Méthodologie : EDDY

Les auteurs proposent EDDY (Exact-marginal Diversification via Divergence-free dYnamics), un mécanisme de guidage sans entraînement qui exploite les symétries de l'équation de Fokker–Planck (FPE).

Fondement théorique

La méthode repose sur l'observation que la FPE, qui régit l'évolution de la densité de probabilité $p_t$ , admet des symétries non triviales. Plus précisément, certaines perturbations de la dérive peuvent modifier les trajectoires des particules sans changer la densité marginale évolutive.

Symétrie de la FPE : Les auteurs utilisent l'opérateur de Stein matriciel. Ils démontrent que si une perturbation de dérive $\psi_t$ est construite à partir d'un champ matriciel lisse et antisymétrique $A$ via l'opérateur $A_p(A) = \text{div}(A) + A\nabla \log p$ , la FPE résultante reste inchangée. Par conséquent, la distribution marginale $p_t$ est préservée pour tout temps $t$ , même si la distribution conjointe de plusieurs particules en interaction est modifiée.

Construction de l'algorithme

EDDY incarne ce principe en construisant un champ de guidage qui induit des interactions répulsives entre les particules tout en maintenant la préservation marginale :

Matrices antisymétriques par paires : Pour chaque paire de particules $(x_i, x_j)$ , une matrice antisymétrique $A^{(ij)}$ est construite en utilisant une direction répulsive $r^{(ij)} = -\nabla k(x_i, x_j)$ dérivée d'un noyau de similarité $k$ , et un vecteur $v^{(j)}$ (généralement la dérive ou le score de la particule $j$ ).
$A^{(ij)} = r^{(ij)} \otimes v^{(j)} - v^{(j)} \otimes r^{(ij)}$
Dérive sans divergence : Le terme de guidage pour la particule $i$ est la moyenne de l'opérateur de Stein appliqué à ces matrices sur tous les voisins :
$\psi_i^{\text{EDDY}} = \frac{1}{n-1} \sum_{j \neq i} A_p(A^{(ij)})$
Cela résulte en un champ de transport localement sans divergence (d'où le nom « EDDY »), repoussant les particules pour augmenter la diversité tout en garantissant théoriquement que la marginale à une particule reste $p_t$ .

Approximations pratiques pour les hautes dimensions

Dans des contextes de haute dimension comme la génération d'images à partir de texte, le calcul exact des dérivées secondes des noyaux (nécessaires pour le terme de divergence) est prohibitif en termes de calcul. EDDY emploie deux approximations pratiques :

Différences finies : Utilisées pour approximer les produits vecteur-Hessien.
Estimation de trace de Hutchinson : Utilisée pour approximer le terme laplacien.
Ces approximations permettent à la méthode de fonctionner sur des espaces de caractéristiques perceptuelles (par exemple, les embeddings DINO ou CLIP) plutôt que sur l'espace brut des pixels. Bien que ces approximations signifient que la préservation marginale n'est plus exacte dans un sens théorique, les auteurs soutiennent que la méthode reste une estimation à échantillon fini du champ prouvé comme préservant la marginale.

Pour réduire davantage les coûts de calcul, le guidage n'est appliqué que pendant la partie précoce, à fort bruit, de la trajectoire d'échantillonnage (par exemple, les 20 % premiers des étapes).

Contributions clés

L'article énonce quatre contributions principales :

Identification théorique : Identification et preuve des symétries de la FPE permettant des mécanismes de guidage de particules qui préservent la distribution marginale sous-jacente.
Construction basée sur les noyaux : Introduction d'une construction spécifique utilisant des matrices antisymétriques par paires pour induire des interactions répulsives compatibles avec ces symétries.
Approximations évolutives : Développement d'approximations pratiques (différences finies et estimateurs de Hutchinson) permettant l'utilisation de noyaux dans l'espace des caractéristiques, rendant la méthode applicable à des tâches de haute dimension comme la génération d'images à partir de texte.
Validation empirique : Évaluation sur des distributions synthétiques et des modèles modernes de génération d'images à partir de texte (FLUX.1-dev et SDXL), démontrant une diversité améliorée avec une fidélité distributionnelle maintenue par rapport aux lignes de base.

Résultats expérimentaux

Les auteurs évaluent EDDY par rapport à l'échantillonnage indépendant et identiquement distribué (I.I.D.), au guidage de particules (PG) et à l'échantillonnage de diffusion à conditionnement recuit (CADS).

Mélange gaussien 2D synthétique : Sur un mélange de Gaussiennes 2D, EDDY-RBF (utilisant le noyau RBF exact) augmente avec succès la couverture des modes (diversité) tout en passant des tests statistiques (Kolmogorov-Smirnov, Mann-Whitney, test t de Welch) qui confirment que la distribution marginale est indiscernable de la ligne de base I.I.D.
Génération d'images à partir de texte :
- Diversité vs Fidélité : EDDY atteint systématiquement une meilleure frontière de Pareto que PG. À des niveaux de diversité équivalents (mesurés par la similarité paire DINO), EDDY produit une meilleure alignement avec le prompt (CLIPScore) et de meilleurs scores esthétiques.
- Réduction des artefacts : Alors que PG introduit souvent des artefacts visuels sévères (par exemple, des structures déformées) lorsqu'il pousse pour la diversité, EDDY maintient le photoréalisme, toute dégradation se manifestant par un flou léger plutôt que par des artefacts structurels.
- Comparaison avec CADS : CADS améliore la diversité en perturbant les signaux de conditionnement, mais dégrade considérablement l'adhérence au prompt. EDDY maintient une forte fidélité au prompt tout en augmentant la diversité.
- Modèles testés : Les expériences ont été menées sur FLUX.1-dev (appariement de flux) et Stable Diffusion XL (diffusion).

Importance et affirmations

L'article affirme qu'EDDY fournit une voie fondée sur des principes vers une génération conditionnelle diversifiée. En exploitant les symétries de l'équation de Fokker–Planck, elle découple le compromis entre diversité et fidélité qui affecte les méthodes d'échantillonnage répulsif existantes.

Les auteurs soulignent qu'EDDY est sans entraînement, ne nécessitant aucun apprentissage de modèle supplémentaire, contrairement aux méthodes qui reposent sur l'apprentissage de fonctions potentielles ou de poids d'importance. Bien que la méthode entraîne une surcharge de calcul (augmentation d'environ 25 % du temps d'exécution sur FLUX.1-dev due aux évaluations de noyaux et aux approximations), les auteurs soutiennent qu'il s'agit d'un coût nécessaire pour obtenir des échantillons diversifiés de haute qualité sans les artefacts sévères observés dans les approches concurrentes. Ce travail suggère que la préservation de la distribution marginale est une contrainte cruciale pour maintenir la qualité des sorties génératives tout en explorant les modes de la distribution conditionnelle.