🤖 machine learning

Mitigating Diffusion Model Hallucinations with Dynamic Guidance

Cet article introduit le Guidage Dynamique (Dynamic Guidance), une nouvelle approche lors de la génération qui atténue les hallucinations des modèles de diffusion en accentuant sélectivement la fonction de score le long des directions sujettes aux artefacts tout en préservant les variations sémantiques valides, surpassant ainsi les bases de référence existantes sur des ensembles de données d'images contrôlées et naturelles.

Auteurs originaux : Kostas Triaridis, Alexandros Graikos, Aggelina Chatziagapi, Grigorios G. Chrysos, Dimitris Samaras

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kostas Triaridis, Alexandros Graikos, Aggelina Chatziagapi, Grigorios G. Chrysos, Dimitris Samaras

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à peindre à un artiste très talentueux mais légèrement confus. Cet artiste, un « Modèle de Diffusion », est excellent pour créer de magnifiques images, mais il arrive parfois qu'il devienne un peu trop créatif de la mauvaise manière. Il peut dessiner une main avec six doigts, un chat sans queue, ou un cheval à trois pattes. Dans le monde de l'IA, nous appelons ces erreurs des « hallucinations ».

Selon cet article, la raison pour laquelle l'artiste commet ces erreurs est qu'il essaie d'être trop lisse. Lorsqu'il apprend, il voit une image de « chien » et une image de « chat ». Au lieu de les garder comme deux idées distinctes et nettes, il essaie de les fusionner en un entre-deux flou. Parfois, cet entre-deux flou se transforme en une créature bizarre qui n'existe pas réellement dans la nature.

Les auteurs de cet article, de l'Université de Stony Brook et de l'Université de Wisconsin-Madison, proposent une nouvelle technique appelée Guidage Dynamique (Dynamic Guidance) pour corriger cela. Voici comment cela fonctionne, en utilisant des analogies simples :

Le Problème : L'« Entre-deux Flou »

Imaginez l'esprit de l'artiste comme un paysage avec deux hautes montagnes : l'une est le « Chien » et l'autre est le « Chat ». Le chemin entre elles est une vallée lisse et plate.

L'Ancienne Méthode : Quand l'artiste essaie de dessiner, il lui arrive de rester coincé dans cette vallée plate. Parce que le chemin est si lisse, l'artiste ne sait plus quelle direction prendre, alors il dessine simplement un mélange bizarre de chien et de chat. C'est l'« hallucination ».
La Correction Standard : Habituellement, les gens essaient de dire à l'artiste : « Dessine un Chien ! » (ce qu'on appelle le Classifier Guidance). Mais si l'artiste commence avec un croquis aléatoire qui ressemble davantage à un chat, et que vous le forcez à être un chien, l'artiste peut être confus et faire une erreur quand même, comme dessiner un chien avec une queue de chat.

La Solution : Le Guidage Dynamique (Le « Navigateur Intelligent »)

Les auteurs suggèrent une approche plus intelligente. Au lieu de choisir une destination (comme « Chien ») dès le tout début et de s'y tenir coûte que coûte, l'artiste reçoit un Navigateur Intelligent qui vérifie la carte à chaque étape du processus de dessin.

Vérifier l'État Actuel : À chaque petit instant pendant que l'image se forme, le Navigateur demande : « D'après ce que nous avons dessiné en ce moment même, cela ressemble-t-il plus à un Chien ou à un Chat ? »
Ajuster le Chemin : Si le croquis actuel semble pencher vers le « Chien », le Navigateur rend le chemin plus net vers la montagne du « Chien ». S'il penche vers le « Chat », il le rend plus net vers le « Chat ».
Éviter l'Entre-deux Flou : En ajustant constamment la cible, l'artiste ne reste jamais coincé dans cette vallée lisse et confuse entre les deux. Il est forcé de faire un pas décisif vers une forme réelle et valide.

Pourquoi c'est Spécial

L'article souligne trois points clés de cette méthode :

Elle est Sélective : Imaginez que l'artiste dessine une main. Le Navigateur sait que changer la couleur de la peau est un changement valide et bon (diversité). Mais changer le nombre de doigts est un mauvais changement (hallucination). Le Guidage Dynamique est assez intelligent pour rendre le chemin plus net uniquement pour la direction du « nombre de doigts », tout en laissant la direction de la « couleur de la peau » fluide et diversifiée. Il corrige les mauvaises choses sans gâcher les bonnes.
Cela se passe Pendant le Dessin : La plupart des autres méthodes essaient de corriger l'image après qu'elle soit terminée (comme un filtre qui supprime les mauvaises images). Cette méthode corrige l'image pendant qu'elle est dessinée. C'est comme un entraîneur corrigeant la forme d'un coureur pendant la course, plutôt que de lui dire qu'il a mal couru une fois la course terminée.
Cela fonctionne avec les Mots : Les auteurs ont testé cela sur des modèles de texte-vers-image (où vous tapez « un cheval dans un champ »). Parfois, l'ordinateur est confus quant à la manière dont le cheval se tient. Le système de Guidage Dynamique peut regarder le cheval à moitié fini, réaliser que la pose est ambiguë, et ajuster subtilement les instructions vers « un cheval au galop » ou « un cheval couché » pour s'assurer que l'anatomie est cohérente.

Les Résultats

L'article a testé cela sur plusieurs éléments :

Formes Simples : Lorsqu'on lui a demandé de dessiner des triangles ou des carrés, la méthode a empêché l'IA de dessiner des mélanges bizarres des deux.
Images Réelles : Sur un immense ensemble de données de 1,2 million d'images (ImageNet), la méthode a produit des images qui paraissaient plus réalistes et possédaient moins de caractéristiques « impossibles ».
Retour Humain : Lorsque des humains ont regardé les images générées avec cette nouvelle méthode, ils ont convenu qu'il y avait moins d'erreurs (comme des pattes supplémentaires sur les animaux) et qu'ils préféraient les nouvelles images aux anciennes.

En résumé, le Guidage Dynamique est comme donner à l'artiste IA un GPS qui recalcule constamment l'itinéraire pour s'assurer qu'il reste sur la route de la réalité, évitant ainsi les pièges hors-piste où vivent les hallucinations.

Résumé Technique : Atténuer les Hallucinations des Modèles de Diffusion par le Guidage Dynamique

Définition du Problème

Les modèles de diffusion, bien que dominants dans la génération d'images de haute fidélité, souffrent d'« hallucinations » — des échantillons contenant des incohérences structurelles (par exemple, une anatomie incorrecte comme des doigts supplémentaires ou des parties du corps manquantes) qui se situent en dehors du support de la distribution réelle des données. Les auteurs attribuent ces hallucinations à l'interpolation de modes.

Des découvertes récentes indiquent que la fonction de score apprise dans les modèles de diffusion probabilistes de débruitage (DDPM) est excessivement lisse dans les régions de faible densité entre les modes de données. Alors que la véritable fonction de score devrait être abrupte dans ces régions intermédiaires pour forcer l'échantillonneur à effectuer des étapes correctives plus importantes, la lissité apprise cause un « piégeage » des échantillons lors du processus de débruitage, résultant en des interpolations sémantiquement invalides entre des modes incompatibles.

Les méthodes de guidage existantes (par exemple, le Guidage par Classificateur, le Guidage sans Classificateur) orientent généralement les échantillons vers des régions de haute vraisemblance sur la base d'une condition fixe fournie au début de l'échantillonnage. Les auteurs soutiennent que si cette condition fixe est mal alignée avec le bruit initial ou la trajectoire évolutive, le guidage peut pousser l'échantillon vers des régions nécessitant de grandes étapes correctives, entraînant un dépassement (overshooting) ou un sous-tirage (undershooting) du mode cible, et générant ainsi des hallucinations. De plus, les approches actuelles traitent souvent les hallucinations comme un problème de filtrage post-hoc ou un problème d'alignement texte-image, plutôt que comme un défaut fondamental de la trajectoire d'échantillonnage elle-même.

Méthodologie : Guidage Dynamique (DG)

Le papier propose le Guidage Dynamique (DG), une méthode qui atténue les hallucinations en accentuant (sharpening) de manière adaptative la fonction de score pendant le processus d'échantillonnage, plutôt que de s'appuyer sur des conditions statiques ou un filtrage post-génération.

Mécanisme Central

Au lieu de s'engager sur une cible de guidage unique (classe $c$ ) dès le début, le DG identifie le mode le plus probable $c^*$ pour l'échantillon bruité actuel $x_t$ à chaque étape de débruitage. Le guidage est ensuite appliqué vers ce mode sélectionné dynamiquement.

L'algorithme approxime une fonction de score plus abrupte $\hat{s}_\theta(x_t)$ comme suit :
$\hat{s}_\theta(x_t) := \sum_{c} \mathbb{1}_{c^*}(c) \nabla_{x_t} \log p_\theta(x_t | c)$
où $c^* = \arg \max_{c \in C} \log p(c | x_t)$ .

En recalculant la classe la plus probable à chaque étape, le signal de guidage reste aligné avec la direction locale du score, empêant la trajectoire de rester bloquée sur des chemins qui nécessiteraient des étapes d'interpolation importantes, génératrices d'hallucinations.

Variantes d'Implémentation

Conditionnement Discret (Guidage par Classificateur) : Pour les ensembles de données avec des étiquettes discrètes (ex: classes ImageNet, types de formes), le DG utilise un classificateur pour prédire $p(c|x_t)$ et applique les gradients vers la classe la plus probable $c^*$ .
Pseudo-Classes (Clustering) : La méthode ne nécessite pas de classes sémantiques prédéfinies. Les auteurs démontrent que le regroupement (clustering) de voisinages sémantiquement cohérents dans la distribution des données (en utilisant par exemple les caractéristiques de DINOv2) pour créer des « pseudo-classes » est suffisant. Cela permet au DG d'isoler les directions sujettes aux hallucinations sans nécessiter de mapping vers des concepts interprétables.
Texte-vers-Image (Guidage sans Classificateur) : Pour les modèles conditionnés par le texte, le DG est étendu en ajustant dynamiquement le prompt textuel. Un modèle de langage-vision (VLM) observe les prédictions de débruitage intermédiaires et, si l'image correspond à une « branche » spécifique d'un prompt (généré par un LLM pour résoudre les ambiguïtés), le prompt est mis à jour vers cette branche spécifique. Cela accentue efficacement la fonction de score le long de la direction de l'ambiguïté résolue.

Accentuation Sélective (Selective Sharpening)

Un aperçu théorique clé est que le DG effectue une accentuation sélective de la fonction de score. Il augmente la magnitude du gradient uniquement le long des directions associées à la classe de guidage sélectionnée (là où les hallucinations se produisent), tout en laissant les autres directions (par exemple, des variations sémantiques valides comme la couleur de la peau) inchangées. Cela préserve la diversité des échantillons tout en supprimant les générations invalides.

Contributions Clés

Algorithme de Guidage Dynamique : Une nouvelle stratégie d'échantillonnage qui sélectionne de manière adaptative les cibles de guidage à chaque étape pour éviter les régions d'interpolation de faible probabilité.
Accentuation Sélective du Score : Démonstration que le DG atténue les hallucinations en accentuant spécifiquement la fonction de score le long des directions induisant des hallucinations, tout en préservant la diversité ailleurs.
Première Atténuation au Moment de la Génération : La première approche traitant les hallucinations pendant le processus d'échantillonnage, plutôt que par détection/rejet post-hoc ou post-entraînement.
Extension aux Pseudo-Classes : Une méthode structurée pour étendre le DG à des scénarios sans étiquettes de classes explicites en utilisant le clustering basé sur les données.
Adaptation Texte-vers-Image : Une extension du DG aux modèles de diffusion latente utilisant l'ajustement dynamique de prompt via des VLM et des LLM.

Résultats Expérimentaux

Ensembles de Données Contrôlés

Les auteurs ont évalué le DG sur des ensembles de données synthétiques où les hallucinations sont strictement définies :

Formes Uniques : Images avec 1 à 3 instances de la même forme. Les hallucinations sont des formes mixtes.
- Résultat : Le DG a obtenu une réduction de 74,21 % du taux d'hallucination (HR), surpassant de manière significative le Filtrage de Variance (11,58 %) et le Guidage par Classificateur (11,05 %).
Formes Mixtes : Images avec jusqu'à une instance de chaque forme. Les hallucinations sont des multiples instances de la même forme.
- Résultat : Le DG a obtenu une réduction de HR de 72,97 %, tandis que le Guidage par Classificateur a en fait augmenté les hallucinations (-1,92 %).
Hands-11k : Images de mains humaines. Les hallucinations sont des erreurs anatomiques.
- Résultat : Le DG a obtenu une réduction de HR de 45,12 %, surpassant le Filtrage de Variance et le Guidage par Classificateur.

Benchmarks à Grande Échelle (ImageNet-1k)

Comme les hallucinations sont difficiles à définir dans ImageNet, les auteurs ont utilisé des métriques de substitution : la Précision (fraction d'échantillons dans le support des données réelles) et l'Inception Score (IS).

Performance : Le DG a systématiquement surpassé le Guidage par Classificateur à travers diverses échelles de guidage.
Métriques : Dans la meilleure configuration, le DG a amélioré la Précision de 8 points et l'Inception Score de 5 points par rapport à la ligne de base, tout en maintenant la diversité (le Recall n'a pas été significativement réduit).
Ablation : Les auteurs ont constaté que l'application du DG uniquement durant les étapes intermédiaires $[T_1, T_2]$ (spécifiquement de 800 à 400 dans leur configuration) donnait les meilleurs résultats, évitant la rigidité d'un guidage sur toute la trajectoire.

Génération Texte-vers-Image

Appliqué à Stable Diffusion 2.1 avec une étude utilisateur impliquant 18 participants :

Réduction des Hallucinations : Le DG a réduit le taux perçu d'hallucinations pour 100 % des participants, avec une réduction moyenne de 14,1 % (de 52,7 % à 45,3 %).
Préférence : Les participants ont préféré les images générées par le DG par rapport à la ligne de base (taux de préférence de 38,7 % contre 27,3 %).

Signification et Revendications

Le papier affirme que le Guidage Dynamique représente un changement fondamental dans l'approche des hallucinations des modèles de diffusion. En intervenant directement dans le processus génératif, le DG empêche les hallucinations de survenir, évitant ainsi le gaspillage computationnel lié à la génération puis au rejet d'échantillons défectueux.

Les auteurs soulignent que leur approche est fondée sur des principes : elle repose sur la nécessité mathématique d'accentuer la fonction de score dans les régions de faible densité pour empêcher l'interpolation de modes. Crucialement, ils démontrent que cela peut être réalisé sans sacrifier les interpolations « valides » qui contribuent à la diversité et à la généralisation des échantillons. La capacité d'utiliser des pseudo-classes et l'ajustement dynamique de prompt suggère que le DG est une solution scalable pour des tâches de génération complexes du monde réel où les définitions de classes rigides sont insuffisantes.

Le travail conclut que le DG constitue une étape vers des modèles de diffusion plus fiables, offrant un mécanisme pour contrôler le compromis entre fidélité et diversité en ciblant les propriétés géométriques spécifiques de la fonction de score apprise qui mènent aux incohérences structurelles.