🤖 AI

Local Intrinsic Dimension Unveils Hallucinations in Diffusion Models

Ce papier propose que les hallucinations structurelles dans les modèles de diffusion proviennent d'instabilités induites par une dimension intrinsèque locale (LID) élevée sur la variété induite par le modèle, en introduisant une méthode appelée Intrinsic Quenching (IQ) pour réduire la LID et atténuer efficacement ces anomalies, améliorant ainsi particulièrement la cohérence anatomique en imagerie médicale.

Auteurs originaux : Bartlomiej Sobieski, Matthew Tivnan, Dawid Płudowski, Michał Jan Włodarczyk, Pengfei Jin, Przemyslaw Biecek, Quanzheng Li

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bartlomiej Sobieski, Matthew Tivnan, Dawid Płudowski, Michał Jan Włodarczyk, Pengfei Jin, Przemyslaw Biecek, Quanzheng Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de diffusion comme un maître sculpteur qui a passé des années à étudier des milliers de statues. Sa tâche consiste à créer de nouvelles statues à partir d'un bloc de marbre (du bruit) en enlevant des morceaux jusqu'à ce qu'une forme parfaite émerge. Habituellement, ils font du bon travail. Mais parfois, ils se perdent et créent une statue avec six doigts, trois yeux ou une main qui ressemble à une fleur. Dans le monde de l'IA, ces erreurs sont appelées des hallucinations.

Ce papier soutient que ces erreurs se produisent parce que le sculpteur se perd dans une partie « brumeuse » de sa carte mentale. Les auteurs proposent une nouvelle façon de résoudre ce problème en mesurant à quel point le chemin du sculpteur est « instable », puis en l'adoucissant doucement.

Voici le détail de leur découverte et de leur solution :

1. Le Problème : Le Chemin « Instable » du Sculpteur

Les auteurs suggèrent que lorsqu'un modèle de diffusion crée une hallucination (comme une main à six doigts), ce n'est pas une erreur aléatoire. Cela se produit dans une partie spécifique du « paysage mental » du modèle (appelé une variété ou manifold) où la géométrie est instable.

Imaginez les données d'entraînement du modèle comme une vallée plate et lisse où vivent les mains réelles.

Génération Normale : Le modèle marche doucement sur le sol de la vallée, créant des mains parfaites.
Hallucination : Le modèle pose le pied sur un rebord instable et vacillant. Ici, le sol semble avoir des dimensions supplémentaires et invisibles. Parce que le sol est instable, le modèle invente accidentellement des doigts supplémentaires ou des yeux mal alignés.

Les auteurs appellent cette instabilité Instabilité Locale de la Variété (LMI). C'est comme essayer de marcher sur un trampoline qui s'étire dans des directions étranges ; vous pourriez finir par rebondir dans une forme que vous n'aviez pas prévue.

2. La Découverte : Mesurer le « Vacillement »

Pour trouver ces zones instables, les auteurs ont examiné un concept appelé Dimension Intrinsèque Locale (LID).

L'Analogie : Imaginez une feuille de papier plate (2D) flottant dans une pièce en 3D. Si vous regardez un tout petit point sur le papier, il semble plat (2D). Mais si le papier est froissé ou si le modèle hallucine, ce point pourrait soudainement sembler avoir des directions supplémentaires et inutiles pour se déplacer (comme en 3D ou 4D).
La Découverte : Le papier montre que lorsque le modèle est sur le point de faire une erreur (comme ajouter un doigt supplémentaire), la « dimension » de l'espace dans lequel il se déplace gonfle soudainement. C'est comme si le modèle essayait de marcher dans une direction qui ne devrait pas exister.

Ils ont testé cela en créant un filtre qui recherche ces « dimensions gonflées ». Ils ont constaté que ce filtre est en fait meilleur pour repérer les mauvaises mains que les méthodes précédentes qui observaient comment l'image changeait au fil du temps.

3. La Solution : « Extinction Intrinsèque » (IQ)

Une fois qu'ils savaient où les erreurs se produisaient (dans les zones instables et à haute dimension), ils ont créé une solution appelée Extinction Intrinsèque (IQ).

La Métaphore : Imaginez que le modèle est une voiture roulant sur une route. Lorsqu'elle rencontre une zone cahoteuse et instable (une hallucination), la voiture commence à dévier.
La Solution : L'IQ agit comme un système de suspension intelligent. Lorsque la voiture approche de la zone cahoteuse, elle détecte l'instabilité. Au lieu de laisser la voiture dévier, elle la repousse doucement vers la partie lisse et stable de la route. Elle « dégonfle » les dimensions supplémentaires et inutiles, forçant le modèle à respecter les règles logiques et réalistes (comme « les mains n'ont que cinq doigts »).

Ils appellent cela « Extinction » (Quenching) car c'est comme refroidir un métal chaud et instable pour le rendre solide et stable à nouveau.

4. Est-ce que ça Marche ?

Les auteurs ont testé cela sur de nombreuses tâches différentes :

Dessin de Mains : Ils ont montré que l'IQ a considérablement réduit le nombre de mains à six doigts par rapport aux autres méthodes.
Imagerie Médicale : Ils l'ont testé sur la reconstruction de scanners cérébraux (images utilisées par les médecins). Dans ce cas, une hallucination pourrait ressembler à une tumeur factice ou à une partie manquante du cerveau, ce qui est dangereux. L'IQ a aidé à s'assurer que les images reconstruites étaient anatomiquement correctes sans inventer de fausses maladies.
Visages et Animaux : Cela a également amélioré la qualité des visages et des images d'animaux générés, les rendant plus naturels.

Résumé

Le papier affirme que les hallucinations de l'IA se produisent parce que le modèle se perd dans des parties « instables » de ses propres mathématiques. En mesurant ce vacillement (en utilisant la Dimension Intrinsèque Locale) et en repoussant doucement le modèle vers un sol stable (en utilisant l'Extinction Intrinsèque), ils peuvent empêcher l'IA d'inventer des choses impossibles comme des mains à six doigts ou de fausses tumeurs. C'est une façon d'enseigner à l'IA de rester sur le « sol ferme » de la réalité.

Résumé Technique : La Dimension Intrinsèque Locale Révèle les Hallucinations dans les Modèles de Diffusion

Énoncé du Problème

Les Modèles de Diffusion (DM) sont susceptibles de générer des « hallucinations structurelles » : des échantillons qui s'alignent sur les propriétés statistiques des données d'entraînement mais violent les règles physiques, logiques ou morphologiques sous-jacentes (par exemple, des mains à six doigts ou des yeux mal alignés). Bien que des travaux récents aient attribué ces échecs à l'interpolation de modes et aux instabilités temporelles durant le processus inverse, une définition formelle et un mécanisme robuste de prévention restent des défis ouverts. Les méthodes d'identification actuelles reposent fortement sur la perception humaine, et les stratégies d'atténuation existantes nécessitent souvent des données d'entraînement supplémentaires, des classificateurs externes ou des hypothèses architecturales spécifiques.

Méthodologie

Les auteurs proposent un changement de paradigme, passant de l'analyse du comportement génératif temporel à l'examen de l'instabilité locale de la variété induite par le modèle. Leur approche s'appuie sur l'hypothèse de variété stratifiée, en supposant que les données de haute dimension résident sur des sous-variétés de basse dimension et que les DM apprennent des approximations statistiques de ces strates.

1. Fondement Théorique : Dimension Intrinsèque Locale (LID)

L'idée centrale est que les hallucinations structurelles se manifestent par une Instabilité Locale de la Variété (LMI), directement pilotée par la Dimension Intrinsèque Locale (LID) de l'échantillon généré sur la variété induite par le modèle ( $M_\theta$ ).

LMI comme Proxy : Les auteurs définissent la LMI comme la trace de la covariance de la sortie du générateur sous de petites perturbations. Ils prouvent théoriquement (Proposition 1) que la LMI est approximativement proportionnelle à la somme des valeurs singulières au carré du Jacobien du générateur, tronquée par la LID.
LID comme Moteur : Ils démontrent que les hallucinations surviennent lorsque le DM surestime la complexité de l'échantillon, gonflant la LID. Ce gonflement introduit des « dimensions spurious » (degrés de liberté illogiques) ou surestime les valeurs singulières valides, conduisant à des directions instables et hors de la variété.
Estimation : S'appuyant sur des découvertes récentes, les auteurs montrent que les pertes d'entraînement standard des modèles de diffusion (Denoising Score Matching et Information Score Matching) fournissent des estimateurs efficaces et non biaisés de la LID ( $LID_\theta$ ) pour de petits pas de temps.

2. Quenching Intrinsèque (IQ)

Pour remédier à ces instabilités, les auteurs proposent le Quenching Intrinsèque (IQ), un mécanisme correctif qui « dégonfle » dynamiquement la LID durant le processus génératif.

Mécanisme : IQ modifie la fonction de score du processus inverse en soustrayant un terme de gradient dérivé de l'énergie LID ( $E(x_t) = LID_\theta(\hat{x}^\theta_0(x_t))$ ).
Garantie Théorique : Le Théorème 2 établit que cette modification équivaut à un échantillonnage selon une distribution de Boltzmann qui pénalise les états à haute LID, guidant efficacement la trajectoire vers des strates de plus basse dimension et stables de la variété.
Stratégie d'Implémentation :
- Fenêtre Temporelle : La correction est appliquée uniquement dans un intervalle étroit et précoce du processus inverse ( $t \in [t_1, t_2]$ ) où la géométrie de la variété est la plus critique et où l'estimateur LID est valide.
- Mise à l'Échelle Dynamique : La force de guidage ( $\lambda_t$ ) est ajustée dynamiquement pour maintenir un ratio fixe par rapport à la mise à jour naturelle, assurant ainsi la stabilité.
- Filtrage : Pour éviter de trop contraindre les échantillons valides, IQ est désactivé pour les échantillons dont l'énergie LID estimée est inférieure à un seuil dépendant du temps ( $q_t$ ), déterminé par le percentile d'une distribution de référence.

Contributions Clés

Perspective Géométrique sur les Hallucinations : L'article reformule les hallucinations structurelles comme des instabilités sur la variété induite par le modèle, identifiant le gonflement de la Dimension Intrinsèque Locale (LID) comme leur moteur principal.
Détection Supérieure : Les auteurs démontrent qu'un filtre basé sur la LID surpasse les filtres temporels récents (comme le Filtre de Variance de Trajectoire) pour séparer les échantillons corrects des hallucinations sur plusieurs jeux de données.
Quenching Intrinsèque (IQ) : Ils introduisent un mécanisme correctif direct et agnostique au modèle qui réduit les hallucinations en dégonflant dynamiquement la LID durant la génération. Contrairement à d'autres méthodes, IQ ne nécessite ni données d'entraînement supplémentaires, ni classificateurs externes, ni modifications architecturales.
Application en Imagerie Médicale : La méthode est validée sur la reconstruction de CT à faible dose, montrant qu'elle peut réduire les hallucinations diagnostiques (par exemple, une pathologie fabriquée) tout en préservant la qualité de reconstruction.

Résultats Expérimentaux

Les auteurs ont évalué IQ par rapport à des bases de référence incluant le Guidage Dynamique (DG), la Modulation d'Attention Adaptative (AAM) et RODS, sur des jeux de données synthétiques (GaussianGrid, SimpleShapes, MNIST) et des jeux de données d'images naturelles (11kHands, FFHQ, AFHQV2).

Réduction des Hallucinations : IQ a systématiquement surpassé toutes les bases de référence. Sur le jeu de données 11kHands, IQ a réduit le ratio d'hallucinations (HR) de près de 70 % (passant d'environ 29 % à environ 9 %) et a obtenu un score de Préférence Utilisateur (UP) de 68 %, dépassant significativement la base de référence (39,8 %).
Imagerie Médicale : Dans la reconstruction de CT à faible dose (jeu de données RSNA), IQ a égalé les gains de performance diagnostique de DG (qui nécessite des étiquettes de vérité terrain pour l'entraînement) tout en préservant strictement les métriques de reconstruction d'image (FID, PSNR, SSIM). IQ a amélioré le mAP moyenné macro pour la détection d'hémorragies, passant de 0,27 (base de référence) à 0,31.
Études d'Ablation : Les expériences ont confirmé que la méthode est plus efficace lorsqu'elle est appliquée aux premiers pas de temps et que la stratégie de filtrage dynamique est cruciale pour éviter de « trop comprimer » les échantillons vers des modes, ce qui dégraderait les métriques de diversité.

Importance et Revendications

L'article revendique que IQ offre une solution universelle et pratique pour imposer une cohérence anatomique dans la modélisation générative, en particulier pour les tâches en aval où les hallucinations posent des risques de sécurité, comme en imagerie médicale.

Insight Théorique : Le travail fournit une explication géométrique des hallucinations, les reliant à la sur-expansion de la dimensionalité de la variété induite par le modèle.
Utilité Pratique : En opérant sans classificateurs externes ni réentraînement, IQ est présenté comme une solution zero-shot très prometteuse pour améliorer la fiabilité des modèles de diffusion dans des scénarios de prise de décision réels.
Limites : Les auteurs reconnaissent modestement que l'évaluation reste un goulot d'étranglement en raison du caractère subjectif de l'annotation humaine pour les échecs structurels. Ils notent également que IQ introduit une surcharge computationnelle modérée (environ 20 % plus lent que la base de référence, mais plus rapide que les variantes RODS) et que la recherche d'estimateurs LID moins coûteux est une direction nécessaire pour les améliorations futures.