💻 computer science

An Expectation-Maximization Algorithm for Training Clean Diffusion Models from Corrupted Observations

Cet article présente EMDiffusion, un cadre d'espérance-maximisation qui permet l'entraînement de modèles de diffusion de haute qualité directement à partir d'observations corrompues en reconstruisant de manière itérative les images propres et en affinant les poids du modèle, atteignant ainsi des performances de pointe dans diverses tâches d'imagerie computationnelle sans nécessiter de données d'entraînement propres.

Auteurs originaux : Weimin Bai, Yifei Wang, Wenzheng Chen, He Sun

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weimin Bai, Yifei Wang, Wenzheng Chen, He Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Dilemme de l'Œuf et de la Poule

Imaginez que vous essayez d'apprendre à un robot à dessiner des portraits parfaits et de haute qualité.

Le Piège : Pour enseigner au robot, vous avez besoin d'une immense bibliothèque de portraits parfaits et propres.
La Réalité : Dans de nombreuses situations réelles (comme les scanners médicaux ou les vieilles photos), vous n'avez pas d'images parfaites. Vous n'avez que des images corrompues : floues, bruitées ou avec de gros morceaux manquants (comme un puzzle auquel il manque des pièces).

Cela crée une boucle frustrante :

Pour réparer les mauvaises images, vous avez besoin d'un robot intelligent (un « Modèle de Diffusion ») qui sait à quoi ressemble une image propre.
Mais pour apprendre au robot à être intelligent, vous avez besoin d'images propres pour commencer.

Si vous n'avez pas d'images propres, vous ne pouvez pas entraîner le robot. Si vous n'avez pas le robot, vous ne pouvez pas réparer les images. C'est un classique problème de l'œuf et de la poule.

La Solution : EMDiffusion (La Boucle « Deviner et Affiner »)

Les auteurs proposent une nouvelle méthode ingénieuse appelée EMDiffusion pour briser cette boucle. Ils utilisent une stratégie appelée Espérance-Maximisation (EM), qui est essentiellement un cycle de « Deviner et Affiner ».

Pensez-y comme à un détective essayant de résoudre un crime en utilisant uniquement des images de vidéosurveillance floues.

Étape 1 : L'« Étape E » (Le Devin)

La Mise en Place : Le détective commence avec une idée infime et vague de l'apparence d'une personne (entraînée sur seulement quelques photos propres, peut-être 50).
L'Action : Le détective regarde les images de vidéosurveillance floues et essaie d'imaginer à quoi la personne ressemblait probablement. Comme l'idée initiale est faible, le détective pourrait se tromper au début.
L'Astuce : Pour empêcher le détective de simplement deviner les quelques visages qu'il connaît déjà, ils ajoutent un « contrôle de réalité ». Ils forcent la supposition à correspondre plus étroitement aux preuves floues (les données corrompues).
Résultat : Ils produisent une image « reconstruite ». Elle n'est pas encore parfaite, mais elle est plus propre que la photo floue d'origine.

Étape 2 : L'« Étape M » (L'Affinement)

L'Action : Maintenant, le détective prend ces images « reconstruites » (qui sont meilleures que les images floues) et les utilise pour ré-entraîner son modèle mental de ce à quoi ressemble une personne.
La Mise à Jour : Le robot apprend de ces nouvelles suppositions, légèrement plus propres. Il met à jour son « carnet de règles » interne pour être plus précis.
Résultat : Le robot est maintenant plus intelligent qu'il ne l'était auparavant.

Le Cycle

Le processus se répète :

Deviner : Utiliser le robot plus intelligent pour nettoyer à nouveau les photos floues.
Affiner : Utiliser les photos, encore plus propres, pour rendre le robot encore plus intelligent.

À chaque boucle, le robot devient meilleur pour deviner, et les suppositions deviennent meilleures pour entraîner le robot. Finalement, le robot apprend à voir l'image « réelle » cachée dans le bruit, même s'il n'a jamais vu une seule photo parfaite durant la phase principale d'entraînement.

Pourquoi est-ce spécial ?

Habituellement, si vous essayez d'entraîner une IA sur de mauvaises données, elle apprend de mauvaises habitudes (comme penser que toutes les voitures ressemblent à des taches floues).

La Recette Secrète : Les auteurs ont découvert que commencer avec une infime quantité de données propres (comme 50 images) agit comme une « graine ». Cela empêche le robot de dérailler.
Équilibre Adaptatif : La méthode ajuste automatiquement la confiance accordée à la « supposition » par rapport à la confiance accordée aux « preuves floues ». Au début, elle fait davantage confiance aux preuves pour éviter les hallucinations. À mesure que le robot devient plus intelligent, il fait davantage confiance à sa propre connaissance.

Les Résultats

L'équipe a testé cette méthode sur trois types de données « corrompues » :

Inpainting : Remplir les parties manquantes d'une image (comme un puzzle).
Denoising (Débruitage) : Supprimer le grain ou les parasites d'une photo.
Deblurring (Défloutage) : Réparer une photo prise alors que la caméra tremblait.

Dans tous les cas, leur méthode a fonctionné de manière nettement plus efficace que les tentatives précédentes qui essayaient d'apprendre à partir de mauvaises données. Ils ont réussi à créer un robot capable de générer des images propres et de haute qualité, résolvant ainsi le problème de l'œuf et de la poule sans avoir besoin d'une immense bibliothèque de photos parfaites pour commencer.

En un mot

EMDiffusion est un système auto-amélioré. Il commence avec un petit indice de ce qui est « bon », utilise cet indice pour nettoyer les « mauvaises » données, puis utilise les données nettoyées pour apprendre à être encore meilleur pour nettoyer. C'est comme un étudiant qui commence par un croquis rudimentaire, l'utilise pour s'exercer à dessiner, et devient progressivement un maître artiste, sans jamais avoir eu de manuel parfait pour l'imiter.

Énoncé du Problème
Les modèles de diffusion (DM) ont démontré une capacité exceptionnelle à résoudre les problèmes inverses d'imagerie computationnelle en modélisant des priors d'images complexes. Cependant, leur application pratique est sévèrement contrainte par une dépendance à l'égard de jeux de données à grande échelle, de haute qualité et « propres » pour le pré-entraînement. Dans de nombreux scénarios réels, particulièrement en imagerie scientifique et biomédicale (par exemple, la tomographie par rayons X, la cryo-EM), l'acquisition de telles données propres est irréalisable ou prohibitvement coûteuse. À l'inverse, les observations corrompues (bruyantes, floues ou masquées) dotées de modèles de propagation différentiables sont abondantes. Cela crée un dilemme de type « l'œuf ou la poule » : entraîner un modèle de diffusion précis nécessite des images propres, pourtant reconstruire des images propres à partir d'observations corrompues nécessite un modèle de diffusion bien entraîné. Les méthodes existantes pour apprendre à partir de données corrompues, telles qu'AmbientDiffusion ou SURE-Score, peinent souvent face à des types de corruption spécifiques (par exemple, l'inpainting à grande échelle ou un bruit important) ou ne parviennent pas à se généraliser à travers divers problèmes inverses.

Méthodologie : EMDiffusion
Les auteurs proposent EMDiffusion, un nouveau cadre d'Expectation-Maximization (EM) conçu pour résoudre conjointement les problèmes inverses d'imagerie et entraîner un modèle de diffusion directement à partir d'observations corrompues. La méthode opère via un cycle itératif de deux étapes :

Initialisation : Le processus commence par un prior de diffusion « vague » entraîné sur un très petit ensemble d'images propres (seulement 10 à 50 images). Cette initialisation est cruciale pour empêcher le modèle de s'effondrer vers une distribution définie uniquement par les entrées corrompues. Les auteurs notent que ces images propres initiales n'ont pas besoin d'appartenir à la même distribution que la tâche cible (des données hors distribution peuvent servir d'initialiseurs efficaces).
Étape E (Espérance) : En utilisant le modèle de diffusion actuel comme un prior, l'algorithme effectue un Échantillonnage de l'A posteriori de Diffusion Adaptatif pour reconstruire des images propres à partir des observations corrompues.
- L'échantillonnage a posteriori standard échoue souvent lors des premières itérations car le prior est faible, ce qui conduit à un « effondrement de mode » où les échantillons ignorent l'observation et reviennent à la distribution d'entraînement.
- Pour atténuer cela, EMDiffusion introduit un hyperparamètre $\lambda$ qui redimensionne le terme de vraisemblance dans l'équation différentielle stochastique (SDE) de temps inverse.
- $\lambda$ est ajusté de manière adaptative à chaque étape E pour minimiser la perte de données ( $\|y - A(\hat{x}_0)\|_2^2$ ), équilibrant l'influence du prior imparfait par rapport aux données observées. Cela permet la génération de reconstructions plus propres même lorsque le prior est initialement médiocre.
Étape M (Maximisation) : L'algorithme met à jour les poids du modèle de diffusion en utilisant les images reconstruites (échantillons a posteriori) générées lors de l'étape E.
- Cette étape ressemble au score matching de débruitage standard, où le modèle apprend à approximer la fonction de score des données reconstruites « propres ».
- Pour accélérer l'entraînement et éviter le surapprentissage sur les premières reconstructions bruitées, la méthode emploie une stratégie d'entraînement en deux phases : initialement, elle affine les poids hérités de l'itération précédente ; une fois que la qualité de la reconstruction s'améliore (indiquée par le fait que le $\lambda$ optimal descend en dessous de 1), le modèle est réinitialisé et réentraîné à partir de zéro sur l'ensemble complet des échantillons a posteriori.

Contributions Clés

Cadre EM pour les données corrompues : Le papier introduit le premier cadre général pour entraîner des modèles de diffusion basés sur le score à partir d'observations arbitrairement corrompues en utilisant une approche EM, brisant ainsi efficacement la dépendance vis-à-vis des grands jeux de données propres.
Échantillonnage A Posteriori Adaptatif : La proposition d'un facteur d'échelle adaptatif ( $\lambda$ ) pour le terme de vraisemblance dans la SDE inverse traite le problème d'effondrement de mode inhérent aux itérations EM de phase initiale, permettant une reconstruction stable même avec des priors faibles.
Raffinement Itératif : La méthode démontre qu'un petit nombre d'images propres peut agir comme un régularisateur implicite, permettant au modèle de converger progressivement vers la véritable distribution des données propres grâce à l'alternance des étapes de reconstruction et d'entraînement.
Généralisabilité : Contrairement aux travaux antérieurs adaptés à des corruptions spécifiques (comme le masquage), EMDiffusion fournit une approche unifiée applicable à l'inpainting aléatoire, au débruitage et au défloutage.

Résultats Expérimentaux
Les auteurs valident EMDiffusion sur les jeux de données CIFAR-10 et CelebA à travers trois tâches : l'inpainting aléatoire (masquage de 60 % des pixels), le débruitage gaussien et le défloutage gaussien.

Inpainting : EMDiffusion surpasse significativement les bases de référence comme AmbientDiffusion et SURE-Score, atteignant une qualité de reconstruction (PSNR/LPIPS) comparable à celle de Diffusion Posterior Sampling (DPS) qui utilise un prior entraîné sur l'ensemble des données propres.
Débruitage et Défloutage : La méthode surpasse SURE-Score et les bases de référence auto-supervisées (Noise2Self), restaurant les détails fins (par exemple, les roues de voitures, les traits du visage) que les autres méthodes lissent.
Qualité Générative : Les modèles de diffusion appris atteignent des scores FID de pointe par rapport aux autres méthodes entraînées sur des données corrompues. Notamment, un modèle appris à partir de 50 000 images corrompues via EM est plus performant qu'un modèle entraîné sur environ 15 000 images propres.
Efficacité : La méthode atteint ces résultats en utilisant une architecture DDPM standard (35,7M de paramètres), ce qui est nettement plus petit que les architectures utilisées par les bases de référence concurrentes (par exemple, les 113M+ paramètres d'AmbientDiffusion).

Signification et Revendications
Le papier affirme qu'EMDiffusion démontre qu'il est informationnellement possible d'apprendre la distribution sous-jacente des données propres principalement à partir de mesures corrompues. La signification réside dans :

Surmonter la Raretur de Données : Elle offre une solution pratique pour les domaines où les données propres sont indisponibles, en exploitant l'abondance des observations corrompues.
Initialisation Robuste : Elle établit qu'un ensemble minimal d'images propres (même hors distribution) est suffisant pour initialiser le manifold, empêissant le modèle de s'effondrer vers une distribution biaisée des entrées corrompues.
Performance de Pointe : La méthode atteint de nouvelles performances de pointe dans les tâches d'imagerie inverse sans nécessiter de modèles pré-entraînés sur de grands jeux de données propres, comblant ainsi l'écart entre les priors théoriques et les contraintes de données pratiques.

Les auteurs font preuve de modestie quant à la portée de leurs travaux, reconnaissant que la méthode repose sur l'hypothèse que le modèle de propagation est connu et différentiable, et que les travaux futurs pourraient s'étendre à l'apprentissage de modèles de propagation inconnus ou de statistiques de bruit.