Denoising Diffusion Probabilistic Models

Cette présentation de modèles de diffusion probabilistes pour la synthèse d'images atteint des performances de pointe sur CIFAR10 et LSUN en s'appuyant sur une nouvelle connexion théorique entre ces modèles et le score matching avec dynamique de Langevin.

L'essentiel

🎨 Le Magicien du "Dé-Flou" : Comment créer des images à partir de bruit

Imaginez que vous avez un tableau magnifique, un chef-d'œuvre de la peinture. Maintenant, imaginez que vous versez lentement de l'encre noire dessus, goutte après goutte, jusqu'à ce que l'image soit complètement recouverte d'un gribouillis noir et blanc. C'est ce qu'on appelle le processus de diffusion : on transforme une image claire en un chaos de bruit.

L'idée géniale de cette recherche (par Jonathan Ho et ses collègues de Berkeley) est simple : Et si on apprenait à une intelligence artificielle à faire l'inverse ?

Et si on lui apprenait à prendre ce gribouillis noir et blanc, et à retirer l'encre, goutte par goutte, pour révéler l'image cachée en dessous ? C'est exactement ce que font ces modèles.

1. Le Jeu de l'Encre et du Déflouage 🖌️

Pour entraîner cette IA, les chercheurs utilisent une méthode en deux temps :

• L'Entraînement (Le processus de diffusion) : On prend des milliers de photos réelles (des chats, des visages, des voitures). On leur ajoute progressivement du "bruit" (du grain, comme sur une vieille photo TV) jusqu'à ce qu'elles ne soient plus que du bruit blanc. C'est comme si on apprenait à l'IA comment une image se dégrade.
• La Création (Le processus inverse) : Une fois entraînée, on donne à l'IA un écran rempli de bruit aléatoire. Elle doit alors "deviner" quel bruit retirer pour retrouver une image logique. Elle fait cela étape par étape, comme un détective qui enlève des couches de poussière pour révéler un trésor.

2. La Révolution : Apprendre à "Nettoyer" plutôt qu'à "Prédire" 🧹

Avant ce papier, les modèles d'IA pour créer des images (comme les GANs) étaient souvent difficiles à entraîner et instables. Ils essayaient de prédire directement le prochain pixel d'une image, un peu comme si vous deviez dessiner un visage entier d'un seul coup sans jamais faire d'erreur.

Ici, les chercheurs ont trouvé un raccourci brillant. Au lieu de demander à l'IA de prédire l'image finale, ils lui demandent simplement de deviner quel bruit a été ajouté.

• L'analogie du bruit de fond : Imaginez que vous écoutez une conversation dans une pièce très bruyante. Au lieu d'essayer de recréer la voix de la personne, l'IA apprend à identifier le bruit de fond (le "bruit" ajouté) et à le soustraire.
• Le résultat : En apprenant à retirer le bruit, l'IA apprend par la même occasion à reconstruire l'image. C'est beaucoup plus facile et stable pour l'ordinateur.

3. Pourquoi c'est si impressionnant ? 🌟

Les résultats de cette étude sont stupéfiants :

• Qualité photo-réaliste : Sur des jeux de données comme CIFAR10 (des petites images de 32x32 pixels) ou LSUN (des images de chambres et d'églises), les images générées sont d'une qualité incroyable, parfois même meilleure que les meilleurs modèles précédents.
• Pas de "hallucinations" bizarres : Contrairement à d'autres modèles qui peuvent créer des visages avec 3 yeux ou des voitures qui fondent, ces images sont très cohérentes.

4. La Compression Progressive : Une histoire de "Zoom" 📸

L'article introduit aussi un concept fascinant : la compression progressive.

Imaginez que vous envoyez une photo à un ami, mais votre connexion internet est très lente.

1. D'abord, vous lui envoyez une version très floue (juste les grandes formes, les couleurs générales).
2. Ensuite, vous envoyez un peu plus de détails (les contours).
3. Enfin, vous envoyez les petits détails (les pores de la peau, les reflets).

Le modèle de diffusion fonctionne exactement comme ça. Il commence par générer les grandes structures de l'image (la forme d'un visage), puis ajoute progressivement les détails fins. C'est comme si l'IA "décompressait" l'image étape par étape, du flou vers la netteté.

5. En résumé : Pourquoi c'est important ? 🚀

Ce papier est une étape majeure car il montre qu'on n'a pas besoin de modèles complexes et instables pour créer de belles images.

• C'est simple : Le modèle est basé sur des principes mathématiques clairs (comme la thermodynamique, la science de la chaleur et du mouvement).
• C'est efficace : Il produit des images de très haute qualité.
• C'est flexible : On peut l'utiliser pour générer des visages, des paysages, ou même pour faire de la compression de données (envoyer des images en ne transmettant que les informations essentielles).

En une phrase : Les chercheurs ont créé une IA qui apprend à transformer le chaos (le bruit) en ordre (une belle image), un peu comme un artiste qui sculpte une statue en enlevant le surplus de pierre, mais en faisant l'inverse : il sculpte une image en enlevant le bruit.

C'est la naissance d'une nouvelle génération d'outils créatifs qui vont probablement changer la façon dont nous créons et compressons des images à l'avenir.

Résumé technique

Voici un résumé technique détaillé du papier "Denoising Diffusion Probabilistic Models" (DDPM) de Jonathan Ho, Ajay Jain et Pieter Abbeel, publié à NeurIPS 2020.

1. Problématique

Le domaine de la génération d'images par des modèles profonds a connu des avancées majeures avec les GANs (réseaux antagonistes génératifs), les modèles autoregressifs et les flots normalisants (flows). Cependant, ces modèles présentent souvent des compromis :

• Les GANs produisent des échantillons de haute qualité mais souffrent d'instabilité à l'entraînement et de difficultés à calculer la vraisemblance (log-likelihood).
• Les modèles de vraisemblance (comme les VAEs ou les modèles autoregressifs) offrent un calcul de vraisemblance exact mais génèrent souvent des échantillons de qualité inférieure ou nécessitent un temps d'inférence très long.
• Les modèles de score (score matching) et les dynamiques de Langevin ont montré un potentiel, mais leur connexion avec les modèles variationnels n'était pas pleinement exploitée pour la génération de haute qualité.

L'objectif de ce papier est de démontrer que les modèles de diffusion probabilistes, une classe de modèles de variables latentes inspirée de la thermodynamique hors équilibre, peuvent atteindre une qualité d'échantillonnage supérieure à l'état de l'art, tout en restant stables à l'entraînement et en permettant une évaluation de la vraisemblance.

2. Méthodologie

Le modèle proposé est un processus de Markov paramétré qui apprend à inverser un processus de diffusion.

A. Le Processus de Diffusion (Forward Process)

Le processus direct $q(x_{1:T}|x_0)$ est un processus de Markov fixe qui ajoute progressivement du bruit gaussien aux données $x_0$ sur $T$ étapes jusqu'à ce que les données deviennent du bruit blanc pur $x_T \sim \mathcal{N}(0, I)$.
La transition à chaque étape $t$ est définie par :
$$q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I)$$
où $\beta_t$ est un programme de variance (scheduler) croissant. Une propriété clé est que l'on peut échantillonner $x_t$ directement à partir de $x_0$ en temps constant :
$$q(x_t | x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I)$$
où $\bar{\alpha}_t = \prod_{s=1}^t (1-\beta_s)$.

B. Le Processus Inverse (Reverse Process)

Le but est d'apprendre un modèle $p_\theta(x_{0:T})$ qui inverse ce processus, en partant du bruit $x_T$ pour reconstruire $x_0$. Les transitions inverses sont paramétrées comme des gaussiennes :
$$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t))$$

C. Objectif d'Entraînement et Simplification

L'entraînement vise à maximiser la vraisemblance via une borne variationnelle (ELBO). Les auteurs montrent que cette borne peut être réécrite comme une somme de divergences de Kullback-Leibler (KL).
Une contribution majeure est la réparamétrisation de la moyenne $\mu_\theta$. Au lieu de prédire directement la moyenne ou la variance, le réseau de neurones $\epsilon_\theta$ est entraîné pour prédire le bruit $\epsilon$ ajouté à l'étape $t$.
Cela transforme l'objectif complexe en une simple perte de régression (MSE) sur le bruit, similaire au Denoising Score Matching :
$$L_{simple}(\theta) = \mathbb{E}_{t, x_0, \epsilon} \left[ \| \epsilon - \epsilon_\theta(\sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon, t) \|^2 \right]$$
Cette simplification rend l'entraînement très stable et efficace. De plus, les auteurs utilisent un pondération implicite en échantillonnant uniformément $t$ entre 1 et $T$, ce qui permet de se concentrer sur les tâches de débruitage difficiles (bruit élevé) plutôt que sur les détails fins (bruit faible).

D. Décodage Progressif

Le processus d'échantillonnage (Algorithm 2) est itératif : on part de $x_T$ et on applique $T$ étapes de débruitage. Cela fonctionne comme un schéma de décompression progressive, où les grandes structures de l'image apparaissent d'abord, suivies par les détails fins.

3. Contributions Clés

1. Qualité d'échantillonnage SOTA : Démonstration que les modèles de diffusion peuvent surpasser les GANs et autres modèles sur des métriques de qualité d'image (FID, Inception Score).
2. Connexion Théorique : Établissement d'un lien explicite entre les modèles de diffusion, le Denoising Score Matching (DSM) et les dynamiques de Langevin. L'optimisation de la borne variationnelle équivaut à l'entraînement d'un échantillonneur de Langevin.
3. Objectif Simplifié : Introduction de l'objectif $L_{simple}$ (prédiction de bruit) qui est plus simple à implémenter et plus efficace que les bornes variationnelles complexes ou la prédiction directe de la moyenne.
4. Compression Progressive : Interprétation du processus de génération comme un schéma de compression avec perte progressive. Les auteurs montrent que la majorité des bits codés par le modèle servent à décrire des détails imperceptibles, ce qui explique pourquoi les modèles de diffusion excellent en génération mais ont des log-likelihoods moins compétitifs que les modèles purement basés sur la vraisemblance.
5. Génération Autoregressive Généralisée : Le processus de diffusion est interprété comme un modèle autoregressif avec un ordre de "bits" généralisé (via le bruit gaussien) qui dépasse les limitations des modèles autoregressifs classiques (qui doivent traiter les pixels séquentiellement).

4. Résultats Expérimentaux

Les expériences ont été menées sur CIFAR10, LSUN (Chambres, Églises, Chats) et CelebA-HQ.

• CIFAR10 (Non conditionnel) :
  • FID (Fréchet Inception Distance) : 3.17 (État de l'art à l'époque, surpassant StyleGAN2+ADA qui était à 3.26).
  • Inception Score (IS) : 9.46.
  • Log-likelihood (NLL) : ~3.75 bits/dim (compétitif, bien que inférieur aux modèles autoregressifs purs comme Sparse Transformer, mais supérieur aux estimations des modèles basés sur l'énergie).
• LSUN 256x256 :
  • Qualité d'échantillonnage comparable à ProgressiveGAN.
  • FID pour LSUN Bedroom : 4.90 (avec un modèle plus grand).
  • FID pour LSUN Church : 7.89.
• Visualisation : Les échantillons générés montrent une grande diversité et une haute fidélité, avec une capacité d'interpolation fluide dans l'espace latent (changement de pose, d'expression, etc.).

5. Signification et Impact

Ce papier est considéré comme un tournant majeur dans l'histoire de la génération d'images :

• Stabilité : Contrairement aux GANs, les modèles de diffusion sont stables à l'entraînement et ne souffrent pas de l'effondrement de mode (mode collapse).
• Flexibilité : La méthode est applicable à divers types de données (images, audio, etc.) et permet un contrôle fin via le processus de débruitage.
• Fondation pour le futur : Ce travail a posé les bases théoriques et pratiques qui ont permis l'explosion récente des modèles de diffusion (comme DALL-E 2, Stable Diffusion, Midjourney). Il a démontré qu'un processus itératif simple, guidé par un réseau de neurones prédisant le bruit, pouvait surpasser les architectures génératives les plus complexes de l'époque.

En résumé, Ho et al. ont transformé les modèles de diffusion d'une curiosité théorique en un outil pratique et performant pour la synthèse d'images, en simplifiant radicalement leur entraînement et en révélant leur connexion profonde avec le score matching et la compression progressive.