📊 statistics

Improved denoising diffusion probabilistic models with efficient non-diagonal covariance modeling

Cet article introduit le modèle Kronecker-DCT (K-DCT), une nouvelle approximation de covariance non diagonale qui exploite la factorisation de Kronecker et la transformée en cosinus discrète pour capturer efficacement les corrélations des images naturelles, améliorant ainsi considérablement la qualité et la vraisemblance des modèles de diffusion probabiliste de débruitage (DDPM) avec moins d'étapes d'échantillonnage tout en maintenant un surcoût de calcul négligeable.

Auteurs originaux : Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

Publié 2026-08-25

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une machine qui apprend à créer de l'art non pas en peignant à partir de rien, mais en commençant avec une toile recouverte de statique et en retirant lentement et soigneusement le bruit jusqu'à ce qu'une image claire émerge. C'est l'idée centrale derrière une famille de modèles d'intelligence artificielle connus sous le nom de modèles de diffusion de débruitage. Ils sont devenus un outil standard pour générer des images de haute qualité, des visages réalistes aux paysages, car ils produisent des résultats qui sont à la fois nets et diversifiés. Cependant, il y a un bémol : le processus de retrait du bruit est intrinsèquement lent. Pour obtenir une bonne image, l'ordinateur doit effectuer des milliers de petites étapes prudentes, en éliminant un peu de statique à la fois. S'il tente de faire des étapes plus grandes pour accélérer le processus, l'image devient souvent floue ou déformée parce que la machine perd la trace de la façon dont les différentes parties de l'image sont liées entre elles.

Pendant longtemps, les chercheurs ont tenté de résoudre ce problème de vitesse en faisant une hypothèse simplificatrice : ils supposaient que l'incertitude de l'image à n'importe quel moment pouvait être décrite en observant chaque pixel indépendamment. C'est un peu comme essayer de décrire la météo en ne regardant que la température en un point spécifique, en ignorant comment le vent à cet endroit affecte la pluie au point suivant. Bien que cette approche fonctionne suffisamment bien lors de la réalisation de petites étapes, elle s'effondre lorsque les chercheurs tentent de prendre les étapes plus larges et plus rapides nécessaires à une utilisation pratique. La réalité des images naturelles est beaucoup plus complexe ; la couleur d'un pixel est profondément connectée à celle de ses voisins, et les canaux rouge, vert et bleu d'une image s'influencent mutuellement de manière complexe. Une nouvelle étude publiée dans les Transactions on Machine Learning Research suggère qu'en reconnaissant ces connexions complexes, nous pouvons rendre ces générateurs d'images considérablement plus rapides sans sacrifier la qualité.

Les chercheurs, une équipe provenant d'institutions incluant l'Université de Cambridge et le King's College de Londres, se sont donné pour mission de construire une meilleure carte de ces connexions. Ils se sont concentrés sur la « covariance postérieure », un terme technique qui décrit essentiellement comment l'incertitude d'une partie de l'image dépend de l'incertitude d'une autre. Dans les anciens modèles plus simples, cette carte était dessinée sous la forme d'une grille où seules les lignes diagonales comptaient, impliquant que le futur d'un pixel était indépendant de ses voisins. La nouvelle équipe a soutenu que cela constituait une simplification excessive qui ignorait la véritable structure des images naturelles, lesquelles présentent des corrélations non diagonales fortes entre les pixels et les canaux de couleurs. Ils ont également noté que ces images possèdent un motif de fréquence spécifique, où les détails s'estompent de manière prévisible, de la même manière qu'un accord musical possède une structure de notes spécifique.

Pour capturer cette complexité sans ralentir l'ordinateur, l'équipe a développé un nouveau modèle mathématique qu'ils appellent K-DCT. Le nom provient de deux idées clés qu'ils ont combinées. Premièrement, ils ont reconnu que la relation entre les couleurs (comme le rouge, le vert et le bleu) et la relation entre les emplacements spatiaux (gauche, droite, haut, bas) sont approximativement distinctes l'une de l'autre. Cela leur a permis de diviser le problème massif et complexe en deux morceaux plus petits et gérables. Deuxièmement, ils ont réalisé que les relations spatiales dans une image sont mieux comprises non pas en regardant directement les pixels, mais en considérant l'image comme une collection d'ondes, en utilisant une technique appelée la Transformée en Cosinus Discrète. C'est une méthode qui décompose une image en ses fréquences fondamentales, tout comme un prisme décompose la lumière blanche en un arc-en-ciel de couleurs. En travaillant dans ce domaine fréquentiel, les chercheurs pouvaient décrire le réseau complexe de connexions entre les pixels à l'aide d'un ensemble très compact de nombres.

Le résultat est un modèle qui est à la fois hautement expressif et incroyablement efficace. Alors qu'une description complète des connexions dans une image à haute résolution nécessiterait une quantité massive de mémoire et de puissance de calcul, le modèle K-DCT parvient à accomplir la même tâche avec une empreinte à peine plus grande que l'image elle-même. Les chercheurs ont testé cette approche sur plusieurs ensembles de données d'images bien connus, incluant CIFAR-10, qui contient de petites images d'objets du quotidien, et CelebA, qui présente des portraits de célébrités. Ils l'ont également testé sur des ensembles de données plus larges et plus complexes comme ImageNet et LSUN. Dans chaque cas, ils ont comparé leur nouvelle méthode aux meilleures techniques existantes, qui reposaient sur les hypothèses diagonales plus simples.

Les conclusions étaient claires et cohérentes. Lorsque les chercheurs ont forcé les modèles à générer des images en moins d'étapes — simulant un scénario où la vitesse est critique — le nouveau modèle K-DCT a produit des résultats nettement meilleurs. Les images étaient plus nettes, plus détaillées et statistiquement plus proches des données réelles sur lesquelles elles ont été entraînées. En termes techniques, les modèles ont obtenu des taux d'erreur plus faibles et de meilleurs scores de vraisemblance, ce qui signifie que l'ordinateur était plus confiant dans ses créations. Peut-être plus important encore, la vitesse du processus de génération n'a pas souffert. Les calculs supplémentaires requis par le nouveau modèle étaient si efficaces qu'ils n'ont ajouté presque aucun temps au processus, même sur des images à haute résolution. Cela suggère que le goulot d'étranglement de la génération rapide d'images n'était pas la puissance brute de l'ordinateur, mais la manière dont l'incertitude était modélisée.

L'équipe a également exploré pourquoi cette approche fonctionne si bien. Ils ont découvert que les connexions entre les pixels dans une image en cours de débruitage ne s'estompent pas rapidement ; au contraire, elles suivent une décroissance lente et prévisible qui s'étend sur de nombreux ordres de grandeur. Les modèles simples qui tentent d'ignorer ces connexions à longue portée ou de les approximer par quelques motifs de base échouent à capturer cette nuance. Le modèle K-DCT, quant à lui, accomode naturellement cette structure. Curieusement, le modèle a performé exceptionnellement bien même sur des ensembles de données comme CelebA, où les images sont des visages humains et ne possèdent pas la symétrie parfaite ou l'invariance par translation que la théorie mathématique suppose. Cela suggère que le modèle est assez robuste pour gérer les imperfections du monde réel, capturant la structure « pleine » essentielle des données même lorsque les motifs sous-jacents ne sont pas parfaitement réguliers.

Bien que l'étude ne prétende pas avoir résolu tous les problèmes de l'intelligence artificielle, elle offre une solution convaincante à un obstacle spécifique et persistant : le compromis entre vitesse et qualité dans la génération d'images. En s'éloignant de l'hypothèse selon laquelle les pixels agissent seuls et en embrassant la réalité de leur interconnexion profonde, les chercheurs ont montré que nous pouvons accélérer le processus créatif de ces machines. Ce travail implique que l'avenir de la génération d'images efficace ne réside pas dans la construction d'ordinateurs plus grands, mais dans la création de modèles plus intelligents qui comprennent la nature réelle et complexe des images qu'ils tentent de créer. Le modèle K-DCT est la preuve qu'une compréhension plus précise de la structure statistique peut mener à des améliorations tangibles de la performance, rendant la génération d'images de haute qualité plus rapide et plus accessible sans nécessiter un bond dans les capacités matérielles.

Résumé technique : Modèles de diffusion probabilistes de débruitage améliorés avec une modélisation efficace de la covariance non diagonale

Énoncé du problème

Les modèles de diffusion probabilistes de débruitage (DDPM) atteignent des performances de pointe dans la génération d'images, mais souffrent de vitesses d'échantillonnage lentes en raison de leur nature intrinsèquement séquentielle. Bien que le processus d'échantillonnage puisse être accéléré en effectuant moins d'étapes, plus grandes (échantillonnage par saut d'étape ou skip-step sampling), cette approche dégrade la qualité des échantillons si la covariance du postérieur de débruitage n'est pas modélisée avec précision.

Les tentatives précédentes pour accélérer l'échantillonnage en exploitant des informations de second ordre ont reposé sur des simplifications drastiques, comme l'hypothèse selon laquelle la covariance du postérieur est diagonale ou de rang faible. Les auteurs soutiennent que ces hypothèses sont insuffisantes car les images naturelles présentent de fortes corrélations non diagonales entre les pixels et les canaux de couleur, ainsi qu'un spectre de fréquences à décroissance lente suivant une loi de puissance. Par conséquent, les approximations diagonales ne parviennent pas à capturer la structure statistique complexe du postérieur de débruitage, particulièrement lorsque le nombre d'étapes d'échantillonnage est faible. De plus, la modélisation de la matrice de covariance complète est calculatoirement prohibitive ( $O(D^2)$ en complexité pour $D$ pixels), créant un compromis entre précision et tractabilité similaire à celui rencontré dans l'optimisation des réseaux de neurones de second ordre.

Méthodologie

Le papier propose un nouveau modèle de covariance appelé Kronecker-DCT (K-DCT) qui capture les propriétés statistiques spécifiques des images naturelles tout en maintenant une efficacité de calcul.

1. Le modèle de covariance K-DCT

Le modèle proposé, $E_\phi(x_t, t)$ , approxime la covariance du postérieur de débruitage (ou la covariance de l'erreur de prédiction du bruit) en utilisant une décomposition structurée :
$E_\phi(x_t, t) = \text{diag}(\varepsilon_\phi) + C_\phi C_\phi^\top \otimes (F^\top \otimes F^\top) \text{diag}(\lambda_\phi) (F \otimes F)$

Le modèle se compose de trois éléments clés :

Base Diagonale : Un terme $\text{diag}(\varepsilon_\phi)$ qui absorbe toute contribution diagonale, garantissant que le modèle est au moins aussi expressif que les modèles diagonaux précédents.
Corrélation Inter-canaux : Capturée par le terme $C_\phi C_\phi^\top \in \mathbb{R}^{3\times3}$ , qui modélise la corrélation complète entre les canaux de couleur RGB.
Corrélation Inter-Pixels (Spatiale) : Modélisée à l'aide d'un produit de Kronecker entre la corrélation de canal et une composante spatiale. La composante spatiale est diagonalisée dans le domaine fréquentiel à l'aide de la matrice de la Transformée en Cosinus Discrète (DCT) $F$ $F$ .
- Les auteurs justifient l'utilisation de la DCT plutôt que de la Transformée de Fourier Discrète (DFT) en notant que les images naturelles possèdent des structures de covariance de type Toeplitz + Hankel (dues aux conditions aux limites) plutôt que la structure circulaire supposée par la DFT. La base DCT diagonalise naturellement cette structure.
- Les valeurs propres $\lambda_\phi$ sont des paramètres appris dans le domaine fréquentiel.

2. Efficacité de calcul

La structure K-DCT permet un entraînement et un échantillonnage efficaces sans construire explicitement la matrice de covariance complète $3D \times 3D$ :

Complexité : La complexité de calcul est réduite de $O(D^2)$ à $O(D \log d)$ (où $d$ est la dimension de l'image), rendant le surcoût négligeable par rapport au passage direct (forward pass) du réseau de score.
Entraînement : Les auteurs adaptent deux objectifs existants pour l'apprentissage des paramètres de covariance :
- Appariement de Covariance Optimal (OCM) : Basé sur le Jacobien de la fonction de score (formule de second ordre de Tweedie).
- Résidu de Prédiction du Bruit (NPR) : Basé sur une formulation d'Erreur Quadratique Moyenne Minimale (MMSE).
- Les deux objectifs sont étendus pour gérer les modèles non diagonaux à l'aide d'estimateurs de trace stochastiques et de produits matrice-vecteur efficaces dérivés de la structure Kronecker-DCT.
Échantillonnage : L'échantillonnage est effectué en ajoutant deux échantillons gaussiens indépendants : un provenant du terme diagonal et un autre du terme Kronecker-DCT. Ce dernier est échantillonné efficacement en utilisant la base DCT et les valeurs propres apprises.

3. Stratégie d'entraînement

Le modèle K-DCT est entraîné comme une « amortisation » sur des réseaux de score de premier ordre (UNets) pré-entraînés. L'architecture partage les paramètres avec le modèle pré-entraîné, avec des têtes de réseaux de neurones supplémentaires ( $NN_2$ ) dédiées à la prédiction des composantes de la covariance ( $\varepsilon_\phi, C_\phi, \lambda_\phi$ ). Cette approche ne nécessite l'entraînement que d'une petite fraction du total des paramètres.

Contributions Clés

Paramétrisation de la Covariance Novatrice : Introduction du modèle K-DCT, qui combine les corrélations inter-canaux factorisées par Kronecker et les corrélations spatiales basées sur la DCT. Cela capture le spectre de loi de puissance à décroissance lente et la structure non diagonale des images naturelles plus précisément que les approximations diagonales ou de rang faible.
Implémentation Efficace : Démonstration que le modèle K-DCT peut être entraîné et échantillonné avec une complexité de $O(D \log d)$ , évitant les goulots d'étranglement de mémoire et de calcul de l'estimation de la covariance complète.
Validation Empirique : Évaluation systématique à travers plusieurs jeux de données (CIFAR-10, CelebA, ImageNet, LSUN) montrant que K-DCT surpasse les échantillonneurs de l'état de l'art (SOTA) précédents, particulièrement dans le régime de peu d'étapes d'échantillonnage.

Résultats

Les auteurs ont évalué leur méthode par rapport à des modèles de covariance heuristiques, diagonaux et de rang faible en utilisant deux métriques principales : la Distance de Fréchet Inception (FID) pour la qualité des échantillons et la Négative Log-Vraisemblance (NLL) pour l'ajustement statistique.

Performance : Le modèle K-DCT obtient systématiquement une FID et une NLL plus faibles que les bases diagonales et de rang faible pour tous les jeux de données et tous les objectifs d'entraînement (OCM et NPR).
Régime de peu d'étapes : Les améliorations sont les plus significatives lorsque le nombre d'étapes d'échantillonnage ( $K$ ) est faible (par exemple, 10–25 étapes). Dans ces régimes, les approximations diagonales échouent à capturer la structure du postérieur nécessaire, tandis que K-DCT maintient une haute fidélité.
Compromis : La méthode atteint un meilleur compromis entre FID et NLL par rapport aux méthodes existantes. Bien que les modèles distillés en une seule étape puissent offrir une génération plus rapide, ils manquent d'une estimation de vraisemblance traitable, un avantage clé conservé par l'approche K-DCT.
Surcoût : Les expériences ont confirmé que la paramétrisation K-DCT introduit un surcoût de temps de calcul négligeable par rapport aux modèles diagonaux, même sur des jeux de données à haute résolution comme LSUN Bedroom (256x256).

Signification et Revendications

Le papier affirme que la modélisation de la structure non diagonale des postérieurs de débruitage est cruciale pour accélérer l'échantillonnage de diffusion sans sacrifier la qualité. La portée de ce travail réside dans :

Combler le fossé : Il comble l'écart entre le besoin théorique d'informations de second ordre précises et les contraintes pratiques de mémoire et de calcul.
Structure Statistique : Il souligne que les images naturelles possèdent des propriétés statistiques spécifiques (corrélations spatio-chromatiques séparables et spectres de loi de puissance) qui peuvent être exploitées efficacement via la structure K-DCT.
Limites et Travaux Futurs : Les auteurs notent modestement que bien que K-DCT améliore les performances, il n'égale pas encore la FID des modèles distillés en une seule étape. Ils suggèrent que cela pourrait être dû au fait que les postérieurs de saut d'étape sont loin d'être gaussiens, impliquant que même un modèle de covariance parfait ne peut pas totalement corriger l'erreur d'échantillonnage si l'hypothèse gaussienne elle-même est violée. Ils spéculent également que, bien que la méthode soit conçue pour les images, elle pourrait s'appliquer à d'autres domaines présentant une invariance par translation approximative, comme l'audio et la parole, citant des résultats préliminaires de preuve de concept sur des données de parole.