Diffusion Models Adapt to Low-Dimensional Structure Under Flexible Coefficient Choices

Résumé technique : Les modèles de diffusion s'adaptent à la structure de faible dimension sous des choix de coefficients flexibles

Énoncé du problème
Les modèles de diffusion ont démontré un succès empirique remarquable dans la génération de données de haute dimension en transformant progressivement le bruit gaussien en données via des mises à jour de débruitage itératives guidées par des fonctions de score apprises. Bien que des développements théoriques récents aient établi que les modèles de diffusion peuvent s'adapter à des structures de données de faible dimension inconnues — atteignant une complexité d'itération d'échantillonnage dépendante de la dimension intrinsèque $k$ plutôt que de la dimension ambiante $d$ — ces garanties ont été limitées à des choix de coefficients de mise à jour étroitement prescrits. La théorie de la convergence existante repose largement sur des schémas de discrétisation spécifiques (par exemple, des choix précis de dérive $\eta_t$ et de variance $\sigma_t^2$) qui correspondent exactement aux coefficients de l'équation différentielle stochastique (SDE) de temps inverse. Cela soulève une question fondamentale : l'adaptation à la structure de faible dimension est-elle une propriété robuste des modèles de diffusion, ou est-elle sensible au choix précis des coefficients de mise à jour ? Les observations empiriques suggèrent une robustesse, car les échantillonneurs avec différents choix de coefficients affichent souvent des performances comparables, pourtant une justification théorique unifiée faisait défaut.

Méthodologie et cadre
Les auteurs proposent un cadre théorique unifié pour analyser une large classe d'échantillonneurs de diffusion définis par la règle de mise à jour générale :
$$Y_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( Y_t + \eta_t s_t(Y_t) + \sigma_t Z_t \right)$$
où $(\alpha_t)$ est un calendrier de bruit et $(\eta_t, \sigma_t^2)$ sont des coefficients de mise à jour.

Pour gérer la flexibilité des choix de coefficients, les auteurs introduisent un processus de diffusion auxiliaire $(\hat{X}_t)_{t=1}^T$ défini par :
$$\hat{X}_t = \sqrt{\alpha_t} X_0 + \sqrt{v_t} Z_t$$
où $v_t$ représente une « variance de bruit effective » déterminée récursivement par les coefficients de mise à jour $(\eta_t, \sigma_t^2)$, plutôt que par la variance canonique du processus de diffusion $(1-\alpha_t)$. L'écart entre la variance effective et la variance canonique est quantifié par la séquence de déviation du bruit $\delta_t = \frac{v_t}{1-\alpha_t} - 1$.

Le cœur de l'analyse consiste à borner la distance de Variation Totale (TV) entre la sortie de l'échantillonneur $Y_1$ et la marge auxiliaire $\hat{X}_1$. Les auteurs décomposent l'erreur en :

1. Erreur de discrétisation : L'erreur provenant de l'approximation par étapes finies de la dynamique inverse, analysée via un argument de couplage impliquant des séquences auxiliaires qui suivent les véritables fonctions de score.
2. Erreur d'estimation du score : L'erreur introduite par l'utilisation de scores estimés $s_t$ au lieu des scores réels $s_t^\star$.

L'analyse s'appuie sur le concept de dimension intrinsèque $k$, définie via les nombres de recouvrement de le support des données, et suppose que les données se situent sur ou près d'une variété de faible dimension.

Contributions clés et résultats

1. Robustesse de l'adaptation à la faible dimension :
   L'article prouve que pour une large classe de coefficients de mise à jour, le nombre d'itérations nécessaires pour générer un échantillon $\varepsilon$-précis en distance TV est de $\tilde{O}(k/\varepsilon)$, indépendant de la dimension ambiante $d$. Cela est vrai à condition que la séquence de déviation du bruit $\delta_t$ satisfasse $|\delta_t| \leq c \frac{\log^2 T}{T}$ pour une constante $c$ suffisamment petite. Ce résultat démontre que l'adaptation à la structure de faible dimension n'est pas limitée à des schémas de discrétisation spécifiques, mais est une propriété robuste.

2. Généralisation des garanties existantes :
   Le cadre s'applique à plusieurs échantillonneurs largement utilisés, notamment :

   • Le DDPM original (Ho et al., 2020)
   • Le DDPM amélioré (Nichol et Dhariwal, 2021)
   • L'Analytic-DPM (Bao et al., 2022)
   • Divers autres choix de coefficients où $\eta_t \approx 1-\alpha_t$ et $\sigma_t^2$ varie dans une plage raisonnable.
     Le Corollaire 1 confirme que ces méthodes satisfont les conditions pour le taux de convergence $\tilde{O}(k/T)$, élargissant considérablement la classe des échantillonneurs dotés de garanties prouvables de faible dimension.

3. Gestion des échantillonneurs déterministes :
   Le Théorème 2 étend les résultats aux échantillonneurs déterministes (où $\sigma_t = 0$, comme DDIM) sous l'hypothèse de fonctions de score exactes. Il montre que même sans injection de bruit gaussien, l'erreur de discrétisation s'adapte à la dimension intrinsèque $k$.

4. Réconciliation avec les marges canoniques :
   L'article traite le fait que la marge auxiliaire $\hat{X}_1$ peut différer de la marge canonique $X_1$ en raison de la divergence de variance $\delta_t$. Le Corollaire 2 établit que pour tout choix de coefficient valide, il existe un calendrier de bruit modifié $(\alpha'_t)$ tel que la sortie normalisée de l'échantillonneur converge vers la distribution cible $X_1$ avec le même taux $\tilde{O}(k/T)$. Cela implique que les échantillonneurs pratiques n'ont pas besoin d'être remplacés par des choix de coefficients spéciaux pour atteindre des taux optimaux ; plutôt, la garantie théorique tient pour la sortie du l'échantillonneur par rapport à une version rescalée de la cible.

5. Comparaison avec les bornes inférieures :
   Les auteurs contrastent leurs résultats avec les bornes inférieures existantes sur les erreurs de discrétisation en une étape, qui suggèrent que la distance TV par rapport au processus de diffusion canonique pourrait croître avec $d$ à moins que les coefficients ne soient parfaitement assortis. L'article soutient qu'en suivant la marge auxiliaire (qui absorbe la divergence de variance induite par les coefficients), on peut établir des garanties d'adaptation à la dimension intrinsèque pour une classe beaucoup plus large d'échantillonneurs.

Signification et revendications
L'article revendique de fournir une justification théorique à l'observation empirique selon laquelle les échantillonneurs de diffusion avec différents choix de coefficients performent bien sur des données structurées de haute dimension. En prouvant que l'adaptation à la faible dimension est robuste aux choix de coefficients, ce travail :

• Élargit considérablement la compréhension théorique de la convergence des modèles de diffusion.
• Valide l'utilisation de divers échantillonneurs courants (au-delà de ceux possédant des coefficients parfaitement calibrés) dans des contextes de faible dimension.
• Clarifie que la dépendance à la dimension intrinsèque $k$ est une propriété fondamentale du mécanisme de diffusion sous une discrétisation flexible, à condition que le niveau de bruit effectif reste proche du calendrier canonique.

Les auteurs notent que leurs résultats reposent sur la disponibilité de fonctions de score pré-entraînées précises et que l'erreur d'estimation du score est évaluée par rapport au processus auxiliaire. Ils laissent le développement d'une théorie unifiée capturant simultanément la robustesse des coefficients et l'erreur d'estimation du score pour les échantillonneurs déterministes comme un travail futur.