Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors

Résumé Technique : Les modèles de diffusion n'observent que les gradients

Énoncé du Problème
Les modèles de diffusion basés sur le score sont typiquement entraînés en minimisant l'erreur de score matching $L_2$ intégrée dans le temps. Les analyses théoriques standards s'appuient sur cette erreur $L_2$ complète pour borner la divergence de distribution (par exemple, la divergence de Kullback-Leibler) entre les distributions apprises et cibles. Cependant, cet article identifie une faille fondamentale dans cette approche : l'erreur de score $L_2$ complète n'est pas la mesure intrinsèque de la qualité de la distribution marginale. Un modèle de diffusion appris peut engendrer une erreur de score $L_2$ arbitrairement grande tout en correspondant parfaitement à la distribution cible. Les auteurs soutiennent que la métrique $L_2$ standard ne parvient pas à distinguer les composantes d'erreur qui affectent les échantillons générés de celles qui ne les affectent pas.

Méthodologie : Décomposition Géométrique
La méthodologie centrale consiste à décomposer le champ de vecteurs d'erreur d'estimation du score, $e_s = \hat{s}_s - \nabla \log p^\star_s$, en deux composantes orthogonales en utilisant une décomposition de Helmholtz-Hodge par rapport à la densité cible $p^\star_s$ :

1. Composante de Gradient Observable ($\Pi_{G_s} e_s$) : La projection de l'erreur sur l'espace des champs de gradient.
2. Composante Solénoïdale Invisible ($\Pi_{G_s^\perp} e_s$) : La projection sur le complément orthogonal (champs sans divergence par rapport à la densité pondérée).

Les auteurs démontrent que la dynamique marginale d'un processus de diffusion est régie par l'équation de Fokker-Planck, qui dépend de l'erreur de score exclusivement via un terme de divergence pondérée, $\nabla \cdot (p^\star_s e_s)$.

• La composante de gradient contribue à cette divergence et influence directement l'évolution des distributions marginales.
• La composante solénoïdale satisfait $\nabla \cdot (p^\star_s e_{inv}) = 0$. Par conséquent, elle est structurellement invisible pour la dynamique de Fokker-Planck marginale ; l'ajout d'un champ d'erreur purement solénoïdal ne modifie pas les distributions marginales à n'importe quel instant $t$, bien que cela augmente la norme $L_2$ de l'erreur.

Contributions Clés

1. Résultat d'Impossibilité (Théorème 3.1) :
   Les auteurs prouvent qu'aucune fonction monotone de l'erreur de score $L_2$ complète ne peut borner uniformément par le bas toute divergence de distribution significative (par exemple, la divergence KL) entre les modèles appris et cibles. Cela est dû au fait que les erreurs purement solénoïdales peuvent avoir des normes $L_2$ arbitrairement grandes tout en laissant les distributions marginales identiques à la cible (c'est-à-dire $KL=0$). Cela établit que l'erreur $L_2$ complète n'est pas la quantité intrinsèque contrôlant la qualité de l'échantillonnage.

2. Borne Supérieure Plus Serrée sur la Divergence KL (Théorème 3.2) :
   En se concentrant uniquement sur la composante de gradient observable, les auteurs dérivent une nouvelle borne supérieure sur la divergence KL :
   $$KL(p^\star_{t_0} \parallel \hat{p}_{t_0}) \lesssim \frac{1}{2} \int_{t_0}^T \sigma_s^2 \|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 ds$$
   Cette borne est strictement plus serrée que la borne standard basée sur Girsanov dès lors que la composante solénoïdale est non nulle. Les auteurs identifient le caractère lâche de la borne standard comme le « coût » de l'opération sur la dynamique de l'espace des trajectoires (path-space) plutôt que sur la dynamique de l'espace marginal. Ils montrent en outre que cette borne peut être récupérée via un argument de Girsanov appliqué à un représentant marginalement équivalent du processus appris qui ne conserve que la dérive observable.

3. Estimateur Traitable de l'Erreur Observable (Section 4) :
   Puisque la projection explicite des erreurs sur les champs de gradient est calculatoirement intraitable dans les hautes dimensions, les auteurs proposent une identité de Sobolev duale pour estimer la norme de la composante de gradient. Ils formulent le problème comme une optimisation non contrainte sur un réseau de « critique » à valeur scalaire $\phi_\psi$ :
   $$\|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 = \sup_{\phi} \left\{ 2 \mathbb{E}[\nabla \phi \cdot e_s] - \mathbb{E}[\|\nabla \phi\|^2] \right\}$$
   Cet estimateur évite la projection explicite et peut être calculé en utilisant l'échantillonnage standard à partir de la distribution des données bruitées.

Résultats
Les auteurs valident leurs découvertes théoriques empiriquement sur Fashion-MNIST et CIFAR-10 à travers diverses capacités de modèles :

• Décomposition de l'erreur : Pendant l'entraînement, la composante de gradient de l'erreur de score diminue significativement (de plusieurs ordres de grandeur), tandis que la composante solénoïde augmente tôt et stagne, finissant par représenter la quasi-totalité de l'erreur résiduelle.
• Étroitesse de la Borne : La borne de Girsanov standard sature au niveau du plancher de l'erreur solénoïde, échouant à refléter les améliorations ultérieures de l'apprentissage. En revanche, la nouvelle borne (basée sur la composante de gradient) continue de diminuer, suivant l'amélioration réelle du modèle.
• Corrélation avec la Qualité des Échantillons : La norme de la composante de gradient ($\|\Pi_{G} e\|^2$) présente une corrélation de Spearman nettement plus élevée avec la distance de Fréchet Inception (FID) que l'erreur $L_2$ complète. Cette corrélation se maintient à travers différentes capacités de modèles, l'écart étant plus prononcé pour les petits modèles.

Signification et Revendications
L'article affirme fournir une perspective géométrique sur les erreurs de score matching qui explique pourquoi les objectifs d'entraînement standards peuvent être inefficaces ou trompeurs concernant la qualité des échantillons.

• Il clarifie que le Denoising Score Matching (DSM) standard minimise la totalité de l'erreur $L_2$, pénalisant par inadvertance les composantes solénoïdes qui n'affectent pas la distribution générée.
• La métrique d'erreur observable proposée sert de meilleur diagnostic de la qualité de l'apprentissage, offrant une borne théorique plus serrée sur la divergence KL et un outil pratique qui corrèle plus fortement avec les métriques perceptuelles comme la FID.
• Ce travail suggère que le caractère « lâche » des bornes existantes n'est pas un artefact mathématique mais une conséquence structurelle de l'analyse des distributions de l'espace des trajectoires alors que seules les dynamiques marginales comptent pour la génération.

Les auteurs positionnent ce travail comme un raffinement de la compréhension théorique des modèles de diffusion, offrant une mesure plus intrinsèque de l'erreur qui s'aligne sur le mécanisme réel (dynamique de Fokker-Planck) régissant la génération d'échantillons. Ils ne proposent pas de remplacer l'objectif d'entraînement standard, mais suggèrent plutôt d'utiliser l'estimateur de la composante de gradient comme un outil de diagnostic pour mieux comprendre la dynamique d'entraînement et l'utilisation de la capacité.