Score Approximation for Diffusion Models on Arbitrary Low-Dimensional Structures

Énoncé du Problème
Les fondements théoriques des modèles de diffusion basés sur le score reposent largement sur des hypothèses restrictives concernant la distribution de données sous-jacente, exigeant spécifiquement des densités lipschitziennes ou des supports de variétés lisses. Cependant, les données perceptuelles réelles (telles que les images) présentent souvent des singularités, des frontières nettes et des clusters disjoints où les densités sont discontinues ou les gradients mal définis. Les limites de complexité existantes pour l'approximation de la fonction de score $\nabla \log p_t(x)$ souffrent généralement d'une dépendance exponentielle vis-à-vis de la dimension ambiante $n$, ou ne s'appliquent pas aux distributions dépourvues de régularité. Ce fossé soulève une question théorique fondamentale : les modèles de diffusion peuvent-ils théoriquement réussir sur des distributions de données compactes arbitraires sans supposer de régularité ou de lissé ?

Méthodologie
Les auteurs proposent un cadre d'approximation de score universel qui élimine toutes les hypothèses de continuité et de lissé. Le cœur de leur approche repose sur une nouvelle formulation de mélange discret et une stratégie intensive en analyse se concentrant sur les effets de lissage des noyaux gaussiens.

1. Formulation de Mélange Discret : Les auteurs décomposent la distribution initiale $p_0$ en un mélange fini de sous-distributions $p_i$, chacune supportée sur une petite boule $B(y_i, r)$. La véritable fonction de score est approximée en remplaçant l'intégrale sur chaque sous-distribution par une évaluation de masse ponctuelle au niveau de la moyenne locale $\tilde{y}_i$. Cela transforme le problème d'approximation du score en une approximation d'une somme pondérée de noyaux gaussiens.
2. Analyse d'Erreur de type Diviser pour Régner : Pour borner l'erreur de discrétisation, les auteurs partitionnent l'espace en groupes « proches » et « éloignés » par rapport à un point de requête $x$.
   • Groupe Proche : Pour les points proches du support, le développement de Taylor du noyau gaussien autour de la moyenne locale montre que l'erreur d'approximation est faible.
   • Groupe Éloigné : Pour les points éloignés du support, le poids gaussien décroît exponentiellement. Les auteurs prouvent que même si l'erreur d'approximation locale est élevée dans ces régions, la contribution à l'erreur totale est négligeable en raison de la décroissance rapide du noyau.
3. Régularité Universelle : Un obstacle théorique critique consiste à s'assurer que les points « mauvais » (où l'approximation pourrait échouer) ont une mesure négligeable. Les auteurs introduisent une condition de régularité $C_1, C_2, r$ et prouvent un théorème de « Régularité Universelle » : pour toute distribution à support compact, l'ensemble des points qui ne sont pas réguliers a une mesure arbitrairement petite. Cela garantit que l'approximation est valide presque partout.
4. Implémentation par Réseau de Neurones : La formule du mélange discret est montrée comme étant implémentable par un réseau ReLU. Les auteurs construisent un réseau qui approxime les opérations nécessaires (mise au carré, exponentielle, division et Softmax) avec une erreur contrôlée, garantissant que la sortie reste dans l'enveloppe convexe du support.

Contributions Clés

• Théorème d'Approximation de Score Universel : L'article établit le premier théorème prouvant que la fonction de score pour n'importe quelle distribution à support compact (caractérisée par une dimension de Minkowski supérieure $d$) peut être approximée par un réseau ReLU. Cela élimine le besoin d'hypothèses de lissé de type Lipschitz, Hölder ou Sobolev.
• Limites de Complexité : Les auteurs prouvent que la complexité du réseau (taille des paramètres) croît de manière polynomiale avec la dimension ambiante $n$ et de manière exponentielle uniquement avec la dimension intrinsèque $d$. Plus précisément, la taille suit approximativement $O(n^3 d/4 (1/\epsilon)^{d/2})$. Cela brise la « malédiction de la dimensionnalité ambiante » qui affecte les théories existantes.
• Conditions de Régularité Assouplies : En introduisant le concept de régularité universelle, ce travail démontre que les « ensembles mauvais » où l'approximation échoue sont de mesure négligeable pour n'importe quelle distribution compacte, y compris les mesures de type fractal (par exemple, les mesures de Cantor) qui ne possèdent pas de fonctions de densité de probabilité.

Résultats
Le résultat principal (Théorème 1) stipule que pour une distribution $p_0$ avec un support compact de diamètre $R$ et de dimension de Minkowski supérieure $d$, la véritable fonction de score $\nabla \log p_t(x)$ peut être approximée par une formulation de prédiction de données $\nabla \log p_{t,appr}(x) = s_\theta(x, t) - x/t$ telle que l'erreur quadratique moyenne est bornée par $7\epsilon^2$ pour tout $t \in [t_0, T]$.

• Le réseau approximant $s_\theta$ possède une profondeur de $O(\log \omega \log \log \omega)$ et une largeur de $O(C_K r^{-d} (n \log \omega + \log^2 \omega))$, où $\omega$ dépend polynomialement de $n$ et de $1/\epsilon$.
• La borne d'erreur est globale, l'erreur d'approximation étant bornée par $R/t$ pour les points hors distribution, ce qui est intégrable sur la petite région de probabilité.

Signification
L'article prétend fournir une justification théorique rigoureuse au succès empirique des modèles de diffusion sur des structures de données irrégulières et non lisses. En prouvant qu'une estimation précise du score est possible pour n'importe quelle distribution compacte sans hypothèses de lissé, ce travail comble le fossé entre les garanties théoriques et les caractéristiques des données réelles (telles que le plafonnage des pixels et les singularités). Les auteurs notent que leurs tactiques de division pour régner et leurs résultats de régularité peuvent être adaptés pour borner des dérivées d'ordre supérieur (comme la Hessienne), ce qui pourrait aider les futurs travaux théoriques sur les modèles de diffusion qui reposent actuellement sur des hypothèses de bornitude pour ces termes. Ce travail se positionne comme une étape fondamentale, élargissant la portée de la théorie de l'approximation de score des variétés lisses vers la classe générale des distributions à support compact.