Résumé Technique : Une Introduction Mathématique aux Modèles de Diffusion

Énoncé du Problème

L'article traite du défi fondamental de l'échantillonnage à partir de distributions de probabilité complexes et de haute dimension $\pi$ (la distribution de données cible) lorsque l'échantillonnage direct est infaisable. Dans de nombreuses applications modernes, $\pi$ est connue uniquement à une constante de normalisation près ou seulement à travers des échantillons de données empiriques, plutôt que par une formule de densité explicite et traçable. La difficulté centrale réside dans la construction d'un processus stochastique qui converge vers $\pi$ efficacement, particulièrement lorsque la cible est multimodale, singulière ou définie sur des espaces discrets.

L'article cadre ce problème sous l'angle de l'échantillonnage indirect : au lieu d'échantillonner la cible directement, on construit un processus stochastique facile à simuler dont la distribution dérive progressivement vers la cible. Le travail se concentre sur deux mécanismes primaires de cette dérive :

1. Dynamique de Langevin : Processus de Markov en temps continu pilotés par le gradient de la log-densité (score) et un mouvement brownien.
2. Modèles de Diffusion : Un cadre qui ajoute du bruit aux données pour former un chemin de lois plus lisses, puis apprend à inverser ce processus en utilisant l'estimation du score.

Méthodologie

Les notes progressent en cinq « mouvements » distincts, construisant un pont mathématique rigoureux entre la théorie classique de l'échantillonnage et la modélisation générative moderne.

1. Langage de l'Échantillonnage et Dynamique de Langevin

Les fondations sont posées en définissant le problème d'échantillonnage via des divergences (Variation Totale, Wasserstein-2, et divergence KL). Les auteurs introduisent la Diffusion de Langevin Suramortie :
$$dX_t = -\nabla U(X_t)dt + \sqrt{2}dB_t$$
où $\pi(x) \propto e^{-U(x)}$.

• Mécanisme de Convergence : L'article prouve que la divergence KL $D_{KL}(q_t \| \pi)$ agit comme une fonction de Lyapunov. Sa dérivée temporelle est le négatif de l'information de Fisher relative ($-FI$). Sous une Inégalité de Log-Sobolev (LSI), cela produit des taux de convergence exponentiels.
• Discrétisation (ULA) : L'Algorithme de Langevin Non Ajusté (ULA) est introduit comme la discrétisation d'Euler-Maruyama. L'article analyse son biais de discrétisation, montrant que bien que la chaîne se mélange, sa distribution stationnaire $\pi_h$ diffère de $\pi$ d'une erreur d'ordre $O(h)$.
• Correction (MALA) : L'algorithme de Langevin ajusté par Metropolis (MALA) est présenté comme une méthode pour éliminer ce biais via une étape d'acceptation-rejet, restaurant la stationnarité exacte au prix de l'exigence d'évaluations de densité.

2. Modèles de Diffusion Basés sur le Score en Temps Continu

Le cadre passe à des scénarios où la densité cible est inconnue, mais où des données sont disponibles.

• Bruitage Progressif (Forward Noising) : Les données $X_0$ sont corrompues par un processus gaussien en temps continu (par exemple, des SDE à explosion de variance ou de préservation de la variance), créant un chemin de marginales $p_t$.
• Identité de Tweedie : Une identité centrale lie le score $\nabla \log p_t(x)$ à la moyenne a posteriori (débruiteur) des données propres :
  $$\nabla \log p_t(x) = \frac{1}{\sigma_t^2} \mathbb{E}[a_t X_0 - X_t | X_t = x]$$
  Ceci justifie l'entraînement de réseaux de neurones pour prédire le bruit (ou les données propres) comme un substitut pour apprendre le score.
• Dynamique Inverse : Deux processus inverses équivalents sont dérivés :
  1. SDE Inverse : Un processus stochastique avec un terme de dérive contenant le score, $dY_s = [-f_{T-s} + g_{T-s}^2 \nabla \log p_{T-s}]ds + g_{T-s} d\bar{B}_s$.
  2. ODE de Flux de Probabilité : Une ODE déterministe, $\frac{dX_t}{dt} = f_t(X_t) - \frac{1}{2}g_t^2 \nabla \log p_t(X_t)$, qui préserve les mêmes marginales que la SDE mais permet un calcul exact de la vraisemblance via l'équation de continuité.

3. Localisation Stochastique et Flux de Polchinski

L'article fournit des perspectives théoriques alternatives sur le même canal gaussien :

• Localisation Stochastique : Voit le processus comme un problème d'inférence bayésienne où la moyenne a posteriori du signal caché évolue comme une martingale. Cette perspective produit de puissantes identités de covariance (par exemple, la covariance a posteriori se dissipe au fil du temps), qui sont cruciales pour les bornes d'erreur ultérieures.
• Flux de Polchinski : Interprète le lissage de la densité comme un flux de groupe de renormalisation. Le potentiel effectif $U_t = -\log p_t$ satisfait une EDP non linéaire (l'équation de Polchinski), connectant les modèles de diffusion à la physique statistique et au changement d'échelle (coarse-graining).

4. Discrétisation et Analyse d'Erreur

Les dynamiques continues sont discrétisées en échantillonneurs implémentables (DDPM). L'article fournit une décomposition d'erreur rigoureuse pour la divergence KL entre la distribution de données réelle (ou une version lissée) et la sortie de l'échantillonneur :
$$D_{KL}(p_1 \| \hat{p}_1) \leq \underbrace{\epsilon^2_{init}}_{\text{Initialisation}} + \underbrace{\epsilon^2_{disc}}_{\text{Discrétisation}} + \underbrace{c \sum \eta_k \epsilon^2_{k,score}}_{\text{Estimation du Score}}$$

• Erreur d'Initialisation : Provient du fait de commencer le processus inverse à un niveau de bruit élevé plutôt qu'à la distribution terminale exacte.
• Erreur de Discrétisation : Analysée via Euler-Maruyama et raffinée à l'aide du contrôle de la Hessienne. Au lieu de supposer une constante de Lipschitz globale pour le score, l'article utilise des budgets de covariance a posteriori (dérivés de la localisation stochastique) pour borner l'erreur, produisant une dépendance presque linéaire à la dimension $d$.
• Erreur d'Estimation du Score : L'erreur provenant de l'utilisation d'un score appris $s_t$ au lieu du vrai score $s^\star_t$.
• Échantillonnage de Haute Précision : L'article introduit le Rééchantillonnage de Rejet du Premier Ordre (FORS) comme un mécanisme de correction basé uniquement sur le score (analogue à MALA) qui atteint une haute précision avec une dépendance polylogarithmique vis-à-vis de l'erreur cible $\epsilon$, évitant la dépendance polynomiale de la discrétisation d'Euler standard.

5. Modèles de Diffusion Discrets

Le cadre est étendu aux espaces d'états finis (par exemple, texte, molécules) où les gradients et le mouvement brownien sont indéfinis.

• Mécanisme : La corruption progressive est modélisée comme une Chaîne de Markov en temps continu (CTMC) (par exemple, diffusion par masquage).
• Dynamique Inverse : Le processus inverse est également une CTMC, avec des taux déterminés par des scores de ratio $s^\star_t(x, y) = p_t(y)/p_t(x)$ plutôt que par des gradients.
• Entraînement : L'objectif est le score-entropie, une divergence de Bregman dérivée de l'entropie relative de l'espace des chemins, qui peut être optimisée par apprentissage supervisé sur la prédiction de jetons propres.
• Échantillonnage : Des algorithmes comme le $\tau$-leaping (approximatif) et l'Uniformisation (exact) sont analysés. L'uniformisation est montrée comme éliminant l'erreur de discrétisation, ne laissant que les erreurs d'initialisation et d'estimation du score.

6. Contrôle au Moment de l'Inférence

La section finale traite de la modification de l'échantillonneur pour satisfaire des conditions ou maximiser des récompenses sans réentraînement.

• Inclinaison de Récompense (Reward Tilting) : La distribution cible est repondérée comme $p_\beta(x) \propto p_0(x)e^{\beta r(x)}$.
• Guidage (Guidance) : L'article démontre que le score de la distribution inclinée est le score de base plus un terme de correction $\nabla \log h^\beta_t$, où $h^\beta_t$ est une espérance a posteriori de la récompense. Cela unifie le Guidage par Classificateur et le Guidage sans Classificateur sous un cadre mathématique unique.
• Contrôle de l'Espace des Chemins : Le problème est formulé comme une transformation de Doob de la loi du chemin de base, liant le contrôle à l'inférence à la théorie du contrôle stochastique.

Résultats Clés et Contributions

1. Analyse d'Erreur Unifiée : L'article fournit une décomposition d'erreur complète et orientée vers les preuves pour les modèles de diffusion, séparant les erreurs d'initialisation, de discrétisation et d'estimation du score. Il démontre que sous des hypothèses faibles (moments de second ordre finis), l'erreur de discrétisation passe à une échelle presque linéaire avec la dimension $d$ via des budgets de covariance, plutôt que d'exiger une convexité forte ou des conditions de Lipschitz globales.
2. Garanties de Haute Précision : Il établit que le Rééchantillonnage de Rejet du Premier Ordre (FORS) et l'Uniformisation (pour les modèles discrets) peuvent atteindre un échantillonnage de haute précision avec une complexité dépendant polylogarithmiquement de l'erreur cible $\epsilon$, améliorant significativement les bornes standards d'Euler.
3. Unification Théorique : Le travail connecte les modèles de diffusion à la Localisation Stochastique (théorie des martingales), au Flux de Polchinski (groupe de renormalisation) et au Transport Optimal (flux de gradient de Wasserstein), fournissant une compréhension géométrique et analytique plus profonde de leur fonctionnement.
4. Espaces d'États Discrets : Il étend rigoureusement la théorie de la diffusion aux espaces d'états finis en utilisant les CTMC et les scores de ratio, offrant une analyse d'erreur complète pour la diffusion par masquage et les échantillonneurs discrets.
5. Contrôle au Moment de l'Inférence : Il formalise le guidage et l'inclinaison de récompense comme des changements de mesure (transformations de Doob), clarifiant la relation mathématique entre le modèle de base, la fonction de récompense et la dynamique guidée résultante.

Signification et Revendications

L'article affirme fournir une introduction orientée vers la preuve adaptée aux étudiants de premier cycle avancés possédant un bagage en probabilités mais sans exposition préalable aux équations différentielles stochastiques (SDE) ou aux modèles de diffusion. Sa signification réside dans :

• Fondations Rigoureuses : Aller au-delà des explications heuristiques pour fournir des preuves complètes pour les définitions centrales (Fokker-Planck, identité de Tweedie, SDE inverse) et des estimations représentatives pour la convergence.
• Combler les Lacunes : Connecter la théorie MCMC classique (Langevin, MALA) à la modélisation générative moderne (DDPM, Score-Based), montrant que les modèles de diffusion sont essentiellement une implémentation apprise spécifique de la dynamique d'échantillonnage inverse.
• Clarification des Hypothèses : Énoncer explicitement les hypothèses requises pour la convergence (par exemple, les inégalités de Log-Sobolev, la lissité) et distinguer les « théorèmes de niveau recherche » (énoncés avec des feuilles de route) des « estimations représentatives » (prouvées sous des hypothèses simplificatrices).
• Boîte à Outils Autonome : Les notes servent de référence autonome pour les outils analytiques (calcul d'Itô, théorème de Girsanov, identités gaussiennes) nécessaires pour comprendre et analyser les modèles de diffusion, évitant de devoir consulter une littérature disparate pour les mécanismes de base.

Les auteurs déclarent explicitement que les notes ne font pas l'inventaire de l'ensemble du paysage des modèles génératifs (excluant en détail le flow matching, les modèles de consistance, etc.) mais se concentrent sur les mécanismes mathématiques spécifiques de la diffusion et de la dynamique de Langevin, traitant l'erreur de score appris comme une entrée pour les garanties de l'échantillonneur plutôt que comme un problème d'apprentissage statistique.