Résumé technique : Processus de Diffusion Spectrale

Énoncé du problème

La modélisation probabiliste sur des espaces fonctionnels (par exemple, les séries temporelles, les champs spatiaux) est cruciale dans les sciences physiques pour des tâches telles que la prévision météorologique et l'épidémiologie. Cependant, la construction de modèles probabilistes paramétriques valides sur ces espaces présente deux défis fondamentaux :

1. Validité : Les représentations de dimension finie de processus stochastiques ne garantissent pas automatiquement une distribution valide sur l'espace de dimension infinie. Pour définir un processus stochastique valide, un modèle doit satisfaire les conditions de cohérence et d'échangeabilité du théorème d'extension de Kolmogorov. Les approches existantes, telles que les modèles de diffusion à dimension infinie, discrétisent souvent l'espace d'entrée, ce qui produit des modèles qui échouent au critère de cohérence (où les prédictions dépendent de la résolution de la discrétisation).
2. Flexibilité : Les modèles doivent capturer des comportements complexes, non gaussiens et multimodaux. La régression par Processus Gaussiens (GP) satisfait la validité, mais est restreinte aux vraisemblances gaussiennes. Les Processus Neuraux (NP) offrent de la flexibilité, mais ne satisfont généralement que la cohérence conditionnelle, échouant à définir des distributions inconditionnelles valides.

Les approches de diffusion actuelles pour les fonctions manquent soit de validité (en raison de la discrétisation), soit peinent à incorporer naturellement les corrélations spatiales sans encourir des coûts de calcul prohibitifs (par exemple, des opérations de noyau en $O(N^3)$).

Méthodologie

Les auteurs proposent les Processus de Diffusion Spectrale (SDP), un cadre qui construit un modèle génératif valide et flexible pour les processus stochastiques en opérant dans le domaine spectral plutôt que dans l'espace d'entrée.

1. Représentation spectrale via le théorème de Mercer

Au lieu de discrétiser l'espace d'entrée $X$, la méthode décompose le processus stochastique $(Y_x)_{x \in X}$ en utilisant une base fonctionnelle dérivée d'un noyau $K$.

• Théorème de Mercer : Étant donné un noyau continu, symétrique et défini positif $K$, il existe une base de fonctions propres orthonormées $\{e_m\}_{m \in \mathbb{N}}$ et des valeurs propres $\{\lambda_m\}_{m \in \mathbb{N}}$ telles que $K(x, x') = \sum \lambda_m e_m(x) e_m(x')$.
• Décomposition : Le processus est représenté par $Y_x = \sum_{m=0}^{\infty} \lambda_m^{1/2} Z_m e_m(x)$, où $Z_m$ sont des coefficients stochastiques.
• Troncation : La série infinie est tronquée à l'ordre $M$ pour obtenir une représentation finie $Y^M_x$. Crucialement, comme la troncature se produit dans le domaine spectral (coefficients) plutôt que dans le domaine d'entrée, la combinaison linéaire finie résultante est, par définition, un processus stochastique valide. Cela satisfait intrinsèquement les exigences de cohérence et d'échangeabilité du théorème d'extension de Kolmogorov.

2. Modèle de diffusion spectrale

La stochasticité du processus est entièrement encodée dans les coefficients $Z = (Z_0, \dots, Z_M)$.

• Modélisation : Un modèle de diffusion de débruitage (VP-SDE) standard à dimension finie est entraîné sur les coefficients spectraux $Z$. Le processus direct ajoute du bruit à $Z$, et le processus inverse apprend à débruiter ces derniers.
• Flexibilité : Contrairement aux GP ou aux NP, le modèle de diffusion n'impose aucune forme paramétrique (par exemple, gaussienne) sur les coefficients, ce qui permet au modèle de capturer des distributions arbitraires multimodales et non gaussiennes dans l'espace fonctionnel.
• Échantillonnage conditionnel : Pour gérer les tâches conditionnelles (prédire $y^*$ étant donné le contexte $\{x_i, y_i\}$), le réseau de score est amorti sur l'ensemble de contexte via un encodeur invariant par permutation (inspiré des Processus Neuraux), produisant un plongement de contexte $c$ qui conditionne la distribution des coefficients.

3. Dynamique spatiale induite

Le papier établit un lien théorique entre la diffusion spectrale et le domaine spatial :

• Bruit corrélé : Le processus spatial direct induit correspond à un processus d'Ornstein-Uhlenbeck avec un bruit corrélé, où la covariance du bruit est déterminée par le noyau $K$.
• Comportement limite : À mesure que le nombre de coefficients spectraux $M \to \infty$, la distribution de base du processus converge vers le processus gaussien qui minimise la divergence KL par rapport à la distribution cible.

4. Détails de mise en œuvre

• Prétraitement : La méthode nécessite une étape de prétraitement unique pour calculer l'ensemble de données spectrales. Cela implique d'utiliser la méthode de Nyström pour approximer la base propre du noyau sur un ensemble d'évaluation partagé et de projeter les données d'entraînement sur ces coefficients.
• Entraînement : Le modèle de diffusion est entraîné sur les coefficients projetés en utilisant le débruitage par correspondance de score (DSM).
• Échantillonnage : De nouveaux échantillons sont générés en inversant le processus de diffusion sur les coefficients et en reconstruisant la fonction via l'expansion de la base.

Principales contributions

1. Modèles génératifs valides pour les processus : Le papier introduit une méthode qui construit un modèle génératif qui est valide par construction (satisfaisant la cohérence de Kolmogorov et l'échangeabilité) tout en conservant l'expressivité des modèles de diffusion.
2. Découplage spectral : En dissociant la partie stochastique (coefficients) de la structure espace-temps (base), la méthode évite les problèmes de cohérence inhérents à la discrétisation dans l'espace d'entrée.
3. Interprétation du bruit corrélé : Les auteurs démontrent que leur approche spectrale est équivalente à un modèle de diffusion avec un bruit corrélé dans le domaine spatial, fournissant un moyen rigoureux d'incorporer la structure spatiale sans opérations explicites de matrice de noyau pendant l'entraînement.
4. Modélisation conditionnelle amortie : Le cadre s'étend à l'échantillonnage conditionnel en amortissant le réseau de score sur des ensembles de contexte, permettant la modélisation prédictive de distributions postérieures.

Résultats expérimentaux

La méthode a été évaluée sur plusieurs tâches :

• Génération d'images 2D (MNIST) : Les visualisations ont montré que l'utilisation d'un noyau de covariance capture efficacement les corrélations spatiales, tandis que les noyaux RBF imposaient une lissage excessif.
• Processus stochastiques 1D : Le modèle a été testé sur les jeux de données Melbourne (comptages de piétons), Gridwatch (demande énergétique) et un jeu de données synthétique Quadratique (bimodal).
  • Multimodalité : L'SDP a réussi à capturer la distribution bimodale du jeu de données Quadratique, là où les Processus Neuraux (NP) et les GP ont échoué en raison de leurs hypothèses de vraisemblance gaussienne.
  • Estimation de la variance : L'SDP surpasse les NP et les GP dans la capture de la variance sur des jeux de données réels.
  • Métriques quantitatives : En utilisant un test d'hypothèse de deux échantillons de noyaux, l'SDP surpasse systématiquement les GP, les NP et les Processus de Diffusion Neuraux (NDP) pour distinguer les échantillons générés des données réelles.
• Performance prédictive : Sur les jeux de données 1D et les tâches de régression GP synthétiques, l'SDP a obtenu une erreur quadratique moyenne (MSE) plus faible et une meilleure estimation de la covariance prédictive par rapport aux NP, ANP et AGNPs. Notamment, il correspond plus précisément à la véritable covariance prédictive que les variantes de NP, qui doivent apprendre les structures de covariance entièrement à partir des données.

Signification et affirmations

Le papier affirme que les Processus de Diffusion Spectrale comblent le fossé entre la validité des processus gaussiens et la flexibilité des modèles génératifs neuraux. En déplaçant la représentation vers le domaine spectral, les auteurs parviennent à un modèle qui :

• Définit une distribution valide sur les processus stochastiques sans nécessiter que le modèle apprenne la cohérence à partir des données.
• Gère naturellement les distributions fonctionnelles complexes, non gaussiennes et multimodales.
• Évite les goulots d'étranglement computationnels des opérations de matrice de noyau pendant les phases d'entraînement et d'échantillonnage (en transférant ce coût à une étape de prétraitement).

Les auteurs positionnent ce travail comme une alternative rigoureuse aux approches de diffusion à dimension infinie existantes qui perdent la cohérence lors de la discrétisation, offrant un cadre robuste pour la modélisation physique où la validité et la flexibilité sont simultanément requises.