Résumé Technique : Modélisation Bayésienne Nonlocale de la Dynamique Spatio-Temporelle Continue

1. Définition du Problème

L'article traite du défi de la prévision spatio-temporelle dans des contextes réels caractérisés par trois contraintes simultanées :

1. Points Temporels Irréguliers : Les observations arrivent à des intervalles non uniformes.
2. Rareté Spatiale : Les capteurs sont dispersés, laissant de vastes régions non observées.
3. Interactions Nonlocales : L'évolution temporelle en un lieu spécifique dépend non seulement de son voisinage immédiat, mais aussi de régions distantes (par exemple, les téléconnexions climatiques comme El Niño/ENSO).

Les méthodes existantes peinent à gérer ces contraintes conjointement. Les modèles statistiques classiques (par exemple, les processus gausiens) gèrent la rareté et l'incertitude mais reposent souvent sur des covariances faiblement structurées qui ne peuvent capturer des dépendances non locales complexes et dynamiquement évolutives. Les modèles d'apprentissage profond atteignent une grande précision mais sont généralement spatio-transductifs (nécessitant un réentraînement pour de nouveaux emplacements) et manquent d'une quantification principled de l'incertitude. Les modèles neuronaux en temps continu (par exemple, les Neural ODEs) gèrent l'échantillonnage irrégulier mais manquent souvent de structure spatiale explicite ou d'inférence bayésienne.

De plus, la modélisation de la dynamique non locale en espace et temps continus mène naturellement aux équations différentielles intégro-différentielles (IDE). En espace continu, le champ latent est de dimension infinie, et le terme intégral non local manque généralement de forme fermée, rendant l'inférence bayésienne fondée intractable sans une discrétisation coûteuse.

2. Méthodologie : NLBST

Les auteurs proposent le modèle Spatio-Temporel Bayésien Non-Local (NLBST), un cadre hiérarchique bayésien qui apprend un couplage non local explicite tout en conservant une inférence traitable. Le modèle opère sur une hiérarchie à trois niveaux :

Niveau 1 : Modèle de Données

Les observations $y(x, t)$ sont modélisées comme des mesures bruitées d'un champ spatio-temporel latent $\mu(x, t)$ :
$$y(x, t) = \mu(x, t) + \epsilon(x, t), \quad \epsilon \sim \mathcal{N}(0, \sigma^2_{obs})$$
Le modèle accomode les données manquantes via un masque binaire, permettant l'inférence sans imputation.

Niveau 2 : Modèle de Processus

Le champ latent est décomposé en une expansion de base spatiale basée sur les coordonnées et un processus de coefficient en temps continu :
$$\mu(x, t) = \phi(x)^\top z(t)$$
où $\phi(x)$ est un vecteur de $K$ fonctions de base spatiales et $z(t) \in \mathbb{R}^K$ est un vecteur de coefficients variant dans le temps.

La dynamique de $z(t)$ est régie par une équation différentielle ordinaire (ODE) en temps continu avec un bruit additif :
$$dz(t) = (A_{NL}z(t) + g_\theta(z(t), t)) dt + \sigma_{proc} dW_t$$

• Couplage Non-Local ($A_{NL}$) : Une matrice linéaire apprenable $A_{NL} \in \mathbb{R}^{K \times K}$ encode les interactions non locales. Théoriquement, ce terme correspond à une réduction de Galerkin de l'IDE non locale. Plus précisément, le noyau induit dans l'espace des champs est $G(x, x') = \phi(x)^\top A_{NL} M^{-1} \phi(x')$, où $M$ est la matrice de masse. Cela fournit une représentation de rang fini et traitable des dépendances à longue portée.
• Résiduel Non Linéaire ($g_\theta$) : Un composant Neural ODE capture les dynamiques non linéaires supplémentaires non expliquées par le couplage linéaire.
• Échantillonnage Irrégulier : L'ODE permet de propager l'état à travers des intervalles de temps arbitraires $\Delta t_k$ via l'intégration numérique (par exemple, Runge-Kutta), éliminant ainsi le besoin de pas de temps fixes ou d'imputation.

Niveau 3 : Modèle de Paramètres

Les paramètres globaux (échelles de bruit, état initial, paramètres de base) sont traités au sein d'une hiérarchie bayésienne. Les paramètres structurels ($A_{NL}, \theta$) sont estimés par point via l'inférence variationnelle, tandis que les échelles de bruit sont apprises comme des variables latentes avec des priors peu informatifs.

Inférence

Le modèle emploie une approche de filtrage variationnel :

1. Prédiction : L'état latent est propagé vers l'avant en temps continu via l'ODE.
2. Mise à jour : Aux temps d'observation, une mise à jour de type Kalman en forme fermée est effectuée. Puisque le modèle d'observation est linéaire-gaussien ($y_k = \Phi_k z_k + \epsilon_k$), la distribution postérieure sur $z_k$ reste gaussienne, permettant des mises à jour analytiques même avec des entrées manquantes (en restreignant la mise à jour aux sous-ensembles observés).
3. Optimisation : Les paramètres globaux sont appris en maximisant la borne inférieure de l'évidence (ELBO) par inférence variationnelle stochastique (SVI).

3. Contributions Clés

L'article revendique quatre contributions principales :

1. Filtrage Bayésien en Temps Continu : Le modèle propage les états latents via des ODE à travers des intervalles de temps arbitraires et utilise des mises à jour de type Kalman en forme fermée pour gérer les observations manquantes et irrégulières sans imputation.
2. Prédiction Spatiale Inductive : En apprenant des dynamiques de coefficients partagées à travers l'espace, le modèle peut prédire à des emplacements non mesurés simplement en évaluant les fonctions de base spatiales à de nouvelles coordonnées, sans réentraînement.
3. Quantification Fondée de l'Incertitude : L'incertitude est capturée via une hiérarchie bayésienne, fournissant des intervalles prédictifs bien calibrés via la distribution postérieure du filtrage de Kalman et l'inférence variationnelle sur les échelles de bruit.
4. Interactions Non Locales Apprenables : Le terme de couplage linéaire $A_{NL}$ induit un noyau non local de rang fini dans l'espace des champs, agissant comme une réduction de Galerkin d'une IDE non locale. Cela offre une voie explicite et interprétable pour modéliser la dépendance spatiale à longue portée.

4. Résultats Expérimentaux

Les auteurs ont évalué NLBST sur des benchmarks de PDE synthétiques (Advection-Diffusion et IDE Non Locale) et sur un jeu de données réel d'EPA PM2.5.

• Prévision sous Observations Partielles (RQ1) : NLBST a démontré une robustesse aux données manquantes (jusqu'à 30 % de données manquantes), surpassant les bases comme FNO (qui se dégrade fortement avec la présence de données manquantes) et Linear-DSTM (qui présentait une variance élevée). Sur le jeu de données PM2.5, il a obtenu les RMSE et CRPS les plus bas, tant aux emplacements mesurés qu'aux emplacements non mesurés.
• Prédiction Inductive Spatiale (RQ2) : Le modèle a réussi à se généraliser à des coordonnées spatiales non vues sans réentraînement. Sur le jeu de données PM2.5, l'erreur aux emplacements non mesurés était comparable à celle des emplacements mesurés, alors que les bases de deep learning reposant sur une interpolation post-hoc souffraient de baisses de performance significatives.
• Quantification de l'Incertitude (RQ3) : Les intervalles prédictifs étaient bien calibrés, avec une couverture empirique s'alignant étroitement sur les niveaux nominaux (par exemple, les intervalles à 90 %). Le modèle a montré une incertitude variable dans le temps cohérente, s'élargissant lors des périodes volatiles.
• Dynamiques Non Locales (RQ4) : Sur le benchmark IDE Non Locale, NLBST a largement surpassé toutes les bases, réduisant l'RMSE du meilleur concurrent de plus de 33 %. Cela souligne l'avantage d'apprendre explicitement le couplage à longue portée via $A_{NL}$. De plus, l'augmentation de la dimension de la base $K$ a conduit à des améliorations monotones de la précision, conformément aux garanties de convergence de Galerkin théoriques.

5. Signification et Revendications

L'article positionne NLBST comme un pont entre les dynamiques neuronales expressives et la quantification fondée de l'incertitude, un fossé souvent laissé par les méthodes antérieures qui traitent ces aspects de manière isolée. En combinant une base spatiale basée sur les coordonnées avec un processus latent piloté par une ODE et un apprentissage variationnel, le cadre unifie :

• La prévision en espace et temps continus.
• La prédiction inductive à des coordonnées non vues.
• Une incertitude calibrée en présence d'interactions non locales et d'échantillonnage irrégulier.

Les auteurs affirment que NLBST produit des gains substantiels par rapport aux bases, particulièrement dans les régimes dominés par les interactions non locales et les observations partielles. Des garanties théoriques (bien-fondé, stabilité et convergence de Galerkin) sont fournies pour soutenir la rigueur mathématique du modèle. Ce travail suggère que l'apprentissage d'un noyau non local de rang fini via une réduction de Galerkin est une stratégie viable et efficace pour rendre les IDE de dimension infinie traitables pour l'inférence bayésienne.