Pathwise Learning of Stochastic Dynamical Systems with Partial Observations

Cet article présente une approche d'estimation neuronale basée sur l'inférence variationnelle pour reconstruire et inférer des systèmes dynamiques stochastiques à partir d'observations partielles et bruyantes, en apprenant un contrôle stochastique qui transforme la mesure de chemin a priori en une mesure de filtrage a posteriori.

L'essentiel

🌊 Le Problème : Naviguer dans le Brouillard

Imaginez que vous êtes le capitaine d'un navire (le système dynamique) qui traverse une mer agitée et imprévisible. Votre bateau bouge selon des lois physiques complexes, mais vous ne pouvez pas voir l'horizon. Vous n'avez que des instruments de mesure très bruyants : un boussole qui tremble, un sonar qui grésille, et des observations partielles (parfois vous ne voyez rien du tout, comme si le brouillard était trop épais).

Le défi classique en science des données, c'est de deviner où se trouve réellement votre bateau à chaque instant, en se basant uniquement sur ces mesures imparfaites. C'est ce qu'on appelle le filtrage ou l'assimilation de données.

Les méthodes traditionnelles (comme les "filtres à particules") fonctionnent un peu comme si vous envoyiez des milliers de petits robots explorateurs (des particules) dans toutes les directions possibles. À chaque nouvelle mesure, vous devez en tuer la plupart et en faire naître de nouveaux là où ça semble logique.

• Le problème ? C'est lent, ça consomme énormément d'énergie, et si le système est trop complexe (comme une tempête chaotique), les robots se perdent ou se regroupent tous au même endroit, faussant le résultat.

💡 La Solution de l'Auteur : L'Apprentissage par "Intuition"

Nicole Yang propose une approche radicalement différente. Au lieu d'envoyer des milliers de robots à chaque fois, elle veut apprendre à un seul "pilote virtuel" (un réseau de neurones) à deviner la trajectoire la plus probable.

Voici comment cela fonctionne, étape par étape :

1. La Carte et la Boussole (Le Modèle Génératif)

Imaginez que vous apprenez à un pilote virtuel à naviguer. Au lieu de lui donner la carte exacte des courants (ce que nous ne connaissons pas toujours), vous lui montrez des milliers d'exemples de voyages passés : "Voici ce que le bateau a fait quand le vent soufflait ainsi, et voici ce que les instruments ont enregistré".

Le modèle apprend à créer une trajectoire complète d'un coup, pas à pas. C'est comme si le pilote apprenait à "ressentir" le chemin idéal, en tenant compte du bruit des instruments.

2. Le Contrôle Optimal (Le Remplacement du "Re-calcul")

Dans la théorie mathématique (l'équation de Zakai), il existe une formule magique qui dit : "Pour trouver le chemin le plus probable, il faut ajouter une petite force de correction à la trajectoire naturelle."

Normalement, calculer cette force demande des supercalculateurs. Ici, l'auteur utilise un réseau de neurones (une sorte de cerveau artificiel) pour apprendre cette force de correction.

• L'analogie : Imaginez que vous conduisez une voiture dans le brouillard. Au lieu de recalculer votre route à chaque seconde en regardant une carte, vous avez un copilote (le réseau de neurones) qui vous dit : "Tourne légèrement à gauche, le bruit du moteur indique qu'il y a un virage". Ce copilote s'adapte instantanément à la route.

3. L'Amortissement (La "Mémoire" Instantanée)

C'est le point le plus brillant. Une fois le pilote virtuel entraîné, il n'a plus besoin de réfléchir.

• Avant : À chaque nouvelle observation, il fallait relancer toute la simulation avec des milliers de robots.
• Maintenant : Vous donnez simplement les nouvelles mesures au pilote, et il génère instantanément la trajectoire la plus probable, avec une estimation de l'incertitude (une "zone de confiance"). C'est comme passer d'un calculateur lent à un réflexe instantané.

🧪 Les Expériences : Où cela a-t-il été testé ?

L'auteur a mis son modèle à l'épreuve sur trois types de défis :

1. La Vallée à Double Puits (Double-well) : Imaginez une bille qui roule dans un paysage avec deux creux (deux vallées). Elle peut sauter d'un creux à l'autre de manière imprévisible. Le modèle a réussi à prédire non seulement où était la bille, mais aussi combien de temps elle passait dans chaque vallée, même avec des données très bruyantes.
2. L'Attracteur de Lorenz (Le Chaos) : C'est un système météorologique célèbre qui est extrêmement chaotique (le "effet papillon"). Les méthodes classiques échouent souvent car elles ont besoin de trop de données. Ici, le modèle a deviné la trajectoire chaotique avec très peu de données, sans même connaître les équations de la météo !
3. Les Données Manquantes (Lorenz-96) : Imaginez que votre boussole tombe en panne pendant 40% du voyage. La plupart des méthodes s'effondrent. Le modèle de Nicole, lui, a continué à naviguer en "devinant" intelligemment ce qui s'était passé pendant les trous, grâce à sa compréhension de la dynamique globale.

🚀 En Résumé : Pourquoi c'est important ?

Ce papier nous dit essentiellement : "Arrêtons de compter sur des milliers de robots pour deviner le futur. Apprenons à une intelligence artificielle à comprendre la logique du chaos."

• Avantage 1 : Ça marche même si on ne connaît pas les lois physiques exactes du système (on apprend directement à partir des données).
• Avantage 2 : C'est ultra-rapide une fois entraîné.
• Avantage 3 : Ça gère très bien les données manquantes, bruyantes ou irrégulières.

C'est un peu comme passer d'un calculateur manuel à une voiture autonome qui a appris à conduire dans toutes les conditions possibles. Une fois qu'elle a appris, elle conduit seule, sans avoir besoin de recalculer la route à chaque virage.

Résumé technique

Résumé Technique : Apprentissage Pathwise de Systèmes Dynamiques Stochastiques avec Observations Partielles

1. Problématique

La reconstruction et l'inférence de systèmes dynamiques stochastiques (SDE) à partir de données bruitées et partielles constituent un défi fondamental en problèmes inverses et en apprentissage statistique.

• Limites des méthodes existantes : Les approches classiques comme les filtres de particules (Sequential Monte Carlo - SMC) souffrent de la dégénérescence des poids en haute dimension et nécessitent des rééchantillonnages coûteux qui introduisent des discontinuités. Les filtres de Kalman d'ensemble (EnKF) sont efficaces mais incohérents avec le théorème de Bayes pour les modèles non-gaussiens. De plus, la plupart de ces méthodes supposent que les équations gouvernantes (dérive et diffusion) sont connues, ce qui n'est pas le cas dans de nombreux scénarios réels où les dynamiques sont inconnues ou partiellement spécifiées.
• Objectif : Développer une méthode d'apprentissage de données (data-driven) capable d'effectuer simultanément l'inférence des paramètres de l'EDS (équation différentielle stochastique) et l'estimation des trajectoires (path estimation) à partir d'observations bruitées, sans nécessiter la connaissance a priori du modèle dynamique.

2. Méthodologie

L'auteur propose une approche basée sur l'inférence variationnelle et le contrôle stochastique, formulée dans l'espace des trajectoires (path space).

A. Formulation Variationnelle et Équation de Zakai Pathwise

• Le problème est reformulé comme un problème de contrôle stochastique optimal sur l'espace des trajectoires.
• En partant de l'équation de Zakai (qui régit la densité conditionnelle non normalisée), l'article dérive une équation aux dérivées partielles (EDP) parabolique pour la densité non normalisée $q^y_t$ conditionnée à une trajectoire d'observation déterministe $y$.
• En utilisant le principe variationnel de Gibbs et la formule de Kallianpur-Striebel, la mesure de probabilité a posteriori sur les trajectoires est identifiée comme la loi d'un processus de diffusion contrôlé.
• Le contrôle optimal $u^*$ est explicitement lié au gradient du logarithme de la densité a posteriori (ou de la fonction de valeur $V = -\log q^y_t$). Cela transforme le problème de filtrage en un problème de contrôle stochastique où le contrôle corrige la dynamique a priori pour s'aligner sur les observations.

B. Modèle Génératif Conditionnel (Neural SDE)

• Au lieu de résoudre l'équation de Hamilton-Jacobi-Bellman (HJB) sur une grille (ce qui est impossible en haute dimension), l'auteur propose un modèle génératif conditionnel basé sur des EDS neuronales (Neural SDEs).
• Architecture :
  • Un encodeur (réseau de neurones de type GRU) traite la trajectoire d'observation $y_{0:t}$ jusqu'au temps $t$ pour fournir un contexte.
  • Un processus latent $Z_t$ évolue selon une EDS contrôlée où la dérive est paramétrée par un réseau de neurones $u_\phi$. Ce contrôle joue le rôle de la correction de filtrage optimale.
  • Un décodeur $D_\theta$ mappe l'espace latent vers l'espace d'état réel $X_t$.
• Amortissement (Amortization) : Contrairement aux méthodes itératives qui mettent à jour l'estat à chaque observation, ce modèle apprend une carte amortie $y_{0:t} \mapsto \Pi^y_t$. Une fois entraîné, il peut générer instantanément des échantillons de la distribution a posteriori pour de nouvelles observations sans réentraînement ni réexécution d'un filtre en ligne.

C. Fonction de Perte (Pathwise ELBO)

• L'entraînement repose sur la maximisation d'une borne inférieure de la vraisemblance (Evidence Lower Bound - ELBO) adaptée au cas pathwise.
• La fonction de perte combine :
  1. La vraisemblance des observations conditionnelles aux états latents (terme de reconstruction).
  2. La divergence de Kullback-Leibler (KL) entre la loi du processus latent auxiliaire (défini par l'encodeur) et la loi du processus génératif contrôlé.
• Grâce au théorème de Girsanov, le terme KL peut être calculé analytiquement comme une intégrale du carré de la différence de dérive normalisée par la diffusion.

3. Contributions Principales

1. Formulation Contrôlée du Filtrage Pathwise : Dérivation rigoureuse reliant l'équation de Zakai pathwise à un problème de contrôle stochastique optimal, permettant de représenter la mesure a posteriori comme la loi d'une diffusion contrôlée.
2. Modèle Génératif Amorti : Développement d'une architecture Neural SDE qui apprend directement la mesure a posteriori sur l'espace des trajectoires, évitant ainsi les problèmes de dégénérescence des particules et les mises à jour récursives coûteuses.
3. Inférence sans Modèle de Transition : La méthode ne nécessite pas la connaissance des coefficients de dérive et de diffusion du système sous-jacent ; elle apprend la dynamique a posteriori directement à partir des données.
4. Robustesse aux Observations Manquantes et Non-Linéaires : Le cadre en temps continu permet de gérer naturellement des observations irrégulières, manquantes ou bruitées de manière non-linéaire.

4. Résultats Expérimentaux

Les performances sont évaluées sur plusieurs systèmes stochastiques non linéaires et chaotiques :

• Équation Double Puits (Double-well) :
  • Le modèle capture efficacement le comportement métastable et les transitions entre les puits.
  • Il estime avec précision des fonctionnels de trajectoire complexes comme les temps de séjour (dwell times) et les temps d'occupation, avec une couverture de confiance de 90% fiable.
• Système de Lorenz-63 (Chaos) :
  • Comparé aux filtres de particules (PF) et à Particle Gibbs (PG), la méthode proposée obtient des erreurs RMSE et des distances de Wasserstein inférieures.
  • Elle surpasse les méthodes basées sur les particules même avec un nombre de particules élevé, car elle apprend la dynamique a posteriori directement sans dépendre d'un ensemble de particules.
• Système de Lorenz-96 (Haute Dimension & Données Manquantes) :
  • Testé sur un système 15-dimensionnel avec des taux d'observations manquantes allant jusqu'à 40%.
  • La méthode maintient une précision supérieure aux filtres de particules et aux lisseurs (smoothers) dans des régimes de données très clairsemées.
• Données Réelles (MuJoCo Hopper) :
  • Application à la simulation physique d'un robot sauteur.
  • Le modèle gère mieux les distributions multimodales et les échantillonnages irréguliers qu'un modèle autoregressif GRU standard, en maintenant une cohérence temporelle dans les trajectoires inférées.

5. Signification et Perspectives

Cet article représente une avancée significative dans le domaine de l'assimilation de données et de l'apprentissage de systèmes dynamiques :

• Changement de Paradigme : Il passe d'une approche de mise à jour récursive de densités marginales (filtrage classique) à l'apprentissage d'une carte générative directe sur l'espace des trajectoires.
• Évolutivité : La méthode est scalable en haute dimension, contournant la malédiction de la dimensionnalité qui affecte les méthodes de Monte Carlo par particules.
• Flexibilité : Elle offre une quantification d'incertitude rigoureuse pour des fonctionnels de trajectoires (temps d'atteinte, autocorrélations) et fonctionne avec des données partielles ou manquantes.
• Futur : Les auteurs suggèrent des liens futurs avec les ponts de Schrödinger (Schrödinger Bridges) et l'exploration de limites de champ moyen (McKean-Vlasov) pour améliorer l'approximation théorique et la stabilité en ligne.

En résumé, cette approche combine la théorie du contrôle stochastique et l'apprentissage profond pour offrir une solution robuste, efficace et généralisable à l'inférence de systèmes dynamiques complexes sous incertitude.