Goal-oriented learning of stochastic dynamical systems using error bounds on path-space observables

1. Problématique

Les équations différentielles stochastiques (EDS) gouvernent de nombreux systèmes dynamiques dans des domaines scientifiques, notamment la dynamique moléculaire. Cependant, le calcul de la fonction de dérive (drift) de ces EDS, souvent basée sur des méthodes de mécanique quantique ab initio, est extrêmement coûteux, limitant la simulation à des échelles de temps et de taille de système très réduites.

Pour contourner ce problème, on utilise des modèles de substitution (surrogates) appris à partir de données. Le défi majeur réside dans la définition de la fonction de perte (loss function) pour l'entraînement de ces modèles :

• Régression de la dérive : Minimiser l'erreur point par point entre la dérive de référence et celle du modèle (ex: "force matching"). Cela ne garantit pas la précision des observables dépendants du chemin (path-dependent).
• Minimisation de la divergence de mesure : Minimiser la divergence KL entre les lois des processus. Bien que cela assure une similarité globale, cela ne garantit pas la précision d'un observable spécifique (ex: un temps de premier passage).
• Approches basées sur les observables : Tenter de minimiser directement l'erreur sur l'observable cible. Le problème est que les données de référence pour ces observables sont souvent inaccessibles, bruyantes ou trop coûteuses à générer.

L'objectif de cet article est de développer une méthode d'apprentissage orientée vers un objectif (goal-oriented) qui permet d'apprendre un modèle de substitution fiable pour un observable spécifique (comme un taux de réaction ou un temps de premier passage), en n'utilisant que des données de la fonction de dérive, tout en fournissant des garanties théoriques sur l'erreur de l'observable.

2. Méthodologie

Les auteurs proposent une approche variationnelle basée sur une nouvelle borne d'erreur informationnelle.

A. Borne d'erreur informationnelle (Lemme 3.1)

Les auteurs dérivent une borne supérieure pour l'erreur absolue au carré d'un observable de l'espace des trajectoires $\mu = \mathbb{E}_x[\phi_\tau]$ (où $\phi_\tau$ est une fonctionnelle du chemin jusqu'à un temps d'arrêt $\tau$).
La borne s'exprime comme suit :
$$|\mathbb{E}_x[\phi_\tau] - \tilde{\mathbb{E}}_x[\phi_\tau]| \leq \sqrt{\mathbb{E}_x[\phi_\tau^2] + \tilde{\mathbb{E}}_x[\phi_\tau^2]} \cdot \sqrt{2 D_{KL}(P_x || \tilde{P}_x)}$$
Où $P_x$ et $\tilde{P}_x$ sont les lois des processus de référence et de substitution.

• Avantage clé : Contrairement aux bornes précédentes (Csiszár-Kullback-Pinsker), cette borne ne nécessite pas que la fonctionnelle $\phi_\tau$ soit bornée (uniformément). Elle s'applique aux observables non bornés, tels que les temps de premier passage sur des domaines non bornés, tant que le second moment est fini.

B. Fonction de perte orientée vers un objectif (Goal-Oriented Loss)

Pour transformer cette borne en fonction de perte utilisable pour l'entraînement, les auteurs définissent une perte variationnelle $L_{GO}$. Puisque le terme $\mathbb{E}_x[\phi_\tau^2]$ (le vrai second moment) est inconnu, ils le remplacent par une constante majorante $M_\phi$ et utilisent le second moment estimé sous la loi du modèle de substitution.

Deux formulations sont proposées :

1. Perte Forward : Basée sur la divergence relative par rapport à la mesure de référence (nécessite des échantillons de la distribution invariante de référence $\pi$).
2. Perte Reverse : Basée sur la divergence relative par rapport à la mesure de substitution (nécessite des échantillons de la distribution invariante du modèle $\tilde{\pi}_\theta$, générés par simulation).

La perte est définie comme :
$$L_{GO}(\theta) \propto (M_\phi + \tilde{\mathbb{E}}[\phi_T^2]) \cdot H(P || \tilde{P}_\theta)$$
Où $H$ est le taux d'entropie relative (scaled relative entropy rate). Minimiser cette perte minimise une borne supérieure de l'erreur de l'observable.

C. Calcul du Gradient

Un défi majeur est le calcul du gradient de cette perte pour l'optimisation par descente de gradient stochastique. Les auteurs dérivent une expression analytique fermée du gradient en utilisant les dérivées de Fréchet des fonctionnelles de chemin.
Le gradient de la perte dépend de :

• La dérivée du second moment de l'observable par rapport aux paramètres $\theta$.
• La dérivée du taux d'entropie relative.
  Ces termes peuvent être estimés efficacement via des méthodes de Monte Carlo sur les trajectoires simulées, sans nécessiter de différences finies coûteuses.

3. Contributions Clés

1. Nouvelle borne d'erreur : Preuve d'une borne d'erreur informationnelle pour les observables de l'espace des trajectoires, valable pour une classe large d'observables, y compris ceux non bornés (comme les temps de premier passage), ce qui n'était pas garanti par les inégalités d'information existantes.
2. Fonction de perte variationnelle : Introduction d'une fonction de perte $L_{GO}$ qui agit comme un proxy tractable pour minimiser l'erreur d'un observable spécifique, sans nécessiter de données de référence pour cet observable.
3. Dérivation analytique du gradient : Fourniture d'une formule de gradient exacte pour la perte orientée vers un objectif, rendant l'optimisation par descente de gradient efficace et stable.
4. Évaluation empirique : Démonstration que cette approche surpasse les méthodes classiques (matching de forces, matching d'énergie, minimisation de la divergence KL) en termes de précision des statistiques de premier passage et de robustesse face aux erreurs de distribution dans les données d'entraînement.

4. Résultats Numériques

Les auteurs ont validé leur méthode sur trois exemples de systèmes de Langevin suramortis :

• Potentiel double puits asymétrique : Comparaison visuelle des différentes métriques. La borne d'erreur orientée vers un objectif (GO) est la seule à rester systématiquement au-dessus de l'erreur réelle de l'observable, confirmant la propriété de borne supérieure. Les divergences KL classiques échouent à borner l'erreur.
• Mélange gaussien confiné : Entraînement par descente de gradient. Les modèles appris avec la perte GO convergent vers une erreur d'observable plus faible et une variance plus faible que ceux appris avec la perte d'entropie relative (RER) ou les pertes de régression classiques. La version "Reverse" de la perte GO s'est révélée particulièrement performante.
• Potentiel Muller-Brown (Robustesse) : Comparaison dans un scénario de "model misspecification" (le modèle de substitution est un réseau de neurones, différent de la forme analytique de référence) et avec des données d'entraînement biaisées (concentrées dans une région métastable).
  • Les pertes classiques (MSE sur l'énergie ou les forces) montrent une forte sensibilité à la distribution des données, entraînant des erreurs élevées sur le temps de premier passage lorsque les données sont biaisées.
  • La perte GO maintient une erreur faible et une variance stable, démontrant une robustesse supérieure aux erreurs de distribution et à la mauvaise spécification du modèle.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre l'apprentissage de modèles de substitution pour les EDS et les besoins pratiques de la simulation scientifique (comme la prédiction des taux de réaction).

• Efficacité computationnelle : En évitant la nécessité de générer des données de référence coûteuses pour les observables complexes, la méthode permet d'accélérer considérablement la découverte de modèles fiables.
• Fiabilité théorique : Contrairement aux approches heuristiques, cette méthode offre des garanties mathématiques sur la qualité de la prédiction d'un observable spécifique.
• Applications potentielles : La méthode est particulièrement adaptée pour améliorer les estimations de taux de réaction dans les simulations de Monte Carlo cinétique (KMC) et pour la modélisation de systèmes moléculaires complexes où les propriétés d'intérêt sont des statistiques de trajectoires plutôt que des champs de force instantanés.

En résumé, cette approche "orientée vers un objectif" permet de construire des modèles de substitution qui ne se contentent pas de reproduire la dynamique locale, mais qui garantissent la fidélité des propriétés macroscopiques et temporelles critiques pour la science des matériaux et la chimie computationnelle.