⚡ electrical engineering

RTS Smoother-Guided Learning of Physics-Based Neural Differential Models

Cet article propose un cadre hybride neuro-physique à deux étapes qui alterne entre l'estimation d'état basée sur le lisseur de Rauch–Tung–Striebel (RTS) et l'optimisation de paramètres par réseau de neurones afin d'apprendre les composantes manquantes d'équations différentielles ordinaires à partir d'observations d'états partielles tout en préservant une structure mécaniste interprétable.

Auteurs originaux : Ahmet Demirkaya, Georgios Stratis, Tales Imbiriba, Zachary D. Danziger, Deniz Erdogmus

Publié 2026-07-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahmet Demirkaya, Georgios Stratis, Tales Imbiriba, Zachary D. Danziger, Deniz Erdogmus

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que vous n'ayez que quelques clichés flous des mouvements d'un suspect, et que le reste de l'histoire soit manquante. Dans le monde de la science, c'est un problème courant lorsqu'on étudie comment les choses changent au fil du temps, comme le battement d'un cœur, le bouillonnement d'une réaction chimique ou l'activation d'un neurone. Les scientifiques utilisent des recettes mathématiques appelées « équations différentielles ordinaires » (EDO) pour décrire ces changements. Considérez une EDO comme un ensemble d'instructions qui dit : « Si le système est dans cet état en ce moment, voici exactement où il sera une fraction de seconde plus tard. » Généralement, ces recettes sont parfaites, mais dans le monde réel, nous ne connaissons pas toute la recette. Certains ingrédients sont manquants et nous ne pouvons pas voir toutes les parties du système ; nous voyons peut-être la température, mais pas la pression, ou le voltage, mais pas les interrupteurs cachés à l'intérieur d'une cellule. Cela rend la prédiction du futur ou la compréhension du passé incroyablement difficile car les pièces manquantes pourraient être les plus importantes.

Cet article s'attaque précisément à ce casse-tête. Les auteurs proposent une nouvelle façon ingénieuse de combler les lacunes. Au lieu de deviner les parties manquantes avec un programme informatique de type « boîte noire » qui pourrait être perturbé par le bruit, ils utilisent un outil mathématique de « voyage dans le temps » appelé l'adoucisseur de Rauch–Tung–Striebel (RTS). Imaginez que vous regardiez un film, mais que le projecteur vacille et saute des images. Un spectateur normal (ou un filtre informatique standard) essaie de deviner ce qui se passe ensuite en se basant uniquement sur ce qu'il vient de voir. Mais un adoucisseur RTS est comme un détective qui regarde le film entier du début à la fin, puis revient en arrière et remplit les images manquantes en utilisant les indices du futur ainsi que du passé. En utilisant cette vue « omnisciente » pour deviner les états cachés pendant l'entraînement, ils apprennent à un modèle hybride — partie physique connue, partie intelligence artificielle — à apprendre les règles manquantes du jeu. Ils ont constaté que cette méthode est bien meilleure pour reconstruire les parties cachées du système et prédire le futur, même lorsque les données sont bruitées ou incomplètes, comparée à d'autres méthodes populaires qui reposent sur la supposition des états cachés étape par étape.

Le dilemme du détective : Pièces manquantes et indices bruyants

Dans de nombreux domaines, de la biologie à l'ingénierie, les scientifiques utilisent les mathématiques pour modéliser l'évolution des systèmes. Mais souvent, les mathématiques sont incomplètes. Nous savons peut-être qu'une voiture avance, mais nous ne savons pas exactement comment le moteur réagit à la pédale d'accélérateur. Ou nous voyons le pic électrique d'un neurone, mais nous manquons les minuscules interrupches internes qui le provoquent. Pour aggraver les choses, nos capteurs sont imparfaits. Nous obtenons des mesures bruitées, comme essayer d'entendre un murmure dans une tempête de vent, et nous ne pouvons souvent pas tout mesurer en même temps.

L'article suggère une approche hybride : conserver les parties des mathématiques que nous connaissons avec certitude (les parties « mécanistes ») et utiliser un réseau de neurones (un type d'IA) pour apprendre les parties que nous ne connaissons pas. La partie délicate est l'entraînement de cette IA. Habituellement, pour enseigner à l'IA, vous avez besoin de connaître la « vérité terrain » — le chemin réel et caché emprunté par le système. Mais si nous ne pouvons pas mesurer les parties cachées, nous n'avons pas cette vérité. D'autres méthodes tentent de deviner le chemin caché à l'aide d'un réseau de neurones « récurrent », ce qui revient à un étudiant essayant de mémoriser une histoire en la lisant phrase par phrase. Si l'histoire est désordonnée ou si l'étudiant est fatigué (données bruitées), il pourrait s'y perdre.

La solution du voyage dans le temps

Les auteurs de cet article ont décidé de prendre une voie différente. Au lieu de deviner le chemin caché étape par étape, ils ont utilisé un outil appelé l'adoucisseur RTS. Considérez l'adoucisseur RTS comme un éditeur très intelligent qui lit toute l'histoire des mesures du système du début à la fin avant d'écrire le moindre mot de l'histoire « cachée ». Parce qu'il regarde l'ensemble de la chronologie, il peut lisser le bruit et déterminer le chemin le plus probable emprunté par les variables cachées, même s'ils n'ont jamais été directement mesurés.

Le processus fonctionne en deux étapes alternées, comme une danse :

La supposition : D'abord, ils figent le cerveau de l'IA et utilisent l'adoucisseur RTS pour deviner les états cachés (les états « latents ») en se basant sur les mesures bruitées et les parties connues de la physique. Cela donne une trajectoire « lissée » qui ressemble à la vérité terrain.
La leçon : Ensuite, ils traitent cette trajectoire lissée comme si elle était la véritable vérité. Ils l'utilisent pour enseigner au réseau de neurones comment compléter les équations physiques manquantes.
Répétition : Ils basculent entre la supposition du chemin et l'enseignement à l'IA jusqu'à ce que le modèle devienne vraiment performant.

Pourquoi cela importe : Le long terme

L'un des plus grands problèmes des autres méthodes est qu'elles sont excellentes pour prédire la seconde suivante, mais médiocres pour prédire l'heure suivante. Si vous faites une petite erreur à l'étape un, cette erreur grandit et grandit, comme une boule de neige dévalant une colline, jusqu'à ce que la prédiction soit complètement fausse. Les auteurs ont réalisé que l'entraînement de l'IA pour ne regarder qu'une étape à la fois ne suffisait pas.

Ainsi, ils ont ajouté un test d'« horizon long ». Ils n'ont pas seulement demandé à l'IA : « Peux-tu prédire la seconde suivante ? » Ils lui ont demandé : « Peux-tu prédire les 50 prochaines secondes ? » Si l'IA s'éloigne de la vérité au fil du temps, ils la pénalisent. Cela force l'IA à apprendre les réelles règles sous-jacentes du système, et non un raccourci qui fonctionne juste pour un instant.

Les résultats : Une image plus claire

Les auteurs ont testé leur méthode sur cinq systèmes différents, allant d'un simple pendule oscillant à des modèles biologiques complexes comme le cycle énergétique d'une cellule de levure et l'activation électrique d'un neurone. Dans chaque cas, ils ont comparé leur méthode à d'autres techniques d'IA populaires.

Le pendule : Lorsqu'uniquement la position d'un poids oscillant était mesurée (mais pas sa vitesse), leur méthode a parfaitement reconstruit la vitesse cachée et a maintenu l'oscillation correctement.
Le neurone : Pour un modèle de cellule cérébrale, ils ont réussi à reconstruire une variable de « porte » cachée qui contrôle quand la cellule s'active, même si elle n'a jamais été mesurée.
La réaction chimique : Dans un système chimique complexe, ils ont récupéré les concentrations chimiques cachées et ont maintenu la stabilité du motif oscillatoire.

Les résultats ont été impressionnants. Dans les simulations, leur méthode a réduit l'erreur de devinette des états cachés d'une marge énorme par rapport aux autres méthodes. Par exemple, dans le modèle de la levure, l'erreur est passée d'environ 0,19 (pour les autres méthodes) à seulement 0,0004. Ils ont également constaté que leur modèle restait précis sur de longues périodes, tandis que les autres dérivaient.

Robustesse : Gérer le bruit

La découverte la plus excitante est peut-être la capacité de la méthode à gérer les mauvaises données. Les auteurs ont testé leur système avec des mesures de plus en plus bruitées, simulant une situation où la « tempête » devenait de plus en plus forte. Même lorsque le signal était très faible (un rapport signal/bruit de seulement 5), l'adoucisseur RTS était toujours capable de reconstruire un chemin cohérent pour les variables cachées. Cela suggère que la méthode est très robuste et ne s'effondre pas facilement lorsque les données sont désordonnées, ce qui est précisément ce qui se passe dans le monde réel.

L'essentiel

Ce document ne prétend pas avoir résolu tous les mystères de la science. Il admet que si les données sont extrêmement éparses ou si le bruit n'est pas celui que l'on pense, la méthode pourrait encore être confuse. Cependant, il offre un nouvel outil puissant pour les scientifiques qui tentent de comprendre des systèmes complexes avec des pièces manquantes. En utilisant un adoucisseur de « voyage dans le temps » pour guider le processus d'apprentissage, ils peuvent construire des modèles hybrides qui sont non seulement précis, mais aussi interprétables — nous savons quelles parties sont basées sur la physique connue et quelles parties sont apprises par l'IA.

Le point clé est que parfois, pour comprendre le futur, il faut regarder l'image globale, et pas seulement l'étape suivante. En combinant la fiabilité des mathématiques classiques avec la flexibilité de l'IA, et en utilisant un astuce d'entraînement « omnisciente », cette méthode nous aide à construire de meilleurs jumeaux numériques du monde réel, même lorsque nous ne pouvons pas tout voir.

Résumé technique : Apprentissage de modèles différentiels neuronaux à base de physique guidé par le lissage RTS

Énoncé du problème

Les équations différentielles ordinaires (EDO) sont des outils standards pour modéliser les systèmes dynamiques dans des domaines tels que la physique, la biologie et l'ingénierie. Cependant, les applications pratiques font face à deux défis principaux :

Dynamiques inconnues ou incomplètes : Les modèles mécanistes sont souvent partiellement spécifiés, avec des termes manquants, des mécanismes de rétroaction simplifiés ou des effets propres à un sujet non capturés par des équations en forme close.
Mesures partielles et bruitées : Typiquement, seule une sous-partie des variables d'état est observée, souvent de manière indirecte et avec du bruit, ce qui rend la reconstruction de l'état complet difficile.

Les approches hybrides existantes qui combinent des modèles mécanistes avec des réseaux de neurones reposent souvent sur des encodeurs neuronaux appris ou des architectures récurrentes (par exemple, Latent ODEs, GRU-ODE-Bayes) pour inférer les états latents. Les auteurs soutiennent que sous une forte présence de bruit, un échantillonnage irrégulier ou une observation partielle sévère de l'état, ces mécanismes d'inférence appris peuvent être fragiles, et leurs représentations latentes peuvent manquer d'interprétabilité physique ou de stabilité.

Méthodologie

Le papier propose un cadre hybride neuro-physique où les composantes connues des EDO restent explicites, tandis que les composantes manquantes sont représentées par un réseau de neurones. L'innovation centrale est un algorithme itératif en deux étapes qui alterne entre l'estimation d'état et l'apprentissage de paramètres, en utilisant un lisseur de Rauch–Tung–Striebel (RTS) plutôt qu'un encodeur appris.

1. Formulation du problème

Le système est modélisé comme un modèle d'espace d'états stochastique :

Dynamique : $\dot{x}(t) = f_\theta(x(t)) + w(t)$ , où $f_\theta$ est un modèle partiellement connu avec des paramètres $\theta$ .
Mesures : $y(t_k) = h(x(t_k)) + \epsilon_k$ .
L'objectif est de minimiser la log-vraisemblance négative jointe des paramètres $\theta$ étant donné des observations partielles et bruitées. Comme les états latents $x$ ne sont pas observés, l'optimisation directe est intraitable.

2. La boucle d'apprentissage guidée par le RTS

Les auteurs remplacent la trajectoire latente inconnue par une estimation lissée $\hat{x}$ produite par un lisseur RTS, traitant cette estimation comme une « pseudo-vérité de terrain » pour l'apprentissage. Le processus alterne entre :

Étape 1 : Estimation d'état (Lissage RTS) :
Avec les paramètres du réseau de neurones $\theta$ fixés, le lisseur RTS traite la séquence complète de mesures pour estimer les trajectoires des états latents $\hat{x}_{0:T}$ et leurs covariances associées $P_{0:T}$ . Cette étape exploite la structure mécaniste connue et les modèles de bruit pour inférer les états de manière cohérente avec l'ensemble de l'historique des observations (contrairement au filtrage qui ne regarde que les données passées).
Étape 2 : Mise à jour des paramètres (Rétropropagation) :
En traitant les trajectoires lissées $\hat{x}$ et les covariances $P$ comme fixes, les paramètres du réseau de neurones $\theta$ sont mis à jour via la descente de gradient pour minimiser une fonction de perte de substitution.

3. Objectif d'apprentissage multi-horizon

La fonction de perte est une somme pondérée des erreurs sur plusieurs horizons de prédiction ( $n \in \mathcal{H}$ ) :
$\mathcal{L} = \frac{1}{T_{tot}} \sum_{i,n} \left( \| e^{(y)}_{k+n} \|^2_{R^{-1}} + \| e^{(x)}_{k+n} \|^2_{P^{-1}_{k+n}} \right)$

Erreur d'observation : Pondérée par l'inverse de la covariance du bruit de mesure ( $R^{-1}$ ).
Erreur d'état latent : Pondérée par l'inverse de la covariance du lisseur ( $P^{-1}$ ). Cela agit comme un poids de confiance ; si le lisseur est incertain (grand $P$ ), l'erreur est dépondérée.
Multi-horizon : Les auteurs soutiennent qu'un entraînement à un seul pas ( $n=1$ ) est insuffisant pour la stabilité à long horizon, surtout dans les systèmes partiellement observés où les erreurs dans les variables non mesurées peuvent ne se manifester qu'après plusieurs étapes d'intégration. Par conséquent, la perte inclut des erreurs de projection sur des échelles de temps plus longues.

4. Architecture hybride

Le modèle de dynamique $f_\theta$ est partitionné en :

$x_{phys}$ : États ayant des dynamiques analytiques connues ( $\dot{x}_{phys} = f_{phys}$ ).
$x_{unk}$ : États dont la dynamique est inconnue, remplacés entièrement par un réseau de neurones ( $\dot{x}_{unk} = f_{unk}$ ).
Cela préserve l'interprétabilité de la physique connue tout en apprenant les termes manquants.

Contributions clés

Apprentissage guidé par le lisseur RTS : Le papier introduit une méthode pour entraîner des Neural-ODEs hybrides en utilisant le lissage RTS pour générer des pseudo-cibles stables et cohérentes avec la dynamique pour les états latents, découplant ainsi l'estimation d'état de l'apprentissage de la dynamique neuronale.
Séparation de l'estimation et de l'apprentissage : Contrairement aux méthodes qui apprennent un encodeur-décodeur conjoint ou nécessitent un filtrage en ligne lors du test, cette approche distille l'information de lissage dans une EDO hybride autonome. Le modèle déployé final ne nécessite aucun estimateur d'état en ligne.
Pondération sensible à l'incertitude : La fonction de perte d'entraînement utilise la covariance postérieure du lisseur ( $P_k$ ) pour pondérer les erreurs de transition d'état, garantissant que le réseau de neurones apprend davantage des estimations d'état à haute confiance.
Objectif multi-horizon : L'inclusion d'horizons de projection plus longs dans la fonction de perte permet de traiter le problème de l'accumulation d'erreurs dans les prédictions à long terme, là où l'entraînement à un seul pas échoue souvent.

Résultats expérimentaux

La méthode a été évaluée sur cinq systèmes de référence présentant des complexités variées (linéaire, non linéaire, raide) et une observabilité partielle :

Oscillateur harmonique : État non mesuré en 1D.
Neurone de Hodgkin–Huxler : Modèle biophysique à états multiples et raide avec des variables de porte non mesurées.
Circulation rétinienne : Modèle physiologique avec des mesures indirectes.
Brusselator : Réseau de réaction non linéaire avec comportement oscillatoire.
Glycolyse de la levure : Oscillateur biochimique à haute dimension.

Métriques de performance :

RMSE de l'état latent : La méthode proposée a obtenu l'erreur la plus faible sur quatre des cinq systèmes, avec des améliorations significatives par rapport aux baselines NeuralODE, GRU-ODE-Bayes et CKF (par exemple, une chute de $1,92 \times 10^{-1}$ à $4,08 \times 10^{-4}$ sur la glycolyse de la levure).
Distance de Hausdorff de projection : La méthode a obtenu la distance la plus faible sur les cinq systèmes, indiquant un meilleur alignement des trajectoires à long terme avec la vérité de terrain.
Robustesse : Les expériences ont montré que la méthode reste stable même sous un bruit de mesure élevé (faible SNR), alors que les méthodes basées sur l'encodeur ont tendance à devenir fragiles.
Études d'ablation : Le retrait de la guidance RTS, de la perte d'état latent ou de la pondération par la covariance a entraîné une dégradation des performances, confirmant la nécessité de ces trois composants.

Signification et affirmations

Les auteurs affirment que leur approche offre une alternative robuste à l'inférence latente purement pilotée par les données, particulièrement dans des scénarios de données éparses ou bruitées. En exploitant le lissage de Kalman classique, la méthode :

Préserve l'interprétabilité : Les parties mécanistes connues du modèle restent explicites.
Améliore la stabilité : Le lisseur fournit des trajectoires cohérentes qui empêchent la « fragilité » souvent observée chez les encodeurs appris sous une observabilité partielle.
Permet le déploiement : Le produit final est une équation différentielle neuronale hybride compacte qui peut être simulée vers l'avant sans la surcharge de calcul liée à l'exécution d'un filtre ou d'un lisseur lors de l'inférence.

Le papier conclut que bien que la méthode suppose des fonctions de mesure connues et un bruit gaussien, elle fait efficacement le pont entre l'estimation d'état classique et l'apprentissage moderne d'équations différentielles neuronales, fournissant un cadre fiable pour découvrir les dynamiques manquantes dans les systèmes partiellement observés.