Full-Field State Estimation from Sparse Point Sensors via Adaptive  Data-Driven Modeling and Sequential Data Assimilation for Nonlinear Dynamical Systems

Imaginez que vous essayiez de deviner la météo sur un continent entier, mais que vous ne disposez que de quelques thermomètres éparpillés dans des villes aléatoires. C'est le combat quotidien des scientifiques et des ingénieurs qui surveillent des systèmes complexes comme les courants océaniques, le flux du sang dans nos veines ou la chaleur se propageant dans un moteur de jet. Ils connaissent la physique de la manière dont ces systèmes devraient fonctionner, mais les mesures du monde réel sont souvent éparses, bruitées et incomplètes. C'est comme essayer de terminer un immense puzzle alors que vous n'avez que quelques pièces et que certaines d'entre elles sont tachées.

Pour résoudre cela, les scientifiques s'appuient généralement sur deux outils principaux. Premièrement, ils utilisent des « modèles », qui sont comme des recettes mathématiques prédisant comment un système évolue au fil du temps. Deuxièmement, ils utilisent l'« assimilation de données », une façon sophistiquée de dire qu'ils ajustent constamment leurs prédictions en fonction de nouvelles mesures provenant de leurs rares capteurs. Cependant, ces recettes traditionnelles échouent souvent lorsque le système est trop désordonné ou non linéaire (ce qui signifie que de petits changements peuvent provoquer des effets énormes et imprévisibles) ou lorsque la recette elle-même repose sur des hypothèses qui s'avèrent fausses. La grande question était : pouvons-nous apprendre la « recette » directement à partir des données désordonnées et éparses que nous avons réellement, sans avoir besoin de connaître la physique parfaite au préalable ?

Ce document affirme que oui, et il le fait en construisant un pipeline ingénieux et auto-correcteur qui agit comme un détective qui ne cesse jamais d'apprendre. Les chercheurs, dirigés par Souvik Roy et ses collègues de l'Université du Wisconsin–Milwaukee, ont développé un cadre entièrement piloté par les données qui permet de récupérer l'état complet et haute définition d'un système en utilisant seulement une infime fraction de capteurs. Ils ont testé cela sur trois scénarios différents : une équation de la chaleur simulée, un écoulement de fluide simulé (équation de Burgers) et des données réelles de température océanique de la NOAA. Leur méthode combine trois astuces : elle utilise la « détection compressée » pour deviner les pièces manquantes du puzzle à partir de données éparses, la « Décomposition de Modes Dynamiques avec Contrôle » (DMDc) pour apprendre comment le système se déplace, et un « filtre de Kalman » pour corriger constamment ses suppositions à mesure que de nouvelles données arrivent.

Le secret de la réussite, cependant, est que le système ne se contente pas d'apprendre une fois pour s'arrêter là. Les auteurs ont découvert que si l'on laisse un modèle fonctionner trop longtemps sans le mettre à jour, il commence à dériver et à donner de mauvaises réponses. Pour corriger cela, ils ont ajouté deux fonctionnalités adaptatives. Premièrement, le modèle se « recalibre » périodiquement en utilisant les données les plus récentes qu'il a observées, garantissant qu'il reste accordé au comportement actuel du système. Deuxièmement, il utilise un outil statistique appelé DCC-GARCH pour mettre à jour constamment son propre « niveau de confiance » concernant la part de confiance qu'il accorde à ses propres prédictions par rapport aux données bruitées des capteurs. Dans leurs simulations, cette approche a permis de reconstruire des états de champ complets avec une grande précision, même en utilisant seulement 0,5 % des capteurs disponibles et en faisant face à des mesures très bruitées (aussi basses que 5 dB de rapport signal sur bruit). Les résultats ont montré que, tandis qu'un modèle statique finirait par échouer, ce système adaptatif et auto-correcteur maintenait l'erreur à un niveau bas, prouvant que l'on peut effectivement suivre des dynamiques non linéaires complexes avec très peu de capteurs si l'on laisse le modèle apprendre et s'adapter à la volée.

La boîte à outils du détective : Comment ça marche

Pour comprendre comment cela fonctionne, imaginons que le système que nous essayons de surveiller est un gigantesque océan invisible de chaleur ou de fluide. Nous ne pouvons pas voir tout l'océan, mais nous avons quelques bouées flottantes (capteurs) qui rapportent la température ou la vitesse à leur emplacement spécifique.

Étape 1 : Combler les vides (Détection compressée)
Le premier défi est que nous n'avons des données que de quelques points. Si nous regardons seulement ces points, nous avons une image très floue. Les auteurs utilisent une technique appelée Détection compressée (Compressed Sensing). Considérez cela comme un tour de magie où vous pouvez reconstruire une image entière à partir de quelques pixels dispersés, à condition que l'image possède un motif sous-jacent. Dans ce cas, le « motif » est que les données peuvent être représentées efficacement en utilisant un langage mathématique spécifique (dans ce document, ils ont utilisé une Transformée en Cosinus Discrète, qui est excellente pour les champs lisses comme la chaleur ou la température). L'algorithme prend les lectures de capteurs éparses et bruitées et résout un puzzle pour deviner à quoi ressemble le champ complet à ce moment précis. C'est comme regarder quelques points sur une page et dessiner le reste de l'image parce que vous savez que les points appartiennent à une forme spécifique.

Étape 2 : Apprendre la danse (DMDc)
Une fois que l'algorithme possède une image « complète » du système pour une période d'entraînement, il doit apprendre comment le système se déplace. C'est ici qu'intervient la Décomposition de Modes Dynamiques avec Contrôle (DMDc). Imaginez que vous regardez un danseur. Vous n'avez pas besoin de connaître la physique des muscles et de la gravité pour prédire son prochain mouvement ; vous avez juste besoin de le regarder danser pendant un certain temps et d'apprendre le motif. La DMDc fait exactement cela. Elle observe la séquence d'images « complètes » (instantanés) et apprend une règle linéaire simple qui décrit comment le système évolue d'un moment à l'autre. La partie « Contrôle » signifie qu'elle apprend également comment des forces externes (comme l'allumage d'un chauffage ou le vent qui souffle) modifient la danse. Crucialement, cela se fait entièrement à partir des données ; l'ordinateur n'a pas besoin de connaître les équations de la physique régissantes.

Étape 3 : La correction constante (Filtre de Kalman)
Maintenant, le modèle peut prédire l'avenir. Mais voici le piège : le modèle est une approximation, et les capteurs sont bruités. Si le modèle prédit que la température sera de 20 °C, mais que le capteur indique 22 °C, à qui devez-vous croire ? C'est là que le Filtre de Kalman intervient. Il agit comme un arbitre sage. Il pèse la prédiction du modèle par rapport à la nouvelle lecture du capteur. Si le capteur est très bruité, il fait davantage confiance au modèle. Si le capteur est clair, il fait davantage confiance au capteur. Il met ensuite à jour son estimation de l'état actuel. Cela se produit en boucle : prédire, mesurer, corriger, répéter.

Le rebondissement : Pourquoi le mode « régler et oublier » échoue

Le document souligne un point critique qui distingue ce travail des tentatives plus simples : un modèle appris une seule fois n'est pas suffisant sur le long terme.

Si vous entraînez un modèle sur des données des 100 premières secondes et que vous le laissez fonctionner pendant 1 000 secondes sans y toucher, l'erreur augmentera. Le système peut changer de comportement, ou la « danse » peut évoluer de manières que l'entraînement initial n'avait pas capturées. Les auteurs ont constaté qu'un modèle statique (qui ne change jamais ses règles) finirait par dériver loin de la réalité, surtout dans les systèmes non linéaires où les choses sont chaotiques.

Pour résoudre cela, ils ont introduit deux mécanismes adaptatifs :

1. Recalibrage adaptatif au temps : Au lieu d'utiliser les mêmes « pas de danse » éternellement, le système s'arrête périodiquement, examine les données les plus récentes qu'il a collectées (y compris les corrections effectuées par le filtre de Kalman) et réapprend les règles. C'est comme un musicien qui pratique une chanson, la joue un peu, réalise que le tempo a changé, puis réapprend la partition en fonction du nouveau tempo avant de continuer. Cela empêche le modèle de rester bloqué sur une version obsolète de la réalité.
2. Incertitude adaptative (DCC-GARCH) : C'est la partie la plus sophistiquée. Dans un filtre de Kalman standard, vous devez deviner quelle quantité de « bruit » ou d'incertitude existe dans les prédictions de votre modèle. Généralement, les ingénieurs choisissent un nombre fixe et espèrent que tout se passera bien. Mais dans un système complexe et changeant, l'incertitude n'est pas fixe ; elle fluctue. Les auteurs ont utilisé un outil statistique appelé DCC-GARCH (Corrélation Conditionnelle Dynamique - Modèle Autorégressif Conditionnel Hétéroscédastique Généralisé) pour permettre au filtre d'apprendre son propre niveau d'incertitude en temps réel. Il observe les « erreurs » récentes (résidus) commises par le modèle et ajuste sa confiance en conséquence. Si le modèle commence à faire de plus grosses erreurs, le filtre devient plus sceptique vis-à-vis du modèle et fait davantage confiance aux capteurs. Si le modèle se comporte très bien, il fait davantage confiance au modèle.

Les résultats : Ce qu'ils ont trouvé

Les auteurs ont testé cet « enquêteur adaptatif » sur trois défis très différents :

• Une équation de la chaleur non linéaire : Simulant la propagation de la chaleur à travers un matériau où la capacité de conduction thermique change en fonction du gradient de température.
• Une équation de Burgers forcée : Simulant un écoulement de fluide avec des ondes de choc et de la turbulence, piloté par une force externe.
• Température de surface de la mer (SST) de la NOAA : Des données réelles de températures océaniques, qui sont désordonnées, bruitées et n'ont pas d'« entrée de contrôle » simple (elles évoluent naturellement).

Les conclusions :

• La parcimonie suffit : Même avec seulement 0,5 % du domaine spatial couvert par des capteurs (ce qui signifie que 99,5 % de la zone n'est pas observée), le système peut reconstruire le champ complet avec une grande précision.
• Résistance au bruit : Le système est resté stable même lorsque les données des capteurs étaient très bruitées (à 5 dB de rapport signal sur bruit). Pour l'équation de la chaleur, l'erreur (RMSE) était de 3,08 à 5 dB, tombant à 1,48 lorsque les données étaient plus propres (20 dB). Pour l'équation de Burgers, l'erreur était de 0,058 à 5 dB et de 0,032 à 20 dB.
• Le pouvoir de l'adaptation : La conclusion la plus importante est la comparaison entre un modèle statique et le modèle adaptatif.
  • Un modèle qui ne recalibre jamais (DMDc uniquement) voit son erreur croître rapidement au fil du temps.
  • Un modèle qui utilise le filtrage de Kalman mais ne met pas à jour ses règles (DMDc-KF) est meilleur mais dérive tout de même.
  • Le modèle entièrement adaptatif (avec recalibrage et DCC-GARCH) maintient l'erreur basse et stable. Pour l'équation de la chaleur, l'erreur relative totale est restée inférieure à 5 % sur l'ensemble de l'horizon d'estimation non observé, alors que les versions non adaptatives n'ont pas pu maintenir cette précision.
• Densité des capteurs : Bien que le système fonctionne avec très peu de capteurs, l'ajout de capteurs améliore naturellement la précision. Cependant, l'idée clé est que la nature adaptative du modèle lui a permis de bien fonctionner même avec les configurations les plus éparses.

Ce que cela signifie (et ce que cela ne signifie pas)

Ce document démontre que nous n'avons pas nécessairement besoin de connaître les équations parfaites de la physique pour surveiller des systèmes complexes. En laissant l'ordinateur apprendre la dynamique directement à partir de données éparses et en mettant constamment à jour ses propres règles et niveaux de confiance, nous pouvons obtenir une image claire et complète de ce qui se passe.

Cependant, les auteurs précisent avec prudence les limites. Il s'agit d'une étude basée sur des données et des simulations, et non d'une expérience physique dans un véritable moteur de jet ou un océan.

• Exigences d'entraînement : Le système a toujours besoin d'une quantité substantielle de données (environ 10 % à 30 % du domaine) lors de la phase d'entraînement initiale pour apprendre la représentation « compressée ». Il ne peut pas partir de zéro capteur.
• Capteurs fixes : La méthode actuelle suppose que les capteurs sont à des emplacements fixes. Elle ne gère pas encore les capteurs mobiles (comme un drone volant de façon erratique).
• Pas de temps : Le modèle prédit aux mêmes intervalles de temps que les données d'entraînement. Il ne peut pas prédire par magie ce qui se passe entre les intervalles de temps (par exemple, prédire un état de 12 heures à partir de données quotidiennes).

En résumé, le document suggère que pour les systèmes non linéaires et dynamiques, un modèle de type « régler et oublier » est une recette pour l'échec. L'avenir de l'estimation d'état réside dans des systèmes assez humbles pour admettre qu'ils pourraient se tromper, assez intelligents pour apprendre de leurs erreurs et assez flexibles pour mettre à jour leurs propres règles à mesure que le monde change. Les auteurs ont construit un prototype d'un tel système, et dans leurs simulations, il fonctionne remarquablement bien.