💻 computer science

Simultaneous model discovery and state estimation under high data corruption

Cet article propose une stratégie de régression parcimonieuse combinant découverte d'équations différentielles et estimation d'état pour identifier des systèmes dynamiques à partir de données bruitées et incomplètes, en utilisant une fonction de vraisemblance statistique et une optimisation de second ordre.

Auteurs originaux : Teddy Meissner, Karl Glasner

Publié 2026-02-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Teddy Meissner, Karl Glasner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imagine que vous êtes un détective privé dans un monde où les lois de la physique ont été effacées par une tempête de neige. Votre seule piste ? Des fragments de données : des mesures de température, de vitesse ou de position, prises à des moments irréguliers, et qui sont couvertes de "bruit" (des erreurs de mesure, comme si quelqu'un avait secoué votre carnet de notes).

Votre mission : reconstituer l'équation mathématique exacte qui régit ce système, même si vous ne connaissez pas la formule de départ. C'est ce que les auteurs de cet article, Teddy Meissner et Karl Glasner, appellent la découverte de modèles.

Voici comment ils y parviennent, expliqué simplement avec des analogies :

1. Le Problème : Un Puzzle Bruyant et Incomplet

Habituellement, les scientifiques essaient de deviner les paramètres d'une équation qu'ils connaissent déjà (comme ajuster le volume d'une radio). Mais ici, ils doivent trouver l'équation elle-même à partir de zéro.

Le défi du bruit : Les données sont sales. Si vous essayez de calculer la vitesse (la dérivée) directement à partir de ces données sales, le résultat est catastrophique, comme essayer de lire un texte effacé par la pluie.
Le défi des trous : Les données manquent parfois. Imaginez que vous regardiez un film, mais que 30 % des images ont été découpées. Comment savoir ce qui se passe entre deux images ?

2. La Solution : Le "Détective Hybride"

La méthode proposée par les auteurs est comme un détective très intelligent qui ne se contente pas de regarder les indices (les données), mais qui imagine aussi ce qui aurait dû se passer.

Ils utilisent une approche appelée régression hybride. Imaginez deux équipes qui travaillent ensemble :

L'équipe "Données" : Elle dit : "Regardez, nous avons ces points mesurés. Notre modèle doit passer près d'eux."
L'équipe "Lois de la Physique" : Elle dit : "Non, notre modèle doit aussi respecter les règles de la nature (les équations différentielles). Si le modèle dit que la voiture va à 100 km/h, mais que la physique dit qu'elle ne peut pas accélérer comme ça, alors c'est faux."

Leur algorithme fait un compromis constant entre ces deux équipes. Il ajuste le modèle pour qu'il soit à la fois proche des données (même sales) et cohérent avec les lois physiques. C'est comme si le détective dessinait un chemin lisse et logique qui passe près des points bruyants, plutôt que de suivre chaque point de travers.

3. La Magie de la "Simplicité" (La Sparsité)

Le plus grand piège dans ce genre de jeu est de créer une équation trop compliquée qui s'adapte parfaitement aux erreurs (le bruit) au lieu de la vraie loi. C'est comme essayer de reconstituer une mélodie en ajoutant une note pour chaque grésillement de la radio : le résultat est une cacophonie.

Pour éviter cela, les auteurs utilisent une règle d'or : le rasoir d'Occam.

Ils commencent avec une bibliothèque géante de termes possibles (des ingrédients de cuisine : $x$ , $y$ , $x^2$ , $xy$, $\sin(x)$ , etc.).
Ensuite, ils utilisent un algorithme qui agit comme un chef cuisinier sélectif. Il goûte le plat (l'équation) et retire systématiquement les ingrédients inutiles.
Ils ne gardent que les ingrédients essentiels qui expliquent vraiment le goût (le comportement du système). C'est ce qu'ils appellent la "sparsité" : trouver la recette la plus courte et la plus simple qui fonctionne.

4. La Technique de l'Optimisation : Le "Téléscope"

Pour trouver cette recette parfaite parmi des milliards de combinaisons, ils utilisent une méthode mathématique très puissante (une variante de la méthode de Levenberg-Marquardt).

Imaginez que vous cherchez le point le plus bas d'un paysage montagneux dans le brouillard.
Les méthodes classiques regardent juste la pente sous leurs pieds (premier ordre).
Cette méthode, elle, utilise un télescope (deuxième ordre) : elle voit la forme de toute la vallée autour d'elle. Grâce à des astuces informatiques modernes (comme l'automatisation des dérivées), elle peut voir la carte complète du terrain très rapidement, même si le terrain est immense.

5. Les Résultats : Robuste comme un Rocher

Les auteurs ont testé leur méthode sur des systèmes célèbres et chaotiques (comme le système de Lorenz, qui modélise la météo, ou l'oscillateur de Van der Pol).

Même avec 50 % de bruit (la moitié des données sont fausses) et des trous dans les données, leur méthode a réussi à retrouver la bonne équation.
Elle a même réussi à retrouver des équations où les paramètres ne sont pas linéaires (des formules avec des exponentielles ou des fonctions complexes), là où d'autres méthodes échouent.

En Résumé

C'est comme si vous aviez un puzzle géant, dont la moitié des pièces a été brûlée et l'autre moitié tachée de café. Au lieu de paniquer, vous utilisez un système qui :

Imagine la forme complète du puzzle (la loi physique).
Ignore les taches de café (le bruit) en cherchant la forme la plus logique.
Retire les pièces qui ne collent pas vraiment (la sélection de termes).
Utilise une loupe ultra-puissante pour trouver la solution exacte.

Le résultat ? Une méthode capable de redécouvrir les lois de l'univers, même quand les observations sont désastreuses. C'est une avancée majeure pour comprendre des systèmes complexes en biologie, en ingénierie ou en climatologie, où les données sont rarement parfaites.

1. Problématique

Le papier aborde le défi scientifique de la découverte de modèles à partir de données observées, spécifiquement pour les systèmes gouvernés par des équations différentielles ordinaires (EDO). L'objectif est de reconstruire à la fois les équations régissant un système dynamique et ses états sous-jacents (la solution réelle), même lorsque les données disponibles sont :

Bruyantes : Contenant un niveau élevé de bruit aléatoire (jusqu'à 50 %).
Incomplètes : Manquant de valeurs sur certaines parties du domaine temporel ou pour certaines composantes de l'état (données lacunaires).

Les méthodes existantes, telles que la régression par résidus (ex: SINDy), souffrent souvent d'une grande sensibilité au bruit car elles reposent sur la différenciation directe des données. D'autres approches bayésiennes ou par moindres carrés non linéaires peuvent être coûteuses en calcul ou nécessiter des hypothèses restrictives (comme la linéarité par rapport aux paramètres).

2. Méthodologie

Les auteurs proposent une stratégie de régression hybride parcimonieuse (sparse hybrid regression) qui infère simultanément les paramètres du modèle ( $\theta$ ) et les variables d'état ( $u$ ).

A. Formulation Statistique et Fonction de Vraisemblance

Au lieu de minimiser uniquement l'erreur de résidu ou l'erreur de données, l'approche utilise une fonction de vraisemblance motivée statistiquement qui prend en compte l'incertitude à la fois dans les données et dans le modèle.
La fonction objectif à minimiser est une combinaison pondérée :
$L_\lambda(\theta, u) = \|N(u; \theta)\|_2^2 + \lambda \| \hat{u} - u|_D \|_2^2$
Où :

$N(u; \theta) = 0$ représente l'opérateur différentiel discretisé (l'équation du modèle).
$\hat{u}$ sont les données observées (bruyantes et partielles) sur un sous-ensemble $D$ .
$\lambda$ est un rapport de variances qui pondère la fidélité aux données par rapport à la conformité au modèle physique.
Cette formulation permet d'interpoler entre l'estimation de paramètres classique (si $\lambda \to 0$ ) et la régression par résidus (si $\lambda \to \infty$ ), mais en maintenant une estimation robuste de l'état $u$ même en présence de bruit.

B. Sélection de Modèle et Parcimonie

Pour identifier la structure de l'équation (c'est-à-dire quels termes sont présents), l'algorithme impose la parcimonie (un petit nombre de termes actifs) via un critère d'information bayésien (BIC) plutôt que par seuillage dur.

Pénalité : Une approximation lisse de la norme $L_0$ (comptage des termes non nuls) est utilisée pour permettre l'optimisation par gradient.
Algorithme de sélection : Un algorithme adaptatif de « élagage » (pruning) est employé. Il commence avec une bibliothèque complète de termes candidats et itérativement :
1. Supprime un bloc de termes les moins importants.
2. Évalue le score BIC.
3. Si le score s'améliore, il continue vers l'avant (forward refinement). Si le score se dégrade, il peut déclencher une phase de « récupération » (backward recovery) pour réintroduire des termes précédemment supprimés.
  Cela permet d'explorer l'espace des modèles de manière efficace sans énumérer toutes les combinaisons possibles ( $2^p$ ).

C. Optimisation Numérique

L'optimisation conjointe de $u$ et $\theta$ est un problème non convexe de grande dimension.

Méthode : Les auteurs utilisent une variante de second ordre de la méthode de Levenberg-Marquardt (LM).
Efficacité : Grâce à la structure de discrétisation (différences finies ou méthodes spectrales), la matrice Hessienne est très creuse (sparse). L'utilisation de l'différentiation automatique couplée à un algorithme de coloration de graphes permet de calculer les produits Hessien-Vecteur (HVP) de manière extrêmement efficace, rendant l'optimisation de second ordre réalisable même pour de grands systèmes.

3. Contributions Clés

Robustesse au bruit et aux données manquantes : Contrairement aux méthodes basées sur la différenciation numérique, cette approche infère un état lisse qui satisfait à la fois les équations différentielles et les données observées, permettant une reconstruction précise même avec 50 % de bruit ou des lacunes continues dans les données.
Généralité par rapport aux paramètres : La méthode ne suppose pas que les équations sont linéaires par rapport aux paramètres. Elle peut découvrir des termes non linéaires (ex: $e^{ax}$ où $a$ est un paramètre inconnu), ce qui est impossible pour SINDy standard.
Optimisation de second ordre pratique : Démonstration qu'une méthode de second ordre (LM) est supérieure aux méthodes de premier ordre (comme L-BFGS ou les gradients conjugués) pour ce type de problème, grâce à l'exploitation de la parcimonie de la Hessienne via la coloration de graphes.
Critère de sélection BIC : Utilisation du BIC pour guider la sélection des termes, offrant un compromis automatique entre la qualité de l'ajustement et la complexité du modèle, évitant le sur-ajustement (overfitting).

4. Résultats Expérimentaux

Les auteurs ont testé leur méthode sur plusieurs systèmes dynamiques classiques et l'ont comparée à l'algorithme de référence WSINDy (Weak SINDy).

Oscillateur de Van der Pol : Avec des bibliothèques polynomiales (degré 3 et 6), la méthode proposée surpasse WSINDy en termes d'erreur de paramètres et de taux de récupération correcte (TPR), particulièrement à haut niveau de bruit. Elle réussit même avec des données manquantes sur un intervalle continu.
Système de Lorenz (Chaos) : Pour ce système chaotique, la méthode récupère avec succès la structure du modèle et l'état sous-jacent même avec 50 % de bruit. Elle démontre une capacité à reconstruire les trajectoires chaotiques là où les méthodes traditionnelles divergent.
Système Lorenz-96 (Haute dimension) : Testé sur un système de 5 dimensions, la méthode maintient un taux de récupération supérieur à 90 % jusqu'à 40 % de bruit, surpassant nettement WSINDy.
Oscillateur Colpitts (Termes non linéaires) : La méthode a réussi à découvrir un terme exponentiel $e^{ax}$ avec le paramètre $a$ inconnu, prouvant sa capacité à gérer des modèles non linéaires par rapport aux paramètres.
Analyse de raffinement de grille : L'étude montre que le raffinement de la grille de discrétisation du modèle améliore la précision jusqu'à une certaine limite, au-delà de laquelle les gains saturent ou deviennent négatifs si les données d'entrée sont trop grossières.

5. Signification et Conclusion

Ce travail représente une avancée significative dans le domaine de la découverte de modèles guidée par les données (Data-Driven Model Discovery).

Impact : Il offre une alternative robuste aux méthodes de régression par résidus qui échouent souvent face au bruit réel. En traitant simultanément l'état et les paramètres, il contourne le problème de la propagation d'erreur inhérent à la différenciation numérique.
Applicabilité : La méthode est générale, ne nécessitant pas d'hypothèses de linéarité par rapport aux paramètres et pouvant être appliquée à des systèmes chaotiques et de haute dimension.
Limites et perspectives : L'optimisation reste complexe et peut rencontrer des minima locaux. Les auteurs suggèrent que l'intégration future de la sélection d'hyperparamètres directement dans l'algorithme d'optimisation et l'extension aux équations aux dérivées partielles (PDE) sont des pistes prometteuses.

En résumé, cette approche combine rigueur statistique, optimisation numérique avancée et parcimonie pour fournir un outil puissant capable de « voir à travers » le bruit et les données manquantes pour révéler les lois physiques sous-jacentes.