Model-Free Neural State Estimation in Nonlinear Dynamical Systems: Comparing Neural and Classical Filters

Cette étude présente une comparaison systématique montrant que les modèles neuronaux sans modèle, en particulier les réseaux d'état d'espace, atteignent des performances d'estimation d'état comparables aux filtres de Kalnon linéaires forts et surpassent les méthodes classiques plus faibles, tout en offrant un débit d'inférence nettement supérieur.

L'essentiel

🌟 Le Grand Duel : Les Anciens vs. Les Nouveaux pour "Voir" l'Invisible

Imaginez que vous conduisez une voiture dans un épais brouillard. Vous ne voyez pas la route, mais vous avez des capteurs (votre cerveau, vos yeux, votre ouïe) qui vous donnent des indices imparfaits et parfois faux. Votre but est de deviner exactement où se trouve la voiture et où elle va. C'est ce qu'on appelle l'estimation d'état.

Ce papier compare deux façons de résoudre ce problème :

1. Les "Vieux Sages" (Les Filtres Classiques) : Ce sont des méthodes mathématiques éprouvées (comme le Filtre de Kalman). Pour fonctionner, ils ont besoin d'un manuel d'instructions parfait. Ils doivent connaître exactement comment la voiture bouge, comment le vent souffle, et comment les capteurs font des erreurs. Si le manuel est juste, ils sont excellents. Mais si le manuel est faux ou incomplet (parce que la physique est trop complexe), ils se trompent lourdement.
2. Les "Nouveaux Apprentis" (Les Réseaux de Neurones) : Ce sont des intelligences artificielles. Elles n'ont pas le manuel. On ne leur donne aucune équation physique. On les laisse simplement regarder des milliers d'exemples de la voiture qui roule dans le brouillard, et elles doivent apprendre par elles-mêmes à deviner la position.

🧪 L'Expérience : Qui gagne ?

Les auteurs du papier ont organisé un grand tournoi avec 5 scénarios différents (comme une fusée qui rentre dans l'atmosphère, un pendule à plusieurs bras, ou un drone). Ils ont mis en compétition les "Vieux Sages" contre les "Nouveaux Apprentis" (qui incluent des architectures modernes comme les Transformers et les modèles d'état d'espace, ou "SSM").

Voici ce qu'ils ont découvert, avec des analogies :

1. L'Apprenti sans manuel peut rivaliser avec le Maître

C'est la grande surprise. Même sans connaître les lois de la physique (le "manuel"), les réseaux de neurones ont appris à estimer la position presque aussi bien que les meilleurs "Vieux Sages".

• L'analogie : C'est comme si un enfant apprenait à jouer au tennis en regardant des vidéos de champions, sans jamais avoir lu un livre sur la mécanique du mouvement. À force de regarder, il finit par jouer aussi bien que le coach qui a lu tous les livres.

2. Le champion des apprentis : Le modèle "Mamba"

Parmi les réseaux de neurones, certains ont mieux réussi que d'autres. Les modèles de type Mamba (des modèles d'état d'espace) se sont révélés être les meilleurs.

• L'analogie : Imaginez que les réseaux de neurones classiques (comme les RNN ou les Transformers) sont des étudiants qui relisent tout leur cahier de notes à chaque nouvelle question. C'est lent et fatiguant. Le modèle Mamba, lui, a une mémoire très efficace : il sait résumer l'essentiel de ce qu'il a vu et l'utiliser instantanément pour prédire la suite. Il est à la fois rapide et précis.

3. La vitesse de réaction (Le débit d'inférence)

C'est ici que les "Nouveaux Apprentis" écrasent les "Vieux Sages".

• L'analogie : Les "Vieux Sages" sont comme un calculateur scientifique très précis : ils font les calculs pas à pas, ce qui prend du temps. Les réseaux de neurones sont comme un super-héros qui voit la réponse d'un coup d'œil.
• Le résultat : Les réseaux de neurones sont des milliers de fois plus rapides à exécuter. Pour des applications en temps réel (comme une voiture autonome qui doit freiner en une milliseconde), cette vitesse est cruciale.

4. La robustesse (Quand ça ne va pas comme prévu)

Dans certains scénarios très chaotiques (comme le pendule à plusieurs bras), les "Vieux Sages" ont parfois eu du mal parce que leurs équations n'étaient pas assez précises. Les réseaux de neurones, eux, ont continué à fonctionner correctement car ils ont appris la "règle du jeu" directement à partir des données, sans se fier à une théorie rigide qui pourrait être fausse.

🏆 Le Verdict Final

Ce papier nous dit que :

• On n'a pas besoin de tout savoir sur la physique pour créer un bon estimateur. On peut simplement apprendre à partir des données.
• Les modèles modernes (comme Mamba) sont les champions actuels : ils sont précis, stables sur le long terme, et incroyablement rapides.
• Les méthodes classiques restent utiles si vous avez un modèle parfait et que vous voulez de l'interprétabilité, mais elles sont lentes et fragiles si votre modèle est imparfait.

En résumé : Les réseaux de neurones ne sont plus juste des "boîtes noires" mystérieuses. Ils agissent comme de véritables filtres intelligents capables de voir à travers le brouillard, souvent mieux et beaucoup plus vite que les méthodes traditionnelles, même sans connaître les règles du jeu par cœur.

Résumé technique

1. Problématique

L'estimation d'état est un composant critique des systèmes de contrôle (robotique, systèmes autonomes, cyber-physiques) opérant dans des environnements incertains, bruyants et partiellement observables.

• Le défi : Dans les systèmes dynamiques non linéaires, l'estimation précise de l'état latent à partir de mesures bruitées et incomplètes est difficile.
• Limites des approches classiques : Les filtres classiques (Kalman étendu, Unscented, Particules) reposent sur une connaissance explicite des équations de dynamique du système et des modèles de bruit. Ils peuvent échouer ou se dégrader en cas de non-linéarités fortes, de décalage de modèle (model mismatch) ou lorsque les équations du système sont inconnues.
• Opportunité des réseaux de neurones : Les modèles d'apprentissage profond peuvent être entraînés uniquement sur des données, sans accès aux équations sous-jacentes. Cependant, il reste flou dans quelle mesure ces modèles "sans modèle" (model-free) se comportent comme des filtres principiels, en particulier sur des horizons temporels longs où les erreurs peuvent s'accumuler.

2. Méthodologie

Les auteurs proposent une comparaison empirique systématique entre des estimateurs d'état basés sur des réseaux de neurones et des filtres classiques, à travers cinq scénarios non linéaires de référence.

A. Scénarios de test

L'évaluation couvre une diversité de dynamiques non linéaires :

1. Réentrée balistique : Chute d'un objet avec traînée quadratique et densité atmosphérique exponentielle.
2. Suivi par bearings uniquement (BOT) : Suivi 2D d'une cible avec un seul capteur de direction (problème mal conditionné).
3. Système de Lorenz-96 : Système chaotique standard pour l'assimilation de données.
4. Pendule à N liens : Dynamique non linéaire fortement couplée.
5. Quadrotor planaire : Système de vol contraint avec dynamique complexe.

B. Modèles comparés

• Filtres Classiques (Baselines) :
  • Filtre de Kalman Étendu (EKF)
  • Filtre de Kalman Unscented (UKF)
  • Filtre de Kalman par Ensemble (EnKF)
  • Filtre à Particules (PF)
• Modèles Neuronaux (Sans accès aux équations du système) :
  • Architectures Récurrentes : GRU, LSTM.
  • Architectures Transformer : GPT-2 (avec ALiBi pour l'extrapolation), Filterformer.
  • Modèles à Espace d'État Structurés (SSM) : Mamba, Mamba-2.
  • Note : Tous les modèles neuronaux sont configurés avec environ 100 000 paramètres pour une comparaison équitable et sont entraînés uniquement sur des séquences de données (entrées/sorties), sans connaître la dynamique $f(\cdot)$ ou le bruit.

C. Protocole Expérimental

• Entraînement : 3 jeux de données générés indépendamment, 5 initialisations par jeu (15 runs au total). Horizon d'entraînement court (100 pas) vs horizon d'évaluation long (500 pas) pour tester la généralisation et l'apprentissage du comportement de filtrage plutôt que la mémorisation.
• Métriques :
  • Précision : RMSE (Erreur Quadratique Moyenne Racine), MAE, MedAE.
  • Robustesse : Évolution de l'erreur sur le temps (Drift Ratio), détection d'outliers, sensibilité au bruit (SNR).
  • Efficacité : Débit d'inférence (itérations par seconde).

3. Contributions Clés

1. Comparaison Empirique Systématique : Première étude large comparant directement une gamme diversifiée d'architectures neuronales modernes (y compris les SSMs) aux filtres non linéaires classiques sur des dynamiques complexes.
2. Performance des Modèles à Espace d'État (SSM) : Démonstration que les modèles SSM (Mamba, Mamba-2) surpassent les architectures récurrentes et Transformer classiques, atteignant des performances proches des meilleurs filtres classiques (UKF/EKF) même sans connaissance du modèle.
3. Validation du Comportement de Filtrage : Preuve empirique que les modèles entraînés uniquement sur des données peuvent apprendre des représentations correspondant à un comportement de filtrage stable sur de longs horizons, et non pas simplement mémoriser des motifs statistiques spécifiques aux données d'entraînement.
4. Avantage en Efficacité : Mise en évidence d'un débit d'inférence nettement supérieur pour les modèles neuronaux par rapport aux méthodes classiques.

4. Résultats Principaux

• Précision (RMSE) :
  • Les modèles Mamba et Mamba-2 obtiennent les meilleures performances parmi les réseaux de neurones, rivalisant avec les filtres classiques forts (UKF, EKF) dans la plupart des scénarios (ex: Réentrée balistique, Lorenz-96).
  • Dans le scénario "Bearings-only tracking", les modèles neuronaux (notamment Mamba) surpassent les filtres classiques (EKF, UKF) qui souffrent de déviations importantes, bien que le filtre à particules (PF) ait des difficultés de convergence.
  • Les architectures Transformer (GPT-2, Filterformer) et récurrentes (GRU/LSTM) montrent des performances variables, souvent inférieures aux SSMs sur les horizons longs.
• Robustesse et Drift :
  • Les modèles SSMs présentent un ratio de dérive (Drift Ratio) faible, indiquant une accumulation d'erreur limitée sur le temps long, comparable aux filtres classiques.
  • Les modèles neuronaux maintiennent une bonne performance même avec un bruit d'observation jusqu'à 8 fois supérieur à celui vu pendant l'entraînement.
• Efficacité Computationnelle (Throughput) :
  • C'est un résultat majeur : Les modèles neuronaux (surtout GRU, LSTM, Mamba) sont plus rapides de plusieurs ordres de grandeur (ex: ~100k itérations/s contre ~1k pour les filtres classiques) lors de l'inférence sur GPU. Cela les rend idéaux pour le contrôle en temps réel.
• Cas d'échec : Sur le scénario "N-Link Pendulum", les filtres à particules (PF) montrent une forte dérive et un taux d'outliers élevé, tandis que les modèles neuronaux (surtout Mamba-2) restent stables.

5. Signification et Implications

• Validité des approches "Model-Free" : L'étude démontre que l'on n'a pas toujours besoin d'un modèle physique explicite pour réaliser une estimation d'état précise dans des systèmes non linéaires complexes. Les données suffisent pour apprendre des filtres efficaces.
• Supériorité des SSMs : Les modèles à espace d'état structurés (comme Mamba) émergent comme l'architecture de choix pour les tâches d'estimation d'état, surpassant les Transformers et les RNN classiques grâce à leur capacité à modéliser efficacement les dépendances temporelles longues avec une complexité linéaire.
• Compromis Précision/Efficacité : Bien que les filtres classiques restent optimaux si le modèle est parfaitement connu, les estimateurs neuronaux offrent un compromis supérieur en termes de robustesse face à l'incertitude du modèle et de vitesse d'exécution.
• Limites : Les modèles neuronaux nécessitent encore des quantités importantes de données (ratio données/paramètres ~20:1 dans l'étude) et ne fournissent pas nativement de calibration d'incertitude (distribution a posteriori) aussi rigoureuse que les filtres bayésiens classiques.

En conclusion, ce travail établit que les modèles de séquence neuronaux modernes, en particulier les SSMs, constituent des alternatives viables et performantes aux filtres classiques pour l'estimation d'état dans des systèmes non linéaires, offrant une précision compétitive avec une efficacité computationnelle bien supérieure.