Learning Adaptive Parameter Policies for Nonlinear Bayesian Filtering

1. Problématique

L'estimation d'état pour les systèmes dynamiques stochastiques non linéaires repose souvent sur des approximations (comme le Filtre de Kalman Étendu - EKF, le Filtre de Kalman Unscented - UKF, ou les Filtres à Particules - PF). Ces algorithmes introduisent inévitablement des erreurs d'approximation dont la magnitude dépend de paramètres spécifiques (nombre de particules, paramètres d'échelle, nombre d'itérations, etc.).

• Limites des approches actuelles : Traditionnellement, ces paramètres sont fixes ou ajustés de manière heuristique. Or, la précision de l'approximation varie dans le temps en fonction du degré de non-linéarité local et de l'incertitude.
• Conséquences : Les erreurs d'approximation à un instant $k$ se propagent aux mises à jour suivantes, affectant la précision, la cohérence (consistency) et la robustesse des estimations futures.
• Défaut des méthodes d'apprentissage existantes : Les approches récentes utilisant l'apprentissage automatique (ML) pour l'adaptation de paramètres se concentrent souvent sur des critères myopes (optimisation à court terme, comme l'erreur quadratique moyenne instantanée). Elles ne prennent pas en compte les conséquences à long terme des choix de paramètres sur la trajectoire future de l'estimateur.

2. Méthodologie

L'article propose de reformuler l'adaptation des paramètres du filtre comme un problème de décision séquentielle résolu par l'apprentissage par renforcement (RL).

A. Formulation en Problème de Décision Markovien (MDP)

Au lieu de chercher directement l'estimation de l'état, l'objectif est de trouver une politique optimale pour les paramètres $\theta_k$ du filtre.

• État d'information ($\bar{s}_k$) : Puisque l'état réel est inconnu, l'état du MDP est construit à partir de la représentation interne du filtre (moyenne prédictive, covariance, points sigma, ou particules).
• Action : Le choix du paramètre $\theta_k$ (ex: paramètre d'échelle $\kappa$ de l'UKF ou nombre d'itérations $N_{it}$ du SIF).
• Fonction de coût ($\bar{L}$) : Elle peut pénaliser l'erreur de prédiction de mesure, l'incohérence (via le NIS - Normalized Innovation Squared), ou les coûts computationnels.
• Objectif : Minimiser le coût cumulé espéré sur un horizon long, ce qui rend la stratégie non-myope. Contrairement aux filtres classiques qui optimisent uniquement l'instant présent, cette approche accepte de sacrifier une performance immédiate pour améliorer la stabilité future.

B. Solution par Apprentissage par Renforcement (RL)

Comme la solution analytique de l'équation de Bellman est intraitable, les auteurs utilisent un algorithme Actor-Critic avec apprentissage par différence temporelle (TD(0)) :

• Acteur (Policy) : Un réseau de neurones (MLP) qui mappe l'état d'information et la mesure vers une distribution de probabilité sur les paramètres discrets.
• Critique (Value) : Un réseau de neurones qui estime la fonction de valeur (coût futur espéré).
• Entraînement : Un processus hors ligne (offline) utilisant des simulations Monte-Carlo pour apprendre la politique $\pi(\bar{s}_k, z_k)$. Une cible critique (target critic) avec mise à jour douce (Polyak averaging) est utilisée pour stabiliser l'apprentissage.

3. Contributions Clés

1. Reformulation théorique : La première étape consistant à formuler l'adaptation des paramètres de filtres bayésiens non linéaires comme un problème MDP non myope, où les paramètres influencent non seulement le résultat immédiat mais aussi les estimations futures.
2. Cadre d'apprentissage général : Développement d'un cadre générique applicable à divers filtres (UKF, SIF, PF) pour adapter des paramètres tels que le nombre d'échantillons, les paramètres d'échelle ou le nombre d'itérations.
3. Intégration RL-Filtrage : Démonstration pratique de l'utilisation de l'apprentissage par renforcement pour apprendre des politiques d'adaptation qui surpassent les réglages fixes et les optimisations myopes.

4. Résultats Expérimentaux

Les méthodes ont été validées sur deux modèles de référence :

• Modèle de croissance non stationnaire univarié (UNGM) : Modèle scalaire fortement non linéaire avec une posterior multimodale.
• Modèle de virage coordonné (CTM) : Modèle 4D avec mesures de gisement (bearing), présentant des non-linéarités géométriques.

Comparaison : Les politiques adaptatives apprises ont été comparées à :

• Des paramètres fixes (réglage par défaut ou optimisé statiquement).
• Une approche myope (optimisation à horizon nul, $\gamma=0$).
• Une approche optimale (sélection du paramètre maximisant la vraisemblance, si disponible).

Résultats principaux :

• Cohérence (Consistency) : La méthode proposée obtient les meilleurs scores ANEES (Average Normalized Estimate Error Squared), indiquant une meilleure alignement entre l'erreur d'estimation et la covariance prédite par le filtre. Cela réduit les risques de divergence.
• Précision (RMSE) : La méthode atteint une erreur quadratique moyenne (RMSE) égale ou inférieure aux meilleures configurations fixes, sans nécessiter de connaissance a priori du paramètre optimal.
• Avantage du non-myopisme : Les politiques apprises avec un horizon long ($\gamma > 0$) surpassent systématiquement les approches myopes, prouvant que la prise en compte des conséquences futures est cruciale pour la robustesse.
• Compromis coût/performance : Pour le filtre SIF (Stochastic Integration Filter), l'ajout du coût computationnel dans la fonction de coût permet à la politique adaptative de trouver un équilibre dynamique entre la précision et le temps de calcul, surpassant les stratégies fixes.

5. Signification et Impact

Cet article marque une avancée significative dans le domaine de l'estimation d'état en brisant le paradigme de l'optimisation purement instantanée.

• Changement de paradigme : Il transforme le réglage des filtres d'un problème de calibration statique en un problème de contrôle séquentiel dynamique.
• Robustesse : En apprenant à anticiper les erreurs futures, les filtres deviennent plus robustes face aux non-linéarités sévères et aux changements de dynamique, évitant ainsi des phénomènes comme l'effondrement prématuré des posteriors multimodaux.
• Applicabilité : La méthode offre une voie pratique pour déployer des estimateurs non linéaires complexes dans des environnements réels où les statistiques du bruit et les modèles sont incertains ou variables, sans nécessiter de recalibrage manuel constant.

En résumé, l'article démontre que l'apprentissage par renforcement permet de dériver des politiques de paramètres adaptatives qui améliorent simultanément la précision, la cohérence statistique et l'efficacité computationnelle des filtres bayésiens non linéaires.