Dual Control of Linear Systems from Bilinear Observations with Belief Space Model Predictive Control

Résumé Technique : Contrôle Dual de Systèmes Linéaires avec Observations Bilinéaires via le MPC dans l'Espace de Croyance (Belief Space)

1. Problématique : L'Effet de l'Observateur

L'article traite du problème de contrôle quadratique à horizon fini pour des systèmes dynamiques linéaires dotés d'observations bilinéaires (LDS-BO). Dans ce cadre, l'entrée de commande $u_t$ a un double rôle (phénomène de contrôle dual) :

1. Régulation : Elle influence la dynamique de l'état $x_t$.
2. Observation : Elle influence la matrice d'observation $C(u_t)$, et donc la qualité de l'estimation de l'état.

Contrairement au problème classique LQG (Linear Quadratic Gaussian), le principe de séparation ne s'applique pas ici. Dans un système LQG standard, l'estimation de l'état et la commande peuvent être résolues indépendamment. Dans le cas bilinéaire, une commande qui semble optimale pour réguler l'état peut dégrader la précision des mesures futures en rendant le système moins observable. Cela rend la planification complexe car l'évolution de la covariance de l'erreur d'estimation dépend de manière non linéaire des commandes choisies.

2. Méthodologie : B-MPC (Belief-Space Model Predictive Control)

Pour surmonter l'échec du principe de séparation, les auteurs proposent une méthode de Commande Prédictive par Modèle dans l'Espace de Croyance (B-MPC).

• Représentation de l'Espace de Croyance : Au lieu de planifier uniquement sur l'état estimé $\hat{x}_t$, le contrôleur planifie sur l'état de croyance complet $b_t = (\hat{x}_t, \Sigma_t)$, où $\Sigma_t$ est la matrice de covariance de l'erreur d'estimation.
• Coût dans l'Espace de Croyance : La fonction de coût est reformulée pour inclure des termes de trace de la covariance ($\text{tr}(Q\Sigma_t)$). Cela force explicitement l'optimiseur à minimiser l'incertitude de l'état.
• Approximation Déterministe : Comme la mise à jour de la croyance est stochastique, les auteurs utilisent un substitut déterministe pour la planification. Ils supposent que les observations futures seront égales à la valeur nominale (l'espérance), ce qui permet de transformer le problème en un problème d'optimisation non convexe mais différentiable.
• Algorithme : L'algorithme utilise l'optimisation L-BFGS pour résoudre le problème de planification à horizon $H$ à chaque pas de temps, applique la première commande, observe la sortie réelle, et met à jour la croyance via un filtre de Kalman dépendant de l'entrée.

3. Contributions Clés

1. Formalisation : Formulation du contrôle quadratique LDS-BO comme un problème de contrôle dans l'espace de croyance.
2. Algorithme B-MPC : Proposition d'une méthode MPC récursive qui intègre explicitement l'évolution de la covariance de l'erreur dans l'horizon de planification.
3. Analyse du Dualisme : Démonstration mathématique et empirique que le contrôleur choisit des actions "exploratoires" pour améliorer l'observabilité lorsque l'incertitude est élevée.

4. Résultats Expérimentaux

Les auteurs ont testé leur méthode sur deux systèmes synthétiques (un système aléatoire et un système de double intégrateur multi-blocs). Les résultats montrent que :

• Performance Supérieure : Le B-MPC surpasse significativement le contrôleur basé sur le principe de séparation (Sep) et sa variante MPC (Sep-MPC). Dans certains cas, la réduction du coût total atteint près de 39 %.
• Réduction de l'Incertitude : Le gain de performance est directement corrélé à une réduction de la trace de la covariance de l'erreur ($\text{tr}(\Sigma_t)$). Le B-MPC maintient une estimation de l'état beaucoup plus précise.
• Comportement de Commande : Contrairement aux baselines qui privilégient des commandes proches de zéro (pour minimiser le coût de commande), le B-MPC accepte des commandes plus importantes si elles permettent d'améliorer l'observabilité du système.
• Limites : Les bénéfices du B-MPC diminuent lorsque le système est très stable ou lorsque le coût de la commande ($R$) est extrêmement élevé, car le contrôleur est alors contraint de ne pas effectuer d'actions exploratoires.

5. Signification et Impact

Ce travail est crucial pour les applications où la mesure modifie le système, comme dans les systèmes quantiques, les circuits électroniques ou la robotique de haute performance (ex: drone racing). Il démontre que pour obtenir une performance optimale dans des environnements partiellement observés, il est impératif de traiter l'incertitude non pas comme un bruit passif, mais comme une variable dynamique que l'on peut et que l'on doit contrôler activement.