⚡ electrical engineering

Data-Driven Covariance Steering with Output Feedback

Cet article propose une méthode de commande de covariance par retour de sortie pour des systèmes linéaires stochastiques sans modèle, en exploitant des données persistantes et une représentation non minimale pour formuler et résoudre le problème sous forme de programme semi-défini.

Auteurs originaux : Dimitrios Moustroufis, Panagiotis Tsiotras

Publié 2026-04-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dimitrios Moustroufis, Panagiotis Tsiotras

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚗 Le Défi : Conduire une voiture sans carte, avec des lunettes fumées

Imaginez que vous devez conduire une voiture (le système) d'un point A à un point B. Mais il y a deux gros problèmes :

Vous n'avez pas le manuel de la voiture : Vous ne connaissez pas la puissance du moteur, la taille des pneus ou la friction des freins (pas de modèle mathématique).
Vous avez des lunettes fumées : Vous ne voyez pas exactement où vous êtes ni la vitesse exacte de la voiture, vous ne voyez que des reflets flous sur le pare-brise (bruit de mesure).

De plus, la route est glissante et il y a du vent qui pousse la voiture de manière imprévisible (bruit aléatoire). Votre but n'est pas seulement d'arriver au bon endroit, mais aussi de garantir que la voiture arrive avec une certaine "précision" : ni trop dispersée (trop de variations), ni trop rigide. C'est ce qu'on appelle le "Contrôle de la Covariance".

🧠 L'Idée Géniale : Apprendre par l'expérience (Data-Driven)

Au lieu d'essayer de deviner comment fonctionne la voiture (ce qui est impossible sans le manuel), les auteurs disent : "Regardons ce que la voiture a fait dans le passé !"

Ils utilisent une vieille vidéo de la voiture conduite par quelqu'un d'autre (données passées) pour apprendre à la conduire eux-mêmes. C'est comme si vous appreniez à jouer du piano en écoutant un enregistrement, sans jamais avoir vu les partitions.

🛠️ La Méthode : Le "Truc du Non-Minimal" (La boîte à outils)

Le problème, c'est que les lunettes fumées rendent la chose très difficile. Pour contourner cela, les auteurs utilisent une astuce mathématique appelée représentation d'état non minimale.

L'analogie : Imaginez que vous essayez de prédire la trajectoire d'une balle. Au lieu de regarder seulement où elle est maintenant, vous regardez où elle était il y a 1 seconde, 2 secondes, 3 secondes, et ce que vous avez fait avec la main (les commandes) à ces moments-là.
En empilant tout cela (le passé des commandes et des observations), vous créez une "mémoire" artificielle. Même si vous ne voyez pas l'état réel de la voiture, cette mémoire vous permet de reconstituer une image suffisamment claire pour agir.

🌪️ Le Problème du "Bruit Collant"

Dans ce système, le vent (le bruit) ne souffle pas de manière aléatoire à chaque instant. Il a une mémoire ! Si le vent pousse la voiture à gauche maintenant, il a tendance à continuer de pousser un peu à gauche l'instant d'après. C'est ce qu'on appelle un bruit temporellement corrélé.

C'est comme si vous marchiez sur un tapis roulant qui accélère et ralentit par vagues. Si vous ne comprenez pas ce motif, vous allez trébucher.

La plupart des méthodes précédentes supposaient que le vent changeait totalement à chaque seconde (comme des grains de sable).
Cette nouvelle méthode comprend que le vent a un "rythme" et l'intègre dans ses calculs.

🛠️ Les Deux Outils de l'Ingénieur

Pour résoudre le problème, les auteurs utilisent deux approches différentes, comme un chef qui utilise deux recettes :

L'Approche Indirecte (Le Détective) :
- Pour savoir où aller (la trajectoire moyenne), ils essaient d'abord de deviner le modèle de la voiture à partir des données passées. C'est comme essayer de dessiner le plan de la voiture en regardant ses traces de pneus. Une fois le plan dessiné, ils calculent le meilleur chemin.
- Astuce : Ils utilisent une méthode appelée "Variables Instrumentales" (IV) pour s'assurer que le "bruit" ne trompe pas leur dessin. C'est comme utiliser un filtre spécial pour ne voir que les traces réelles et ignorer les éclaboussures de boue.
L'Approche Directe (Le Magicien) :
- Pour contrôler la précision (la covariance), ils ne cherchent même pas à dessiner le plan de la voiture ! Ils utilisent directement les données passées pour calculer comment ajuster le volant. C'est comme si, au lieu de comprendre la mécanique, vous disiez : "Quand j'ai fait ce mouvement avec la vidéo, la voiture a réagi ainsi, donc je vais refaire ce mouvement".
- Cela permet de trouver la solution directement, sans passer par l'étape de "deviner le modèle".

🎯 Le Résultat : Une Solution Convexe (Le Chemin le plus court)

Le problème mathématique initial est très compliqué, un peu comme essayer de trouver le chemin le plus court dans une forêt de brouillard avec des obstacles invisibles.
Les auteurs ont transformé ce problème en un Programme Semi-Défini (SDP).

L'analogie : Imaginez que vous avez un tas de pièces de puzzle qui ne s'assemblent pas. Ils ont trouvé une façon de "lisser" le puzzle pour qu'il devienne une surface lisse et parfaite. Une fois lissé, il est très facile de trouver le point le plus bas (la solution optimale) en glissant simplement vers le bas. Cela permet de calculer la solution très rapidement, même sur un ordinateur standard.

📊 En Résumé : Ce que le papier nous dit

On peut piloter des systèmes complexes sans connaître leur modèle interne, juste en utilisant des données passées.
On peut le faire même si on ne voit pas tout (sortie partielle) et même si le "vent" (le bruit) a des habitudes (corrélations temporelles).
La méthode est robuste : Plus on a de données (plus on regarde de vidéos anciennes), plus la prédiction est précise.
C'est calculable : On peut résoudre ce problème complexe en quelques secondes grâce à la "convexification".

En une phrase : C'est comme apprendre à conduire une voiture inconnue dans la tempête en regardant des heures de vidéos de conduite, en apprenant à anticiper les rafales de vent, et en trouvant le chemin le plus sûr et le plus précis sans jamais avoir lu le manuel d'utilisation.

1. Problématique

L'article aborde le problème du pilotage de la covariance (Covariance Steering - CS) pour des systèmes linéaires, invariants dans le temps (LTI), discrets et stochastiques, en utilisant uniquement des commandes par retour de sortie (output-feedback) et sans connaissance du modèle du système.

Contrairement aux travaux antérieurs qui supposent souvent la disponibilité de l'état complet sans bruit de mesure, cette étude se concentre sur des cas pratiques où :

Seules les entrées ( $u_k$ ) et les sorties ( $y_k$ ) sont mesurées.
Les mesures sont bruitées ( $q_k$ ).
Le modèle dynamique ( $A, B, C$ ) est inconnu.
Le bruit de processus ( $w_k$ ) et le bruit de mesure ( $q_k$ ) sont des processus gaussiens blancs i.i.d., mais leur transformation dans l'espace d'état non minimal génère un bruit temporellement corrélé.

L'objectif est de piloter la distribution de sortie du système d'une distribution initiale $\mathcal{N}(\mu_i, \Sigma_i)$ vers une distribution finale $\mathcal{N}(\mu_f, \Sigma_f)$ sur un horizon fini $N$ , tout en minimisant un coût quadratique, en utilisant uniquement des données historiques d'entrée-sortie.

2. Méthodologie

La méthodologie proposée repose sur une combinaison de représentations d'état non minimales, d'estimation de modèles et d'optimisation convexe.

A. Représentation d'État Non Minimale

Pour contourner l'absence de mesure d'état complet, les auteurs utilisent une représentation d'état non minimale construite à partir des entrées et sorties passées :
$z_k \triangleq \text{col}(u_{k-1}, \dots, u_{k-\ell}, y_{k-1}, \dots, y_{k-\ell})$
où $\ell$ est l'indice d'observabilité. Cette représentation permet de reformuler le problème en un problème de retour d'état, mais introduit une complexité majeure : le bruit induit $\tilde{\zeta}_k$ dans la dynamique de $z_k$ devient temporellement corrélé.

Pour garantir la contrôlabilité et la validité des méthodes de commande basées sur les données (lemme fondamental de Willems), une transformation linéaire $L$ est appliquée pour obtenir un état réduit $\chi_k = L z_k$ , éliminant les dépendances linéaires. La dynamique devient :
$\chi_{k+1} = A\chi_k + B u_k + \xi_k, \quad y_k = C\chi_k + \zeta_k$
où le bruit $\zeta_k$ est modélisé comme un processus autorégressif (AR) : $\zeta_{k+1} = \Psi \zeta_k + \eta_k$ .

B. Approches Indirecte et Directe

Le problème est décomposé en deux sous-problèmes traités différemment :

Pilotage de la Moyenne (Approche Indirecte) :
- Un modèle du système ( $\hat{A}, \hat{B}, \hat{C}$ ) est estimé à partir des données.
- Pour gérer la corrélation entre les régresseurs et le bruit (due à la nature de $\chi_k$ ), les auteurs comparent et utilisent la méthode des Moindres Carrés Totals (TLS) et la méthode des Variables Instrumentales (IV).
- La méthode IV, utilisant les entrées passées comme instruments, est privilégiée pour sa consistance théorique lorsque le nombre d'échantillons est suffisant, bien que moins efficace en petits échantillons que le TLS.
Pilotage de la Covariance (Approche Directe) :
- Au lieu d'estimer explicitement les matrices de bruit, la méthode utilise directement les réalisations du bruit estimées à partir des résidus du modèle.
- Une contrainte cruciale est l'ajout de la propagation de la covariance croisée ( $\Sigma_{\chi\zeta}$ ) entre l'état et le bruit, car ils ne sont plus indépendants.
- Le problème d'optimisation original est non convexe. Les auteurs proposent une relaxation convexe (Semidefinite Program - SDP) en introduisant des variables de décision supplémentaires ( $U_k, W_k, Y_k$ ) et une variable d'écart pour linéariser les termes quadratiques.

C. Formulation en Programme Semi-Défini (SDP)

Le problème final est converti en un SDP résolvable efficacement. Les contraintes incluent la propagation de la covariance de l'état, la covariance croisée, et les conditions aux limites sur la covariance de sortie, le tout exprimé directement à partir des matrices de données (Hankel) sans identifier explicitement les matrices $A, B, C, D$ dans la boucle d'optimisation finale.

3. Contributions Clés

Extension au Retour de Sortie : C'est la première extension des résultats de pilotage de covariance basés sur les données (qui existaient pour le retour d'état) au cas du retour de sortie, sans connaissance du modèle.
Gestion du Bruit Temporellement Corrélé : L'article traite explicitement le problème du pilotage de covariance sous bruit corrélé dans le temps, une situation inhérente aux représentations non minimales, ce qui n'avait pas été adressé dans la littérature précédente.
Estimation Robuste de Bruit et Modèle : Développement d'une méthode d'estimation capable de gérer la corrélation temporelle du bruit pour identifier à la fois les dynamiques du système et les réalisations du bruit, essentielles pour l'approche directe.
Relaxation Convexe : Proposition d'une relaxation SDP pour résoudre le problème de pilotage de covariance non convexe, bien que les auteurs notent que cette relaxation n'est pas "sans perte" (lossless) en présence d'erreurs d'estimation.

4. Résultats Numériques

Les simulations ont été menées sur des systèmes MIMO stochastiques avec différents tailles d'ensembles de données :

Estimation de Modèle : La comparaison entre LS, TLS et IV montre que pour de très petits échantillons, le TLS est performant, mais la méthode IV surpasse les autres dès que la taille de l'ensemble de données augmente, offrant une meilleure précision et une variance d'erreur plus faible.
Pilotage de la Distribution :
- La précision du pilotage de la moyenne et de la covariance s'améliore avec la taille de l'ensemble de données.
- Les trajectoires simulées montrent que le système atteint efficacement la cible de moyenne et de covariance finale.
- Les ellipses de covariance terminales convergent vers la cible souhaitée, validant l'efficacité de la propagation de la covariance croisée.

5. Signification et Impact

Ce travail est significatif car il comble un fossé important entre la théorie de contrôle stochastique et les applications pratiques où les modèles sont inconnus et les capteurs imparfaits. En permettant le pilotage de la distribution de sortie sans modèle et avec des mesures bruitées, cette méthode ouvre la voie à des applications autonomes plus robustes dans des environnements incertains (ex: drones, réseaux électriques, systèmes robotiques).

L'approche proposée démontre que l'on peut obtenir des garanties de performance statistique (distribution) même sans modèle paramétrique, en exploitant intelligemment les propriétés structurelles des données d'entrée-sortie et en gérant rigoureusement les corrélations temporelles induites par la transformation de l'espace d'état. Les auteurs identifient cependant la nécessité de futures recherches pour développer des formulations robustes face aux erreurs d'estimation, notamment pour garantir les contraintes terminales dans des scénarios réels bruyants.