Résumé Technique : Pilotage de la Covariance en Temps Continu avec Temps Final Commun Libre

1. Formulation du Problème

Cet article traite du problème optimal de temps final commun libre pour le pilotage de la covariance d'état d'un système linéaire invariant dans le temps (LTI) stochastique en temps continu entre des matrices de covariance initiale et terminale prescrites.

Le système est régi par l'équation différentielle stochastique (EDS) :
$$d\mathbf{x}(t) = (A\mathbf{x}(t) + B\mathbf{u}(t))dt + \Gamma d\mathbf{w}(t)$$
où $\mathbf{x}(t) \in \mathbb{R}^n$ est l'état, $\mathbf{u}(t) \in \mathbb{R}^m$ est la commande, et $\mathbf{w}(t)$ est un mouvement brownien standard. L'objectif est de trouver une politique de commande $\mathbf{u}(\cdot)$ et un temps final commun $t_f > 0$ qui minimisent le coût attendu :
$$J(t_f, \mathbf{u}(\cdot)) = \mathbb{E}\left\{ \frac{1}{2} \int_0^{t_f} [\varpi + \mathbf{x}(t)^T Q \mathbf{x}(t) + \mathbf{u}(t)^T R \mathbf{u}(t)] dt \right\}$$
sous les conditions limites $\mathbf{x}(0) \sim \mathcal{N}(0, \Sigma_0)$ et $\mathbf{x}(t_f) \sim \mathcal{N}(0, \Sigma_f)$.

Contrairement aux problèmes classiques de pilotage de la covariance (Covariance Steering - CS) où $t_f$ est fixé, cette formulation traite $t_f$ comme une variable de décision. Les auteurs soulignent que fixer $t_f$ a priori peut être inefficace ou conservateur dans des applications telles que les manœuvres de satellites, la planification de mouvement robotique ou la reconfiguration multi-agents, où la durée de la tâche est une variable de conception critique.

2. Méthodologie

Reformulation Déterministe

Les auteurs établissent d'abord que la commande optimale pour le problème stochastique admet une représentation de rétroaction d'état linéaire $\mathbf{u}^*(t) = K^*(t)\mathbf{x}(t)$. Cela permet de reformuler le problème de commande optimale stochastique (SOCP) en un problème de commande optimale déterministe (OCP) impliquant uniquement la matrice de covariance $\Sigma(t)$ :
$$\dot{\Sigma}(t) = (A + BK(t))\Sigma(t) + \Sigma(t)(A + BK(t))^T + D$$
où $D = \Gamma\Gamma^T$. Le fonctionnel de coût devient déterministe, dépendant uniquement de la trace de la covariance et du gain de commande.

Conditions d'Optimalité et Zéros de l'Hamiltonien

En utilisant le principe du maximum de Pontryagin (PMP) sur la reformulation déterministe, les auteurs dérivent les conditions nécessaires d'optimalité. Une contribution clé est la dérivation de la condition de transversalité de l'Hamiltonien pour le temps final libre.
Soit $\mathcal{H}_{t_f}(\Sigma, \Pi)$ l'Hamiltonien associé à la covariance et au co-état $\Pi$. Pour un temps final optimal candidat $t_f^*$, la condition de transversalité exige :
$$\mathcal{H}_{t_f^*}(\Sigma(t), \Pi(t)) = 0 \quad \forall t \in [0, t_f^*]$$
Les auteurs définissent les zéros de l'Hamiltonien comme des temps finaux candidats satisfaisant cette condition. Ils distinguent :

1. Zéros de l'Hamiltonien finis : $t_f^* < \infty$.
2. Zéros de l'Hamiltonien asymptotiques : La condition n'est approchée que lorsque $t_f \to \infty$.

Analyse Asymptotique : Portails et Connexions

Pour caractériser le comportement des solutions lorsque $t_f \to \infty$, l'article introduit deux concepts novateurs :

• Portails Asymptotiques (Asymptotic Gateways - AG) : Un ensemble $\mathcal{G}_\infty$ d'états de covariance stationnaires $\Sigma_s$ qui satisfont l'équation de Lyapunov non contrôlée ($A\Sigma_s + \Sigma_s A^T + D = 0$) et engendrent un coût instantané nul ($\text{trace}(Q\Sigma_s) = 0$).
• Connexions Asymptotiques (Asymptotic Connections - AC) : Des trajectoires limites de solutions optimales à horizon fini qui approchent $\mathcal{G}_\infty$, restent dans son voisinage (comportement de type "turnpike"), puis s'en éloignent pour satisfaire la contrainte terminale.

Les auteurs prouvent qu'un zéro de l'Hamiltonien asymptotique existe si et seulement si $\varpi = 0$ et $\mathcal{G}_\infty$ est non vide. Si $\mathcal{G}_\infty$ est vide (par exemple, si $\varpi > 0$ ou $Q \neq 0$), un temps final optimal fini est garanti.

Algorithme Numérique

Exploitant la sensibilité de l'Hamiltonien par rapport à $t_f$, les auteurs développent un algorithme de recherche linéaire par zone de confiance (trust-region line-search). Cet algorithme :

1. Met à jour itérativement $t_f$ pour trouver les zéros de l'Hamiltonien.
2. Calcule les sensibilités de manière analytique (pour des structures de diffusion spécifiques) ou numérique.
3. Inclut un module de détection pour identifier quand la trajectoire approche un Portail Asymptotique, distinguant ainsi la convergence en temps fini des régimes asymptotiques où le temps optimal tend vers l'infini.

3. Contributions Clés

L'article revendique les contributions techniques suivantes :

• Première Étude Systématique : Il fournit le premier traitement systématique du pilotage de la covariance en temps continu avec un temps final commun libre dans le cadre général LTI stochastique.
• Condition de Transversalité : Il dérive la condition de transversalité de l'Hamiltonien correcte pour le temps final commun via une reformulation déterministe, comblant une lacune où les principes minimaux stochastiques classiques ne fournissent pas de conditions nécessaires pour les temps finaux communs libres.
• Finitude vs Asymptoticité : Il établit des conditions suffisantes pour l'existence d'un temps final optimal fini et caractérise le mécanisme (via les Portails Asystotiques) par lequel le temps optimal peut n'être approché que de manière asymptotique.
• Interprétation de Type "Turnpike" : Il introduit les Portails et Connexions Asymptotiques pour décrire les structures invariantes qui régissent les trajectoires optimales à long horizon, fournissant une interprétation de type "turnpike" pour le régime à grand horizon.
• Solution Algorithmique : Il propose un algorithme de zone de confiance capable de détecter à la fois les temps optimaux finis et les régimes de solutions à horizon infini, validé par des exemples numériques.

4. Résultats et Exemples Numériques

Les auteurs valident leur théorie et leur algorithme à l'aide de trois exemples :

1. Effet de l'intensité du bruit : Un exemple en 2D démontrant trois comportements :
   • Convergence vers un $t_f$ optimal fini (lorsque $Q=I$).
   • Convergence vers un portail asymptotique non borné (lorsque $Q=0$ et que les modes du système approchent la stabilité marginale).
   • Convergence vers un portail asymptotique singulier (lorsque la diffusion est presque singulière).
2. Manœuvre de Satellite : Une démonstration du pilotage de la covariance d'un satellite compagnon sous la dynamique de Clohessy-Wiltshire-Hill (CWH). L'algorithme gère avec succès différentes estimations initiales de $t_f$, y compris les cas où la sensibilité de l'Hamiltonien est presque nulle (régions plates), montrant sa robustesse.
3. Pilotage de Mélange Gaussien : Une application au pilotage d'un Modèle de Mélange Gaussien (GMM) vers un GMM cible. Les auteurs définissent le "Prix de la Synchronisation" comme l'écart de coût entre l'imposition d'un temps final commun pour toutes les composantes du mélange et le fait de permettre à chaque paire de composantes d'avoir son propre temps final optimal. Les résultats montrent que la contrainte de temps commun peut augmenter les coûts (par exemple, de 14 % dans l'exemple), et que cet écart diminue à mesure que les composantes du mélange fusionnent.

5. Signification et Revendications

L'article positionne ses travaux comme une avancée nécessaire pour le contrôle conscient de l'incertitude dans des domaines critiques pour la sécurité (ex. : aérospatiale, robotique) où la durée de la tâche est une métrique de performance.

• Insight Théorique : Il clarifie que les problèmes de temps final libre sont "délicats", présentant des phénomènes tels que les singularités à horizon court et les comportements de type "turnpike" à long horizon qui sont absents des formulations à horizon fixe.
• Utilité Pratique : Le cadre proposé évite l'inefficacité de fixer arbitrairement $t_f$ et fournit un mécanisme pour détecter quand un problème est mal posé pour des solutions en temps fini (c'est-à-dire quand la solution optimale nécessite un horizon infini).
• Généralisation : La formulation offre une extension naturelle aux problèmes de pilotage de distributions générales, comme le fait de permettre à différentes composantes d'un mélange d'arriver à des moments différents, évitant ainsi le "coût de la synchronisation".

Les auteurs restent modestes quant aux travaux futurs, notant que l'extension de ces résultats à des hypothèses plus faibles (par exemple, en relaxant les hypothèses de contrôlabilité ou l'existence de limites asymptotiques fixes) reste un domaine de recherche ouvert.