Free Final Time Adaptive Mesh Covariance Steering via Sequential Convex Programming

1. Problématique

L'article aborde le problème de l'orientation de la covariance (Covariance Steering - CS) pour des systèmes dynamiques non linéaires régis par des équations différentielles stochastiques (EDS), avec une durée finale libre (free-final-time).

Les défis principaux identifiés sont :

• Bruit multiplicatif : Contrairement au bruit additif, de nombreuses applications (entrée atmosphérique, incertitudes de propulsion dépendantes de l'attitude) impliquent un bruit dont l'intensité dépend de l'état et/ou du contrôle. Cela rend la propagation de la covariance non linéaire et les contraintes souvent non convexes.
• Durée finale libre : L'optimisation du temps de mission est cruciale, mais dans un contexte stochastique, l'extension du temps affecte non seulement la dérive (drift) mais aussi la diffusion, modifiant ainsi la croissance de l'incertitude.
• Maillage temporel fixe : Les méthodes existantes utilisent souvent un maillage temporel fixe, ce qui peut être sous-optimal pour capturer la dynamique stochastique ou gérer efficacement le temps libre.
• Linéarisation approximative : Les approches antérieures "gèlent" souvent la diffusion lors de la linéarisation, ce qui introduit des erreurs significatives dans la propagation de la covariance sous bruit multiplicatif.

L'objectif est de trouver une politique de contrôle (feedback affine) qui minimise le temps final tout en respectant des contraintes de moments terminaux (moyenne et covariance) et des contraintes de probabilité (chance constraints) le long de la trajectoire.

2. Méthodologie

L'auteur propose un cadre basé sur la Programmation Convexe Séquentielle (SCP) et la Successive Convexification (SCvx), baptisé FFT-iCS (Free-Final-Time iterative Covariance Steering). La méthodologie se décompose en quatre étapes clés :

A. Normalisation temporelle et variables de dilatation

Pour gérer le temps libre, l'intervalle de temps $[0, t_f]$ est transformé en un intervalle fixe $\tau \in [0, 1]$.

• Une variable de dilatation temporelle $\sigma_\tau = dt/d\tau$ est introduite.
• Le problème est discrétisé sur un maillage fixe en $\tau$, mais le maillage physique est adaptatif grâce aux variables $\sigma_k$ optimisées par intervalle.
• L'EDS normalisée devient : $dx_\tau = \sigma_\tau f(x_\tau, u_\tau) d\tau + \sqrt{\sigma_\tau} g(x_\tau, u_\tau) dw_\tau$.

B. Linéarisation exacte du bruit multiplicatif

C'est un point central de l'article. Contrairement aux méthodes précédentes qui figent le terme de diffusion, l'auteur conserve la linéarisation du premier ordre complète du terme de diffusion, y compris sa dépendance à $\sigma_\tau$.

• Cela permet de préserver la structure du bruit multiplicatif dans le modèle linéaire local.
• Le modèle linéarisé est de la forme : $dx_\tau = (A_\tau x_\tau + F_\tau \tilde{u}_\tau + d_\tau) d\tau + \sum (\tilde{A}^{(i)}_\tau x_\tau + \tilde{F}^{(i)}_\tau \tilde{u}_\tau + \tilde{d}^{(i)}_\tau) dw^{(i)}_\tau$.

C. Discrétisation et propagation des moments

Une discrétisation à pas fixe est appliquée avec une hypothèse de maintien d'ordre zéro (ZOH) sur le contrôle et le temps.

• Approximation de l'intégrale stochastique : L'intégrale de diffusion est approximée en "gelant" l'état à l'extrémité gauche de l'intervalle et en projetant l'intégrande sur une valeur constante.
• Bornes d'erreur : L'article démontre que l'erreur de discrétisation est de l'ordre de $O(\Delta\tau^2)$ pour le gel de l'état et $O(\Delta\tau^3)$ pour la projection, ce qui est nettement plus précis que les méthodes existantes ($O(\Delta\tau)$) qui figent la diffusion avant linéarisation.
• Propagation : Des équations exactes sont dérivées pour la propagation de la moyenne et de la covariance (y compris les termes de covariance croisée état-contrôle) sous ce modèle discret.

D. Réduction Convexe et Relaxations

Le problème sous-jacent est non convexe en raison du couplage entre la covariance et le gain de feedback, ainsi que des contraintes de chance.

• Relaxation LMI (Linear Matrix Inequality) : Une transformation de variables ($U_k = K_k \Sigma_k$) et des inégalités de Schur sont utilisées pour linéariser les termes quadratiques dans la propagation de la covariance.
• Contraintes de chance distributionnellement robustes (DR-CC) : Les contraintes probabilistes sont reformulées en utilisant des ensembles d'ambiguïté de Chebyshev (basés uniquement sur les deux premiers moments), garantissant la satisfaction des contraintes pour toute distribution ayant ces moments.
• Relaxation sans perte (Lossless) : Sous certaines conditions de régularisation de l'objectif, les relaxations LMI sont prouvées comme étant "sans perte" (lossless), garantissant que la solution du problème convexe relaxé est aussi la solution du problème original.

3. Contributions Clés

1. Première formulation FFT-CS pour EDS non linéaires : Introduction d'un cadre unifié optimisant simultanément la politique de contrôle et le maillage temporel pour des systèmes avec bruit multiplicatif.
2. Linéarisation exacte du premier ordre : Développement d'une linéarisation qui préserve la dépendance du bruit multiplicatif par rapport à la dilatation temporelle, accompagnée de bornes d'erreur d'approximation rigoureuses.
3. Méthode de résolution tractable : Un algorithme SCP basé sur des sous-problèmes SDP (Semi-Definite Programming) intégrant des relaxations convexes sans perte pour l'orientation de la covariance et des contraintes de chance robustes.
4. Validation numérique : Démonstration sur un double intégrateur non linéaire avec traînée et diffusion dépendante de la vitesse.

4. Résultats Expérimentaux

Des simulations numériques ont été menées sur un système de double intégrateur soumis à des forces de traînée non linéaires et à un bruit multiplicatif (dépendant de la vitesse).

• Minimisation du temps : L'algorithme a réussi à minimiser le temps final de manière monotone en augmentant le poids de pénalité sur le temps ($\eta$), tout en respectant les contraintes de covariance terminale et de risque.
• Précision de la covariance (Bruit multiplicatif) :
  • Une comparaison a été faite entre la méthode proposée (linéarisation complète de la diffusion) et une méthode de référence "diffusion gelée".
  • Résultat : La méthode proposée a réduit l'erreur de propagation de la covariance de 95 % par rapport à la méthode gelée.
  • La covariance empirique simulée (Monte Carlo) avec la méthode proposée correspondait étroitement à la covariance cible, tandis que la méthode gelée présentait un écart significatif, menant potentiellement à une violation des contraintes de sécurité.
• Convergence : L'algorithme a convergé rapidement (environ 16 itérations pour le cas multiplicatif) vers une solution réalisable.

5. Signification et Impact

Ce travail comble une lacune importante dans la littérature sur le contrôle stochastique optimal. En permettant l'optimisation conjointe du maillage temporel et de la politique de contrôle pour des systèmes non linéaires avec bruit multiplicatif, l'article offre :

• Une meilleure précision : La prise en compte exacte de la linéarisation du bruit multiplicatif évite les approximations grossières qui dégradent la fiabilité des contraintes de sécurité.
• Efficacité computationnelle : L'utilisation de la SCP et des relaxations SDP permet de résoudre des problèmes non convexes complexes en temps polynomial, rendant la méthode potentiellement applicable en temps réel pour la guidance aérospatiale.
• Flexibilité : La capacité à gérer des durées de mission libres et des maillages adaptatifs est cruciale pour les missions où le temps est une ressource critique et où la dynamique stochastique varie fortement.

En résumé, cette recherche fournit un cadre théorique et algorithmique robuste pour la conception de trajectoires stochastiques optimales dans des environnements incertains et non linéaires, dépassant les limitations des approches de linéarisation traditionnelles.