On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control

1. Problématique et Contexte

Le contrôle Linéaire Quadratique Gaussien (LQG) est une pierre angulaire de la théorie du contrôle optimal, offrant une solution analytique élégante combinant un filtre de Kalman et un retour d'état linéaire. Cependant, la performance du contrôleur LQG classique est extrêmement fragile en cas de mauvaise spécification du modèle, en particulier lorsque les distributions de bruit réelles s'écartent de l'hypothèse gaussienne supposée.

Les approches existantes pour pallier ce problème présentent des limites :

• Le contrôle $H_\infty$ (adversarial) est robuste mais souvent trop conservateur.
• Le contrôle Distributionnellement Robuste (DR) cherche un compromis en optimisant le coût attendu sous la pire distribution possible au sein d'un ensemble d'ambiguïté (un ensemble de distributions proches d'une distribution nominale).

L'article se concentre sur une généralisation du problème LQG à horizon fini où les distributions de bruit sont inconnues mais appartiennent à des ensembles d'ambiguïté définis par une discrepancy de Sinkhorn (une distance de Wasserstein régularisée par l'entropie) centrée sur une distribution gaussienne nominale.

Question centrale : Les politiques linéaires restent-elles globalement optimales pour ce problème LQG robuste basé sur la discrepancy de Sinkhorn, malgré la complexité introduite par la régularisation ?

2. Méthodologie

Les auteurs adoptent une approche mathématique rigoureuse pour prouver l'optimalité des politiques linéaires. Leur méthodologie repose sur les étapes suivantes :

A. Reformulation du problème

Le problème est formulé comme un jeu à somme nulle entre le concepteur du contrôleur (qui minimise le coût) et un adversaire (qui choisit la pire distribution de bruit dans l'ensemble d'ambiguïté $\mathcal{S}$).
Pour faciliter l'analyse, les auteurs utilisent une re-paramétrisation par les observations purifiées (purified observations). Ils introduisent une copie du système sans bruit et définissent les résidus d'observation $\eta_t$. Cette transformation permet de découpler les entrées de contrôle des bruits exogènes, simplifiant ainsi la structure du problème.

B. Construction de bornes (Argument "Sandwich")

Pour prouver l'existence d'un équilibre de Nash et l'optimalité linéaire, les auteurs construisent deux problèmes auxiliaires qui encadrent la valeur optimale du problème original :

1. Borne Inférieure (Dualité) :
   Ils restreignent l'ensemble d'ambiguïté aux distributions Gaussiennes uniquement. En utilisant des résultats connus sur la discrepancy de Sinkhorn entre deux lois normales, ils montrent que le problème se réduit à une optimisation sur les matrices de covariance. Ils démontrent que la divergence de Sinkhorn entre deux gaussiennes coïncide avec une divergence de Gelbrich régularisée par l'entropie ($G_\epsilon$). Cela permet de reformuler le problème en une optimisation de dimension finie sur les covariances.

2. Borne Supérieure (Primal) :
   Ils restreignent l'espace des politiques de contrôle aux politiques linéaires et élargissent l'ensemble d'ambiguïté. Pour cela, ils établissent une nouvelle inégalité de type Gelbrich : la discrepancy de Sinkhorn entre une distribution quelconque et une gaussienne est minorée par la divergence de Gelbrich régularisée de leurs covariances. Cela permet de majorer le problème original par un problème de dimension finie sur les covariances, en supposant que la pire distribution est gaussienne.

C. Preuve d'Optimalité Globale

En comparant les deux problèmes auxiliaires, les auteurs montrent qu'ils sont duaux l'un de l'autre et que leurs valeurs optimales coïncident.

• Ils prouvent la convexité et la compacité de l'ensemble des matrices de covariance admissibles défini par la contrainte de Gelbrich régularisée (Lemme 1).
• Grâce à ces propriétés topologiques, ils appliquent le théorème minimax de Sion pour établir la forte dualité.
• Résultat clé : L'égalité des bornes inférieure et supérieure implique l'existence d'un équilibre de Nash où la politique de contrôle optimale est linéaire et la distribution de bruit la plus défavorable (worst-case) est Gaussienne.

3. Contributions Clés

1. Optimalité Globale des Politiques Linéaires : C'est la contribution principale. L'article prouve que, contrairement à d'autres formulations de contrôle robuste où les politiques optimales peuvent être non-linéaires, le problème LQG robuste avec des ensembles d'ambiguïté de Sinkhorn admet une solution linéaire globale.
2. Nouvelles Inégalités et Bornes :
   • Développement d'une borne inférieure nouvelle pour le problème LQG DR utilisant les résultats du transport optimal régularisé.
   • Établissement d'une inégalité de Gelbrich pour la discrepancy de Sinkhorn, un résultat inédit dans la littérature, essentiel pour obtenir la borne supérieure.
3. Propriétés Topologiques : Preuve de la convexité et de la compacité de l'ensemble d'ambiguïté de Gelbrich régularisé, ce qui est crucial pour l'application des théorèmes de minimax.
4. Formulation Conique : Le problème est reformulé en un programme conique de dimension finie (SDP), rendant le calcul de la politique robuste effectif.

4. Résultats Expérimentaux

Les auteurs valident leur approche par des simulations numériques sur un système linéaire discret instable en boucle ouverte :

• Scénario Nominal : Lorsque le bruit réel suit la distribution gaussienne nominale, la politique DR de Sinkhorn subit un léger surcoût par rapport au LQG classique (comme attendu, dû à la robustesse).
• Scénario Adversarial : Lorsque le bruit est tiré de la distribution "pire cas" (au sein de l'ensemble d'ambiguïté), la politique DR de Sinkhorn surpasse significativement le LQG classique en termes de coût moyen.
• Conclusion : Les résultats illustrent le compromis fondamental entre la performance nominale et la robustesse distributionnelle, confirmant que la politique proposée offre une meilleure résilience face aux incertitudes de modèle.

5. Signification et Impact

Ce travail est significatif car il étend la portée théorique du contrôle LQG robuste.

• Théorique : Il résout une question ouverte sur la structure des politiques optimales dans le cadre de la robustesse distributionnelle avec régularisation d'entropie (Sinkhorn). Il démontre que la régularisation, bien qu'elle modifie la géométrie de l'ensemble d'ambiguïté (en le rendant continu plutôt que discret comme dans le cas Wasserstein non régularisé), préserve la structure linéaire de la solution optimale.
• Pratique : Il fournit un cadre computationnel efficace (via des programmes SDP) pour concevoir des contrôleurs robustes qui ne sont pas excessivement conservateurs comme les méthodes $H_\infty$, tout en garantissant des performances stables face à des écarts de distribution réels.

En résumé, l'article établit que pour les systèmes LQG soumis à des incertitudes de bruit modélisées par des ensembles de Sinkhorn, la stratégie de contrôle linéaire reste globalement optimale, offrant ainsi une base solide pour le déploiement de contrôleurs robustes dans des environnements incertains.