Robust Receding Horizon Games with Additive Uncertainty

Résumé Technique : Jeux à Horizon Récessif Robustes avec Incertitude Additive

Formulation du Problème
Cet article traite du défi du contrôle de systèmes multi-agents opérant dans des environnements partagés et incertains. Les auteurs considèrent un cadre comprenant $N$ agents, chacun contrôlant un système linéaire en temps discret soumis à des perturbations additives bornées. Les agents doivent satisfaire à la fois des contraintes privées d'état/entrée et des contraintes de couplage partagées qui dépendent des états et des entrées des agents voisins.

Contra-rence aux contrôles distribués coopératifs, où les agents minimisent un objectif global, ce travail se concentre sur les Jeux à Horizon Récessif (RHG - Receding Horizon Games). Ici, chaque agent est égoïste et cherche à minimiser son propre coût de poursuite (écart par rapport à une cible d'état stationnaire) tout en respectant les contraintes. La difficulté centrale réside dans le fait que les agents ne peuvent pas divulguer leurs dynamiques, coûts ou contraintes privées aux autres, pourtant ils doivent collectivement satisfaire aux contraintes partagées sous l'effet de l'incertitude. L'objectif est de concevoir un cadre de contrôle distribué qui garantit la faisabilité récursive pour toutes les réalisations de perturbations et garantit la convergence vers un équilibre de théorie des jeux.

Méthodologie
Le cadre proposé intègre le Contrôle Prédictif par Modèle (MPC) à Tube (Tube-Based MPC) avec la théorie de l'Équilibre de Nash Généralisé (GNE). La méthodologie procède selon les étapes suivantes :

1. Décomposition par Tube :
   L'état et l'entrée prédits de chaque agent sont décomposés en une trajectoire nominale et une composante d'erreur ($x = s + e$, $u = v + K_p e$). La trajectoire nominale est la variable de décision, tandis que la dynamique d'erreur est régie par un gain de rétroaction pré-stabilisant $K_p$. Cette décomposition confine l'état réel à l'intérieur d'un « tube » autour de la trajectoire nominale, défini par un ensemble robuste positivement invariant minimal (mRPI) ($Z^\infty_i$).

2. Resserrement des Contraintes (Constraint Tightening) :
   Pour assurer la satisfaction robuste des contraintes malgré les perturbations, les contraintes originales sont resserrées :

   • Contraintes Privées : Les ensembles d'état et d'entrée sont resserrés par l'ensemble mRPI et le gain de pré-stabilisation.
   • Contraintes Partagées : Les contraintes partagées sont resserrées en soustrayant la contribution la plus défavorable des termes d'erreur des voisins. Crucialement, cela est réalisé via un protocole préservant la confidentialité où les agents ne diffusent que des termes de resserrement scalaires (fonctions de support de leurs ensembles mRPI) plutôt que leurs fonctions de coût ou dynamiques complètes.

3. Éléments Terminaux :
   Pour garantir la faisabilité récursive et la stabilité, les auteurs construisent trois composants terminaux spécifiques :

   • Un coût terminal dérivé d'une Équation Algébrique de Riccati Discrète (DARE).
   • Une loi de commande terminale basée sur le gain de rétroaction optimal de la DARE.
   • Un ensemble terminal découplé positivement invariant. Pour gérer le couplage dans la contrainte terminale sans nécessiter une coordination complète, la borne partagée resserrée est divisée en parts par agent. Chaque agent impose la part la plus restrictive requise par sa participation dans divers voisinages.

4. Solution de Théorie des Jeux :
   À chaque étape de temps, les agents résolvent un problème d'optimisation à horizon fini (un GNEP) en parallèle. La fonction de coût est un coût de poursuite vers un Équilibre de Nash Généralisé Variationnel (vGNE) pré-calculé. Le problème est résolu à l'aide d'algorithmes de séparation d'opérateurs distribués, en exploitant le fait que le jeu est un jeu de potentiel.

Contributions Clés
L'article présente trois contributions principales :

1. Formulation de RHG Robuste : Il formule un jeu à horizon récessif robuste pour des systèmes linéaires avec des perturbations additives et des contraintes partagées. Il introduit un schéma de resserrement de contrainte par tube où les agents n'échangent que des termes de resserrement scalaires, préservant ainsi la confidentialité de leurs dynamiques et coûts locaux, contrairement aux schémas coopératifs qui échangent des trajectoires.
2. Garanties de Faisabilité Récursive : Les auteurs construisent un ensemble spécifique d'éléments terminaux (coût basé sur la DARE, ensemble invariant découplé et schéma d'allocation de ressources pour les contraintes partagées) qui garantissent rigoureusement la faisabilité récursive pour toute réalisation de perturbation bornée.
3. Analyse de Stabilité et de Convergence : En exploitant la structure de jeu de potentiel, l'article établit que la fonction de potentiel agit comme une fonction de Lyapunov jointe. Cela prouve la convergence asymptotique de l'état nominal de chaque agent vers le vGNE d'état stationnaire. De plus, il démontre que l'état réel converge vers un voisinage du vGNE déterminé par l'ensemble mRPI.

Résultats
L'analyse théorique confirme que :

• Si l'état initial est réalisable, le problème d'optimisation reste réalisable à toutes les étapes de temps futures pour toute réalisation de perturbations bornées (Faisabilité Récursive).
• Les trajectoires nominales de tous les agents convergent asymptotiquement vers le vGNE d'état stationnaire.
• Les trajectoires en boucle fermée réelles convergent vers un voisinage minimal robuste positivement invariant (RPI) du vGLE d'état stationnaire.
• Toutes les contraintes privées et partagées originales sont satisfaites de manière robuste pour toutes les réalisations de perturbations.

Signification et Revendications
Les auteurs positionnent ce travail comme la première investigation rigoureuse des jeux à horizon récessif sous incertitude avec ces garanties spécifiques. Ils soulignent que les travaux précédents sur les RHG reposaient sur des modèles déterministes ou des contraintes d'égalité terminales, tandis que la littérature existante sur le MPC multi-agent robuste se concentrait sur des contextes coopératifs.

L'article revendique une importance majeure en comblant le fossé entre le contrôle robuste et la théorie des jeux pour des agents non coopératifs. Il démontre qu'il est possible d'atteindre la satisfaction robuste des contraintes et la stabilité dans un cadre distribué et égoïste sans exiger que les agents partagent des informations de modèle sensibles. Les auteurs notent modestement que l'extension de ces résultats à des coûts économiques généraux (où les coûts sont couplés) ou l'incorporation de contraintes de probabilité (chance constraints) demeure un défi ouvert pour la recherche future.