⚡ electrical engineering

Optimal Modified Feedback Strategies in LQ Games under Control Imperfections

Cet article propose et analyse une loi de compensation optimale pour les jeux linéaires quadratiques à deux joueurs, conçue pour atténuer les effets des imperfections de contrôle sur les trajectoires et les coûts en augmentant le jeu nominal avec la dynamique des déviations mesurables.

Auteurs originaux : Mahdis Rabbani, Navid Mojahed, Shima Nazari

Publié 2026-03-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mahdis Rabbani, Navid Mojahed, Shima Nazari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎯 Le Problème : La Danse Parfaite qui se Détraque

Imaginez deux danseurs (appelons-les Joueur 1 et Joueur 2) qui doivent exécuter une chorégraphie parfaitement synchronisée pour atteindre un objectif commun, comme se rendre au centre d'une piste de danse sans se cogner.

Dans la théorie des jeux (la science de la prise de décision stratégique), les mathématiciens ont calculé la stratégie idéale (l'équilibre de Nash). C'est comme si les danseurs avaient un plan parfait écrit dans leur tête : "À chaque seconde, je fais ce mouvement précis, et toi tu fais celui-là, et nous gagnons tous les deux."

Mais la réalité est imparfaite.
Dans le monde réel, les danseurs ne sont pas des robots parfaits.

Le Joueur 2 a peut-être des chaussures trop lourdes (un défaut d'actionneur).
Il peut y avoir un léger délai entre le moment où il décide de bouger et le moment où son pied touche le sol (retard).
Il peut y avoir du vent ou des obstacles (perturbations).

Résultat : Le Joueur 2 ne suit pas exactement le plan parfait. Il est un peu en retard ou un peu décalé.

⚠️ La Conséquence : Qui paie le prix ?

Si le Joueur 2 rate son mouvement, cela ne gâche pas seulement sa propre performance. Comme ils sont liés (par une corde élastique, ou simplement par la physique de la danse), le Joueur 1 est aussi déséquilibré.

Le Joueur 1 continue de suivre son plan original (qui était parfait si le Joueur 2 était parfait).
Mais comme le Joueur 2 a dévié, le Joueur 1 se retrouve dans une situation où son plan ne fonctionne plus. Il finit par faire des mouvements inutiles, dépense plus d'énergie et rate son objectif. C'est comme essayer de danser avec quelqu'un qui trébuche : vous finissez par trébucher aussi.

💡 La Solution : Le "Compensateur" Magique

C'est là que les auteurs de ce papier interviennent. Ils se demandent : "Si le Joueur 2 ne peut pas être parfait, que peut faire le Joueur 1 pour sauver la mise ?"

Au lieu d'ignorer le problème ou de simplement essayer de "forcer" le plan original, ils proposent une nouvelle stratégie pour le Joueur 1 : La Compensation.

Voici l'analogie du Surfeur et de la Vague :

L'ancien plan (Référence) : Le surfeur (Joueur 1) prévoit de glisser sur une vague parfaite. Soudain, la vague (Joueur 2) se casse un peu plus tôt que prévu. Le surfeur tombe.
Le nouveau plan (Compensation) : Le surfeur a des yeux qui voient la vague se briser avant qu'elle ne l'atteigne. Il ajuste sa planche immédiatement pour contrer le mouvement de la vague, au lieu de simplement attendre d'être jeté à l'eau.

Dans le papier, le Joueur 1 utilise une formule mathématique (appelée Riccati augmentée) qui lui permet de :

Mesurer l'erreur du Joueur 2 en temps réel (savoir exactement de combien il est en retard).
Prévoir comment cette erreur va se propager dans le futur.
Ajuster sa propre action non seulement pour son propre état, mais aussi pour "annuler" l'effet négatif de l'erreur du partenaire.

🧪 L'Expérience : Deux Chariots sur un Ressort

Pour prouver leur théorie, les auteurs ont simulé une expérience avec deux chariots reliés par un ressort et un amortisseur.

Scénario 1 (Théorie) : Tout le monde est parfait. Les deux chariots arrivent doucement au centre.
Scénario 2 (Réalité sans aide) : Le chariot 2 a un moteur lent (il traîne). Le chariot 1, qui suit son plan normal, se fait tirer vers le bas par le chariot 2. Les deux arrivent mal et dépensent beaucoup d'énergie.
Scénario 3 (Avec Compensation) : Le chariot 2 traîne toujours. Mais le chariot 1, voyant le retard, tire un peu plus fort ou change de timing pour contrebalancer la lourdeur du chariot 2.

Le résultat ?
Le chariot 1 (celui qui compense) arrive beaucoup plus près de la perfection et économise beaucoup d'énergie par rapport au scénario 2. Il a "sauvé" sa propre performance en s'adaptant à l'imperfection de l'autre.

(Note : Le chariot 2, lui, ne s'améliore pas car il n'a pas changé son moteur, mais le duo dans son ensemble fonctionne mieux que si le chariot 1 avait continué à ignorer le problème.)

🏆 En Résumé

Ce papier dit essentiellement :

"Dans un monde imparfait, attendre que tout le monde joue parfaitement est une erreur. Si vous savez que votre partenaire va faire une erreur (à cause d'un retard ou d'un défaut technique), vous pouvez utiliser cette information pour anticiper et compenser. En ajustant votre propre stratégie en fonction de l'erreur de l'autre, vous pouvez sauver votre propre performance, même si l'autre personne ne s'améliore pas."

C'est une leçon de vie appliquée aux mathématiques : l'adaptation à l'imprévu est souvent plus puissante que la rigidité du plan idéal.

1. Problématique

L'article aborde un défi majeur dans l'application pratique des jeux différentiels linéaires quadratiques (LQ) à horizon fini : la sensibilité des équilibres de Nash aux imperfections d'exécution. Bien que la théorie des jeux fournisse des stratégies optimales (Équilibre de Nash en Rétroaction, FNE) pour des systèmes multi-agents, leur mise en œuvre réelle est souvent dégradée par :

Des retards de calcul et de communication.
Des limitations des actionneurs (dynamiques de premier ordre, saturation, taux de variation).
Du bruit de mesure.

Dans un jeu à somme non nulle à deux joueurs, si le joueur 2 subit une déviation de sa commande idéale (due à un actionneur imparfait), cela perturbe la trajectoire d'état du système et, par conséquent, augmente le coût du joueur 1, même si ce dernier applique sa stratégie de Nash nominale. La question centrale est : Comment le joueur 1 peut-il compenser ces déviations mesurables de l'adversaire pour minimiser son propre coût, sans nécessairement redéfinir l'équilibre du jeu ?

2. Méthodologie

Les auteurs proposent une approche structurée en deux étapes principales :

A. Analyse de Sensibilité (Ordre 1)

Pour un jeu LQ discret à deux joueurs, les auteurs dérivent une expression analytique exacte de la perturbation de l'état ( $\Delta x_k$ ) et une expansion du premier ordre du coût du joueur 1 ( $\Delta J_1$ ) résultant des déviations de commande du joueur 2 ( $\Delta u_{2,k}$ ).

Ils utilisent une matrice de transition d'état $\Phi(k, j)$ associée à la dynamique en boucle fermée nominale.
Ils montrent que le coût du joueur 1 dépend linéairement des déviations passées du joueur 2, pondérées par des coefficients de sensibilité explicites ( $\Lambda_j$ ).

B. Conception d'une Loi de Rétroaction Compensée (CF)

Au lieu de chercher un nouvel équilibre de Nash (ce qui nécessiterait que le joueur 2 change aussi sa stratégie), les auteurs conçoivent une politique de compensation pour le joueur 1.

Modélisation de l'erreur : L'erreur d'exécution du joueur 2 est modélisée comme une dynamique de retard de premier ordre (lag) : $u_{2,k+1} = \alpha u_{2,k} + (1-\alpha)u^*_{2,k}$ .
Augmentation de l'état : Le joueur 1 intègre l'erreur de perturbation $w_k$ (estimée ou mesurée) dans son vecteur d'état, formant un état augmenté $z_k = [x_k^\top, w_k^\top]^\top$ .
Optimisation : Le problème est reformulé comme un problème de contrôle optimal LQ sur ce système augmenté. Le joueur 1 cherche une loi de contrôle affine causale de la forme :
$u_{1,k} = -K_k x_k - L_k w_k$
où $K_k$ est la rétroaction sur l'état et $L_k$ est un terme de prévision (feedforward) agissant sur la perturbation mesurée.
Résolution : Les gains optimaux sont obtenus via une récursion de Riccati augmentée sur l'horizon fini, garantissant l'optimalité de la politique dans la classe des lois affines causales.

3. Contributions Clés

Analyse de Sensibilité Discrète : Dérivation d'expressions en forme close caractérisant comment les déviations d'un joueur se propagent dans la dynamique du système et affectent le coût de l'autre joueur dans un cadre temporel discret.
Stratégie de Compensation Optimaux : Proposition d'une loi de contrôle compensée qui est uniquement optimale au sein d'une classe de politiques affines causales. Cette loi inclut la rétroaction de référence (non compensée) comme cas particulier.
Garantie de Performance Locale : Preuve mathématique (Corollaire 2) montrant que, pour des déviations suffisamment petites, la politique compensée (CF) améliore le coût du joueur 1 par rapport à la politique de référence (REF) jusqu'à l'ordre deux, sauf si la perturbation est nulle.
Extension aux Dynamiques de Retard : Généralisation du principe d'accommodation de perturbation (DBSC) aux jeux dynamiques avec des erreurs d'exécution temporelles et structurées (modèle de retard d'actionneur).

4. Résultats Numériques

Une étude de cas sur un système de deux chariots couplés par un ressort-amortisseur illustre l'efficacité de la méthode :

Scénario 1 (FNE Nominal) : Les deux joueurs appliquent leurs stratégies de Nash idéales. Performance optimale.
Scénario 2 (Référence - REF) : Le joueur 2 subit un retard d'actionneur, mais le joueur 1 utilise sa stratégie nominale. Résultat : dégradation significative des trajectoires et augmentation du coût du joueur 1 de 51,36 %.
Scénario 3 (Compensé - CF) : Le joueur 1 utilise la loi compensée (avec gains $K_k, L_k$ $K_{k}, L_{k}$ calculés via Riccati augmenté) tout en gardant le joueur 2 dans son état de retard.
- Le joueur 1 récupère environ 31,56 % de la perte de performance initiale.
- Son coût diminue de 10,71 % par rapport au cas non compensé.
- L'erreur quadratique intégrée (ISE) du joueur 1 est réduite de 41,28 %.
- Note : Le coût du joueur 2 augmente légèrement car il ne compense pas sa propre erreur et subit l'effet de la nouvelle stratégie du joueur 1, ce qui est attendu dans un jeu à somme non nulle où l'optimisation est individuelle.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la théorie des jeux idéalisée et la réalité des systèmes d'ingénierie :

Robustesse Pratique : Il démontre qu'un agent peut améliorer sa performance en exploitant l'information sur les imperfections de l'adversaire, sans avoir besoin de communiquer ou de modifier le comportement de l'adversaire.
Approche Causale et Réaliste : Contrairement à des approches qui supposent une connaissance parfaite future, la méthode proposée utilise des informations disponibles en temps réel (état et estimation de l'erreur) pour une compensation proactive.
Limites et Perspectives : La méthode est spécifique à un joueur (optimisation individuelle) et ne garantit pas l'optimalité sociale (somme des coûts). Les auteurs suggèrent que des travaux futurs pourraient explorer des mécanismes d'estimation en ligne et des redéfinitions conjointes des stratégies pour des scénarios coopératifs ou plus complexes.

En résumé, l'article propose un cadre théorique rigoureux et une solution algorithmique efficace pour atténuer les effets des imperfections de contrôle dans les jeux dynamiques, en transformant une perturbation inévitable en une information exploitable pour la compensation.