💻 computer science

Expected Return Symmetries

Cet article introduit les « symétries de rendement espéré », une classe plus large de symétries qui englobe les symétries d'environnement traditionnelles, permettant aux agents dans des contextes multi-agents décentralisés de parvenir à une coordination zero-shot supérieure sans nécessiter de connaissance préalable des symétries de vérité terrain.

Auteurs originaux : Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le dilemme du « Gaucher » vs le « Droitier »

Imaginez deux robots entraînés séparément pour jouer à un jeu coopératif, comme une version très haut niveau de Hanabi (un jeu de cartes où vous ne voyez pas vos propres cartes) ou Overcooked (un simulateur de cuisine chaotique). Ils sont tous deux brillants au jeu lorsqu'ils jouent seuls.

Cependant, quand vous associez le Robot A au Robot B pour la première fois, ils échouent lamentablement. Pourquoi ?

Parce qu'au cours de leur entraînement en solo, ils ont accidentellement inventé leurs propres langages secrets.

Le Robot A a appris que si l'autre joueur pose une carte, cela signifie « je suis content ».
Le Robot B a appris que la même action signifie « je suis en colère ».

Dans les termes de l'article, cela s'appelle une rupture de symétrie mutuellement incompatible. Les robots ont trouvé une solution qui fonctionnait pour eux individuellement, mais comme ils ne se sont pas mis d'accord sur quelle version de la solution utiliser, ils sont comme deux personnes essayant de se serrer la main, mais l'une tend la main gauche et l'autre la main droite. Ils sont tous deux « corrects » dans leur esprit, mais ils ne peuvent pas se coordonner.

L'Ancienne Solution : « Other-Play » (L'approche par le manuel de règles)

Auparavant, les chercheurs essayaient de corriger cela en apprenant aux robots à respecter les symétries de l'environnement.

Considérez l'environnement du jeu comme une pièce avec quatre portes identiques. Si vous passez par la porte Nord, vous obtenez une récompense. Si vous passez par la porte Sud, vous obtenez exactement la même récompense. La pièce est « symétrique ».

L'ancienne méthode : Les chercheurs disaient aux robots : « Hé, le Nord et le Sud sont les mêmes. Ne vous contentez pas de mémoriser "le Nord est bon". Mémorisez "Toute porte qui ressemble au Nord est bonne". »
La limitation : Cela fonctionne bien pour des choses évidentes comme les couleurs ou les directions. Mais cela échoue lorsque la « similitude » ne concerne pas la disposition de la pièce, mais la stratégie elle-même. C'est comme dire aux robots : « Peu importe que vous portiez un chapeau rouge ou bleu », tout en oubliant de réaliser que parfois, porter un type spécifique de chapeau est le seul moyen de signaler « je suis prêt à cuisiner » à un partenaire.

La Nouvelle Solution : « Expected Return Symmetries » (L'approche par « ce qui fonctionne »)

Les auteurs de cet article proposent une manière plus intelligente de trouver ces connexions cachées. Au lieu de regarder les règles de la pièce (l'environnement), ils regardent les résultats (les récompenses).

Ils introduisent le concept de Symétries de l'Espérance de Gain (Expected Return Symmetries).

L'analogie : Le « Miroir Magique »
Imaginez que vous avez un miroir magique. Si vous faites un mouvement de danse spécifique devant lui, vous obtenez une étoile d'or.

Vue ancienne : Le miroir ne reflète que les choses qui se ressemblent exactement (par exemple, si vous levez la main gauche, le reflet lève la main droite).
Nouvelle vue (Expected Return) : Le miroir est plus intelligent. Il demande : « Si je change votre mouvement de danse pour quelque chose de complètement différent, obtiendrez-vous toujours une étoile d'or ? »

Si la réponse est oui, alors ces deux mouvements de danse différents sont « symétriques » aux yeux de l'article. Ils peuvent paraître totalement différents, mais ils mènent au même succès.

L'article soutient qu'en apprenant aux robots à reconnaître ces symétries basées sur les résultats, ils deviennent beaucoup plus flexibles. Ils apprennent que l'« Action X » et l'« Action Y » sont interchangeables parce qu'elles mènent toutes deux à un résultat positif, même si les règles du jeu ne disent pas explicitement qu'elles sont identiques.

Comment ils ont fait (La machine d'« essai et d'erreur »)

L'article ne se contente pas de deviner ces symétries ; ils ont construit une méthode pour les trouver automatiquement.

Le pool d'experts : Ils ont d'abord entraîné un groupe de robots pour qu'ils deviennent des experts du jeu (en utilisant une méthode appelée Self-Play).
Le jeu du mélange : Ils ont ensuite pris ces robots experts et ont commencé à « mélanger » leurs comportements. Ils ont essayé de permuter les actions, de modifier les observations et de mélanger les stratégies.
Le comptable de points : Ils ont demandé : « Si nous échangeons la stratégie du Robot A avec celle du Robot B, obtiennent-ils toujours un score élevé ? »
- Si le score reste élevé, cet échange est une « Symétrie de l'Espérance de Gain » valide.
- Si le score s'effondre, cet échange est mauvais.
Le résultat : Ils ont trouvé un ensemble de « permutations magiques » qui préservent le succès du jeu. Ils ont ensuite enseigné à de nouveaux robots à utiliser ces permutations pendant l'entraînement.

Les Résultats : Pourquoi c'est important

L'article a testé cette méthode sur trois scénarios différents :

Un jeu de levier simple : Une tâche de coordination basique.
Overcooked V2 : Un jeu de cuisine complexe où le timing et la communication sont essentiels.
Hanabi : Un jeu de cartes très difficile avec des informations cachées.

Les conclusions :

Les robots entraînés avec cette nouvelle méthode d'« Espérance de Gain » se sont coordonnés nettement mieux avec des inconnus que les robots entraînés avec l'ancienne méthode de « Symétrie de l'Environnement ».
Dans le jeu Overcooked, la nouvelle méthode a réduit de façon spectaculaire l'écart entre « jouer avec soi-même » et « jouer avec un inconnu ».
Dans Hanabi, qui est notoirement difficile pour l'IA en termes de coordination, la nouvelle méthode a surpassé les méthodes de pointe précédentes, même si la nouvelle méthode ne possédait pas de « feuille de triche » des règles du jeu (comme savoir que le Rouge et le Bleu sont simplement des échanges de couleurs).

L'essentiel

L'article affirme que pour que les agents d'IA travaillent bien ensemble sans coordination préalable, nous ne devrions pas seulement leur enseigner les règles du jeu. Au lieu de cela, nous devrions leur apprendre à reconnaître quels comportements différents mènent au même succès.

En se concentrant sur le résultat (l'espérance de gain) plutôt que sur l'entrée (la configuration de l'environnement), les robots apprennent un ensemble plus large et plus flexible de « poignées de main secrètes ». Cela leur permet de s'adapter à de nouveaux partenaires beaucoup plus rapidement et plus efficacement, résolvant ainsi le problème du « gaucher vs droitier » qui tourmente l'IA multi-agents depuis des années.

Résumé Technique : Symétries du Rendement Espéré

Énoncé du Problème
Dans l'apprentissage par renforcement multi-agents coopératif (MARL), un défi fondamental est la Coordination Zero-Shot (ZSC) : la capacité des agents entraînés de manière indépendante à se coordonner efficacement avec de nouveaux partenaires au moment du test, sans communication préalable. Un mode de défaillance primaire en ZSC est la rupture de symétrie mutuellement incompatible. Lorsque les agents s'entraînent de manière isolée, ils peuvent converger vers des politiques équivalentes mais incompatibles (par exemple, une équipe s'accorde pour signaler « jouer » avec la couleur bleue, tandis qu'une autre utilise le rouge).

Les solutions existantes, telles que l'objectif Other-Play (OP), traitent cela en imposant la compatibilité entre les politiques équivalentes sous les symétries de Dec-POMDP (re-étiquetages des états, des actions et des observations qui laissent les fonctions de transition et de récompense invariantes). Cependant, cette approche présente deux limites :

Modes de défaillance de coordination : La rupture de symétrie environnementale n'est qu'un type de défaillance de coordination. Les agents peuvent encore sur-coordonner en formant des conventions trop spécifiques, même en l'absence de symétries Dec-POMDP non triviales.
Accessibilité des symétries : Les méthodes actuelles nécessitent une connaissance a priori des symétries de l'environnement. La découverte automatique de ces symétries dans des Dec-POMDP à grande échelle est souvent informatiquement infaisable, et de nombreuses méthodes reposent sur des informations privilégiées (par exemple, la dynamique de vérité terrain ou les groupes de symétrie) qui sont indisponibles dans les contextums réels.

Méthodologie
Le papier introduit les Symétries du Rendement Espéré (ER Symmetries), une classe plus large de symétries qui contient les symétries de Dec-POMDP comme un sous-groupe.

Définition : Une transformation $\phi$ est une symétrie ER si elle préserve l'ensemble des politiques optimales de Boltzmann-exploration auto-jouées ( $\Pi^*_\alpha$ ). Spécifiquement, $\Phi_{ER} = \{ \phi \in \Psi \mid \forall \pi \in \Pi^*_\alpha: \phi(\pi) \in \Pi^*_\alpha \}$ . Contrairement aux symétries Dec-POMDP, qui exigent l'invariance des fonctions de transition et de récompense, les symétries ER exigent seulement que la transformation mappe les politiques optimales vers d'autres politiques optimales (préservant le rendement espéré).
Propriétés Théoriques : Les auteurs prouvent que $\Phi_{ER}$ forme un groupe sous composition de fonctions. Crucialement, $\Phi_{ER}$ est un sur-ensemble strict des symétries Dec-POMDP dans de nombreux cas, capturant les différences de coordination basées sur la stratégie plutôt que sur de simples permutations d'étiquettes.
Algorithme d'Apprentissage : Puisque $\Phi_{ER}$ $Φ_{E R}$ n'est pas connu a priori, le papier propose des méthodes scalables pour apprendre des symétries ER approximatives en utilisant l'optimisation basée sur le gradient sans accès aux symétries de vérité terrain ou à la dynamique de l'environnement.
- Objectif 1 (Préservation du Rendement) : Maximiser le rendement espéré des politiques transformées : $\max_\theta \mathbb{E}_{\pi \sim \Pi'} [J(\phi_\theta(\pi))]$ , où $\Pi'$ est un pool de politiques optimales de self-play.
- Objectif 2 (Compositionnalité et Inversibilité) : Un objectif régularisé est introduit pour garantir que les transformations apprises forment un groupe (imposant la clôture et l'inversibilité) en pénalisant les écarts par rapport à l'identité après une double application et en maximisant les rendements sous des transformations composées.
- Objectif 3 (Maximisation du Cross-Play) : Une approche alternative optimise directement la performance de cross-play entre des paires de politiques.
- La méthode suppose une structure minimale : elle fixe la transformation d'état à l'identité et apprend les transformations d'observation et d'action (souvent via une recherche sur les permutations d'actions et des réseaux de neurones pour les observations).

Contributions Clés

Définition des Symétries ER : Le papier définit un nouveau groupe de symétrie basé sur la préservation des rendements espérés pour les politiques optimales, ce qui subsume les symétries traditionnelles de Dec-POMDP.
Découverte Sans Modèle (Model-Free) : Les auteurs introduisent des algorithmes pour apprendre ces symétries purement à partir des interactions agent-environnement, ne nécessitant aucune information privilégiée sur la structure ou la dynamique de l'environnement.
Performance ZSC Améliorée : Le papier démontre que la combinaison de la règle d'apprentissage OP avec les symétries ER apprises surpasse significativement le self-play standard et l'OP avec les symétries Dec-POMD pour prévenir la sur-coordination.
Robustesse dans des Contextes Difficiles : La méthode réussit dans des environnements où les méthodes de pointe comme l'Off-Belief Learning (OBL) et les Hiérarchies Cognitives échouent (ex: jeux de leviers spécifiques et Overcooked V2).

Résultats Expérimentaux
Les auteurs évaluent leur méthode à travers quatre environnements :

Iterated Three-Lever Game : Dans ce contexte, les symétries ER coïncident avec les symétries Dec-POMDP, et la méthode récupère avec succès la politique ZSC optimale.
Toy Coordination Game : La méthode récupère avec succès une symétrie ER non triviale (un échange d'action) qui n'est pas une symétrie Dec-POMDP, démontrant la capacité à découvrir des symétries en dehors du groupe traditionnel.
Overcooked V2 : Dans ce benchmark asymétrique et stochastique, les agents utilisant les symétries ER apprises ont atteint un score de cross-play (XP) moyen de 15,8, surpassant nettement la ligne de base du self-play (6,74) et réduisant la variance des résultats de coordination.
Hanabi : Dans ce jeu de cartes complexe, les agents utilisant 11 symétries ER apprises ont obtenu un score XP moyen de 21,64, surpassant à la fois la ligne de base IPPO (4,02) et la ligne de base IPPO contrainte par les 120 symétries Dec-POMDP connues (8,61). Les résultats indiquent que les symétries ER préservent mieux l'optimalité tout en imposant la compatibilité.

Signification et Revendications
Le papier affirme que les Symétries du Rendement Espéré représentent une avancée significative en ZSC en :

Généralisant la Symétrie : Passer d'invariances environnementales rigides à une définition de symétrie plus flexible et centrée sur la politique, qui répond mieux à la diversité des stratégies optimales.
Supprimant l'Information Privilégiée : Étant la première méthode basée sur la symétrie qui améliore la ZSC sans nécessiter de connaissance a priori des symétries ou des dynamiques, la rendant applicable à des contextes où de telles informations sont indisponibles.
Résolvant les Défaillances de Coordination : Fournissant une solution à la sur-coordination qui est efficace même dans les environnements où les méthodes précédentes basées sur la symétrie ou la diversité (comme OBL) échouent.

Les auteurs reconnaissent des limites, notant que l'expressivité de l'espace de recherche (restreint aux bijections sur les espaces d'actions/observations) peut ne pas être suffisante pour tous les environnements (ex: la variante du jeu à deux leviers) et que le succès de la méthode dépend de la qualité des politiques utilisées pour apprendre les symétries.