Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization

1. Problématique et Contexte

Le Renforcement Multi-Agent Coopératif (MARL) repose souvent sur le paradigme CTDE (Centralized Training with Decentralized Execution). Dans ce cadre, des méthodes de factorisation de valeur (comme VDN, QMIX, QTRAN) sont utilisées pour apprendre une fonction de valeur globale tout en permettant à chaque agent d'agir de manière décentralisée. Ces méthodes s'appuient sur le principe IGM (Individual-Global-Max), qui garantit que l'action égoïste (greedy) de chaque agent, basée sur sa propre fonction de valeur, correspond à l'action conjointe optimale pour l'équipe.

Cependant, cette approche souffre d'une fiabilité limitée dans les environnements réels en raison de l'incertitude environnementale (écart sim-to-real, bruit de système, désaccord de modèle).

• Le défi principal : Dans le MARL coopératif, définir des fonctions de valeur robustes individuelles est complexe. Si chaque agent optimise son propre "pire cas" de manière indépendante (approche naïve issue du RL robuste mono-agent), cela peut briser l'alignement IGM. Les actions individuelles robustes ne convergent alors plus vers l'action conjointe robuste optimale, entraînant des échecs de coordination.
• L'objectif : Développer un cadre théorique et algorithmique qui préserve la décentralisation (pas de communication en temps réel) tout en garantissant la robustesse du système face aux incertitudes de modèle.

2. Méthodologie : DrIGM et Factorisation Robuste

Les auteurs proposent une nouvelle famille d'algorithmes basée sur un principe fondamental : le DrIGM (Distributionally Robust Individual-Global-Max).

A. Le Principe DrIGM

Le DrIGM étend le principe IGM classique au contexte robuste. Il stipule que les actions égoïstes dérivées de fonctions de valeur robustes individuelles doivent s'aligner avec l'action conjointe optimale robuste.

• Insight clé : Contrairement à l'approche naïve où chaque agent considère son propre pire cas, le DrIGM définit les valeurs robustes individuelles par rapport au pire cas global de la valeur d'action conjointe.
• Théorème 1 : Les auteurs prouvent que si l'on définit la fonction de valeur robuste individuelle $Q^{rob}_i$ en évaluant le modèle de pire cas global ($P^{worst}$) au niveau de l'action conjointe optimale robuste ($\bar{a}$), alors l'alignement DrIGM est garanti. Cela résout le problème de désalignement causé par des adversaires locaux différents.

B. Intégration avec les Architectures Existantes

Le papier démontre que ce principe est compatible avec les architectures de factorisation standards (VDN, QMIX, QTRAN) :

• Théorème 2 : Si les fonctions de valeur individuelles sous-jacentes satisfont les conditions structurelles de VDN (additivité), QMIX (monotonie) ou QTRAN (contraintes de cohérence), alors les versions robustes construites via le DrIGM satisfont automatiquement le principe DrIGM.
• Cela permet de créer des variantes robustes de ces algorithmes sans modifier fondamentalement leur structure de réseau, assurant ainsi l'évolutivité.

C. Opérateurs de Bellman Robustes et Algorithmes

Pour l'entraînement, les auteurs dérivent des opérateurs de Bellman robustes pour deux types d'ensembles d'incertitude courants :

1. Contamination $\rho$ : Un modèle où le vrai modèle est un mélange du modèle nominal et d'un modèle arbitraire.
2. Variation Totale (TV) : Un ensemble de modèles proches du nominal selon la distance TV.

Les algorithmes résultants (ex: Robust VDN, Robust QMIX, Robust QTRAN) utilisent :

• Des réseaux de valeurs individuelles basés sur DRQN (Deep Recurrent Q-Networks) pour gérer l'observabilité partielle.
• Un apprentissage par TD (Temporal Difference) avec des cibles robustes calculées via les opérateurs de Bellman dérivés.
• Une mise à jour périodique des réseaux cibles pour la stabilité.

3. Contributions Clés

1. Principe DrIGM : Introduction d'un principe théorique garantissant que la décentralisation greedy reste optimale même en présence d'incertitudes de modèle, en ancrant les valeurs individuelles sur le pire cas global.
2. Preuves de Cohérence : Démonstration mathématique que les architectures VDN, QMIX et QTRAN peuvent être rendues robustes tout en préservant leurs propriétés de factorisation.
3. Algorithmes Scalables : Développement de six variantes d'algorithmes (3 architectures $\times$ 2 types d'incertitude) qui s'intègrent facilement dans les codebases existantes sans nécessiter de façonnage de récompense par agent.
4. Garanties Théoriques : Preuve que si l'environnement de test appartient à l'ensemble d'incertitude défini, la valeur robuste est un minorant de la valeur réelle, assurant une performance minimale garantie.

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur deux environnements réalistes :

• SustainGym (Contrôle HVAC) :

  • Scénario : Contrôle de la température dans un bâtiment multi-zones avec des dynamiques stochastiques et des décalages de distribution (changements climatiques et saisonniers).
  • Résultats : Les méthodes robustes surpassent systématiquement les méthodes non robustes et la baseline robuste "GroupDR".
  • Performance : Elles maintiennent des récompenses élevées même lors de décalages sévères (ex: environnement d'entraînement à Tucson, test à New York ou en saison différente). Contrairement au RL robuste mono-agent où la robustesse pénalise souvent la performance in-distribution, ici, la robustesse améliore parfois même la stabilité et la performance dans l'environnement d'entraînement.

• StarCraft II (SMAC) :

  • Scénario : Combat coopératif (carte 3s vs 5z) avec du bruit ajouté aux observations des positions ennemies.
  • Résultats : Les algorithmes robustes (VDN et QMIX) montrent une amélioration significative du taux de victoire hors distribution (OOD) par rapport aux baselines non robustes, particulièrement pour de faibles niveaux de paramètre de robustesse $\rho$.

5. Signification et Impact

Ce travail est significatif car il comble un fossé majeur entre la théorie du RL robuste et la pratique du MARL coopératif.

• Passage du Sim-to-Real : Il fournit un cadre théorique solide pour déployer des agents multi-agents dans des environnements réels incertains sans sacrifier la capacité de coordination décentralisée.
• Efficacité : En montrant que l'on peut utiliser des architectures existantes (QMIX, etc.) avec de simples modifications de la fonction de perte (Bellman robuste), le papier rend la robustesse accessible et scalable.
• Changement de paradigme : Il démontre que la robustesse dans les systèmes multi-agents ne doit pas être une somme de robustesses individuelles, mais une coordination contre un adversaire global partagé, ce qui est crucial pour éviter les échecs de coordination en cascade.

En résumé, ce papier établit une fondation théorique et pratique pour le MARL robuste, permettant de construire des systèmes multi-agents coopératifs fiables face aux imprévus du monde réel.