Résumé technique : Préservation des actions sous-optimales pour suivre des optima mobiles en apprentissage par renforcement multi-agents

Énoncé du problème

Dans l'apprentissage par renforcement multi-agents (MARL) coopératif, les méthodes de décomposition de valeur sous le paradigme de l'entraînement centralisé avec exécution décentralisée (CTDE), telles que QMIX, ont connu un succès significatif. Cependant, ces méthodes reposent sur la condition de maximisation individuelle-globale (IGM), imposée via une contrainte de monotonie, ce qui limite l'expressivité de la fonction de valeur d'action conjointe. Une limitation critique identifiée dans ce travail est l'incapacité des méthodes existantes à s'adapter lorsque la fonction de valeur sous-jacente évolue dynamiquement durant l'entraînement.

Les approches conventionnelles se concentrent généralement sur l'apprentissage d'une seule action conjointe optimale. Lorsque l'environnement ou la structure de récompense change, provoquant un déplacement de l'action optimale (par exemple, d'une action $A$ vers une action $C$), les méthodes reposant sur une trajectoire optimale unique échouent souvent à retrouver le nouvel optimum. Cette situation est exacerbée par la forte dépendance aux politiques $\epsilon$-gloutonnes dans les grands espaces d'actions conjointes, où la probabilité d'explorer conjointement des actions alternatives à haute valeur diminue de manière exponentielle avec le nombre d'agents. Par conséquent, les agents convergent souvent prématurément vers des politiques sous-optimales et peinent à suivre des optima mobiles.

Méthodologie : Apprentissage Q de sous-valeurs successives (S2Q)

Pour pallier ces limitations, les auteurs proposent l'Apprentissage Q de sous-valeurs successives (S2Q), un cadre conçu pour conserver des actions alternatives à haute valeur et permettre une adaptation rapide aux optima mobiles.

Mécanisme central

S2Q s'éloigne de l'approche à valeur unique en apprenant une séquence de $K+1$ fonctions de sous-valeur, notées $Q^{sub}_k$ pour $k = 0, \dots, K$.

• $Q^{sub}_0$ : Définie comme la fonction de valeur conjointe globale $Q_{tot}$, entraînée pour identifier la véritable action optimale sous la condition IGM.
• $Q^{sub}_k$ ($k > 0$) : Conçue pour capturer la $k$-ième action conjointe sous-optimale.

Le processus d'apprentissage emploie une stratégie de suppression successive. Tandis que $Q^{sub}_0$ apprend l'optimum global, les fonctions de sous-valeur subséquentes sont entraînées pour maximiser la valeur conjointe des actions excluant celles identifiées par les fonctions de sous-valeur précédentes. Cela est réalisé en modifiant l'objectif d'apprentissage Temporel-Différentiel (TD) avec un terme de suppression. Pour une fonction de sous-valeur donnée $Q^{sub}_k$, la valeur cible est ajustée pour supprimer les actions déjà identifiées comme optimales ou sous-optimales par $Q^{sub}_0, \dots, Q^{sub}_{k-1}$.

La fonction objectif pour $Q^{sub}_k$ est définie comme suit :
$$\mathbb{E} \left[ w_k(s_t, a_t) \left( Q^{sub}_k(s_t, \tau_t, a_t) - \left( y_t - \alpha \mathbb{I}(a_t \in A_{k-1,t}) \cdot \max(Q^*_{targ}(s_t, \tau_t, a_t), C) \right) \right)^2 \right]$$
où $A_{k-1,t}$ est l'ensemble des actions identifiées par les sous-réseaux précédents, $\alpha$ est un facteur de suppression, et $y_t$ est la cible dérivée d'une fonction de valeur sans contrainte $Q^*$. L'analyse théorique (Théorème 4.1) garantit qu'avec un $\alpha$ suffisamment grand, chaque $Q^{sub}_k$ identifie avec succès la $k$-ième action sous-optimale.

Exécution coordonnée via communication

Pour exploiter efficacement ces fonctions de sous-valeur, S2Q remplace la politique $\epsilon$-gloutonne standard par une politique de comportement basée sur Softmax.

1. Échantillonnage : Pendant l'entraînement, les agents échantillonnent un indice $k$ à partir d'une distribution Softmax $P_t$ basée sur les valeurs des actions sous-optimales suivies ($Q^*(a^*_{0,t}), \dots, Q^*(a^*_{K,t})$).
2. Exécution : Une fois $k$ échantillonné, les agents exécutent des actions conformément à la politique $\epsilon$-gloutonne de la fonction de sous-valeur correspondante $Q^{sub}_k$.
3. Coordination : Puisque les agents décentralisés ne peuvent pas observer directement la distribution globale $P_t$, S2Q emploie une architecture Encodeur-Décodeur durant l'entraînement. L'encodeur mappe les historiques locaux vers une représentation latente $z_t$, et le décodeur reconstruit l'état global et la distribution approximative $\hat{P}_t$. Les agents synchronisent leur choix de $k$ basé sur $\hat{P}_t$.
4. Exécution décentralisée : Crucialement, au moment du test, aucune communication n'est requise. Puisque $Q^{sub}_0$ (équivalente à $Q_{tot}$) suffit pour produire l'action optimale gloutonne, l'évaluation reste entièrement décentralisée et sans communication. Une variante, S2Q-Comm, est également proposée pour les environnements où la communication est strictement nécessaire, fournissant le latent $z_t$ durant l'exécution.

Contributions clés

1. Identification des déplacements dynamiques d'optimalité : L'article met en évidence que les méthodes existantes de décomposition de valeur échouent à suivre des optima mobiles car elles rejettent l'information concernant les actions sous-optimales une fois un optimum unique trouvé.
2. Apprentissage successif de sous-valeurs : L'introduction d'un cadre qui apprend et conserve explicitement plusieurs actions sous-optimales, permettant au système de pivoter rapidement lorsque l'action optimale change.
3. Exploration basée sur Softmax : Une stratégie d'exploration novatrice qui priorise la visite d'actions sous-optimales prometteuses en fonction de leurs valeurs estimées, surmontant la décroissance exponentielle de la probabilité d'exploration conjointe dans les politiques $\epsilon$-gloutonnes.
4. Conception économe en communication : Un mécanisme qui utilise la communication uniquement durant l'entraînement pour synchroniser la sélection de sous-valeurs, maintenant une décentralisation complète durant l'exécution.

Résultats expérimentaux

Les auteurs ont évalué S2Q sur deux benchmarks majeurs : le StarCraft Multi-Agent Challenge (SMAC) et le Google Research Football (GRF).

• SMAC-Hard+ et GRF : S2Q a constamment surpassé les références de l'état de l'art (incluant QMIX, WQMIX, DOP, FOP, PAC, RiskQ et MARR) sur diverses cartes (par exemple, 6h vs 8z, MMM2, Corridor). L'écart de performance était le plus significatif dans les scénarios intensifs en exploration où la stratégie optimale évolue durant l'entraînement. S2Q a démontré une convergence plus rapide et des taux de victoire asymptotiques plus élevés.
• SMAC-Comm : Dans les tâches nécessitant une communication explicite (par exemple, 5z vs 1ul, bane vs hM), la variante S2Q-Comm a montré des gains substantiels par rapport aux références axées sur la communication comme MASIA, NDQ et CAMA, en particulier dans les tâches de coordination complexes.
• Environnements stochastiques : S2Q a maintenu une performance supérieure dans SMACv2 (compositions d'équipes randomisées) et SMAC-Hard (Mixture Opponent), démontrant une robustesse face aux dynamiques stochastiques.
• Généralité : La méthode a été étendue avec succès à d'autres références CTDE comme VDN et QPLEX, produisant des améliorations de performance cohérentes.
• Études d'ablation : Les expériences ont confirmé que l'apprentissage successif de sous-valeurs et l'exécution guidée par Softmax sont des composants critiques. La suppression du mécanisme de suppression ou de la politique Softmax a dégradé significativement les performances. Le nombre optimal de sous-réseaux ($K$) a été trouvé être de 2, équilibrant diversité et stabilité.

Importance et affirmations

L'article affirme que S2Q répond à une limitation fondamentale du MARL coopératif : la rigidité des méthodes qui convergent vers une seule politique optimale. En conservant les actions sous-optimales, S2Q permet aux agents de s'adapter rapidement aux paysages de valeur changeants sans convergence prématurée.

Les auteurs positionnent S2Q comme un cadre pratique et général qui améliore l'adaptabilité et les performances globales dans des environnements MARL difficiles. Ils soulignent que la méthode atteint ces gains sans exiger de communication durant l'exécution, la rendant adaptée au déploiement réel où la bande passante de communication peut être limitée. Le travail suggère que le suivi explicite d'alternatives sous-optimales est une stratégie viable et efficace pour améliorer l'exploration et la robustesse dans les systèmes multi-agents.