Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition

Ce papier propose un cadre novateur d'apprentissage par renforcement multi-agent hors ligne qui répond aux défis des décalages distributionnels et de la coordination multimodale dans les tâches coopératives en utilisant une méthode de décomposition séquentielle des scores combinée à des modèles génératifs basés sur la diffusion pour orienter les mises à jour de la politique vers des régions à haute récompense et dans la distribution, atteignant ainsi des performances de pointe sur divers benchmarks.

L'essentiel

Imaginez que vous essayez d'enseigner à un groupe de robots comment travailler ensemble pour ramasser des pommes. Vous disposez d'une immense bibliothèque vidéo (un jeu de données) montrant comment différentes équipes de robots ont accompli cette tâche par le passé. Certaines équipes ont ramassé la pomme rouge ensemble, d'autres la pomme verte, et certaines se sont simplement égarées sans but.

Le défi est que vous ne pouvez plus laisser les robots s'entraîner dans le monde réel ; vous ne pouvez les enseigner qu'en regardant ces anciennes vidéos. C'est ce qu'on appelle l'Apprentissage par Renforcement Multi-Agent Hors Ligne (Offline Multi-Agent Reinforcement Learning).

Le Problème : Le « Chœur Confus »

Dans le passé, lorsque les chercheurs tentaient d'enseigner aux robots à partir de ces vidéos mélangées, ils commettaient une grande erreur. Ils traitaient chaque robot comme s'il apprenait seul, ignorant comment les autres se déplaçaient.

Imaginez un chœur où chacun chante une chanson différente à partir de la même partition. Si vous dites à la soprano de chanter « Chanson A » et à la basse de chanter « Chanson B » en se basant sur leurs habitudes individuelles, le résultat est un bruit terrible et chaotique. Dans le monde des robots, cela conduit à une mauvaise coordination. Les robots pourraient essayer de ramasser deux pommes différentes en même temps, ou tenter de saisir une pomme que personne dans les vidéos n'a jamais réussi à attraper. Ils finissent par faire des choses qui semblent « correctes » pour un robot mais qui sont désastreuses pour l'équipe.

L'article appelle cela le « Décalage Combinatoire des Modes ». C'est comme essayer de construire une maison en mélangeant des plans d'un château, d'une tente et d'un gratte-ciel. Le résultat n'est pas une maison ; c'est un tas de briques incompatibles.

La Solution : OMSD (Le « Bâton de Chef d'Orchestre »)

Les auteurs proposent une nouvelle méthode appelée OMSD (Apprentissage par Renforcement Multi-Agent Hors Ligne via Décomposition Séquentielle des Scores).

Voici comment cela fonctionne, en utilisant une analogie simple :

1. La Stratégie de « File d'Attente » (Décomposition Séquentielle)
Au lieu de demander à chaque robot ce qu'il devrait faire en se basant sur sa propre mémoire, OMSD les interroge dans un ordre spécifique, comme une file de personnes attendant d'entrer dans une pièce.

• Robot A passe en premier et décide : « Je vais vers la pomme rouge. »
• Robot B voit la décision de Robot A et pense : « D'accord, puisque Robot A va vers la pomme rouge, je devrais aussi aller vers la pomme rouge pour aider. »
• Robot C voit les deux et suit l'exemple.

En regardant ce que les robots précédents ont décidé, chaque robot apprend le contexte du plan de l'équipe. Cela les empêche de choisir accidentellement une pomme différente ou de s'égarer.

2. La Magie de la « Diffusion » (La Fonction de Score)
Pour que cela fonctionne, les chercheurs utilisent un type spécial d'IA appelé Modèle de Diffusion. Pensez-y comme à un « débruiteur » ou à un « clarificateur de flou ».

• Imaginez que les anciennes vidéos sont un peu floues et pleines de parasites.
• Le Modèle de Diffusion agit comme un filtre intelligent qui sait exactement comment « débruiter » les données. Il ne devine pas une action au hasard ; il calcule un « score » ou une « direction » qui pointe vers les actions que l'équipe a réellement entreprises dans les vidéos réussies.
• Il dit au robot : « Ne va pas par là (c'est une erreur) ; va par là (c'est là que l'équipe a réussi). »

3. Le « Coach Central » (Critique)
Pendant que les robots apprennent leurs mouvements spécifiques en file, un « Coach Central » (un critique centralisé) observe toute l'équipe. Ce coach connaît le score total obtenu par l'équipe. Il dit aux robots : « Hé, cette stratégie pour la pomme rouge obtient un score élevé, continuez à faire ça ! »

Pourquoi C'est Mieux

Les méthodes précédentes tentaient d'enseigner aux robots en observant leurs habitudes individuelles isolément. Cela fonctionnait bien si tout le monde faisait la même chose, mais échouait lamentablement lorsque les vidéos montraient de nombreuses stratégies réussies différentes (données multimodales).

OMSD corrige cela en :

• Respectant la Chaîne : Il comprend que le mouvement du Robot B dépend du mouvement du Robot A.
• Restant dans la Voie : Il maintient les robots en train de faire des choses qui se sont réellement produites dans les vidéos, les empêchant d'essayer des mouvements risqués et inventés qui n'existent pas dans les données.
• Trouvant le Meilleur Chemin : Il aide l'équipe à trouver le « mode » ou la stratégie spécifique (comme la pomme rouge contre la pomme verte) qui rapporte la récompense la plus élevée, sans se confondre avec les autres stratégies de la bibliothèque vidéo.

Les Résultats

Les auteurs ont testé cela sur diverses tâches de robots, allant de jeux simples à des simulations physiques complexes (comme des robots courant ou attrapant des proies).

• Dans les tests simples : OMSD a appris à coordonner parfaitement, tandis que d'autres méthodes ont échoué à se mettre d'accord sur un plan.
• Dans les tests complexes : OMSD a constamment surpassé les meilleures méthodes existantes, en particulier lorsque les données d'entraînement étaient désordonnées ou montraient de nombreuses façons différentes de réussir.

En bref, OMSD est comme un chef d'orchestre intelligent qui ne se contente pas de dire à chaque musicien de jouer sa propre partie, mais guide l'ensemble de l'orchestre pour jouer en harmonie en écoutant la personne qui le précède et en suivant la direction du chef, garantissant que la performance finale est un succès plutôt qu'un désastre.

Résumé technique

Résumé Technique : Apprentissage par Renforcement Multi-Agent Hors Ligne via Décomposition Séquentielle des Scores

1. Énoncé du Problème

L'apprentissage par renforcement multi-agent hors ligne (MARL) fait face à un défi critique distinct du RL hors ligne mono-agent : le décalage de distribution causé par la disparité entre la collecte de données en ligne et hors ligne. Alors que le MARL en ligne converge généralement vers une unique politique conjointe coordonnée par adaptation interactive, les jeux de données hors ligne sont souvent des mélanges de comportements coopératifs divers collectés à partir de diverses sources. Cela se traduit par des distributions de comportements conjoints hautement multimodales.

Les méthodes MARL hors ligne existantes se divisent généralement en deux catégories, qui peinent toutes deux avec cette multimodalité :

1. Méthodes basées sur la valeur : Elles reposent sur la maximisation individuelle-globale (IGM) et une estimation conservatrice de la valeur. Cependant, lorsque les agents utilisent des politiques indépendantes $\epsilon$-gloutonnes, ils peuvent sélectionner des actions conjointes hors distribution (OOD) de faible qualité et non couvertes par le jeu de données.
2. Méthodes basées sur la politique : Elles contraignent souvent les politiques via une régularisation comportementale ou des planificateurs centralisés. Un piège courant est l'hypothèse que la politique de comportement conjoint peut être factorisée en marginales indépendantes ($\mu(a|s) = \prod \mu_i(a_i|s)$). Dans des contextes multimodaux, cette factorisation indépendante conduit à un « Décalage de Mode Combinatoire » (CMS). Alors que les agents sont régularisés vers leurs propres distributions marginales, ils perdent l'alignement avec les modes conjoints, résultant en des politiques conjointes situées en dehors des régions de forte densité du jeu de données. Ce désalignement provoque des décalages de distribution sévères et une mauvaise coordination.

2. Méthodologie : OMSD

Les auteurs proposent le MARL Hors Ligne avec Décomposition Séquentielle des Scores (OMSD) pour résoudre le problème de coordination multimodale sans nécessiter un modèle complet de politique conjointe ni un planificateur centralisé.

Concept Central : Décomposition Séquentielle

Au lieu de supposer une indépendance conditionnelle, OMSD factorise la politique de comportement conjoint en utilisant la règle de la chaîne, conditionnant le comportement de chaque agent aux actions des agents précédents :
$$\mu(a|s) = \prod_{i=1}^n \mu_i(a_i | s, a_{<i})$$
où $a_{<i}$ représente les actions conjointes de tous les agents précédant l'agent $i$. Cette modélisation séquentielle capture les dépendances inter-agents et fournit une référence conditionnelle exacte pour les contraintes de politique de chaque agent.

Flux de Travail Algorithmique

OMSD opère sous le cadre Centralisé-Entraînement-Décentralisé-Exécution (CTDE) et se compose de trois étapes principales :

1. Pré-entraînement du Critique : Une fonction de valeur conjointe centralisée $Q_{tot}(s, a)$ est apprise en utilisant l'apprentissage de Q implicite hors ligne (IQL) pour fournir une guidance de récompense.
2. Pré-entraînement du Score : Pour chaque agent $i$, un modèle de diffusion conditionnel est entraîné sur le jeu de données hors ligne pour estimer la fonction de score conditionnelle $\nabla_{a_i} \log \mu_i(a_i | s, a_{<i})$.
   • Crucialement, ces modèles sont entraînés en parallèle.
   • La fonction de score approxime le gradient du logarithme de la probabilité de la politique de comportement, servant de régularisateur comportemental.
3. Optimisation de la Politique : Les agents mettent à jour leurs politiques en utilisant un gradient combinant le signal du critique centralisé et la régularisation de score séquentielle :
   $$\nabla_{\theta_i} L_i = \mathbb{E} \left[ \nabla_{a_i} Q_{tot}(s, a) + \frac{1}{\beta} \nabla_{a_i} \log \mu_i(a_i | s, a_{<i}) \right] \nabla_{\theta_i} \pi_{\theta_i}$$
   • Conditionnement Séquentiel : Lors de la mise à jour de l'agent $i$, les actions préfixes $a_{<i}$ sont échantillonnées à partir des politiques les plus récemment mises à jour des agents 1 à $i-1$ au sein de la même itération.
   • Exécution : Malgré la mise à jour séquentielle pendant l'entraînement, l'exécution reste entièrement décentralisée. Chaque agent agit en fonction de son observation locale, car la dépendance séquentielle n'est utilisée que pour guider la direction d'apprentissage (régularisation de score) et non pour générer des actions au moment de l'exécution.
   • Efficacité : La méthode utilise des politiques DiLac déterministes pour les actions préfixes afin d'éviter l'amplification du bruit et ne nécessite pas d'échantillonnage itératif de débruitage pendant l'exécution, évitant ainsi les coûts d'inférence élevés typiques des acteurs basés sur la diffusion.

3. Contributions Clés

1. Identification de la Cause Racine : L'article identifie la nature multimodale des distributions de comportements conjoints hors ligne et l'échec de la factorisation de marginales indépendantes (menant au Décalage de Mode Combinatoire) comme la cause principale de l'échec de la coordination dans le MARL hors ligne.
2. Algorithme OMSD : Le développement d'un cadre novateur qui décompose séquentiellement les politiques de comportement et utilise des scores conditionnels basés sur la diffusion comme régularisateurs comportementaux. Cette approche favorise la sélection de modes coordonnés sans modéliser la politique conjointe complète ni dépendre d'un planificateur centralisé.
3. Performances de l'État de l'Art : Des expériences extensives démontrent que OMSD surpasse constamment les méthodes existantes, en particulier dans des scénarios multimodaux difficiles (par exemple, jeux de données de qualité moyenne).

4. Résultats Expérimentaux

Les auteurs ont évalué OMSD sur :

• Exemple de Bandit Jouet : Une tâche coopérative à 2 agents avec deux modes optimaux. OMSD a atteint des performances comparables à l'apprentissage d'actions conjointes (BRPO-JAL) et a nettement surpassé l'apprentissage indépendant (BRPO-IND) et les méthodes CTDE naïves, qui ont échoué à éviter les actions conjointes OOD.
• Environnement de Particules Multi-Agents (MPE) : Tâches incluant la Navigation Coopérative, la Prédation de Proies et le Monde. OMSD a obtenu les meilleurs ou deuxièmes meilleurs scores sur les jeux de données Expert, Moyen et Aléatoire. Notamment, sur les jeux de données « Moyen » et « Aléatoire » où la multimodalité est prononcée, OMSD a montré des gains significatifs (par exemple, +70,6 % sur Prédation de Proies Aléatoire).
• MaMuJoCo : Tâches de contrôle continu de haute dimension impliquant des parties de robot agissant comme agents (par exemple, HalfCheetah, Ant). OMSD a surpassé des bases de référence comme MA-CQL, CFCQL, MADiff et DoF, en particulier sur des jeux de données de qualité mixte (par exemple, +73,9 % d'amélioration moyenne par rapport à la base de référence la plus forte sur les jeux de données OMIGA).

Études d'Ablation :

• Décomposition de Score : OMSD a constamment surpassé les variantes utilisant une factorisation indépendante (BRPO-IND, BRPO-CTDE), confirmant la nécessité d'un conditionnement séquentiel.
• Sensibilité à l'Ordre : La méthode s'est révélée robuste à l'ordre des mises à jour des agents, suggérant que la structure séquentielle agit comme un mécanisme de coordination au moment de l'entraînement plutôt que comme un biais inductif rigide.
• Estimateurs de Densité : Les modèles de diffusion ont surpassé des estimateurs plus simples (GMM, Flots de Normalisation) dans la capture de structures multimodales complexes, en particulier sur les jeux de données experts et moyens.

5. Signification et Affirmations

L'article affirme que la coordination consciente de la modalité est essentielle pour un MARL hors ligne robuste. En tirant parti de la décomposition séquentielle des scores, OMSD aligne avec succès les mises à jour de politique avec la véritable distribution de comportement conjoint, évitant le décalage de distribution causé par la régularisation indépendante.

Les auteurs soulignent que leur approche :

• Évite les Actions Conjointes OOD : En se conditionnant sur les actions préfixes, les agents sont guidés vers des régions de haute valeur et dans la distribution.
• Maintient une Exécution Décentralisée : Contrairement aux méthodes nécessitant une planification centralisée ou une exécution séquentielle au moment de l'exécution, les agents OMSD agissent indépendamment lors du déploiement.
• Évolutivité : Le pré-entraînement des modèles de score conditionnels est entièrement parallélisable entre les agents, rendant la méthode adaptée à des équipes plus importantes.

Le travail est présenté comme une avancée significative dans la gestion de la complexité des données multi-agents hors ligne, abordant spécifiquement le « Décalage de Mode Combinatoire » qui a entravé les approches précédentes basées sur la politique. Les auteurs reconnaissent des limites, telles que l'accent actuel sur les espaces d'actions continus et la dépendance à la qualité du critique centralisé pré-entraîné.