Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings

1. Définition du Problème

L'article aborde une limitation critique dans l'Apprentissage par Renforcement Multi-Agent (MARL) connue sous le nom de Coordination Zero-Shot (ZSC).

• Le Problème Central : Les agents MARL traditionnels, entraînés par Auto-jeu (Self-Play), développent souvent des conventions ou des stratégies spécifiques qui échouent lorsqu'ils sont associés à des agents entraînés selon les mêmes objectifs mais avec des graines aléatoires, des algorithmes ou des historiques d'entraînement différents.
• Le Vide : Les solutions ZSC existantes (par exemple, Other-Play, TrajeDi, MAZE) supposent que tous les agents partagent une fonction de récompense identique. Cependant, dans des scénarios réels (par exemple, des véhicules autonomes de différents constructeurs), les agents peuvent partager un objectif clairsemé (par exemple, « atteindre la destination ») mais utiliser des façonnages de récompense différents (différents poids attribués aux caractéristiques de l'environnement pour densifier la récompense clairsemée).
• Le Défi : Comment entraîner un agent à coopérer efficacement avec des partenaires inconnus qui ont les mêmes objectifs clairsemés mais des structures de récompense internes différentes, sans entraînement supplémentaire sur le partenaire spécifique.

2. Méthodologie

Les auteurs proposent un cadre qui entraîne un ensemble d'agents utilisant des façonnages de récompense diversifiés pour améliorer la généralisation.

A. Formulation du Façonnage de Récompense

Les auteurs définissent le façonnage de récompense comme une combinaison pondérée de caractéristiques environnementales ajoutée à une récompense de base clairsemée :
$$R(s_t, a_t) = \text{sparse}(s_t, a_t) + \sum_{k=1}^{F} w_k f_k$$
Où $w_k$ sont des poids sélectionnés pour des caractéristiques spécifiques $f_k$ (par exemple, la distance par rapport à une casserole, la prise d'un plat).

B. Quatre Algorithmes de Sélection

Pour générer une population de façonnages de récompense diversifiés ($P$), l'article introduit quatre méthodes de sélection :

1. Basé sur un LLM : Utilise un LLM (Claude Sonnet 4.5) sollicité avec des exemples de façonnages de récompense et leurs performances pour générer de nouveaux ensembles de poids diversifiés qui équilibrent performance et diversité de politique.
2. Réseau Surrogate : Entraîne un Perceptron Multicouche (MLP) pour prédire la récompense clairsemée totale basée sur un façonnage de récompense donné. Il échantillonne ensuite 1 000 façonnages aléatoires et sélectionne les meilleurs en fonction des prédictions du réseau surrogate.
3. Grille Stratifiée : Utilise l'Échantillonnage de Hypercube Latin pour garantir que les poids sélectionnés couvrent uniformément toute la plage possible (0–10). Cela garantit la représentativité statistique de l'espace de récompense.
4. Aléatoire : Échantillonne uniformément les poids dans la plage possible sans contraintes.

C. Cadre d'Entraînement par Ensemble

S'appuyant sur l'algorithme TrajeDi (Trajectory Diversity) :

1. Génération de Population : Pour chaque façonnage de récompense sélectionné, une population d'agents est entraînée en utilisant TrajeDi, qui inclut un terme de Divergence de Jensen-Shannon pour encourager la diversité des politiques au sein de la population.
2. Construction de l'Ensemble : L'agent final est un modèle d'ensemble composé des agents de « Meilleure Réponse » (BR) de chacune des $P$ populations entraînées.
3. Sélection d'Action : L'ensemble sélectionne l'action qui est la mode (choix le plus fréquent) parmi tous les agents BR de l'ensemble.

3. Contributions Clés

1. Nouvelle Formulation du Problème : Étend la ZSC à des scénarios où les partenaires ont des objectifs clairsemés identiques mais des façonnages de récompense différents, une contrainte plus réaliste que ce que la littérature précédente supposait.
2. Quatre Méthodes de Sélection : Introduit et évalue quatre algorithmes distincts (LLM, Surrogate, Grille Stratifiée, Aléatoire) pour générer des façonnages de récompense diversifiés.
3. Cadre d'Ensemble : Propose une méthode pour combiner des modèles entraînés sur différents façonnages de récompense en une seule politique robuste.
4. Validation Empirique : Démontre que la diversité dans les façonnages de récompense, et non seulement la diversité des politiques, est cruciale pour la généralisation en ZSC.

4. Résultats Expérimentaux

Des expériences ont été menées dans l'environnement Overcooked (spécifiquement Random0_Medium, Random3 et Unident_S) contre des partenaires entraînés avec des façonnages de récompense inconnus en utilisant le MAPPO standard.

• Gains de Performance :

  • Les méthodes proposées ont nettement surpassé les algorithmes de base ZSC (y compris TrajeDi standard et Auto-jeu à Utilité Cachée).
  • Plage d'Amélioration : Les améliorations de récompense clairsemée ont varié de 62,2 % à 119,2 % par rapport aux algorithmes de base.
  • Meilleurs Performeurs : La Grille Stratifiée et le Réseau Surrogate ont constamment obtenu les meilleurs résultats.
    • Grille Stratifiée : A atteint la généralisation la plus élevée, probablement en raison de sa couverture uniforme de l'espace de récompense.
    • Réseau Surrogate : A performé exceptionnellement bien malgré une diversité plus faible, suggérant que la sélection de façonnages performants est plus critique que le pur hasard.
  • Effet d'Ensemble : L'approche d'ensemble elle-même a fourni une amélioration de 40 à 70 % par rapport aux bases non ensemblistes.
  • Basé sur un LLM : A montré de solides performances mais était légèrement moins cohérent que la Grille Stratifiée.
  • Aléatoire : A surpassé les bases (+27 % à +51 %) mais était la méthode la plus faible parmi celles proposées, soulignant que la diversité non guidée est insuffisante.

• Diversité vs Performance :

  • La Grille Stratifiée avait la couverture de plage la plus élevée (96,7 %) et un écart-type élevé.
  • Le Réseau Surrogate avait l'écart-type et la couverture de plage les plus faibles mais a atteint la performance la plus élevée dans certains environnements. Cela indique que la qualité du façonnage de récompense (trouver des poids performants) peut parfois l'emporter sur la diversité statistique pure.

5. Signification et Conclusion

• Réalisme : L'article comble le fossé entre la ZSC théorique et le déploiement réel, reconnaissant que les agents provenant de sources différentes optimiseront probablement le même objectif différemment.
• Robustesse : L'approche par ensemble crée des agents résilients au problème de « mismatch de conventions », capables de coopérer immédiatement avec des partenaires inconnus.
• Perspectives Futures : Les auteurs suggèrent que les travaux futurs devraient se concentrer sur l'hybridation des méthodes (par exemple, utiliser l'accent sur la performance du Réseau Surrogate avec les contraintes de diversité de la Grille Stratifiée) et l'extension à des environnements plus complexes.

En résumé, l'article prouve que l'entraînement d'agents sur un ensemble diversifié de façonnages de récompense et leur combinaison via un ensemble est une stratégie hautement efficace pour atteindre une Coordination Zero-Shot robuste dans des environnements à récompense clairsemée.