Résumé Technique : CooT : Apprendre à Coordonner en Contexte avec des Transformers de Coordination

1. Énoncé du Problème

L'article aborde le problème du travail d'équipe ad hoc (AHT) dans les systèmes multi-agents, où un agent doit coordonner efficacement avec des partenaires jamais rencontrés auparavant. Les approches existantes présentent des limitations significatives :

• Jeu contre soi-même (SP) : Converge souvent vers des conventions spécifiques qui échouent lors de l'interaction avec des collaborateurs inconnus.
• Méthodes basées sur la population : Bien qu'elles améliorent la robustesse grâce à la diversité (par exemple, HSP, MEP), elles manquent de mécanismes pour une adaptation en ligne efficace au-delà de la distribution d'entraînement.
• Affinage (Fine-Tuning) : L'adaptation basée sur le gradient est peu pratique dans des contextes à few-shot en raison des coûts d'interaction élevés et de la nécessité de milliers de trajectoires pour apprendre des stratégies efficaces.
• Apprentissage par renforcement méta basé sur le contexte : Les méthodes antérieures (par exemple, PACE, PECAN) reposent souvent sur des représentations latentes compressées du comportement des partenaires. Elles peuvent avoir du mal à capturer des comportements riches et temporellement structurés et peuvent échouer lorsque les comportements au moment du test s'écartent des données d'entraînement.

Le défi central est de permettre à un agent de s'adapter à des comportements de partenaires divers en temps réel avec un minimum d'interactions (few-shot), sans nécessiter de mises à jour de paramètres ni de communication explicite.

2. Méthodologie : Transformer de Coordination (CooT)

Les auteurs proposent CooT, un cadre qui exploite l'Apprentissage en Contexte (ICL) pour traiter l'adaptation aux partenaires comme une tâche d'apprentissage. Au lieu de généraliser à travers des tâches, CooT généralise à travers des comportements de partenaires divers.

2.1 Formalisation : Jeu de Markov à Utilité Cachée (HU-MG)

Le problème est formulé comme un HU-MG. Les agents opèrent dans un environnement partagé mais sont guidés par des fonctions de récompense cachées ($r_w$) observables uniquement par le partenaire. Ces utilités cachées induisent des préférences comportementales diverses (conventions) même au sein d'environnements identiques. L'objectif est d'inférer ces préférences cachées par l'observation et d'aligner les actions en conséquence.

2.2 Génération des Données d'Entraînement

CooT est entraîné sur un ensemble de données de trajectoires d'interaction entre des paires d'agents :

1. Agents Préférant un Comportement ($\pi^p_i$) : Agents entraînés avec des fonctions de récompense cachées spécifiques (combinaisons linéaires d'événements environnementaux) pour exhiber des styles comportementaux divers.
2. Agents de Meilleure Réponse ($\pi^{br}_i$) : Agents entraînés via l'Optimisation de Politique Proximale Multi-Agent (MAPPO) pour maximiser les retours face à leurs partenaires préférant un comportement correspondant.
3. Construction de l'Ensemble de Données : Le modèle apprend à partir de tuples $(s_h, C, \hat{a})$, où :
   • $C$ est une fenêtre de contexte de trajectoires d'interaction passées entre un agent préférant un comportement et sa meilleure réponse.
   • $s_h$ est un état de requête échantillonné indépendamment du contexte (empêchant une simple continuation de trajectoire).
   • $\hat{a}$ est l'action de meilleure réponse vraie prise par $\pi^{br}_i$ à l'état $s_h$.

2.3 Architecture du Modèle et Entraînement

• Architecture : CooT utilise un backbone de Transformer Pré-entraîné pour la Décision (DPT) (spécifiquement GPT-2).
• Objectif : Le modèle est entraîné par apprentissage supervisé pour prédire la distribution d'action de meilleure réponse $\hat{p}_h(\cdot) = M_\theta(\cdot | s_h, C)$. La fonction de perte est l'entropie croisée entre l'action prédite et l'action de meilleure réponse vraie.
• Distinction Clé : Contrairement aux Transformers de Décision standards qui conditionnent sur les objectifs de tâche ou les récompenses, CooT conditionne sur l'historique d'interaction du partenaire pour inférer le style latent du partenaire et prédire la réponse collaborative optimale.

2.4 Déploiement en Ligne

Au moment du test, CooT opère avec un protocole strict sans a priori :

1. Il s'initialise avec un tampon de contexte vide.
2. Il interagit avec un partenaire inconnu pendant un épisode.
3. La trajectoire résultante est ajoutée au tampon de contexte (FIFO), décalant les données les plus anciennes.
4. Le modèle prédit les actions basées sur l'état actuel et le contexte accumulé $C$, permettant une adaptation continue et sans gradient au comportement du partenaire.

3. Contributions Clés

1. Nouveau Cadre : Introduction de CooT, qui reformule l'adaptation aux partenaires comme un problème d'apprentissage en contexte, permettant une coordination rapide en few-shot sans mises à jour de paramètres.
2. Paradigme d'Entraînement : Une méthode pour entraîner des transformers sur des trajectoires de "meilleure réponse" conditionnées par les contextes des partenaires, enseignant efficacement au modèle à mapper les styles de partenaires observés vers des stratégies collaboratives optimales.
3. Validation Empirique : Évaluation complète sur deux benchmarks :
   • Overcooked : Un monde en grille discret nécessitant une coordination étroite.
   • Google Research Football (GRF) : Un environnement continu et de haute dimension avec des équipes plus grandes (3 contre 1).
4. Évaluation Humaine : Une étude utilisateur démontrant que les partenaires humains perçoivent CooT comme plus adaptatif et fiable par rapport aux références de l'état de l'art.

4. Résultats Expérimentaux

CooT a été évalué contre un large éventail de références, incluant le Clonage de Comportement (BC), les méthodes basées sur la population (HSP, MEP), l'affinage basé sur le gradient (HSP-ft) et l'apprentissage par renforcement méta basé sur le contexte (HSP-meta, PACE).

• Performance : CooT a constamment surpassé toutes les références sur des dispositions variées d'Overcooked et le scénario GRF. Il a atteint la plus grande Proximité de la Meilleure Réponse (BR-prox) et les retours moyens, en particulier dans des dispositions axées sur la coordination (par exemple, Coord. Ring Multi-recipe) où l'adaptation spécifique au partenaire est critique.
• Vitesse d'Adaptation : CooT a démontré une adaptation rapide en few-shot, montrant des améliorations de performance significatives au cours des 15 premiers épisodes et se stabilisant rapidement. En revanche, l'affinage basé sur le gradient (HSP-ft) a montré une instabilité et une convergence lente, tandis que d'autres méthodes basées sur le contexte (PACE, HSP-meta) ont souvent sous-performé ou échoué à s'améliorer au fil du temps.
• Robustesse : Dans des environnements non stationnaires où les partenaires changeaient de stratégie en cours de tâche, CooT a recalibré sa stratégie en moyenne en 3,67 épisodes, tandis que d'autres méthodes luttaient pour se rétablir.
• Étude Humaine : Dans une étude avec 36 participants, CooT a obtenu le retour moyen le plus élevé et a été sélectionné comme le collaborateur préféré par 50 % des participants. L'analyse qualitative a confirmé que les humains percevaient CooT comme explicitement adaptatif, notant sa capacité à améliorer la coordination au fil du temps.

5. Signification et Revendications

L'article revendique que CooT offre une solution pratique pour la collaboration humain-IA dans le monde réel où l'affinage en ligne est irréalisable. En traitant l'adaptation aux partenaires comme une tâche d'apprentissage via l'apprentissage en contexte, CooT atteint :

• Efficacité : Alignement efficace avec de nouveaux partenaires en utilisant seulement quelques interactions.
• Stabilité : Robustesse face aux changements soudains de partenaires sans le risque d'oubli catastrophique ou d'instabilité associé aux mises à jour de gradient.
• Généralisation : La capacité à généraliser à travers des comportements de partenaires divers qui n'ont pas été explicitement vus pendant l'entraînement, à condition qu'ils tombent dans la distribution de l'espace d'utilité cachée.

Les auteurs positionnent ce travail comme un passage de la "généralisation de tâche" à la "généralisation de partenaire", démontrant que le conditionnement sur des historiques d'interaction complets peut soutenir une adaptation efficace en few-shot dans des environnements multi-agents complexes.

6. Limitations

L'article reconnaît plusieurs limitations :

• Pas de Communication Explicite : La méthode repose uniquement sur les historiques d'actions et n'utilise pas de canaux de communication explicites.
• Portée des Benchmarks : Les expériences sont menées sur des benchmarks simulés (Overcooked, GRF) plutôt que dans des environnements incarnés avec une perception et un contrôle riches.
• Démarrage à Froid : Le protocole strict sans a priori signifie que l'agent commence sans contexte ; des travaux futurs pourraient explorer l'utilisation de contextes pré-remplis à partir de partenaires similaires pour réduire les coûts d'interaction précoces.
• Sécurité : Les auteurs notent que les mécanismes adaptatifs pourraient potentiellement être détournés pour exploiter des partenaires prévisibles ou renforcer des habitudes dangereuses, soulignant la nécessité de contraintes de sécurité dans les déploiements futurs.