Résumé Technique : Pilotage d'Équipe Basé sur l'Influence (IBTS)

1. Énoncé du Problème

L'article aborde les limitations d'évolutivité du Travail d'Équipe Humain-Machine (HMT) dans les contextes de Coordination Zero-Shot (ZSC). Alors que les méthodes HMT basées sur les données dépendent de données d'interaction humaine coûteuses, la ZSC tente d'entraîner des agents à collaborer avec des partenaires inédits en simulant des populations de partenaires diversifiées. Cependant, les auteurs soutiennent que la diversité des partenaires à elle seule est insuffisante à mesure que la taille des équipes augmente (par exemple, le passage d'équipes dyadiques à triadiques) et que la communication se dégrade.

Les méthodes standard basées sur la population (par exemple, FCP, MEP, GAMMA) convergent souvent vers des politiques généralistes robustes mais statiques. Ces politiques échouent à maintenir des schémas de coordination efficaces et performants, en particulier dans des environnements à récompenses clairsemées et à chaînes d'interaction longues où les étapes intermédiaires ne sont pas immédiatement récompensées. Le défi central consiste à identifier et à renforcer des structures de coordination productives sans une couverture exhaustive des données humaines.

2. Méthodologie : Pilotage d'Équipe Basé sur l'Influence (IBTS)

Les auteurs proposent IBTS, un cadre en trois étapes qui enrichit la diversité des partenaires par un guidage de coordination appris. Le cadre opère dans une formulation de Processus de Décision Markovien Partiellement Observable Décentralisé (Dec-POMDP).

Étape 1 : Construction d'un Pool d'Équipes Diversifiées

L'objectif est de générer un pool d'équipes diversifiées et performantes. Cela est réalisé en modifiant l'objectif d'Entraînement Centralisé avec Exécution Décentralisée (CTDE) (spécifiquement en utilisant PPO/MAPPO) avec deux termes de récompense intrinsèques :

1. Façonnage de l'Influence : Pour encourager un comportement de soutien, la méthode récompense les actions qui augmentent la probabilité que les coéquipiers effectuent des actions de suivi « saillantes ».
   • Une action saillante $a^*_t$ est définie comme celle induisant le plus grand changement dans les caractéristiques d'état collaboratif (localisations, possession d'objets).
   • Une récompense d'influence dirigée ($r^{inf}_{i,t}$) est calculée en comparant un prédicteur de référence (prédisant le suivi du coéquipier basé uniquement sur l'observation) à un prédicteur conditionné par l'influence (conditionné par l'action de l'agent $i$).
   • La récompense est la différence non négative, encourageant l'agent $i$ à prendre des actions qui rendent le suivi du coéquipier plus probable, même si l'effet est différé (capturé via une étiquette d'événement à horizon court $K$).
2. Diversité Comportementale : Pour empêcher la population de s'effondrer vers une seule convention, un terme de diversité ($r^{div}_{i,t}$) est ajouté. Cela récompense les actions moins probables sous la distribution d'actions moyenne de la population actuelle, encourageant des styles de coordination distincts au sein du pool d'équipes.

Étape 2 : Prédicteur d'Équipe Conditionné par la Trajectoire

Un prédicteur basé sur un transformateur est entraîné sur des historiques de déploiement issus du pool d'équipes construit.

• Entrée : Historique de trajectoire $h_t$ (localisations des agents, orientation, objets tenus, actions).
• Sortie : Une embedding de coordination $c_t$ et une distribution $p_t$ sur les $M$ équipes du pool.
• Objectif : Le prédicteur apprend à mapper les trajectoires d'interaction récentes au style de coordination spécifique (identité de l'équipe) qui les a générées. Cela permet au système de reconnaître le « mode » d'interaction actuel en temps réel.

Étape 3 : Pilotage d'Équipe

Cette étape entraîne une politique de meilleure réponse déployable en utilisant la structure de coordination apprise.

1. Pilotage par Qualité de Trajectoire : Le pool d'équipes historique est évalué pour attribuer un score de qualité $S(m)$ à chaque équipe. Une récompense de pilotage ($r^{steer}_t$) est définie en fonction de savoir si la trajectoire actuelle se déplace vers des modes historiques de plus haute qualité.
   • $r^{steer}_t = \max(Q(h_{t+\Delta}) - Q(h_t), 0)$, où $Q$ est le score pondéré par la qualité de la trajectoire actuelle.
   • Cette récompense guide la politique pour orienter les interactions en cours vers des schémas de coordination plus forts et précédemment appris.
2. Distillation Étudiant Partagé : Puisque le processus de pilotage produit des politiques « enseignantes » spécialisées (chacune entraînée comme un indice d'agent spécifique contre des partenaires figés), une étape de distillation hors ligne consolide ces dernières en une seule politique d'étudiant partagée. L'étudiant est entraîné par clonage comportemental sur un ensemble de données regroupé des actions des enseignants, lui permettant d'agir comme un agent de meilleure réponse général pour n'importe quelle position dans l'équipe.

3. Contributions Clés

1. Cadre IBTS : L'introduction d'un cadre qui couple la diversité des partenaires avec une structure de performance d'équipe apprise, utilisant le façonnage de l'influence pour découvrir des schémas de soutien et un pilotage guidé par prédicteur pour les renforcer.
2. Extension au HMT Évolutif : L'extension de l'évaluation Overcooked-AI à des dispositions à trois agents et le développement d'un protocole d'IA synthétique conditionné par la personnalité pour tester la robustesse face à la variation du style des partenaires.
3. Étude Humaine et Jeu de Données : Une étude humaine de 30 participants évaluant IBTS dans des contextes un humain–une machine et deux humains–une machine. Les auteurs publient un jeu de données de 90 trajectoires issues de ces collaborations, représentant le premier du genre pour la recherche Overcooked-AI 2 humains–1 IA.

4. Résultats Expérimentaux

L'évaluation a été menée sur Overcooked-AI à travers trois dispositions : Coordination Forcée (FC), Pipeline (PL) et Avantages Asymétriques (AA).

• Évaluation Simulée In-Distribution : IBTS a nettement surpassé les bases solides (MAPPO-SP, FCP, MEP, GAMMA), en particulier dans la disposition Pipeline (PL) où les récompenses clairsemées rendent la coordination difficile.
  • Dans le PL à 2 agents, IBTS a amélioré MEP de +16,5 %.
  • Dans le PL à 3 agents, IBTS a amélioré MEP de +17,1 %.
  • Dans des contextes à récompenses plus denses (par exemple, Avantages Asymétriques), IBTS est resté compétitif par rapport aux meilleures bases.
• Évaluation avec Partenaire IA Synthétique LLM : IBTS a été testé contre des partenaires GPT-5-mini conditionnés avec des personnalités Agreeable, Extravertie et Névroptique.
  • IBTS a surpassé FCP dans tous les 18 contextes testés et MEP dans 13 des 18.
  • Il a obtenu un score moyen de 186,9, nettement supérieur à MEP (133,7) et FCP (110,6).
  • Les gains les plus importants ont été observés dans la disposition Pipeline, indiquant une efficacité dans les chaînes d'interaction plus longues.
• Étude Humaine :
  • Dans la condition un humain–une machine, IBTS a nettement surpassé MEP et GAMMA dans la disposition Pipeline.
  • Dans la condition deux humains–une machine, IBTS a nettement surpassé les deux bases dans la disposition Coordination Forcée.
  • Les questionnaires post-jeu ont indiqué que, bien que les coéquipiers humains aient été notés le plus haut en termes de confiance, IBTS a été généralement perçu favorablement par rapport aux autres bases apprises, suggérant que les gains de performance ne se sont pas faits au détriment de la qualité subjective du coéquipier.

5. Signification et Revendications

L'article revendique que la couverture des partenaires à elle seule est inadéquate pour une ZSC évolutive. Au lieu de cela, une coordination réussie nécessite de combiner la diversité avec des mécanismes qui identifient et renforcent des structures de coordination transférables.

• Principe de Conception : Les auteurs proposent que les machines ne doivent pas simplement être entraînées à tolérer des partenaires diversifiés, mais doivent apprendre à reconnaître et renforcer les schémas de coordination productifs à mesure qu'ils émergent.
• Gestion des Récompenses Clairsemées : IBTS démontre que le façonnage de l'influence est crucial pour découvrir des étapes de coordination intermédiaires utiles dans des environnements à récompenses clairsemées où les récompenses de tâche standard sont insuffisantes pour guider l'apprentissage.
• Évolutivité : Le cadre transfère avec succès des contextes dyadiques (2 agents) à des contextes de groupe (3 agents), suggérant une voie vers une collaboration humain-groupe plus réaliste où les machines doivent s'adapter à la fois aux préférences individuelles et aux dynamiques humain-humain émergentes.

Limites Reconnues par les Auteurs :

• IBTS dépend de la qualité de la structure de performance d'équipe apprise ; si l'espace d'embedding manque de comportements préférés par les humains, le pilotage ne peut pas les récupérer.
• La formulation d'influence par paires engendre des coûts d'évolutivité pour des équipes très grandes.
• L'étude humaine était limitée en taille, et les écarts de confiance subjectifs entre les coéquipiers humains et machines ont persisté malgré les améliorations de performance.