Résumé Technique : Découverte Hiérarchique de Compétences Sensible au Partenaire pour une Collaboration Humain-IA Robuste

Énoncé du Problème

Une collaboration efficace entre plusieurs agents, en particulier dans le travail d'équipe humain-IA, nécessite des agents capables de s'adapter à de nouveaux partenaires aux comportements divers et dynamiques. Les méthodes conventionnelles d'Apprentissage par Renforcement Hiérarchique Profond (DHRL) se concentrent généralement sur des récompenses centrées sur l'agent, optimisant la diversité sans tenir explicitement compte de l'influence du partenaire. Cette limitation conduit à un « apprentissage par raccourci », où les agents exploitent des corrélations fallacieuses dans les caractéristiques d'état plutôt que de capturer des informations pertinentes pour les interactions avec le partenaire. Par conséquent, les compétences apprises échouent souvent à se généraliser à de nouveaux partenaires, entraînant une mauvaise coordination et une incohérence comportementale. Les approches existantes qui maximisent l'information mutuelle (MI) entre les compétences et les états souffrent souvent de ce problème, car elles sont limitées par l'entropie des compétences et ne garantissent pas la sensibilité au comportement du partenaire, conduisant à des compétences statiques avec une adaptabilité limitée.

Méthodologie

Les auteurs proposent la Découverte de Compétences Sensible au Partenaire (PASD), un cadre DHRL conçu pour apprendre des compétences conditionnées au comportement du partenaire. L'innovation centrale est une récompense intrinsèque contrastive qui façonne les représentations de compétences pour qu'elles soient cohérentes entre des partenaires aux comportements similaires tout en maintenant une discriminabilité entre des stratégies diverses.

Aperçu du Cadre

PASD fonctionne au sein d'une structure hiérarchique composée d'un gestionnaire de haut niveau ($\pi_{hi}$) qui sélectionne des compétences latentes ($z$) et d'un contrôleur de bas niveau ($\pi_{lo}$) qui exécute des actions primitives conditionnées par l'état actuel et la compétence active. Le cadre utilise une population de partenaires ($\mathcal{D}_p$) échantillonnée à partir d'une distribution pendant l'entraînement.

Mécanismes Clés

1. Récompense Intrinsèque Contrastive :
   Au lieu de maximiser l'information mutuelle standard entre les compétences et les états, PASD maximise une borne inférieure variationnelle de l'information mutuelle entre les compétences et les sous-trajectoires. Cela est réalisé via un objectif de type InfoNCE.

   • Paires Positives : Sous-trajectoires générées par la même compétence interagissant avec des différents partenaires.
   • Paires Négatives : Sous-trajectoires générées par des différentes compétences.
   • Objectif : La récompense intrinsèque ($r_{int}$) encourage la politique à sélectionner des compétences qui produisent des plongements d'état cohérents entre des partenaires aux comportements similaires (cohérence intra-compétence) tout en garantissant des plongements distincts pour différentes compétences (discriminabilité inter-compétence).

2. Objectif d'Entraînement :
   La récompense totale pour les politiques de haut et de bas niveau est une combinaison pondérée de la récompense d'équipe extrinsèque ($r$) et de la récompense intrinsèque contrastive ($r_{int}$) :
   $$\tilde{r} = (1 - \lambda)r + \lambda r_{int}$$
   Au début de l'entraînement, $\lambda$ est élevé pour favoriser l'exploration de modèles conditionnés par des partenaires divers. À mesure que l'entraînement progresse, $\lambda$ est réduit pour privilégier la performance de la tâche tout en conservant la cohérence comportementale apprise.

3. Optimisation :
   Le gestionnaire de haut niveau, le contrôleur de bas niveau et la fonction de terminaison sont optimisés de bout en bout en utilisant l'algorithme d'Optimisation de Politique Proximale (PPO).

Contributions Clés

1. Cadre PASD : Introduction d'un cadre DHRL qui conditionne la découverte de compétences au comportement du partenaire, permettant une coordination robuste avec de nouveaux partenaires.
2. Nouvelle Récompense Intrinsèque : Proposition d'une récompense intrinsèque contrastive dérivée de la perte InfoNCE. Cette récompense capture des modèles partagés à partir de déroulements parallèles avec des partenaires divers, atténuant l'apprentissage par raccourci causé par des informations d'état fallacieuses et exploitant directement les informations pertinentes pour le partenaire.
3. Évaluation Complète : Évaluation extensive sur le benchmark Overcooked-AI à travers diverses populations de partenaires (niveaux de compétence et styles de jeu variables) et modèles proxy humains. L'étude démontre que PASD apprend des compétences transférables qui se généralisent efficacement à un large éventail de comportements de partenaires.

Résultats Expérimentaux

Les auteurs ont évalué PASD par rapport à des méthodes de référence incluant Fictitious Co-Play (FCP), DIAYN et Hierarchical Population Training (HiPT) dans l'environnement Overcooked-AI.

• Performance avec des Partenaires IA : PASD a systématiquement surpassé toutes les méthodes de référence sur cinq configurations standard (Chambre Exiguë, Avantages Asymétriques, Anneau de Coordination, Circuit de Comptoir, Coordination Forcée). Par exemple, dans la configuration Chambre Exiguë, PASD a obtenu une récompense moyenne de 165,8, nettement supérieure à FCP (137,7) et HiPT (117,9).
• Performance avec des Modèles Proxy Humains : Lorsqu'il était apparié à des modèles d'imitation comportementale (BC) entraînés sur des trajectoires humain-humain, PASD a maintenu une performance supérieure, obtenant les meilleurs rendements dans toutes les configurations (par exemple, 150,00 dans la Chambre Exiguë contre 118,75 pour FCP).
• Étude avec des Sujets Humains : Dans une étude contrôlée avec 19 participants humains, PASD a obtenu des récompenses conjointes plus élevées que HiPT sur toutes les configurations, améliorant la collaboration humain-IA de 22 % à 47 %.
• Analyse Qualitative : L'analyse des plongements de compétences appris (via des cartes thermiques de similarité cosinus et des projections UMAP) a révélé que PASD réussit à désenchevêtrer les compétences. Les plongements pour une même compétence formaient des clusters compacts indépendamment du partenaire, tandis que les différentes compétences restaient distinctes, confirmant la capacité du modèle à capturer des dynamiques conditionnées au partenaire plutôt que du bruit centré sur l'agent.

Importance et Revendications

L'article revendique que PASD comble une lacune critique dans l'apprentissage par renforcement multi-agents : l'incapacité des méthodes hiérarchiques standard à s'adapter aux comportements dynamiques de nouveaux partenaires. En déplaçant l'accent de la diversité centrée sur l'agent vers la cohérence sensible au partenaire, la méthode atténue l'apprentissage par raccourci et promeut la robustesse comportementale.

Les auteurs affirment que PASD fournit une base pour des agents collaboratifs plus adaptatifs et efficaces en apprenant des compétences qui sont non seulement diverses, mais aussi significatives dans le contexte de l'interaction humain-IA. Les résultats suggèrent que conditionner la découverte de compétences au comportement du partenaire permet aux agents de se généraliser efficacement à des partenaires invisibles, y compris ceux ayant des styles de jeu similaires à l'humain, sans nécessiter de données humaines étendues pour l'entraînement. Le travail met en évidence qu'une coordination robuste nécessite un raisonnement sur des comportements étendus dans le temps qui sont sensibles aux stratégies spécifiques des collaborateurs.