🤖 AI

Partner Capability Estimation for Task-Agnostic Adaptation in Ad-Hoc Teamwork

Ce document introduit CE-CM et son extension sensible à la diversité CE-CM-Div, un cadre bayésien approximatif qui permet aux agents autonomes d'estimer rapidement les capacités cachées et invariantes par rapport à la tâche de leurs partenaires, et d'adapter leur planification conjointe dans des scénarios de travail d'équipe ad hoc sans nécessiter de pré-entraînement ni de connaissance préalable de la tâche.

Auteurs originaux : Peter Tisnikar, Maja Swieczkowska, Benteng Ma, Gerard Canal, Matteo Leonetti

Publié 2026-07-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peter Tisnikar, Maja Swieczkowska, Benteng Ma, Gerard Canal, Matteo Leonetti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entrez dans un tout nouveau jeu vidéo avec un étranger. Vous ne savez pas s'il s'agit d'un speedrunner qui saute des niveaux, d'un explorateur prudent qui vérifie chaque recoin, ou de quelqu'un qui déteste tout simplement sauter. Dans le monde de l'intelligence artificielle, c'est ce qu'on appelle le Travail d'Équipe Ad-Hoc (Ad-Hoc Teamwork). C'est le défi consistant à faire coopérer un robot (ou un agent IA) avec un partenaire qu'il n'a jamais rencontré auparavant, sans pratique préalable ni manuel de règles partagé. Habituellement, les chercheurs en IA essaient d'entraîner les robots pour qu'ils soient « super-robustes », ce qui signifie qu'ils apprennent à bien jouer contre n'importe qui en s'entraînant contre des milliers d'adversaires informatiques différents. Mais cet article pose une question différente : et si, au lieu de simplement mémoriser comment réagir, le robot pouvait réellement comprendre ce que son partenaire est capable de faire ? Pensez à un partenaire de danse. Au lieu de simplement deviner le prochain pas, le robot essaie d'apprendre le « moveset » (l'éventail de mouvements) de son partenaire : peut-il sauter haut ? Peut-il soulever des objets lourds ? Une fois qu'il connaît les limites des capacités de son partenaire, il peut planifier une chorégraphie qui fonctionne parfaitement pour les deux, même s'ils dansent sur une chanson totalement nouvelle.

L'article, intitulé « Partner Capability Estimation for Task-Agnostic Adaptation in Ad-Hoc Teamwork », introduit une nouvelle méthode ingénieuse appelée CE-CM (Estimation de la Capacité via des Modèles Contextuels). L'idée centrale est que le robot ne devrait pas seulement deviner ce que le partenaire veut faire ; il devrait comprendre ce que le partenaire peut faire. Les auteurs traitent les capacités d'un partenaire comme une liste cachée de « super-pouvoirs » (ou de leur absence) qui reste la même, quel que soit le jeu auquel ils jouent.

Voici comment le robot apprend : il observe le partenaire jouer quelques manches d'un jeu. Ensuite, le robot lance une simulation mentale. Il se dit : « D'accord, si mon partenaire avait ce ensemble spécifique de super-pouvoirs, comment aurait-il joué lors de la dernière manche ? » Il compare sa simulation à la réalité. Si la simulation correspond à la réalité, le robot conserve cet ensemble de super-pouvoirs comme une possibilité. Si elle ne correspond pas, il écarte cette idée. En faisant cela de manière répétée, le robot réduit la liste jusqu'à obtenir une très bonne estimation des véritables capacités du partenaire. Une fois qu'il connaît les limites de son partenaire, il peut planifier le prochain jeu ensemble, en veillant à ne jamais demander au partenaire de faire quelque chose d'impossible, comme soulever un piano si le partenaire ne peut soulever qu'une souris.

Les chercheurs ont testé cette idée dans deux mondes numériques très différents. Le premier était un jeu de rangement appelé TidyUP, où les règles étaient strictes et claires (comme un puzzle logique). Dans ce monde, le robot était excellent. Il a rapidement compris exactement ce que le partenaire pouvait et ne pouvait pas faire. Après seulement quelques parties, le robot a cessé de commettre des erreurs, comme demander au partenaire de nettoyer une pièce dans laquelle il ne peut pas entrer. Les résultats ont montré que la capacité de coordination du robot s'est considérablement améliorée, le nombre de « corrections » (où le robot devait corriger un mauvais plan) passant d'environ 75 % à moins de 5 % pour certains partenaires.

Cependant, le second monde, Overcooked (un simulateur de cuisine chaotique), était beaucoup plus complexe. Dans une cuisine, il y a souvent de nombreuses façons de préparer une salade. On peut couper les tomates d'abord, ou les oignons d'abord ; les deux fonctionnent. La méthode originale du robot, CE-CM, supposait que si le partenaire pouvait faire quelque chose, il le ferait de la manière la plus parfaite et la plus logique. Mais les humains réels (et même certains partenaires informatiques) sont désordonnés. Ils peuvent choisir un chemin étrange juste parce qu'ils l'aiment, ou ils peuvent commettre une erreur. Dans cet environnement chaotique, le robot s'est retrouvé bloqué. Il savait ce que le partenaire pouvait faire, mais il ne pouvait pas prédire ce qu'il ferait réellement car il y avait trop d'options valides.

Pour corriger cela, les auteurs ont créé une version améliorée appelée CE-CM-Div. Au lieu de demander : « Quelle est l'unique façon parfaite dont mon partenaire agirait ? », cette nouvelle méthode demande : « Quelles sont toutes les différentes façons dont mon partenaire pourrait agir ? ». Elle génère une multitude de scénarios possibles pour chaque ensemble de super-pouvoirs. Lorsqu'un partenaire fait quelque chose, le robot vérifie si cela correspond à l'un de ces scénarios. Cela s'est avéré être un tournant décisif lorsqu'ils l'ont testé avec de vrais humains. Ils ont recueilli 225 sessions de cuisine provenant de 15 personnes différentes. La méthode originale peinait, échouant souvent à deviner correctement les capacités des humains car les humains sont imprévisibles. Mais CE-CM-Div, avec son approche de « multiples possibilités », a réussi à apprendre les capacités des humains beaucoup plus rapidement et plus précisément.

L'article suggère que, bien que connaître les limites d'un partenaire soit une étape majeure, ce n'est pas une solution miracle pour toutes les situations. Si un partenaire a de nombreuses façons de résoudre un problème, connaître ses limites ne suffit pas pour savoir quel chemin il choisira. Mais en tenant compte de cette diversité et de cette incertitude, les robots peuvent devenir de bien meilleurs coéquipiers. Les auteurs concluent que cette approche — apprendre un modèle réutilisable de ce qu'un partenaire peut faire, plutôt que de simplement mémoriser comment il agit dans un jeu spécifique — est une voie prometteuse pour construire une IA capable de travailler avec n'importe qui, n'importe où, sur n'importe quelle tâche.

Résumé technique : Estimation des capacités du partenaire pour l'adaptation agnostique à la tâche dans le travail d'équipe ad hoc

1. Formulation du problème

L'article traite d'une limitation critique de la recherche actuelle sur le travail d'équipe ad hoc (AHT - Ad-Hoc Teamwork) : l'hypothèse selon laquelle les agents collaborent sur une tâche unique, fixe et aux capacités de partenaire connues. Dans des environnements ouverts réalistes, particulièrement ceux impliquant des collaborateurs humains, les partenaires possèdent des contraintes cachées et invariantes à la tâche sur leurs capacités, et peuvent agir de manière sous-optimale ou avec des stratégies diverses.

Les auteurs formalisent le problème comme une planification conjointe sous exécution décentralisée avec des capacités de partenaire cachées. Le défi central consiste à apprendre un modèle réutilisable et agnostique à la tâche des capacités d'un partenaire spécifique à partir de trajectoires conjointes observées. Contrairement aux approches précédentes qui apprennent des politiques robustes pour une tâche fixe ou infèrent des préférences (ce qu'un partenaire veut faire), ce travail se concentre sur l'inférence des capacités (ce qu'un partenaire est fondamentalement capable de faire). L'objectif est de permettre à un agent autonome ( $Ag_1$ ) d'estimer le vecteur de capacité caché ( $c$ ) d'un partenaire incontrôlable ( $Ag_2$ ) et d'utiliser cette estimation pour planifier de futures tâches conjointes sans pré-entraînement sur une population de partenaires.

2. Méthodologie

2.1. Cadre de modélisation

Les auteurs étendent le cadre du Processus de Décision Markovien Contextuel Multi-agents (CMMDP).

État et Action : Définis sur un ensemble fini d'états conjoints ( $S$ ) et d'actions conjointes ( $A$ ).
Capacités ( $C$ ) : Modélisées comme des vecteurs binaires de dimension $D$ où chaque bit représente une capacité spécifique (ex: capacité à soulever un objet lourd, capacité à utiliser un outil spécifique).
Fonction de transition ( $T$ ) : Les capacités modulent la fonction de transition. Si une capacité requise pour une transition est absente ( $c_i=0$ ), la transition résulte en une boucle d'auto-transition (l'état ne change pas), rendant l'action de fait irréalisable dans ce contexte.
Objectif : L'agent cherche à trouver le vecteur de capacité $c^*$ qui minimise la différence entre la trajectoire conjointe planifiée sous $c^*$ et la trajectoire observée $\tau_{obs}$ à travers plusieurs tâches.

2.2. CE-CM : Estimation des capacités via des modèles contextuels

La méthode principale, CE-CM, est une approche d'inférence bayésienne approximative qui opère via une boucle "simuler-et-comparer" :

Échantillonnage : L'agent échantillonne des vecteurs de capacité candidats ( $\hat{c}$ ) à partir d'une distribution a priori.
Simulation : Pour chaque candidat, l'agent utilise un planificateur conjoint pour simuler la trajectoire ( $\tau_{\hat{c}}$ ) qui résulterait si le partenaire possédait ces capacités.
Comparaison : La trajectoire simulée est comparée à la trajectoire observée ( $\tau_{obs}$ ) à l'aide d'une métrique de similitude (distance de Jaccard pour les états propositionnels, similitude cosinus pour les vecteurs à valeurs réelles).
Mise à jour de la croyance : Les candidats qui tombent dans un seuil de similitude $\epsilon$ sont acceptés. L'agent maintient un ensemble d'échantillons acceptés pour approximer la distribution a posteriori.
Estimation : Une estimation ponctuelle $\hat{c}^*$ est dérivée (ex: via l'estimation du Maximum A Posteriori) en appliquant un seuil à la moyenne empirique des échantillons acceptés.
Planification : Les capacités estimées induisent une instance spécifique de CMMDP, que l'agent utilise pour calculer un nouveau plan conjoint pour la tâche suivante.

2.3. CE-CM-Div : Gestion de la diversité comportementale

Les auteurs identifient que le CE-CM standard est fragile lorsque les partenaires humains présentent des comportements divers ou sous-optimaux, car un seul vecteur de capacité peut induire plusieurs trajectoires valides. Pour y remédier, ils proposent CE-CM-Div :

Au lieu de comparer l'observation à une seule trajectoire optimale, CE-CM-Div génère un ensemble diversifié de trajectoires ( $\Delta_{\hat{c}}$ ) pour chaque hypothèse de capacité candidate en utilisant un planificateur sensible à la diversité (basé sur la recherche arborescente Monte Carlo - MCTS).
Une hypothèse est acceptée si au moins une trajectoire de l'ensemble diversifié est suffisamment similaire à l'observation.
Cette approche empêche le rejet de hypothèses de capacité valides dues à des variations comportementales non modélisées ou à la sous-optimalité.

3. Contributions clés

Formalisation basée sur les capacités : Une formalisation de l'AHT multi-tâche comme planification conjointe sous des contraintes de capacité cachées et invariantes à la tâche, fournissant une représentation du partenaire interprétable et réutilisable.
Algorithme CE-CM : Une méthode d'adaptation en ligne et agnostique à la tâche qui infère des vecteurs de capacité discrets à partir de quelques interactions sans nécessiter de pré-entraînement sur une population ou de données de démonstration.
Extension CE-CM-Div : Un mécanisme de robustesse qui prend en compte la diversité comportementale en évaluant les hypothèses par rapport à des ensembles de déploiements de planificateurs diversifiés plutôt que par rapport à de simples trajectoires optimales.
Validation empirique : Évaluation complète à travers deux domaines (TidyUP et Overcooked) et une étude avec des sujets humains démontrant l'efficacité et les limites de la modélisation basée sur les capacités.

4. Résultats expérimentaux

4.1. TidyUP (Domaine PDDL)

Dans un domaine domestique symbolique avec des récompenses entièrement spécifiées et des transitions déterministes :

Inférence : CE-CM a rapidement récupéré les vecteurs de capacité de vérité terrain, réduisant la distance de Hamming à presque zéro en cinq tâches.
Coordination : La méthode a considérablement réduit le ratio d'actions corrigées (conflits entre les plans de l'agent et du partenaire) et a augmenté le chevauchement de plan (IoU) par rapport aux bases optimistes et pessimistes.
Conclusion : Dans des environnements bien spécifiés où la faisabilité dicte strictement le comportement, l'inférence de capacité est hautement efficace.

4.2. Overcooked (Partenaires simulés)

Dans un domaine de coordination dynamique avec des récompenses sous-spécifiées (plusieurs stratégies valides) :

Inférence : CE-CM a réussi à récupérer les contraintes de capacité, réduisant la proportion d'actions infaisables (improductives) assignées au partenaire.
Limite de coordination : Malgré des estimations de capacité précises, CE-CM n'a pas pleinement résolu les erreurs de coordination (le chevauchement des plans est resté faible). Cela est dû au fait que les capacités contraignent la faisabilité mais ne déterminent pas quelle stratégie réalisable un partenaire choisit lorsqu'il en existe plusieurs.
Conclusion : Les capacités seules sont insuffisantes pour prédire le comportement dans des domaines présentant une forte ambiguïté de stratégie.

4.3. Overcooked (Sujets humains)

Une étude avec 15 participants (225 trajectoires) a révélé une variabilité comportementale significative :

Échec de CE-CM : Le CE-CM standard a fréquemment échoué à mettre à jour les croyances car les trajectoires humaines correspondaient rarement à la trajectoire optimale unique générée par le planificateur, menant à très peu d'échantillons acceptés.
Succès de CE-CM-Div : L'extension sensible à la diversité a considérablement amélioré la précision de l'inférence (distance de Hamming plus faible) et la taille de l'a posteriori en acceptant des hypothèses qui correspondaient à n'importe lequel des comportements plausibles et diversifiés.
Conclusion : Prendre en compte la diversité comportementale est essentiel pour une inférence de capacité robuste dans les équipes humain-IA.

5. Signification et affirmations

L'article affirme que la modélisation basée sur les capacités offre une approche prometteuse, interprétable et agnostique à la tâche pour l'adaptation dans le travail d'équipe ad hoc. En distinguant ce qu'un partenaire peut faire (capacités) de ce qu'il choisit de faire (préférences/stratégies), les agents peuvent accumuler des connaissances réutilisables sur un individu à travers différentes tâches.

Cependant, les auteurs restent modestes quant à la portée de cette solution. Ils déclarent explicitement que :

Les capacités sont nécessaires mais non suffisantes : Dans les domaines avec plusieurs stratégies valides (comme Overcooked), connaître les capacités d'un partenaire ne prédit pas de manière unique son comportement.
La diversité est critique : L'adaptation robuste dans les équipes humain-IA nécessite des mécanismes (comme CE-CM-Div) qui tiennent compte de la variabilité comportementale et de la sous-optimalité, plutôt que de supposer une planification optimale.
Scalabilité : L'approche actuelle repose sur la planification conjointe, qui croît exponentiellement avec le nombre d'agents, limitant l'application immédiate à de grandes équipes sans approximations supplémentaires.

Ce travail positionne l'estimation des capacités comme une étape fondamentale vers un travail d'équipe humain-IA généralisable, tout en soulignant la nécessité de modéliser conjointement les capacités et les préférences pour résoudre pleinement l'ambiguïté comportementale.