🤖 AI

Evaluating XAI Support From A Hierarchical Reinforcement Learning Policy in Human-Agent Collaboration

Cet article présente la première évaluation systématique de l'apprentissage par renforcement hiérarchique intrinsèquement explicable dans la collaboration humain-agent en utilisant le benchmark Overcooked-AI, révélant que si les explications montraient des tendances vers une amélioration plus rapide, les explications délivrées par voie audio ont considérablement affaibli l'alliance de travail humain-agent en créant des attentes de partenariat non satisfaites.

Auteurs originaux : Mateus Levi Simões Fernandes, Alberto Sardinha

Publié 2026-08-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mateus Levi Simões Fernandes, Alberto Sardinha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à un jeu vidéo à haute vitesse avec un robot pour coéquipier. Vous devez tous les deux hacher des oignons, cuisiner de la soupe et la servir avant que le temps ne s'écoule. Dans le monde réel, quand deux humains jouent ensemble, ils discutent : « Je prends la tomate, tu prends la marmite ! » ou « Attention, je passe ! » Cette discussion aide à construire une compréhension partagée de ce qui se passe. Mais les robots sont souvent comme des machines silencieuses et mystérieuses ; ils bougent vite et font des choses, mais ils ne vous disent pas pourquoi. Cela crée un fossé. Si un robot veut être un véritable partenaire, et non un simple outil, il doit expliquer ses pensées. C'est là qu'intervient l'« Intelligence Artificielle Explicable » (XAI). C'est la science consistant à apprendre aux robots à dire : « Je fais ceci parce que... » afin que les humains puissent mieux leur faire confiance et travailler avec eux. Mais voici la partie délicate : si le robot parle trop, il pourrait vous distraire. S'il parle de la mauvaise façon, il pourrait vous agacer. La grande question est : comment faire pour qu'un robot s'explique sans vous gêner dans le jeu ?

Ce document explore précisément ce problème en mettant en place une expérience de cuisine numérique utilisant un jeu appelé Overcooked-AI. Les chercheurs ont utilisé un type spécial de cerveau robotique appelé « Apprentissage par Renforcement Hiérarchique ». Voyez cela comme un robot qui ne pense pas seulement à chaque petit pas (comme « aller à gauche, aller à droite »), mais qui pense plutôt en gros blocs, comme « prendre un oignon » ou « mettre la soupe dans un bol ». Parce qu'il pense en ces gros blocs, il peut naturellement vous dire ce qu'il prévoit de faire ensuite. L'équipe voulait voir si laisser ce robot parler à son joueur humain permettrait de mieux travailler ensemble. Ils ont testé deux façons de communiquer : le robot pouvait taper des messages sur l'écran (Texte) ou les prononcer à voix haute (Audio).

Les résultats furent un mélange de surprises et de leçons. Premièrement, les explications du robot n'ont pas permis à l'équipe de marquer plus de points immédiatement. En fait, les joueurs humains qui n'ont reçu aucune explication ont en réalité obtenu des scores légèrement plus élevés en moyenne, bien que la différence ne soit pas énorme. Cela suggère que pour les personnes qui sont déjà douées dans les jeux, des mises à jour constantes pourraient simplement être une distraction. Cependant, il y avait une lueur d'espoir : les joueurs ayant reçu des explications semblaient apprendre à travailler avec le robot plus rapidement. Ils ont amélioré leurs scores plus vite au fil du temps, comme si le bavardage du robot les aidait à comprendre son style plus tôt.

Mais la découverte la plus intéressante s'est produite avec la manière dont le robot parlait. Lorsque le robot parlait à voix haute (Audio), quelque chose d'étrange s'est produit. Même si les joueurs apprenaient plus vite, ils ressentaient une connexion beaucoup plus faible avec le robot. Ils n'avaient pas l'impression d'être dans la même équipe. C'est comme si la voix du robot faisait naître chez eux l'attente d'une véritable conversation et d'une promesse de ce qui allait suivre. Mais comme le robot ne faisait que réagir à l'instant présent (comme un réflexe), il changeait souvent d'avis instantanément après avoir parlé. Quand le robot disait : « Je vais à la marmite », mais qu'il courait immédiatement vers le comptoir à la place, l'humain se sentait trahi. La voix parlée donnait l'impression que le robot était un partenaire qui devrait tenir sa parole, mais le cerveau du robot était trop réactif pour pouvoir réellement tenir cette promesse.

En revanche, lorsque le robot se contentait de taper des messages sur l'écran, les joueurs ne ressentaient pas cette trahison. Ils pouvaient ignorer le texte s'ils le souhaitaient, de sorte que le robot ne semblait pas être un « faux » partenaire. L'étude suggère que si la parole à voix haute attire l'attention et aide les gens à apprendre plus vite, elle crée aussi des attentes qu'un robot simplement réactif ne peut pas forcément combler. Les chercheurs concluent que si nous voulons que les robots nous parlent, nous devons nous assurer qu'ils sont réellement capables de tenir les promesses que leurs voix impliquent, sinon le partenariat pourrait sembler brisé.

Résumé technique : Évaluation du soutien XAI à partir d'une politique d'apprentissage par renforcement hiérarchique dans la collaboration humain-agent

Problématique

La transition des systèmes d'IA de simples outils vers des partenaires collaboratifs exige qu'ils soient non seulement efficaces, mais aussi compréhensibles pour leurs coéquipiers humains. Bien que l'IA explicable (XAI) offre des solutions potentielles, son évaluation systématique dans des contextes collaboratifs reste limitée. La recherche actuelle repose souvent sur des politiques conçues à la main dans des environnements personnalisés (ex. : Minecraft), ce qui limite la généralisabilité des résultats à la recherche de pointe sur le travail d'équipe utilisant des benchmarks établis comme Overcooked-AI. De plus, la littérature actuelle manque d'une évaluation systématique du soutien XAI généré à partir de politiques apprises intrinsèquement explicables (par opposition aux explications post-hoc ou aux règles conçues à la main) au sein de ces benchmarks de haute performance. Il existe également une lacune dans la compréhension de la manière dont la modalité d'explication (texte vs audio) affecte la collaboration dans des tâches visuellement exigeantes et rapides.

Méthodologie

Les auteurs ont mené une expérience inter-sujets ( $n=38$ ) dans l'environnement de référence Overcooked-AI, en utilisant spécifiquement la disposition Counter-Circuit.

Architecture de l'agent : L'étude a utilisé l'architecture Hierarchical Ad Hoc Agents (HA2). Ce système emploie une structure Manager-Worker où une politique de haut niveau, le Manager ( $\pi_H$ ), sélectionne des sous-tâches sémantiquement significatives (ex. : « ramasser l'oignon », « placer l'oignon dans la marmite ») à partir d'un ensemble prédéfini de 12 objectifs spécifiques au domaine. Une politique de bas niveau, le Worker ( $\pi_W$ ), exécute ensuite des actions primitives pour accomplir la sous-tâche sélectionnée. Cette hiérarchie fournit une explicabilité intrinsèque, car les décisions de haut niveau sont interprétables par l'humain.
Génération d'explications : Des explications en temps réel ont été générées directement à partir des sélections de sous-tâches du Manager. Pour éviter la surcharge d'informations, un nouveau système basé sur des déclencheurs a été implémenté pour délivrer les explications uniquement lors de moments pertinents pour la coordination. Les déclencheurs incluaient :
- Blocage : Lorsque l'humain obstrue le chemin de l'agent.
- Chemin critique : Lorsque l'agent sélectionne des sous-tâches essentielles à la progression de la tâche.
- Seuil de distance : Mises à jour périodiques lors de déplacements prolongés.
- Changement de sous-tâche : Annonces lorsque le Manager change d'objectif.
Conditions expérimentales : Les participants ont été assignés aléatoirement à l'une des trois conditions suivantes :
1. Contrôle : Aucune explication.
2. Texte : Explications affichées dans une barre semi-transparente au bas de l'écran.
3. Audio : Contenu identique délivré via la synthèse vocale native du navigateur.
Procédure : Les participants ont complété quatre sessions de jeu de 80 secondes. Les mesures comprenaient les scores de jeu, les taux d'apprentissage (pentes linéaires à travers les sessions), les évaluations de la charge de travail NASA-TLX et des évaluations subjectives utilisant le questionnaire Godspeed et une version modifiée de l'évaluation de la fluidité humain-robot. L'échantillon était composé d'adultes expérimentés dans les jeux vidéo (score de familiarité moyen de 8,1/10).

Contributions clés

Première évaluation systématique dans un benchmark : Ce travail fournit la première évaluation systématique du soutien XAI généré à partir de politiques apprises de pointe (HA2) au sein d'un benchmark établi de collaboration humain-agent (Overcooked-AI), démontant que les architectures d'apprentissage par renforcement intrinsèquement explicables peuvent générer des explications authentiques en temps réel sans compromettre la performance.
Comparaison de modalités : Il présente la première comparaison des modalités d'explication (texte vs audio) dans une tâche collaborative humain-agent en temps réel, isolant les effets du mode de diffusion sur la performance et l'expérience subjective.
Méthodologie de base : Les auteurs établissent un système de diffusion basé sur des déclencheurs comme base de référence pour les explications de politiques hiérarchiques, offrant une méthodologie pour évaluer les architectures de RL intrinsèquement explicables dans des environnements de benchmark.

Résultats

Performance (H1) : Il n'y a eu aucune différence significative dans les scores de jeu immédiats entre la condition de contrôle et les conditions avec explications ( $p=0,136$ ). Cependant, une tendance suggère que les participants recevant des explications (particulièrement l'audio) ont montré des taux d'apprentissage plus rapides (amélioration au fil des sessions) par rapport au groupe de contrôle ( $d=0,59$ ), bien que cela n'ait pas atteint la signification statistique ( $p=0,087$ ).
Charge cognitive (H2) : Aucune différence significative n'a été trouvée dans la charge de travail cognitive (NASA-TLX) entre les modalités texte et audio.
Expérience subjective (H3) : Un résultat significatif et robuste est apparu concernant le lien d'alliance de travail (Working-Alliance Bond). Les participants de la condition Audio ont évalué leur lien avec l'agent de manière significativement plus faible que ceux des conditions Texte ou Contrôle ( $p=0,003$ $p = 0, 003$ ). Les explications textuelles n'ont pas impacté négativement le lien par rapport au groupe de contrôle.
- Anthropomorphisme : Une tendance indique que les participants à l'audio ont évalué l'agent comme étant moins anthropomorphe, bien que cela n'ait pas survécu à la correction de Bonferroni.
- Mécanisme : Les auteurs interprètent la réduction du lien dans la condition audio comme un écart entre « la promesse et la réalité ». Les explications parlées présentent l'agent comme un partenaire communicatif prenant des engagements, mais la politique réactive, sans modèle (model-free), ne peut soutenir ces engagements (elle peut changer de sous-tâche instantanément après avoir parlé). Cet écart est moins perceptible dans le texte (qui peut être ignoré) ou le silence.

Signification et affirmations

L'article affirme faire progresser la compréhension de quand et comment la XAI opère dans des environnements collaboratifs rapides. L'idée principale est que l'adéquation entre la modalité d'explication et la capacité de la politique sous-jacente est cruciale.

Incohérence architecturale : L'étude suggère que les explications parlées activent des attentes de partenariat que les politiques réactives et sans modèle ne peuvent satisfaire, entraînant une rupture de l'alliance de travail. Le « coût du lien » n'est pas une condamnation de la diffusion audio en soi, mais des politiques qui manquent de l'horizon de planification ou des capacités de modélisation humaine pour appuyer les intentions verbalisées.
Adaptation vs Exécution : Les résultats suggèrent que le soutien XAI peut améliorer l'adaptation humaine aux schémas de comportement de l'agent (accélérant l'apprentissage) plutôt que l'exécution immédiate de la tâche, particulièrement pour les utilisateurs experts qui possèdent déjà des stratégies de coordination efficaces.
Direction future : Les auteurs soutiennent que la voie à suivre pour une XAI collaborative efficace est architecturale. Pour soutenir le partenariat suggéré par les explications parlées, les futurs systèmes devraient intégrer des horizons d'engagement plus longs (plans contraignants) et des modèles explicites de coéquipiers humains afin de permettre une communication bidirectionnelle basée sur la théorie de l'esprit, plutôt que de simplement narrer des sorties réactives.

L'article conclut que si l'apprentissage par renforcement hiérarchique offre une base prometteuse pour une IA intrinsèquement explicable, l'efficacité de la XAI est contrainte par la capacité de la politique à aligner son comportement réel avec les attentes relationnelles créées par son mode de diffusion (particulièrement la parole).