Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

Lorsqu'un humain apprend à un enfant à faire du vélo, la leçon est une conversation de regards, de vacillements et de paroles encourageantes. L'enfant apprend en ressentant le changement d'équilibre, et le parent apprend en observant la manière dont l'enfant interprète ses conseils. Ce va-et-vient est l'essence même de l'intelligence hybride : deux esprits différents travaillant ensemble pour résoudre un problème qu'aucun des deux ne pourrait maîtriser seul. Dans le monde de la robotique, ce partenariat est appelé apprentissage robotique interactif avec l'humain. Ici, une personne agit comme un enseignant, guidant un robot à travers une tâche en utilisant des commentaires ou des démonstrations. L'espoir est que le robot apprenne à naviguer dans une pièce, à pousser une boîte ou à nettoyer un sol en comprenant les signaux de l'enseignant. Cependant, un écart important existe souvent entre ce que l'enseignant entend faire et ce que le robot comprend réellement. Si un humain pense que le robot est confus, il pourrait offrir un indice que le robot interprète comme une récompense pour une action complètement différente. Pour construire de meilleurs partenariats, les scientifiques doivent d'abord comprendre comment les humains donnent un sens au comportement d'un robot lorsqu'ils ne peuvent pas lui parler directement.

Une équipe de chercheurs s'est donné pour mission de découvrir exactement comment les gens interprètent le processus d'apprentissage d'un robot lorsqu'ils se contentent de l'observer. Ils ne s'intéressaient pas à la manière dont un robot apprend mathématiquement, mais plutôt à l'histoire qu'un observateur humain se raconte sur ce que le robot est en train de penser. Pour ce faire, ils ont développé une nouvelle façon d'étudier la perception humaine qui éliminait la complication d'un enseignement actif. Au lieu de demander aux gens d'interagir avec un robot et de donner des commentaires, les chercheurs leur ont simplement demandé de regarder des vidéos de robots en train d'apprendre, puis de décrire ce qu'ils croyaient se passer à l'intérieur de l'esprit de la machine. Cette approche a permis aux scientifiques de voir les hypothèses brutes et non filtrées que les gens formulent lorsqu'ils tentent de comprendre un apprenant artificiel.

Dans leur première étude, les chercheurs ont interrogé neuf personnes qui regardaient un robot apprendre à naviguer dans un environnement en forme de grille, en évitant les trous et en trouvant une sortie. Les participants devaient exprimer leurs pensations à voix haute tout en regardant le robot se déplacer. Les chercheurs ont écouté les schémas dans la manière dont ces observateurs expliquaient les actions du robot. Ils ont constaté que les gens ne voyaient pas seulement des mouvements aléatoires ; ils construisaient un modèle mental détaillé de la vie intérieure du robot. Ce modèle se classait systématiquement en quatre catégories principales. Premièrement, les gens supposaient que le robot avait des objectifs spécifiques, comme vouloir atteindre la sortie le plus rapidement possible ou essayer d'éviter de tomber. Deuxièmement, ils croyaient que le robot accumulait des connaissances, se souvenant quels endroits étaient dangereux et lesquels étaient sûrs. Troisièmement, les observateurs pensaient que le robot prenait des décisions, pesant les options et choisissant des chemins basés sur une stratégie. Enfin, les gens inféraient que le robot possédait un mécanisme d'apprentissage, une façon de mettre à jour sa compréhension basée sur ses erreurs ou ses succès passés. Ces résultats suggéraient que les humains projettent naturellement une vie intérieure riche et humaine sur la machine pour rendre son comportement compréhensible.

Pour confirmer ces idées initiales et voir si elles tenaient la route dans des situations plus complexes, les chercheurs ont mené une seconde étude, plus vaste, avec trente-quatre participants. Ils ont étendu l'expérience pour inclure deux types différents de tâches et deux types différents d'algorithmes d'apprentissage. Dans un scénario, un robot apprenait à nettoyer une pièce en naviguant autour des meubles et en ramassant la saleté. Dans l'autre, un robot différent apprenait à pousser une boîte de médicaments à travers une table vers un patient qui ne pouvait pas l'atteindre. Les robots utilisaient différentes méthodes pour apprendre : l'un utilisait une méthode simple, basée sur des essais et erreurs par table, tandis que l'autre utilisait une méthode continue plus complexe qui imite la façon dont les cerveaux biologiques pourraient traiter des mouvements fluides. Les participants regardaient des vidéos de ces robots à trois étapes différentes : début, milieu et fin d'apprentissage. Après chaque vidéo, ils évaluaient la pertinence des quatre thèmes — objectifs, connaissances, prise de décision et mécanismes d'apprentissage — par rapport à ce qu'ils voyaient.

Les résultats de cette étude plus large ont confirmé que les quatre thèmes identifiés dans la première expérience n'étaient pas un simple coup de chance. À travers les tâches de nettoyage et de poussée, et quel que soit la méthode d'apprentissage complexe utilisée par le robot, les gens s'appuyaient systématiquement sur ces quatre catégories pour donner un sens au robot. Les chercheurs ont découvert qu'à mesure que les robots devenaient meilleurs dans leurs tâches, la manière dont les gens les décrivaient changeait. Aux premiers stades, les observateurs pensaient souvent que le robot manquait de connaissances ou qu'il ne faisait que deviner. À mesure que le robot s'améliorait, les gens changeaient de point de vue, croyant que le robot avait développé un plan clair et prenait des décisions délibérées. L'étude a montré que la compréhension humaine n'est pas statique ; elle évolue à mesure que le comportement du robot change. Les gens ne voient pas seulement une machine suivant un code ; ils voient un agent qui apprend, se souvient et planifie.

Les chercheurs ont également découvert que les détails spécifiques de ces suppositions étaient assez fluides. Par exemple, lorsqu'ils pensaient aux objectifs du robot, ils se concentraient parfois sur le résultat final, comme atteindre la sortie, et d'autres fois sur la qualité du mouvement, comme nettoyer efficacement ou se déplacer en toute sécurité. De même, en considérant comment le robot apprenait, les gens imaginaient parfois que le robot apprenait par pure exploration, tandis qu'à d'autres moments, ils croyaient qu'il apprenait grâce à des retours ou en raisonnant à travers le problème. Cette flexibilité suggère que les humains possèdent un cadre dynamique pour interpréter les robots, un cadre qu'ils ajustent constamment en regardant le robot performer. L'étude n'a pas trouvé que le parcours d'une personne, comme le fait d'avoir des enfants ou des animaux de compagnie, modifiait ces schémas fondamentaux de pensée.

Ce travail met en lumière un défi critique pour l'avenir de la collaboration humain-robot. Parce que les humains supposent naturellement que les robots ont des objectifs, des connaissances et des processus de prise de décision similaires aux leurs, il existe un risque que ces suppositions soient erronées. Si un humain croit qu'un robot apprend en raisonnant alors qu'il suit en réalité une règle simple, l'humain pourrait donner un feedback qui confond la machine. Les chercheurs suggèrent que, pour que les robots soient de véritables partenaires efficaces, leurs concepteurs doivent comprendre ces suppositions humaines. En reconnaissant que les gens projetteront inévitablement un esprit humain sur un robot, les ingénieurs peuvent créer des systèmes plus transparents. Ils peuvent concevoir des robots qui communiquent leur processus d'apprentissage réel d'une manière qui s'aligne sur les attentes humaines, réduisant ainsi l'écart entre ce que le robot fait et ce que l'humain pense qu'il fait. Cet alignement est essentiel pour construire le type d'intelligence hybride où les humains et les machines peuvent véritablement travailler ensemble, chacun comprenant le rôle de l'autre dans la tâche partagée.