Imaginez que vous êtes le capitaine d'un vaisseau spatial, mais au lieu de piloter un seul vaisseau, vous surveillez une flotte entière de minuscules drones autonomes livrant des pizzas dans une ville très animée. Votre travail consiste à siéger dans une salle de contrôle avec un mur d'écrans, chacun montrant la vue d'un drone différent. Si un drone se retrouve coincé ou voit un obstacle étrange, vous devez le remarquer instantanément et lui dire quoi faire. C'est le monde de la supervision multi-robots. Mais voici la partie délicate : votre cerveau dispose d'une capacité d'attention limitée. Si vous fixez trop longtemps un drone ennuyeux, vous pourriez manquer une crise se produisant sur un autre écran. Si vous sautez d'un écran à l'autre trop souvent, vous vous fatiguez et vous vous confondez. Les scientifiques appellent cela « l'attention de l'opérateur », et ils veulent comprendre exactement comment différentes personnes regardent ces écrans afin de construire de meilleures salles de contrôle. La grande question est la suivante : comment concevoir des comportements de robots qui captent votre attention quand elle est nécessaire, tout en vous laissant vous détendre quand les choses sont calmes ?

Entrez dans l'ère d'Attune, un nouvel outil créé par des chercheurs de l'Université George Mason. Considérez Attune comme un « miroir de lecture de pensée » pour les opérateurs de robots. Au lieu de simplement deviner ce qui pousse un opérateur de robot à regarder un écran spécifique, Attune permet à l'opérateur de regarder une vidéo de lui-même en train de regarder des robots, puis de lui demander : « Hé, pourquoi tes yeux ont-ils sauté sur cet écran à ce moment-là ? » C'est comme regarder le ralenti d'un match de sport, mais au lieu d'analyser les mouvements des joueurs, vous analysez vos propres yeux pour comprendre vos propres habitudes. Les chercheurs ont construit cet outil pour aider les concepteurs à comprendre que chaque opérateur est différent ; ce qui pousse une personne à regarder un robot peut amener une autre personne à l'ignorer. En comprenant ces « profils d'attention » personnels, les concepteurs pourront éventuellement ajuster les comportements des robots pour qu'ils correspondent à la personne spécifique assise dans la chaise de contrôle, rendant l'ensemble du système plus sûr et moins stressant.

Le Problème : Le dilemme du « Trop d'écrans »

Imaginez que vous jouez à un jeu vidéo où vous devez surveiller six caméras différentes à la fois. Une caméra montre la tête d'un robot, une autre montre son préhenseur (sa main), et une autre montre le plafond. Si le robot fait tomber une boîte, vous devez le voir immédiatement. Mais si le robot marche simplement lentement, vous n'avez pas besoin de le fixer. Le problème est que nous ne savons pas vraiment pourquoi un opérateur humain décide de regarder une caméra et de passer soudainement à une autre. Est-ce parce que le robot a fait quelque chose d'intéressant ? Est-ce que quelque chose de brillant a attiré son regard ? Ou s'est-il simplement ennuyé ?

Actuellement, les concepteurs de robots doivent deviner. Ils pourraient faire émettre un bip sonore fort au robot pour attirer l'attention, mais cela pourrait agacer l'opérateur ou faire en sorte qu'il ignore le robot plus tard. Les chercheurs voulaient dépasser le stade des suppositions. Ils voulaient un moyen de demander à l'opérateur : « Pourquoi avez-vous regardé là ? » et obtenir une vraie réponse. Mais si vous lui posez la question pendant qu'il regarde les robots, il pourrait être distrait et cesser d'accomplir sa tâche de manière naturelle. Ils avaient donc besoin d'un moyen ingénieux de poser la question après coup sans altérer la mémoire.

La Solution : Attune, le détective du « mouvement oculaire »

Les chercheurs ont construit un outil appelé Attune. Voici comment il fonctionne, étape par étape, en utilisant une analogie amusante :

Étape 1 : La soirée cinéma
D'abord, l'opérateur s'assoit et regarde une vidéo de deux robots effectuant des tâches (comme nettoyer une cuisine ou chercher dans un couloir). Pendant qu'il regarde, Attune utilise une caméra de suivi oculaire pour enregistrer exactement où ses yeux regardent, milliseconde par milliseconde. C'est comme une caméra de cinéma haute technologie qui ne filme que les pupilles de l'opérateur. Le système enregistre les moments où les yeux sautent d'un écran à l'autre. Ces sauts sont appelés « changements de regard » (gaze shifts).

Étape 2 : Le Replay et le « Pourquoi ? »
Une fois la vidéo terminée, l'opérateur entre dans une salle d'« annotation » spéciale. Attune lui montre une liste des moments où ses yeux ont sauté. C'est comme un film des moments forts de sa propre attention. L'opérateur choisit un saut et appuie sur « lecture ». Le système zoome sur le moment, montrant les actions du robot et les flux vidéo juste avant et après le changement de regard.

Ensuite, l'opérateur doit s'expliquer. Attune pose deux questions simples :

1. Pourquoi avez-vous quitté l'ancien écran ? (Le robot s'est-il arrêté de bouger ? Vous êtes-vous ennuyé ?)
2. Pourquoi êtes-vous arrivé sur le nouvel écran ? (Avez-vous vu une personne ? Le robot semblait-il en difficulté ?)

L'opérateur peut également préciser si le saut était réactif (quelque chose de soudain et de fort s'est produit, comme une attraction « bottom-up ») ou proactif (il a décidé de vérifier le robot par curiosité, un choix « top-down »).

Étape 3 : Le détective de motifs (L'IA à la rescousse)
Une fois que l'opérateur a expliqué quelques sauts, Attune utilise un cerveau informatique intelligent (une IA) pour chercher des motifs. C'est comme un détective qui remarque que chaque fois que le robot fait tomber une tasse, l'opérateur regarde la caméra du préhenseur. Ou peut-être que chaque fois que le robot s'arrête de bouger, l'opérateur regarde la caméra du plafond. L'IA regroupe ces explications et déclare : « Hé, il semble que vous regardiez toujours la caméra de la tête quand le robot marche près d'une personne. »

Étape 4 : L'auto-annotation
Maintenant, l'outil devient encore plus cool. Il prend les motifs appris lors des premiers sauts et les applique au reste de la vidéo. Il dit : « Je parie que vous avez regardé cet écran parce que le robot marchait près d'une personne. Est-ce exact ? » L'opérateur n'a plus qu'à dire « Oui » ou « Non » et éventuellement ajuster la réponse. Cela rend le processus extrêmement rapide, transformant une tâche longue et ennuyeuse en un jeu rapide de « Trouvez le motif ».

Étape 5 : Le profil personnel
Enfin, Attune donne à l'opérateur un résumé de son propre « Profil d'Attention ». C'est comme un bulletin de notes qui dit : « Vous avez tendance à regarder les mains du robot lorsqu'il porte quelque chose de lourd, mais vous vérifiez le plafond quand le robot se contente de marcher. » Ce profil est ensuite transmis aux concepteurs de robots. Ils peuvent l'utiliser pour construire des robots dont les comportements correspondent à la façon dont cette personne spécifique réfléchit.

Qu'ont-ils découvert ?

Les chercheurs ont testé Attune avec 12 personnes qui n'avaient jamais utilisé un tel outil auparavant. Elles ont regardé des vidéos de robots dans trois environnements différents : un salon, une cuisine et un couloir. Voici ce qu'ils ont découvert :

• Chacun est différent : La plus grande découverte est que deux personnes ne sont pas les mêmes. Certains regardaient les six vues de caméra de manière égale, tandis que d'autres n'en regardaient que deux ou trois. Certains étaient très réactifs, sautant vers l'écran dès que quelque chose bougeait. D'autres étaient proactifs, vérifiant les écrans dans un ordre spécifique. Cela suggère qu'une interface de robot « parfaite » n'existe pas ; elle doit être personnalisée pour la personne.
• Les robots dirigent les yeux : L'étude a révélé que le comportement du robot était la raison principale pour laquelle les gens regardaient un écran. Si le robot effectuait une tâche précise (comme ramasser une tasse), les gens regardaient attentivement. S'il était simplement immobile ou se déplaçait lentement, les gens détournaient le regard. Les chercheurs suggèrent que si les actions d'un robot sont confuses ou difficiles à comprendre, l'attention de l'opérateur s'égare car il essaie de comprendre ce qui se passe.
• Le pièm de la « fausse mémoire » : Les chercheurs ont remarqué quelque chose d'intéressant concernant la méthode de « replay ». Parfois, lorsque les gens regardaient le replay, ils ne se souvenaient pas de ce qu'ils pensaient réellement sur le moment ; ils inventaient une histoire qui faisait sens maintenant qu'ils connaissaient l'issue. Par exemple, s'ils voyaient le robot faire tomber une tasse dans le replay, ils pouvaient dire : « J'ai regardé là parce que je savais qu'elle allait tomber », même s'ils ne le savaient pas réellement à ce moment-là. L'outil les a aidés à réaliser cela, mais c'est un rappel que regarder en arrière sur sa propre attention n'est pas toujours fiable à 100 %.
• L'IA est une aide, pas un chef : Les participants ont apprécié les suggestions de l'IA, mais seulement si l'IA avait raison. Si l'IA se trompait, cela donnait à l'opérateur l'impression de devoir travailler plus dur pour corriger. Les chercheurs ont constaté que les gens voulaient que l'IA soit un « échafaudage » — quelque chose pour les aider à réfléchir, et non quelque chose qui réfléchit à leur place. Ils ont estimé que l'IA devait être précise à environ 80 % ou 90 % pour qu'ils lui fassent totalement confiance.

Pourquoi cela importe

Cet article ne prétend pas avoir résolu définitivement le problème de la supervision de robots. En fait, les chercheurs précisent avec prudence que leur outil n'est qu'une première étape. Ils l'ont testé avec seulement deux robots et des vidéos préenregistrées, et non avec une flotte de robots réels circulant dans un hôpital en ce moment même. Ils ont également utilisé des personnes qui n'étaient pas des experts, donc de vrais opérateurs de robots pourraient se comporter différemment.

Cependant, l'étude suggère une nouvelle façon puissante de penser la conception de robots. Au lieu de deviner ce que les humains veulent, nous pouvons leur demander : « Pourquoi avez-vous regardé là ? » et utiliser leurs réponses pour construire de meilleurs systèmes. Cela transforme l'opérateur d'un simple observateur passif en un partenaire actif dans la conception du comportement du robot.

Les chercheurs soulignent également un aspect délicat : si nous commençons à suivre l'attention de chacun de si près, nous devons faire attention à la vie privée. Nous ne voulons pas que ces « profils d'attention » soient utilisés pour espionner les travailleurs ou juger leurs performances. L'outil est destiné à aider les robots à mieux travailler pour l'humain, et non à juger l'humain.

En fin de compte, Attune est un pont. Il relie la façon désordonnée et imprévisible dont les yeux humains bougent avec le monde logique et programmé des robots. En comprenant le « pourquoi » derrière le « où », nous pourrons peut-être un jour transformer les flottes de robots, passant d'un embouteillage chaotique d'écrans à une danse bien coordonnée, où chaque mouvement est conçu pour garder le capitaine humain calme, concentré et en contrôle.