HUI360: A 360{\deg} Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation

Imaginez que vous vous promenez dans un parc animé et qu'un robot amical arrive vers vous en roulant. S'arrête-t-il pour attendre que vous disiez bonjour, ou devine-t-il que vous approchez et vous fait-il signe de la main avant même que vous ne soyez proche ? C'est le cœur d'un domaine appelé l'Interaction Humain-Robot (IHR). C'est la science qui consiste à apprendre aux machines à nous comprendre, non pas seulement comme des objets en mouvement, mais comme des personnes dotées d'intentions. Un élément clé de cela est l'« anticipation » — la capacité de prédire ce qu'un humain fera ensuite. Voyez cela comme un partenaire de danse qui connaît l'étape suivante avant même que la musique ne change. Si un robot peut anticiper que vous voulez discuter, il peut être plus utile et moins maladroit. Mais pour qu'un robot apprenne cette danse, il doit s'entraîner. Et pour bien s'entraîner, il a besoin d'une immense bibliothèque d'exemples de la vie réelle, et non de scènes répétées en studio.

C'est exactement ce que les chercheurs derrière l'article « HUI360 » ont cherché à construire. Ils ont créé une immense bibliothèque de données vidéo en libre accès appelée HUI360, qui est actuellement le plus grand ensemble de données de ce type pour enseigner aux robots comment deviner quand les humains veulent interagir avec eux. Au lieu d'utiliser des acteurs dans un laboratoire contrôlé, ils ont envoyé un robot mobile dans « la nature » — neuf lieux réels différents comme des cafétérias, des couloirs et des places publiques — sur plusieurs mois. Le robot, équipé d'une caméra à 360 degrés comme un objectif fisheye, a observé des milliers de personnes passer. Certains l'ignoraient ; d'autres s'arrêtaient pour ramasser des autocollants, jeter des déchets ou prendre de la nourriture. L'équipe a utilisé des outils de vision par ordinateur intelligents pour suivre automatiquement chaque personne, cartographier ses mouvements corporels et signaler le moment exact où elle a physiquement touché le robot. Ils ont même nettoyé les données à la main pour corriger toute erreur, garantissant que les « leçons » que le robot apprend sont précises.

L'article présente également un ensemble de « bases de référence » (baselines), qui sont comme les premiers tests d'entraînement du robot. Ils ont entraîné des cerveaux informatiques simples (en utilisant des méthodes telles que les Forêts Aléatoires et les LSTM) pour observer le mouvement d'une personne et deviner si elle était sur le point d'interagir. Les résultats suggèrent que ces modèles peuvent être assez doués pour la tâche, surtout lorsqu'ils utilisent des cartes corporelles détaillées (comme des points clés du visage et des mains) pour formuler leurs prédictions. Cependant, l'article souligne aussi une réalité délicate : lorsqu'un robot est testé dans un environnement totalement nouveau qu'il n'a pas vu auparavant, ou lorsque le robot lui-même change (comme remplacer un robot poubelle par un robot de service), la prédiction devient un peu plus floue. C'est comme un étudiant qui réussit un test de mathématiques dans une classe, mais qui trébuche lorsque l'enseignant change de salle. Les auteurs montrent que, bien que les méthodes actuelles fonctionnent, elles doivent devenir bien meilleures pour s'adapter à de nouveaux endroits et à de nouveaux corps de robots pour être véritablement utiles dans le monde réel.

Crucialement, l'article trace une ligne de démarcation nette sur ce qui constitue une « interaction ». Les chercheurs ont décidé d'ignorer les aspects complexes, comme lorsqu'une personne regarde simplement le robot par curiosité ou lui sourit. Ces moments sont trop subjectifs et difficiles à valider de manière consensuelle. Au lieu de cela, ils se sont concentrés uniquement sur les interactions physiques — lorsqu'une personne touche réellement le robot, y jette quelque chose ou ramasse un objet sur lui. Cela rend les données objectives et faciles à vérifier. Ils soutiennent que, bien que nous puissions souhaiter que les robots puissent lire les pensées ou comprendre les regards subtils, commencer par des actions physiques claires est la seule façon de construire une base fiable pour l'apprentissage.

Alors, qu'ont-ils trouvé ? Le jeu de données HUI360, contenant plus d'un million d'annotations de personnes et de leurs mouvements, prouve que les robots peuvent apprendre à anticiper les interactions physiques avec une précision surprenante. Les modèles testés pouvaient prédire une interaction une seconde ou deux avant qu'elle ne se produise, ce qui est suffisant pour qu'un robot tourne la tête ou prépare un salut. Mais l'article suggère également que ce n'est que le début. Les modèles éprouvent des difficultés lorsque l'environnement change radicalement, indiquant que les futurs robots devront être beaucoup plus flexibles pour gérer le chaos du monde réel. En publiant ce vaste ensemble de données et les outils pour le créer, les auteurs remettent les clés à l'ensemble de la communauté scientifique, l'invitant à construire de meilleurs robots, plus conscients socialement, qui pourront enfin apprendre à danser avec nous dans la vie réelle.