🤖 AI

TAVIS: A Benchmark for Egocentric Active Vision and Anticipatory Gaze in Imitation Learning

Ce papier présente TAVIS, une infrastructure complète de référence et d'évaluation pour l'apprentissage par imitation en vision active, comprenant des ensembles de tâches diversifiés, des plateformes incarnées et de nouvelles métriques telles que le délai d'anticipation du regard par rapport à l'action, afin de quantifier systématiquement les avantages et les limites du regard anticipatif dans la manipulation robotique.

Auteurs originaux : Giacomo Spigler

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giacomo Spigler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Image : Donner aux Robots des « Yeux » qui Bougent

Imaginez que vous essayez d'enseigner à un robot à faire un sandwich. La plupart des robots d'aujourd'hui ont une caméra fixée sur un mur ou un support, comme une caméra de sécurité. Ils peuvent voir toute la table, mais ils ne peuvent pas s'approcher de la bouteille de moutarde ou jeter un coup d'œil sous une serviette. Ils sont coincés avec un « regard fixe ».

Ce papier présente TAVIS, une nouvelle façon de tester des robots capables de bouger leurs yeux (ou leur tête et leurs poignets) pour regarder là où ils en ont besoin. Les auteurs ont créé une « salle de sport » (un benchmark) pour voir si permettre à un robot de contrôler son propre regard l'aide réellement à mieux apprendre que de simplement fixer un point immobile.

Les Deux « Salles de Sport » : TAVIS-Tête et TAVIS-Mains

Les chercheurs ont construit deux environnements d'entraînement différents pour tester deux façons différentes dont les robots peuvent bouger leurs yeux :

TAVIS-Tête (La « Salle de Sport du Cou ») :
- Le Scénario : Imaginez une table en désordre avec un cube rouge caché parmi dix autres jouets. Ou une carte indiquant « Prends celui de gauche » ou « Prends celui de droite ».
- Le Défi : Le robot doit tourner la tête (comme un humain qui regarde autour d'une pièce) pour trouver le bon objet ou lire l'indice.
- Le Test : Ils comparent un robot capable de tourner la tête à un robot forcé à fixer droit devant.
- Le Résultat : Bouger la tête aide beaucoup lorsque le robot doit chercher quelque chose ou lire un indice. Mais si la table est déjà parfaitement visible, bouger la tête n'aide pas beaucoup et peut parfois même être une distraction.
TAVIS-Mains (La « Salle de Sport des Poignets ») :
- Le Scénario : Imaginez une boîte avec un couvercle fermé, ou un écran bloquant la vue d'un objet. La principale « caméra de tête » du robot ne peut pas voir ce qu'il y a à l'intérieur ou derrière l'écran.
- Le Défi : Le robot doit utiliser des caméras montées sur ses poignets pour « jeter un coup d'œil » autour des coins ou à l'intérieur des boîtes.
- Le Test : Le robot peut-il utiliser ses caméras de poignets pour voir ce que sa caméra de tête ne peut pas voir ?
- Le Résultat : Oui. Lorsque la vue est bloquée, le robot doit utiliser ses caméras de poignets pour réussir.

La Métrique « Boule de Cristal » : GALT

L'un des aspects les plus cool de ce papier est une nouvelle façon de mesurer comment le robot regarde, et pas seulement s'il réussit.

L'Habitude Humaine : Pensez au moment où vous tendez la main vers une tasse de café. Vos yeux se fixent généralement sur la tasse avant même que votre main ne commence à bouger. Vous regardez d'abord, puis vous tendez la main. Cela s'appelle un « regard anticipatoire ».
La Nouvelle Métrique (GALT) : Les auteurs ont créé un score appelé Temps d'Avance Regard-Action (Gaze-Action Lead Time - GALT). Il mesure la différence de temps entre le moment où les yeux du robot se posent sur la cible et le moment où sa main la saisit.
La Découverte : Lorsqu'ils ont entraîné des robots simplement en observant des humains (apprentissage par imitation), les robots ont naturellement appris à regarder l'objet avant de le saisir. Leur temps de « regard en avant » était presque exactement le même que celui de l'humain qui les avait enseignés. Le robot a appris à être « lisible » — ce qui signifie qu'un humain observant le robot peut deviner ce qu'il va faire avant qu'il ne le fasse réellement.

Le « Test de Résistance » : Que se passe-t-il quand les choses changent ?

Les chercheurs n'ont pas seulement testé les robots dans exactement la même pièce à chaque fois. Ils leur ont joué des tours :

Déplacer les objets : Ils ont déplacé les jouets vers des endroits que le robot n'avait jamais vus auparavant.
Déplacer le robot : Ils ont légèrement déplacé la position de départ du robot.

Le Résultat : Les robots sont beaucoup moins performants dans leurs tâches lorsque l'environnement change. Même s'ils étaient assez intelligents pour bouger leurs yeux, ils ont eu du mal à s'adapter lorsque le monde ressemblait différemment de ce sur quoi ils s'étaient entraînés. Cela montre que, bien que la vision active soit utile, elle ne rend pas encore les robots « surhumains » face aux surprises.

La Conclusion

Ce papier ne concerne pas la construction d'un robot capable de faire votre lessive demain. Il s'agit de construire un tableau de score équitable pour les scientifiques.

Avant TAVIS, chaque laboratoire de robotique avait ses propres règles, son propre robot et son propre dispositif de caméra. Il était impossible de dire : « Le robot A est meilleur que le robot B ». TAVIS fournit un ensemble standardisé de tâches et une façon standardisée de mesurer le succès (y compris ce timing de « regarder avant de sauter »).

En bref :

La vision active (bouger les yeux) aide, mais seulement lorsque le robot a réellement besoin de regarder autour ou de jeter un coup d'œil à des choses cachées.
Les robots apprennent à regarder d'abord tout comme les humains le font, simplement en nous copiant.
Les robots restent fragiles : Si vous déplacez les meubles, ils sont perdus.

Les auteurs ont rendu publics tout leur code, leurs données et leurs robots entraînés afin que d'autres scientifiques puissent utiliser cette « salle de sport » pour entraîner et tester leurs propres robots, espérant ainsi aboutir à des machines meilleures pour voir et comprendre le monde.

Résumé technique : TAVIS – Une référence pour la vision active égocentrique et le regard anticipatif dans l'apprentissage par imitation

Énoncé du problème

L'apprentissage par imitation (IL) pour la manipulation visuomotrice a progressé rapidement, pourtant la plupart des références et méthodes existantes reposent sur des caméras fixes en troisième personne ou grand angle. Bien que des systèmes indépendants récents aient démontré que des politiques contrôlant leur propre regard (vision active) améliorent les performances de manipulation, le domaine manque d'une infrastructure d'évaluation partagée. Les références actuelles (par exemple, LIBERO, RLBench, CALVIN) supposent des caméras fixes et ne peuvent isoler la vision active comme variable contrôlée. De plus, les artefacts de vision active existants sont souvent verrouillés matériellement à des configurations spécifiques de robots réels, empêchant toute comparaison inter-systèmes. Par conséquent, la communauté ne peut pas quantifier systématiquement ce que la vision active apporte, sur quels types de tâches, ou dans quelles conditions. En outre, aucune référence actuelle ne mesure si les politiques apprises acquièrent un regard anticipatif – ce comportement de type humain où le regard précède le mouvement de la main pour signaler l'intention – une dimension critique pour la lisibilité dans l'interaction Humain-Robot (HRI).

Méthodologie

Les auteurs introduisent TAVIS (Tilburg Active Vision Imitation Learning), une infrastructure d'évaluation basée sur la simulation construite sur IsaacLab et IsaacLab-Arena. TAVIS est conçu pour isoler les rôles de la vision active grâce à deux suites de tâches complémentaires et deux incarnations de torse humanoïde (GR1T2 et Reachy2).

1. Suites de tâches

TAVIS-Head (Recherche globale) : Contient cinq tâches nécessitant une réorientation de la tête (pan/tilt des cous) pour la recherche globale, la désambiguïsation de l'encombrement et la signalisation d'intention. Les tâches incluent conditional-pick (regarder une carte d'indice), wait-then-act (surveillance temporelle), clutter-pick-cube, clutter-pick-lift, et multi-shelf-scan.
TAVIS-Hands (Occlusion locale) : Contient trois tâches où le mouvement de la tête est insuffisant en raison d'occlusions, nécessitant des caméras montées sur le poignet. Les tâches incluent peeking-box (déterminer un côté ouvert d'une boîte), occluded-reach (atteindre derrière un écran), et blocked-clutter-pick-cube (localiser un objet avec la caméra de tête masquée).

2. Collecte de données et protocole

Démonstrations : Environ 2 200 épisodes ont été collectés par téléopération en première personne à l'aide d'un Meta Quest 3. L'opérateur contrôle simultanément les bras et le cou (regard) du robot.
Enregistrement apparié : Crucialement, chaque épisode est enregistré simultanément avec une caméra montée sur la tête (active) et une caméra fixe de l'espace de travail (passive). Cela permet une comparaison appariée où la seule variable est le mode de caméra, maintenant tous les autres facteurs (démonstration, disposition de la scène, trajectoire) constants.
Divisions de distribution : La référence inclut des divisions In-Distribution (ID) et Out-of-Distribution (OOD) (ood-spatial pour le placement d'objets, ood-init-pose pour la pose de réinitialisation du robot) pour tester la généralisation et la robustesse face à la mémorisation.

3. Primitives d'évaluation

TAVIS introduit trois axes d'évaluation spécifiques :

Headcam vs Fixedcam : Une comparaison directe des performances des politiques utilisant une vision active par rapport à une vision passive sur des trajectoires identiques.
GALT (Gaze-Action Lead Time) : Une nouvelle métrique ancrée dans les sciences cognitives et la HRI. Elle quantifie l'écart temporel entre le moment où la tête atteint une fixation finale ( $t_{head}$ ) et l'achèvement d'une préhension ( $t_{hand}$ ). Un GALT positif indique un regard anticipatif. La métrique est dérivée uniquement de la proprioception (actions commandées), ce qui la rend portable vers l'évaluation sur robots réels.
Divisions ID/OOD : Extension du paradigme LIBERO-Pro à la vision active pour distinguer l'interpolation de l'extrapolation.

Contributions clés

La référence TAVIS : Une plateforme composable présentant deux suites de tâches, deux incarnations de robots et un espace d'action canonique unifié de 19 dimensions. Elle publie environ 2 200 épisodes de démonstrations appariées caméra de tête/caméra fixe au format LeRobot v3.0.
Nouvelles primitives d'évaluation :
- Un protocole apparié caméra de tête vs caméra fixe pour isoler les bénéfices de la vision active.
- GALT, une métrique cinématique pour quantifier le regard anticipatif, comblant le fossé entre l'apprentissage robotique et la littérature en sciences cognitives/HRI.
- Des divisions de distribution contrôlées ID/OOD pour tester la généralisation sous contrainte.
Analyses de base : Des expériences utilisant Diffusion Policy et $\pi_0$ (modèles Vision-Language-Action) fournissent la première comparaison systématique de l'IL à vision active.

Résultats expérimentaux

Les auteurs ont entraîné des politiques multi-tâches et mono-tâches sur TAVIS et ont rapporté les constatations suivantes :

Les bénéfices de la vision active sont conditionnels à la tâche : La vision active améliore généralement les performances, mais les gains ne sont pas uniformes. Sur TAVIS-Head, les caméras montées sur la tête ont surpassé les caméras fixes (par exemple, +28 points de pourcentage sur conditional-pick pour GR1T2). Cependant, les bénéfices étaient négligeables ou négatifs sur des tâches où l'espace de travail était déjà entièrement observable (par exemple, wait-then-act sur GR1T2 a montré une régression de -23 points de pourcentage). Sur TAVIS-Hands, où les caméras de tête sont structurellement non informatives, les caméras de poignet étaient essentielles, atteignant des taux de réussite de 70 à 77 % dans des configurations ID.
Entraînement multi-tâches : Les politiques multi-tâches ont surpassé les bases mono-tâches, en particulier sur la suite TAVIS-Hands, suggérant que la vision active bénéficie de représentations partagées entre les tâches.
Sensibilité au décalage de distribution : Les politiques se sont dégradées brutalement sous des décalages OOD contrôlés. Pour TAVIS-Head, les taux de réussite sont passés de 43,0 % (ID) à 6,6 % sous des perturbations ood-init-pose. La dégradation a été plus sévère pour les caméras montées sur la tête que pour les caméras fixes dans certains scénarios OOD, soulignant la fragilité des politiques de vision active face aux décalages de pose.
Acquisition du regard anticipatif : Les politiques entraînées uniquement par imitation (sans optimisation explicite du GALT) ont acquis un regard anticipatif. Le GALT médian pour les politiques apprises était comparable à la référence de téléopérateur humain (environ 2 à 3 secondes d'avance), avec des écarts d'environ 7 à 10 % pour la plupart des tâches. Cela suggère que le couplage temporel du regard et de l'action est une propriété émergente d'une imitation de haute qualité.

Importance et affirmations

L'article positionne TAVIS comme une infrastructure nécessaire pour surmonter le goulot d'étranglement actuel de la recherche en vision active. En fournissant une référence partagée avec des variables contrôlées, elle permet une comparaison équitable de systèmes disparates qui ne pouvaient auparavant être comparés en raison de différences matérielles et de définitions de tâches.

Les auteurs affirment que TAVIS démontre :

Que la vision active est bénéfique mais conditionnelle à la tâche, et non une amélioration universelle.
Que les politiques IL actuelles sont fragiles face aux décalages de distribution, en particulier lorsqu'elles reposent sur un regard actif.
Que l'imitation seule suffit pour apprendre des motifs de regard anticipatif qui reflètent le comportement humain, validant l'utilisation de données de téléopération pour entraîner des agents robotiques lisibles.

La référence est conçue pour être extensible, permettant l'ajout de nouveaux robots, tâches et axes OOD (par exemple, textures visuelles, changements au niveau de la scène) pour explorer davantage les limites de la vision active égocentrique.