💻 computer science

Gaze2Act: Gaze-Conditioned Vision-Language-Action Policies for Interactive Robot Manipulation

Gaze2Act est un nouveau cadre Vision-Language-Action qui améliore la manipulation robotique en intégrant le regard humain comme signal d'intention dynamique, comblant les écarts entre les vues ego et exo pour atteindre des performances de pointe en matière de désambiguïsation d'objets, d'interaction fine et de pilotage d'intention dynamique sur un humanoïde Unitree G1.

Auteurs originaux : Kuangji Zuo, Gen Li, Bofan Lyu, Yanshuo Lu, Boyu Ma, Shijia Han, Xinyu Zhou, Xichen Yuan, Chuhao Zhou, Jiaqi Bai, Geng Li, Jianfei Yang

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kuangji Zuo, Gen Li, Bofan Lyu, Yanshuo Lu, Boyu Ma, Shijia Han, Xinyu Zhou, Xichen Yuan, Chuhao Zhou, Jiaqi Bai, Geng Li, Jianfei Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment vous aider en cuisine. Vous dites : « Passe-moi cette tasse. » Mais il y a cinq tasses sur la table : une rouge, une bleue, une avec une fissure, et deux blanches identiques. Si vous dites simplement « la tasse », le robot pourrait saisir la mauvaise, ou pire, saisir celle que vous ne voulez pas.

C'est le problème que l'article Gaze2Act tente de résoudre. Il soutient que le langage humain est souvent trop vague pour que les robots comprennent exactement ce que nous voulons, surtout lorsque nous devons être précis ou lorsque nos intentions changent en cours de tâche.

Voici comment l'article explique leur solution, en utilisant des analogies simples :

L'idée centrale : « Les yeux guident les mains »

Les auteurs ont remarqué quelque chose que les humains font naturellement : nous regardons ce que nous sommes sur le point de toucher avant de le toucher. Si vous voulez saisir une pomme spécifique, vos yeux se fixent dessus une fraction de seconde avant que votre main ne s'étende.

L'article propose que, au lieu de simplement parler au robot, nous devrions permettre au robot de « voir » où nos yeux regardent. Ils appellent cela Gaze2Act. C'est comme donner au robot une paire de « lunettes de télépathie » qui lui montrent exactement sur quoi vous vous concentrez, en temps réel.

Comment cela fonctionne : Le tour de magie en trois étapes

L'article décrit un système qui comble le fossé entre ce que vous voyez et ce que le robot voit.

1. Le Traducteur (Ancrage inter-vues)

Le problème : Vous portez des lunettes intelligentes et regardez une tasse depuis votre perspective. Le robot regarde la même tasse sous un angle différent. Votre « point de regard » (là où vos yeux regardent) ne correspond pas à la vue de la caméra du robot.
La solution : Le système agit comme un traducteur ultra-intelligent. Il prend votre point de regard et utilise un outil de « correspondance visuelle » pour trouver le même objet exact dans la vue de la caméra du robot. Il dessine un masque numérique (comme un surligneur) autour de l'objet que vous regardez et marque l'endroit exact où vous fixez votre regard.
Analogie : Imaginez que vous pointez un arbre spécifique dans une forêt depuis une colline. Le robot est au bas de la colline. Le système dessine instantanément un cercle lumineux autour de cet arbre précis dans la vue du robot, même si les angles sont totalement différents.

2. Le Surligneur (Amorçage au niveau de la perception)

Le problème : Savoir simplement « où » ne suffit pas ; le robot doit savoir quoi faire avec cette information.
La solution : Le système prend ce surlignage numérique et le peint directement sur l'image que le robot voit.
- Si vous devez saisir l'objet entier, il dessine un contour coloré autour de lui.
- Si vous devez toucher une petite partie spécifique (comme le manche d'un marteau), il peint une carte thermique (une tache rouge lumineuse) directement sur ce manche.
Analogie : C'est comme un enseignant pointant une carte et dessinant un cercle rouge autour de la ville que vous voulez visiter, afin que le robot n'ait pas à deviner quelle ville vous vouliez dire.

3. La Voix Intérieure (Conditionnement au niveau de l'action)

Le problème : Parfois, montrer simplement une image au robot ne suffit pas pour le faire bouger parfaitement. Il pourrait encore être un peu confus.
La solution : Le système ne montre pas seulement l'image au robot ; il chuchote aussi une instruction secrète directement dans le « cerveau » du robot (son code générateur d'actions). Il dit au robot : « Hé, ignore tout le reste, concentre-toi uniquement sur cette tache lumineuse spécifique. »
Analogie : C'est comme un entraîneur qui ne se contente pas de pointer le but, mais qui tape aussi l'épaule du joueur pour dire : « Cours tout droit vers cet endroit, pas celui à côté. »

Ce qu'ils ont testé (La preuve « du monde réel »)

Les chercheurs ont testé cela sur un Unitree G1, un robot humanoïde qui ressemble à un humain. Ils lui ont donné 16 tâches différentes, notamment :

Saisir la bonne tasse lorsqu'il y en a plusieurs de similaires (désambiguïsation).
Saisir des parties spécifiques d'un objet, comme le manche d'un marteau plutôt que la tête (interaction fine).
Changer la cible en cours de route. Imaginez que le robot commence à marcher vers une tasse rouge, mais que vous regardez soudainement une tasse bleue. Le robot s'arrête, réalise que vous avez changé d'avis, et passe à la tasse bleue.

Les résultats

L'article affirme que Gaze2Act était bien meilleur que les robots qui n'écoutent que le langage ou que les robots qui tentent de deviner à partir de descriptions textuelles.

Les robots basés uniquement sur le langage se perdaient facilement (environ 33 % de taux de réussite sur des tâches délicates).
Gaze2Act a eu raison presque à chaque fois (environ 89 % de taux de réussite).
Il était particulièrement bon pour changer d'avis lorsque le regard de l'utilisateur se déplaçait, quelque chose que les autres robots avaient du mal à faire.

En résumé

L'article conclut que le regard est un moyen naturel et peu exigeant de dire exactement à un robot ce que vous voulez. Cela élimine les suppositions. Vous n'avez pas besoin d'être un programmeur de robots ou de parler un code parfait ; vous avez juste besoin de regarder ce que vous voulez que le robot fasse, et le robot suivra votre regard.

Limitations mentionnées dans l'article :
Le système n'est pas encore parfait. Si vous bougez la tête trop vite, ou si quelque chose bloque votre vue (occlusion), le robot pourrait se perdre. De plus, le système suppose que vous regardez ce que vous avez l'intention de toucher, mais parfois les yeux des gens vagabondent ou regardent des choses qu'ils ne veulent pas réellement saisir.

Résumé Technique : Gaze2Act

Énoncé du Problème

Bien que les modèles Vision-Language-Action (VLA) aient fait progresser l'apprentissage robotique grâce aux instructions linguistiques, ils font face à un goulot d'étranglement fondamental dans la manipulation interactive : le langage seul est souvent insuffisant pour transmettre une intention humaine précise. Les utilisateurs éprouvent fréquemment des difficultés à décrire explicitement quel objet spécifique interagir parmi des candidats visuellement similaires, où exactement agir sur un objet (interaction fine), ou comment réviser dynamiquement les cibles pendant l'exécution. Les approches existantes qui traduisent le langage en représentations spatiales (par exemple, boîtes englobantes ou masques) héritent de l'ambiguïté intrinsèque du langage et manquent de la continuité temporelle requise pour des mises à jour d'intention en temps réel et dynamiques. La limitation centrale identifiée est l'absence d'un signal d'intention direct, continuellement mis à jour et spatialement précis, qui complète les instructions linguistiques statiques.

Méthodologie

Les auteurs proposent Gaze2Act, un cadre qui enrichit les politiques VLA avec le regard humain en tant que signal d'intention dynamique. Le système fonctionne sur un robot humanoïde Unitree G1 utilisant un socle GROOT N1.5 (comportant un VLM Eagle2 figé et une tête d'action basée sur un Transformateur de Diffusion). La méthodologie se déroule en trois étapes intégrées :

1. Ancrage du Regard Multi-vues

Pour combler le fossé entre la vue à la première personne (égocentrique) de l'humain et la perspective du robot, Gaze2Act emploie un mécanisme de correspondance sémantique sans marqueurs, sans entraînement et sans calibration :

Extraction de Caractéristiques : Il utilise DINOv3 (ViT-L/16) pour extraire des caractéristiques de patchs multi-couches à la fois de l'image égocentrique de l'humain et de l'observation du robot.
Correspondance Grossière : Suite à un déclenchement vocal, le système segmente un objet de référence dans la vue humaine en utilisant SAM3. Il correspond ensuite cette référence aux masques candidats générés dans la vue du robot en moyennant les caractéristiques de patchs et en sélectionnant le masque présentant la plus haute similarité cosinus.
Correspondance Fine : Pour localiser des points d'interaction spécifiques au sein de l'objet sélectionné, le système extrait un vecteur de caractéristiques de voisinage autour du point de regard dans la vue humaine et le correspond aux caractéristiques denses au sein du masque grossier dans la vue du robot.
Sortie : Ce processus produit une représentation spatiale unifiée composée d'un masque cible ( $m_t$ ) et d'un point de fixation ( $p_t$ ).

2. Prompting Visuel au Niveau de la Perception

Les indices ancrés ( $m_t, p_t$ ) sont rendus directement sur l'observation visuelle du robot pour fournir une guidance spatiale explicite :

Superposition de Contour : Un contour coloré est tracé le long de la limite du masque cible pour spécifier l'objet d'intérêt, permettant des instructions linguistiques indépendantes de la catégorie (par exemple, "prendre l'objet délimité").
Carte Thermique de Regard : Le point de fixation est converti en une carte thermique gaussienne isotrope 2D centrée en $p_t$ à l'intérieur de la région du masque. Cela fournit un signal doux et robuste pour les interactions au niveau des parties fines, remplaçant les entrées à point unique fragiles.

3. Conditionnement de l'Action par le Regard

Pour garantir que le signal de regard influence directement la prise de décision de la politique au-delà de la perception visuelle, le système injecte des informations de regard dans la tête d'action :

Construction du Token de Regard : Le masque et le point de fixation sont encodés dans un token spatial compact ( $c^{gaze}_t$ ). Cela implique une voie de position (encodage sinusoïdal) et une voie d'objet (utilisant un encodeur ViT DINOv3 figé sur la coupe cible).
Attention Croisée Découplée : Une nouvelle branche d'attention croisée est ajoutée en parallèle au chemin vision-langage existant au sein du Transformateur de Diffusion (DiT). Cette branche injecte le token de regard dans le processus de débruitage via des projections Key/Value séparées.
Injection Stabilisée : La projection de sortie de la branche de regard est initialisée à zéro. Cela garantit que la branche ajoutée agit comme une "opération nulle" initialement, préservant les connaissances a priori de la politique pré-entraînée tout en permettant à l'influence du regard d'être apprise progressivement à partir de l'objectif de manipulation.

Contributions Clés

Le Regard comme Interface d'Intention Continue : L'article propose le regard humain comme une modalité nouvelle, continue et dynamique pour les politiques VLA, permettant une spécification précise des cibles aux niveaux objet, partie et dans des scénarios dynamiquement évolutifs.
Cadre Gaze2Act : Un système complet qui ancre le regard à la première personne dans l'espace visuel du robot sans marqueurs ni calibration, intégrant ces indices via un prompting visuel au niveau de la perception et un conditionnement spatial au niveau de l'action.
Évaluation Complète dans le Monde Réel : Tests étendus sur un humanoïde Unitree G1 couvrant sept catégories de tâches et 16 tâches sur robot réel, démontrant des améliorations constantes par rapport aux références dans la désambiguïsation, la localisation et la direction dynamique.

Résultats Expérimentaux

Le cadre a été évalué sur 16 tâches impliquant des objets ambigus, des objets non vus, des objets transparents, des tâches compositionnelles, la préhension de sous-parties et la direction d'intention dynamique.

Désambiguïsation d'Objets : Dans des tâches avec des objets ambigus, non vus ou transparents, Gaze2Act a atteint une précision d'intention nettement supérieure (par exemple, 92–100 % sur les objets ambigus) par rapport aux références basées uniquement sur le langage (Vanilla GROOT : ~34 %) et aux références basées sur des masques (RoboGround/ControlVLA : ~60–80 %).
Interaction Fine : Pour la préhension de sous-parties (par exemple, manche de marteau vs tête) et les actions conditionnées par la partie, Gaze2Act a atteint une précision d'intention moyenne de 80,4 % et un succès de tâche de 72,4 %, alors que les références ne pouvaient pas fournir de conditions spécifiques à la partie.
Direction Dynamique de l'Intention : Dans des tâches à long horizon où la cible change en cours d'exécution, Gaze2Act a redirigé avec succès le robot dans 14 essais sur 30, surpassant les références (4–5/30) qui peinaient à mettre à jour la manipulation en cours malgré des mises à jour de masques.
Études d'Ablation : Les résultats ont confirmé que le prompting au niveau de la perception et le conditionnement au niveau de l'action sont complémentaires. Le prompting visuel seul a amélioré le succès au niveau des parties, tandis que le conditionnement au niveau de l'action a amélioré la liaison d'objets dans les tâches compositionnelles. L'initialisation à zéro de la branche de regard s'est révélée critique pour un ajustement fin stable.

Importance et Revendications

L'article revendique que Gaze2Act démontre que le regard humain fournit une modalité naturelle, peu contraignante et hautement expressive pour le contrôle VLA en boucle humaine. En exploitant la coordination "l'œil guide la main" inhérente au comportement humain, le cadre surmonte l'ambiguïté et la discontinuité temporelle des interfaces basées uniquement sur le langage. Les auteurs affirment que leur approche permet aux robots de se concentrer sur les régions pertinentes et d'exécuter des interactions précises sous une intention dynamique, comblant efficacement le fossé entre la description de tâche de haut niveau (langage) et l'exécution spatiale de bas niveau (regard). Ce travail souligne que le regard n'est pas simplement un signal d'observation mais une manifestation directe de l'intention motrice qui peut être intégrée de manière transparente dans les architectures VLA modernes pour améliorer les capacités de manipulation interactive.