Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

Énoncé du problème

Les politiques robotiques actuelles pour l'interaction humain-robot (HRI) reposent presque exclusivement sur des instructions linguistiques pour transmettre l'intention humaine. Bien que le langage soit flexible, il échoue souvent à capturer tout le spectre de la communication humaine. Dans les interactions naturelles, les humains s'appuient fréquemment sur des signaux non verbaux — tels que le regard, les gestes de pointage et les activités en cours — pour ancrer leurs requêtes verbales. S'appuyer uniquement sur le langage force les utilisateurs à fournir des descriptions entièrement spécifiées et verbeuses (par exemple, « Donne-moi le profil métallique avec la pointe hexagonale situé à gauche de la clé verte »), ce qui est cognitivement exigeant et imprécis. Inversement, les approches non verbales existantes peinent souvent à traiter les signaux transitoires ou faibles (par exemple, des regards brefs) lorsqu'elles sont traitées via des pipelines modulaires. Le défi central est de développer un cadre robotique capable d'interpréter conjointement des flux continus de signaux verbaux et non verbaux en temps réel pour inférer l'intention et exécuter des actions naturellement.

Méthodologie : Le cadre EDITH

Les auteurs présentent EDITH, un cadre robotique conçu pour intégrer des flux en direct de la vue en première personne d'un humain (contexte égocentrique), du regard et de la parole dans la politique de contrôle du robot. Le système comprend deux composants principaux : une configuration matérielle et une architecture de politique hiérarchique.

1. Système matériel
EDITH utilise des lunettes Project Aria portées par l'utilisateur humain. Ces lunettes transmettent :

• Contexte égocentrique ($C^{ego}_t$) : Images RGB en première personne.
• Coordonnées du regard : Données de suivi oculaire en temps réel projetées sur le cadre vidéo.
• Parole : Audio transcrit en instructions linguistiques ($\ell_t$) via une API.
  Ces signaux sont synchronisés avec l'état proprioceptif du robot et les observations de la caméra ($o_t$) via des horodatages, créant un flux multimodal aligné.

2. Architecture de politique hiérarchique
Pour gérer la richesse et le bruit des signaux humains, EDITH emploie une politique hiérarchique composée d'un planificateur de haut niveau ($\pi_h$) et d'un exécuteur de bas niveau ($\pi_l$), connectés par une file d'attente de tâches asynchrone ($Q$).

• Politique de haut niveau ($\pi_h$) : Implémentée à l'aide d'un modèle de langage-vision (VLM), plus précisément Gemini-3.1-Flash-Lite.

  • Entrée : Elle traite une fenêtre glissante du contexte égocentrique humain et des instructions linguistiques. L'entrée est rendue sous forme de clip vidéo où les marqueurs de regard sont superposés aux images et la parole est ajoutée sous forme de légendes alignées temporellement.
  • Fonction : $\pi_h$ infère l'intention humaine et la décompose en une séquence de sous-tâches.
  • Sortie : Chaque sous-tâche est une paire composée d'une instruction fine (par exemple, « Ramasse le tournevis avec le manche rouge ») et d'une image clé ($C^{key}$). L'image clé est une image spécifique extraite du flux d'entrée où le signal non verbal (par exemple, la fixation du regard ou le geste de pointage) est exprimé le plus clairement. Cela ancre l'intention visuellement, résolvant les ambiguïtés que le langage seul ne peut résoudre.
  • Mécanisme : Les sous-tâches sont ajoutées à une file d'attente de tâches $Q$. Si aucune intention n'est détectée, la file d'attente reste inchangée.

• Politique de bas niveau ($\pi_l$) : Implémentée par l'ajustement fin (fine-tuning) d'un modèle pré-entraîné de vision-langage-action (VLA) ($\pi0.5$).

  • Entrée : Elle reçoit l'observation actuelle du robot ($o_t$), l'instruction de la sous-tâche en tête de file et l'image clé associée.
  • Fonction : $\pi_l$ exécute la sous-tâche en prédisant les actions robotiques de bas niveau ($a_t$) et une probabilité d'achèvement ($p_t$).
  • Mécanisme : Une fois que $p_t$ dépasse un seuil, la sous-tâche est retirée de la file d'attente et la suivante est exécutée.

3. Stratégie d'entraînement

• Collecte de données : Les démonstrations sont collectées lors de sessions où un acteur humain (portant les lunettes Aria) interagit avec un téléopérateur de robot. Le téléopérateur répond aux requêtes basées sur les signaux multimodaux de l'humain. Les trajectoires sont segmentées en sous-tâches et annotées avec des instructions fines, des images clés et des probabilités d'achèvement.
• Dropout de modalité : Pour empêcher la politique de bas niveau de ne dépendre que d'une seule modalité (par exemple, ignorer l'image clé si le texte est suffisant), les auteurs utilisent une stratégie de dropout de modalité pendant l'entraînement. Avec une probabilité égale, ils : (i) conservent les deux modalités, (ii) remplacent l'instruction par une version sous-spécifiée (forçant la dépendance à l'image clé), ou (iii) remplacent l'image clé par une image vide (forçant la dépendance à l'instruction).

Résultats clés

Les auteurs ont évalué EDITH sur trois tâches d'HRI exigeantes : Muffin-Serving (Service de muffins), Tumbler-Sorting (Tri de gobelets) et Tool-Passing (Passage d'outils). Dans toutes les tâches, les instructions linguistiques étaient intentionnellement sous-spécifiées, nécessitant au robot d'interpréter les indices non verbaux.

• Performance : EDITH a atteint un taux de succès (SR) moyen de 59,7 % et une progression de tâche (TP) de 84,7 %.
• Comparaison avec les bases de référence (baselines) :
  • Les bases de référence basées uniquement sur le langage (end-to-end $\pi^{lang}_l$ et hiérarchique $\pi^{lang}_h + \pi^{lang}_l$) ont mal performé, avec des SR moyens inférieurs à 6,5 %.
  • Une politique end-to-end utilisant le contexte égocentrique sans le mécanisme d'image clé hiérarchique ($\pi^{ego+lang}_l$) a montré des performances incohérentes, échouant de manière significative dans les tâches où l'attention humaine était intermittente (par exemple, Tool-Passing).
• Études d'ablation :
  • La suppression de l'image clé a provoqué une chute d'environ 50 % du taux de succès, soulignant la nécessité de l'ancrage visuel pour éviter les hallucinations des VLM et les formulations ambiguës.
  • La suppression du contexte égocentrique (utilisation uniquement des images clés de la vue du robot) a entraîné une chute d'environ 34 % en raison des problèmes de parallaxe, où les gestes de pointage sont ambigus du point de vue du robot mais clairs du point de vue de l'humain.
• Robustesse : EDITH a maintenu ses performances même lorsque les humains étaient distraits (par exemple, en consultant un téléphone), alors que les bases de référence end-to-end se sont considérablement dégradées.
• Étude utilisateur : Une étude menée auprès de 16 participants a montré qu'EDITH réduisait considérablement la charge de travail d'instruction (demande mentale, effort, frustration) par rapport aux bases de référence uniquement linguistiques ($p < 0,001$). Les utilisateurs ont trouvé beaucoup plus facile de transmettre une intention via des énoncés brefs et des gestes que via des descriptions verbales détaillées.

Signification et affirmations

L'article affirme qu'EDITH démontre la promesse de tirer parti des signaux non verbaux aux côtés des instructions verbales pour permettre une interaction humain-robot naturelle. Les principales contributions sont :

1. Intégration des signaux égocentriques : Il capture et utilise avec succès la vue en première personne continue et le regard pour ancrer les actions du robot, allant au-delà des limites des interfaces textuelles seules.
2. Conception hiérarchique : La séparation de l'inférence d'intention (haut niveau) et de l'exécution d'action (bas niveau), couplée à l'utilisation d'images clés, gère efficacement les signaux non verbaux bruyants et transitoires que les pipelines modulaires ou les modèles end-to-end peinent à traiter.
3. Réduction de la charge de l'utilisateur : En permettant aux utilisateurs de s'appuyer sur des indices non verbaux naturels, le système réduit considérablement la charge cognitive requise pour communiquer avec les robots.

Les auteurs reconnaissent des limites, notamment la latence due au traitement par fenêtres et une généralisation réduite à des utilisateurs ayant des attributs physiques significativement différents (par exemple, la taille) de ceux présents dans les données d'entraînement, suggérant des travaux futurs dans la collecte de données diversifiées et les VLM de streaming en temps réel.