Résumé Technique : HABIT – Jeu de données d'entraînement pour le comportement et l'interaction humains-conscients

1. Énoncé du problème

Les progrès récents dans la manipulation robotique polyvalente ont été portés par des jeux de données de démonstrations à grande échelle. Cependant, une lacune critique subsiste : les jeux de données existants sont principalement collectés dans des environnements absents de l'humain, où le robot est le seul agent. Par conséquent, les politiques entraînées sur ces données, bien que compétentes de manière isolée, ne parviennent pas à manifester les comportements conscients de l'humain nécessaires dans des environnements partagés (ex. : foyers, usines).

Plus précisément, les robots ne peuvent pas apprendre à :

• Céder le passage pour éviter les collisions lorsqu'un humain entre dans leur trajectoire.
• Se synchroniser temporellement et spatialement lors de la manipulation conjointe d'objets.
• Ancrer les gestes pour interpréter l'intention humaine sans instructions linguistiques explicites.

Ces comportements sont absents non pas parce qu'ils sont difficiles à apprendre, mais parce qu'ils ne peuvent être démontrés sans la présence d'un humain dans la scène. Cet article traite de la nécessité d'un jeu de données capturant explicitement la dynamique de l'interaction humain-robot (IHR).

2. Méthodologie : Le jeu de données HABIT

2.1 Conception des tâches et rôles

Le jeu de données organise 60 tâches distinctes en trois rôles d'interaction, définis par la dépendance entre l'humain et le robot :

1. Collaborateur : L'humain et le robot accomplissent conjointement un objectif commun par une interaction physique directe (ex. : passer des outils, tenir des objets ensemble). Cela nécessite une synchronisation spatio-temporelle étroite.
2. Collègue (Coworker) : L'humain et le robot poursuivent des tâches distinctes au sein d'un espace de travail partagé sans contact physique direct. Le défi principal est l'évitement de collision et la cession de passage.
3. Superviseur : L'humain dirige le robot via des indices explicites (ex. : gestes, pointage) tandis que le robot déduit l'intention par la seule vision.

2.2 Protocole de collecte de données

Pour garantir que les données capturent des comportements conscients de l'humain apprenables, les auteurs ont mis en œuvre des protocoles de collecte spécifiques :

• Interaction réactive : Les opérateurs (humain et robot) ont l'interdiction de pré-exécuter des sous-tâches basées sur la mémoire. Ils doivent agir uniquement après avoir observé directement le comportement de leur partenaire. Cela garantit que les indices déclenchant les actions du robot sont visibles dans les observations enregistrées.
• Élicitation de comportement :
  • Cession de passage axée sur la sécurité : Les opérateurs de robots ont reçu l'instruction de rétracter décisivement les bras si une collision est imminente, enregistrant la cession comme réponse par défaut.
  • Adaptation temporelle : Les vitesses de mouvement humain sont variées pour empêcher le robot d'apprendre une cadence fixe.
  • Ancrage des gestes : Les opérateurs humains échantillonnent des temps d'attente avant de pointer, forçant la politique à prêter attention au geste plutôt qu'à agir prématurément sur les instructions linguistiques.
• Diversification : Les conditions varient selon les épisodes (couleurs de vêtements, ordre des objets) et selon les opérateurs (différents types de corps) pour favoriser la généralisation hors distribution (OOD).

2.3 Matériel et configuration

• Robots : Deux bras Franka Research 3 avec des préhenseurs Robotiq, téléopérés via des contrôleurs Meta Quest 3.
• Capteurs : Cinq caméras RGB synchronisées :
  • Trois côté robot (vues de poignet et une vue égocentrée capturant l'humain et l'espace de travail).
  • Deux côté humain (vue égocentrée humaine et une vue exocentrée de l'ensemble de l'espace de travail).
• Échelle : Le jeu de données comprend 10 563 épisodes totalisant 164,19 heures de manipulation bimanuelle.

3. Cadre d'évaluation

Les auteurs évaluent les politiques à l'aide d'un sous-ensemble de 6 tâches représentatives (2 par rôle). Le succès est défini par trois critères binaires pour chaque sous-tâche du robot :

1. Manipulation : Exécution physique correcte et état de l'objet.
2. Conformité au flux de travail : Respect du flux de travail de la tâche, incluant l'ordre, la synchronisation et le suivi des indices.
3. Sécurité humaine : Aucune collision ou contact avec les objets tenus par l'humain.

La métrique principale est le taux de réussite sur des essais indépendants.

4. Résultats clés

4.1 Taux de réussite des tâches

Les auteurs ont affiné deux modèles de Vision-Langage-Action (VLA) en open-source, $\pi_0.5$ et GR00T N1.6, sur HABIT et les ont comparés à une base de référence "Robot-only" (collectée sans humain présent).

• Tâches de Collaborateur : Les bases de référence Robot-only ne sont pas applicables (N/A) car ces tâches nécessitent intrinsèquement un partenaire humain.
• Tâches de Collègue : Les modèles entraînés sur HABIT ont montré les gains les plus importants (ex. : $\pi_0.5$ est passé de 40 % à 95 % sur le tri des déchets). Cela souligne la nécessité d'apprendre la cession de passage réactive pour résoudre les conflits de trajectoire.
• Tâches de Superviseur : HABIT a apporté des gains significatifs sur des tâches complexes nécessitant l'ancrage de gestes (ex. : stockage de nourriture), où le langage seul était insuffisant pour lever l'ambiguïté des cibles. Sur des tâches plus simples (service de donuts), les performances étaient comparables au modèle Robot-only.

4.2 Comportements émergents conscients de l'humain

L'entraînement sur HABIT a suscité des comportements spécifiques absents des modèles Robot-only :

• Synchronisation spatio-temporelle : Dans les tâches de Collaborateur, les modèles ont appris à attendre les indices humains avant d'agir.
• Cession proactive : Dans les tâches de Collègue, les modèles ont réussi à éviter les collisions en se rétractant lorsque les humains approchaient.
• Ancrage des gestes : Dans les tâches de Superviseur, les modèles ont appris à interpréter les gestes de pointage pour identifier les cibles.

4.3 Analyse des échecs

L'étude a identifié des modes d'échec spécifiques au rôle dans les modèles Robot-only :

• Collaborateur : Violations de préconditions (agir avant que l'humain ne soit prêt).
• Collègue : Collisions dues à l'absence de cession de passage.
• Superviseur : Échec du suivi des gestes.
  Les modèles entraînés sur HABIT ont considérablement réduit ces taux d'échec spécifiques dans les deux architectures.

4.4 Adaptation efficace en termes d'échantillons

Les auteurs ont démontré que l'entraînement intermédiaire d'un VLA sur HABIT permet une adaptation rapide à de nouvelles tâches d'IHR.

• Lorsqu'ils sont affinés sur des tâches en aval avec des données limitées (50–200 démonstrations), les modèles pré-entraînés sur HABIT surpassent les modèles entraînés directement sur les données en aval.
• Par exemple, sur le tri des déchets, l'entraînement intermédiaire avec HABIT et 50 démonstrations a égalé la performance d'un affinement direct avec 200 démonstrations.

5. Signification et affirmations

L'article positionne HABIT comme une étape vers des modèles de fondation robotiques qui ne sont pas seulement capables, mais réellement sûrs et socialement compatibles dans des environnements habités par des humains.

• Nouvel axe de diversité : Les auteurs affirment que l'introduction de la "présence humaine" comme dimension de la diversité des données est critique. Ils soutiennent que les pipelines standards d'apprentissage robotique, qui reposent sur des données sans présence humaine, manquent du signal requis pour une coexistence sûre.
• Généralisation : Les résultats suggèrent que les comportements conscients de l'humain (cession de passage, synchronisation, ancrage de gestes) sont apprenables à partir de données et se transfèrent entre différentes architectures VLA.
• Modestie : Les auteurs reconnaissent les limites, notant que le jeu de données est collecté dans un environnement unique avec une configuration humain-robot un-à-un. Ils ne prétendent pas que HABIT résout tous les problèmes de multi-agents ou de dynamiques sociales complexes, mais affirment qu'il fournit une base nécessaire pour l'apprentissage des comportements de base de co-présence.

En conclusion, HABIT démontre que l'entraînement sur des données avec présence humaine produit des politiques qui sont non seulement plus performantes dans les espaces partagés, mais qui présentent également des comportements sociaux émergents qui ne peuvent être dérivés de démonstrations robot-only.