Longitudinal Robot Learning from Demonstration with Care Providers in a Home Environment

Résumé Technique : Apprentissage Longitudinal de Robots par Démonstration avec des Prestataires de Soins dans un Environnement Domestique

Énoncé du Problème
L'apprentissage par démonstration (LfD - Learning from Demonstration) permet à des utilisateurs non experts d'enseigner de nouvelles compétences aux robots sans programmation explicite. Cependant, les évaluations d'utilisabilité actuelles du LfD avec des non-experts sont principalement menées dans des laboratoires contrôlés en présence d'un expérimentateur en robotique. Cela crée une lacune dans la compréhension des barrières auxquelles les utilisateurs finaux non experts sont confrontés lorsqu'ils enseignent des robots dans des environnements domestiques non structurés et dynamiques, sans retour d'expert en direct. De plus, bien que des travaux antérieurs suggèrent que les démonstrateurs s'améliorent au fil de plusieurs sessions, il existe un manque de données longitudinales concernant la manière dont les non-experts, spécifiquement les prestataires de soins, s'adaptent à l'enseignement de tâches d'assistance au fil du temps dans des contextes domestiques réalistes.

Méthodologie
Les auteurs proposent une expérience impliquant des sujets humains menée sur trois visites dans la "Georgia Tech Aware Home", un environnement domestique authentique. L'étude cible une population de prestataires de soins (tant formels, tels que des infirmiers et des thérapeutes, qu'informels, tels que des membres de la famille) n'ayant aucune expérience préalable en robotique ou en informatique.

• Architecture du Système :

  • Perception : Le système traite des flux RGB-D provenant d'une caméra Intel RealSense en utilisant YOLOE pour la détection et la segmentation d'objets. Les mesures de profondeur sont rétro-projetées en nuages de points 3D, et les poses des objets sont estimées via le recalage ICP (Iterative Closest Point) par rapport à des formes prédéfinies.
  • Algorithme d'Apprentissage : Le robot utilise des primitives de mouvement probabilistes cartésiennes (ProMPs) sur l'effecteur terminal et les poses d'objets suivis. Les ProMPs ont été choisies pour leur capacité à apprendre à partir de démonstrations limitées, leurs temps d'entraînement rapides et leur robustesse aux changements de pose des objets par rapport au clonage de comportement (Behavior Cloning) ou aux modèles d'action langage-vision.
  • Interface : Une interface interactive permet aux participants de décomposer les tâches en compétences de bas niveau, de les démontrer et de créer des "recettes" de compétences.

• Conditions Expérimentales :
  L'étude utilise un plan de conception entre-sujets avec deux conditions :

  1. Condition PT+AF : Les participants reçoivent une Pré-formation (PT) lors de la Visite 1, où ils tentent la décomposition de tâches et visionnent des vidéos de décompositions optimales et de démonstrations d'experts. Ils reçoivent ensuite un Retour Adaptatif (AF) lors des Visites 2 et 3.
  2. Condition AF : Les participants sautent la Visite 1 et ne reçoivent que le retour AF lors des Visites 2 et 3.

• Mécanismes de Retour (AF) :

  • Retour par Modèle de Fondation (FM) : Fournit des conseils sur la généralisabilité de la décomposition des tâches. Un module de clarification itératif aide les novices à définir des domaines et des tâches avec suffisamment de détails.
  • Relecture sur Robot Réel (RRR) : Le robot exécute la politique apprise dans l'environnement physique pour l'observation de l'utilisateur.
  • Retour par Réalité Augmentée (AR) : Le robot exécute la politique en RA, permettant aux utilisateurs de visualiser la performance et la généralisabilité sans risque physique ni interactions chronophages.

• Procédure :

  • Visite 1 : Les participants de la condition PT enseignent des tâches dans des domaines prédéfinis (ex: empilement de Tupperware).
  • Visite 2 : Les participants enseignent des tâches additionnelles dans de nouveaux domaines avec les trois types de AF disponibles.
  • Visite 3 : Les participants définissent des domaines et des tâches personnalisés avec le AF disponible.
  • Métriques : L'étude évalue le pourcentage de complétion des tâches, l'alignement entre la performance prédite et réelle, ainsi que les métriques d'expérience utilisateur (utilisabilité, acceptation, confiance apprise et charge de travail). L'analyse statistique utilisera des régressions linéaires multiples avec effets mixtes.

Contributions Clés

1. Conception Expérimentale : L'article propose une expérience impliquant des sujets humains conçue pour caractériser les défis et les opportunités du déploiement de systèmes LfD avec des utilisateurs finaux non experts dans un environnement domestique, en utilisant spécifiquement la pré-formation et le retour adaptatif.
2. Publication de Jeu de Données : Les auteurs proposent de diffuser en open-source un jeu de données multi-visites comprenant des prestataires de soins enseignant des tâches d'assistance à un robot. Ce jeu de données inclut des descriptions en langage naturel, des nuages de points, des trajectoires d'effecteurs terminaux/articulaires, de l'audio et des séquences vidéo (égocentrées et exocentrées). Il vise à compléter les jeux de données existants comme MIME et RoboPro avec des tâches d'assistance réalistes et multi-visites.

Résultats et Retombées
Comme ce document expose un projet d'étude et un cadre de collecte de données, il ne rapporte pas de résultats statistiques finaux ou de métriques de performance spécifiques de l'expérience terminée. À la place, la section "Retombées" détaille les livrables prévus :

• La publication du jeu de données longitudinal pour permettre un étalonnage standardisé des algorithmes d'apprentissage de robot interactifs.
• Le rapport des conclusions sur les facteurs humains liées aux trois questions de recherche (différences de performance des tâches, alignement de la prédiction et expérience utilisateur).
• La proposition de directives de conception pour les chercheurs et praticiens déployant des systèmes LfD dans des environnements domestiques pour des tâches d'assistance, spécifiquement adaptées aux prestataires de soins et à la collecte de données multi-visites.

Signification
L'article revendique sa pertinence en abordant la "validité écologique" de la recherche en LfD. En passant des laboratoires à un environnement domestique réaliste et en se concentrant sur une étude longitudinale avec des prestataires de soins, ce travail cherche à identifier les barrières spécifiques auxquelles les non-experts sont confrontés lorsqu'ils enseignent des robots sans retour d'expert en direct. Le jeu de données et les directives de conception qui en résultent visent à faciliter le développement de la robotique d'assistance plus robuste, personnalisée et conviviale, capable de s'adapter à des environnements humains non structurés.