LOPAL: Local Performance-Aware Active Learning from Imperfect Demonstrations

Résumé Technique : LOPAL – Apprentissage Actif Local Sensible à la Performance à partir de Démonstrations Imparfaites

Énoncé du Problème
L'apprentissage par démonstration (LfD - Learning from Demonstration) permet aux robots d'acquérir des compétences de manière intuitive grâce à des démonstrations humaines. Cependant, un défi fondamental persiste : les démonstrations humaines sont souvent sous-optimales et incohérentes. Même les démonstrations de haute qualité peuvent contenir des segments de faible performance dus à la fatigue, à la variabilité des compétences ou à la complexité de la tâche. Les méthodes traditionnelles de LfD traitent souvent les démonstrations comme des entités monolithiques, s'appuyant sur des évaluations de qualité globales ou des classifications binaires (succès/échec). Cette approche occulte les variations locales de qualité, ce qui peut amener les robots soit à reproduire des défauts présents dans des segments spécifiques, soit à ne pas parvenir à distinguer les sous-trajectoires supérieures des inférieures au sein d'un jeu de données. De plus, les méthodes d'apprentissage actif (AL - Active Learning) existantes reposent souvent sur des mesures d'incertitude qui ne ciblent pas explicitement les régions où des données de démonstration de haute qualité font défaut, ce qui peut entraîner une collecte de données inefficace et une charge inutile pour l'utilisateur.

Méthodologie
Les auteurs proposent LOPAL (LOcal Performance-aware Active Learning), un cadre conçu pour apprendre efficacement à partir de démonstrations imparfaites en exploitant explicitement les informations de performance locale. Le cadre se compose de deux composantes synergiques :

1. LfD Local Sensible à la Performance :

   • Encodage : Le système encode à la fois les trajectoires démontrées et leurs évaluations de qualité locales associées dans un modèle de mélange gaussien (GMM). La qualité locale est quantifiée par une métrique de performance lissée ($l \in [0,1]$), dérivée de pénalités binaires (ex: violations de contraintes) ou de scores continus (ex: lissage).
   • Génération de Trajectoire : En utilisant la régression de mélange gaussien (GMR), le système génère des trajectoires de référence conditionnées à la fois par la phase du mouvement et par une cible de haute performance. En fixant la cible de performance à deux écarts-types au-dessus de la moyenne, la trajectoire générée suit sélectivement les meilleures données locales disponibles dans l'ensemble de démonstration. Cela permet au robot de synthétiser un comportement qui surpasse n'importe quelle démonstration imparfaite individuelle en combinant des segments de haute qualité provenant de plusieurs sources.
   • Interpolation : Dans les régions où toutes les démonstrations présentent une faible qualité, le système utilise une interpolation linéaire entre les échantillons de haute qualité voisins pour estimer un comportement nominal, évitant ainsi la génération de mouvements pénalisés.

2. Acquisition de Données Active via l'Autonomie Partagée (SA) :

   • Exécution et Feedback : Le robot exécute la trajectoire de référence générée à l'aide d'un système dynamique autonome. Dans les régions identifiées comme ayant une faible performance locale, le robot ralentit proactivement sa vitesse d'exécution et fournit un retour visuel (ex: un indicateur LED).
   • Correction Humaine : Ce ralentissement signale à l'utilisateur que le robot rencontre des difficultés, l'incitant à fournir des corrections via l'enseignement kinesthésique (en appliquant des forces/moments au robot).
   • Modulation de la Conformité : Un mécanisme d'autonomie partagée ajuste dynamiquement la conformité du contrôle du robot en fonction de l'amplitude de la force humaine appliquée. Un filtre récursif assure des transitions fluides entre les modes autonomes et contrôlés par l'humain, permettant à l'utilisateur d'intervenir précisément là où le comportement appris du robot est sous-optimal. Les données corrigées sont ensuite ajoutées au jeu de données pour un apprentissage incrémental.

Contributions Clés
Le document présente deux contributions principales :

1. Une méthode de LfD locale sensible à la performance qui génère des trajectoires reproduisant les meilleurs comportements locaux démontrés, permettant au robot de surpasser la qualité des démonstrations imparfaites individuelles.
2. Une approche d'acquisition de données active qui combine la modulation de mouvement guidée par la performance autonome (ralentissement dans les zones de faible qualité) avec l'apport humain via un mécanisme d'autonomie partagée. Cette approche cible la collecte de données spécifiquement dans les régions où les démonstrations de haute qualité font défaut, visant à réduire l'effort de l'utilisateur.

Résultats Expérimentaux
L'efficacité de LOPAL a été validée par des expériences en simulation et en conditions réelles :

• Simulation (Tâche de Conduite de Voiture) : Dans un environnement de course automobile en 2D avec 15 démonstrations imparfaites, les variantes de LOPAL (LP-GMR et LP-GMR+I) ont considérablement réduit le pourcentage de pénalités locales par rapport au GMR de base et à d'autres méthodes comme le TLFSD (Trajectory Learning from Failed and Successful Demonstrations). Alors que le TLFSD échouait lorsqu'aucune démonstration parfaite n'existait, LOPAL a réussi à synthétiser des trajectoires sans pénalité en exploitant les indices locaux. La composante d'interpolation (LP-GMR+I) a encore amélioré l'efficacité lorsqu'un ou deux exemples seulement étaient disponibles.
• Monde Réel (Tâche d'Inspection de Tuyau) : Une expérience avec 8 participants utilisant un robot Franka Research 3 consistait à suivre un tuyau tout en maintenant le contact.
  • Performance : L'approche LOPAL proposée (LP-GMR+I) a permis d'obtenir jusqu'à 27,31 % d'amélioration de la performance de la tâche (pourcentage de chemin de tuyau suivi sans perte de contact) par rapport au GMR de base, selon le nombre de démonstrations.
  • Effort de l'Utilisateur : Les participants ont rapporté une charge de travail physique et mentale nettement inférieure avec LOPAL par rapport aux méthodes de base (Compensation de Gravité et SA avec GMR). L'analyse quantitative a montré une réduction de l'injection d'énergie par les utilisateurs. Le mécanisme de feedback actif (ralentissement et indices visuels) a aidé les utilisateurs à concentrer leurs corrections efficacement, réduant le besoin d'interventions fortes et importantes.

Signification et Revendications
Le document affirme que LOPAL fait progresser l'état de l'art du LfD et de l'apprentissage actif en tenant explicitement compte des variations de performance locales au sein des démonstrations. Contra contrairement aux méthodes reposant sur des évaluations de qualité globales, LOPAL peut identifier et intégrer des sous-trajectoires de haute qualité pour créer un comportement global supérieur. De plus, en guidant activement l'utilisateur pour qu'il corrige uniquement les régions spécifiques où le robot manque de données de haute qualité, le cadre réduit la charge globale de la collecte de démonstrations. Les résultats suggèrent que cette approche permet un apprentissage plus efficace à partir de données imparfaites, rendant l'acquisition de compétences robotiques plus robuste et moins exigeante pour les enseignants humains. Les auteurs notent que les travaux futurs pourraient explorer l'application de LOPAL à un éventail plus large de tâches avec différentes mesures de qualité ou étendre l'approche à des espaces d'états plus vastes, tels que la manipulation de bras doubles.