Ergodic Imitation for Adaptive Exploration around Demonstrations

Résumé technique : Imitation ergodique pour une exploration adaptative autour des démonstrations

Énoncé du problème
En robotique, l'apprentissage par imitation (IL) fait face à un défi critique : le décalage entre les conditions d'entraînement et les environnements de déploiement, causé par des changements environnementaux, des observations imparfaites ou des erreurs de contrôle. Lorsqu'un robot tente de suivre une trajectoire nominale dans de tels contextes de décalage, il reste souvent bloqué et échoue à accomplir la tâche. Bien que des modèles génératifs profonds aient été utilisés pour l'IL, ils surajustent fréquemment aux données de démonstration, mémorisant des séquences d'actions spécifiques plutôt que d'apprendre des politiques généralisables. Par conséquent, les approches actuelles restent fragiles face à des décalages de distribution minimes. De plus, les méthodes d'exploration adaptative existantes sont largement limitées à des transitions discrètes, manquant des capacités d'exploration continues requises pour des ajustements subtils dans l'espace des états, comme dans les tâches d'assemblage robotique. Le problème central est le besoin d'une stratégie en ligne qui reste ancrée dans les démonstrations mais qui peut passer de manière adaptative du suivi rigide à l'exploration lorsque l'environnement diverge de la distribution d'entraînement.

Méthodologie
Les auteurs proposent une approche d'Imitation Ergodique Adaptative qui unifie le suivi et l'exploration au sein d'un seul contrôleur. La méthode opère sur un ensemble de données de trajectoires d'états d'experts, omettant les étiquettes d'actions explicites pour se concentrer sur la couverture de l'espace des états.

1. Récupération de phase et estimation du progrès :
   À chaque intervalle de re-planification, le système interroge l'ensemble de données d'experts pour trouver le contexte le plus pertinent basé sur l'état actuel du robot. Il définit une « erreur de phase » $e(t)$ en comparant l'état actuel au point le plus proche de la trajectoire de l'expert. Une horloge de référence virtuelle $\tau(t)$ est utilisée pour suivre le progrès :

   • Mode de suivi : Si l'erreur de phase est inférieure à un seuil ($\epsilon$), l'horloge avance et le système suit la démonstration.
   • Mode d'exploration : Si l'erreur dépasse le seuil (indiquant une stagnation), l'horloge se fige et un compteur de stagnation s'incrémente. Ce signal déclenche un basculement vers l'exploration.

2. Génération de distribution guidée par la géométrie :
   La méthode génère une distribution cible de particules $\{q_j\}$ en utilisant une équation différentielle stochastique (EDS) qui mélange trois composantes basées sur une variable de progrès de type température $\theta$ :

   • Attraction nominale : Un terme de dérive attirant les particules vers le point le plus proche de la trajectoire de référence.
   • Score de noyau thermique : Un terme basé sur le score biaisant les particules vers les régions de forte densité de référence.
   • Diffusion anisotrope : Un terme de diffusion conçu pour être plus grand dans les directions normales à la trajectoire que le long de sa tangente. Cela encourage l'exploration perpendiculaire au chemin tout en maintenant la cohérence le long de celui-ci.

   À mesure que l'erreur de phase et le compteur de stagnation augmentent, l'enveloppe de diffusion s'élargit, permettant au robot d'explorer un voisinage plus vaste de la trajectoire de référence.

3. Contrôle ergodique conscient de la couverture avec MMD :
   Le système emploie un contrôleur à horizon glissant utilisant la métrique de divergence maximale moyenne (MMD) pour minimiser la différence entre la visite d'états moyennée dans le temps du robot et la distribution cible générée. En incluant les dix dernières trajectoires dans l'objectif MMD, le contrôleur s'assure que les nouveaux plans complètent les régions précédemment couvertes plutôt que de les retracer. Ce cadre s'étend naturellement à $SE(3)$ et autres espaces courbes en utilisant des noyaux conscients de la géométrie.

Contributions clés
L'article expose quatre contributions principales :

• Une méthode unifiée permettant un spectre continu de comportements, allant de l'imitation rigide à l'exploration adaptative, régi par l'imitation ergodique adaptative.
• Un mécanisme d'estimation du progrès de la tâche via la démonstration pour modifier adaptativement les distributions cibles.
• L'utilisation d'une diffusion anisotrope guidée par la géométrie pour synthétiser des distributions cibles induisant à la fois le suivi et l'exploration.
• L'intégration de la métrique ergodique MMD au sein d'un cadre d'apprentissage par imitation basé sur la récupération.

Résultats
La méthode a été évaluée dans un environnement de navigation 2D présentant des gaps verticaux étroits et une région d'objectif encombrée.

• Configuration expérimentale : Des démonstrations réussies ont été collectées dans une disposition nominale. Lors des tests, les emplacements des gaps ont été décalés pour induire un décalage de déploiement.
• Performance : Lorsque l'agent était bloqué par un mur (un scénario de décalage), il détectait le décalage de progression de la tâche via l'erreur de phase accumulée. Cela a déclenché l'élargissement de la distribution cible via une diffusion anisotrope, permettant au contrôleur ergodique d'explorer et de contourner l'obstacle.
• Analyse quantitative : Dans des tests impliquant 50 décalages d'emplacement de portes échantillonnés à partir d'une distribution gaussienne autour de la disposition nominale, la méthode proposée a constamment trouvé des solutions. En revanche, les auteurs notent que les méthodes basées sur la récupération ou basées sur la génération atteindraient probablement un taux de réussite de 0 % dans ces scénarios hors distribution en raison de leur incapacité à gérer les positions de gaps décalées.

Signification et affirmations
L'article positionne le contrôle ergodique non pas simplement comme un outil pour la couverture de zone ou la recherche, mais comme un mécanisme principiel pour l'exécution adaptative dans l'apprentissage par imitation. La signification réside dans le changement de paradigme passant d'une simple répétition de trajectoire à une adaptation situationnelle. En traitant le suivi comme un cas particulier de l'exploration, la méthode permet aux robots de reproduire les caractéristiques temporelles d'une démonstration lorsque l'environnement le permet, tout en passant de manière autonome à l'exploration ergodique lorsque le robot reste « bloqué ». Cette approche adresse la fragilité des méthodes d'IL actuelles en fournissant un spectre comportemental continu qui reste ancré dans les démonstrations tout en étant capable de gérer la divergence environnementale.