Reactive Motion Generation via Phase-varying Neural Potential Functions

1. Énoncé du problème

L'article aborde un compromis fondamental dans l'Apprentissage par Démonstration (LfD) pour la génération de mouvements robotiques : équilibrer la réactivité (capacité à se remettre des perturbations) avec la capacité de modélisation (capacité à gérer des trajectoires complexes avec des intersections ou des états répétés).

• Systèmes Dynamiques (DS) basés uniquement sur l'état : Les modèles DS du premier ordre génèrent des mouvements basés uniquement sur l'état actuel (position). Ils sont hautement réactifs mais échouent sur des tâches comportant des intersections (par exemple, dessiner un "8" ou faire un nœud) car la même position nécessite des vecteurs de vitesse différents à des moments différents.
• DS du second ordre/basés sur la vitesse : Ces modèles intègrent la vitesse pour lever les ambiguïtés de mouvement aux intersections. Cependant, ils sont sensibles aux perturbations ; si une perturbation altère le vecteur de vitesse près d'une intersection, le robot peut choisir le mauvais chemin. De plus, si deux segments de mouvement différents ont des paires position-vitesse presque identiques, le modèle devient ambigu.
• Méthodes dépendantes du temps/phase : Des approches comme les Primitives de Mouvement utilisent une variable de temps ou de phase en boucle ouverte pour gérer les intersections. Bien qu'expressives, elles manquent de réactivité car la progression est régie par un calendrier préétabli plutôt que par l'état actuel, rendant difficile une récupération fluide après une perturbation.

Le défi central : Comment créer une politique de contrôle qui soit invariante dans le temps (réactive à l'état), gère les révisites d'états (intersections) et reste robuste aux perturbations de vitesse.

---

2. Méthodologie : Fonctions Potentielles Neuronales à Phase Variable (PNPF)

Les auteurs proposent PNPF, un cadre qui conditionne une fonction potentielle neuronale sur une variable de phase en boucle fermée estimée directement à partir de la progression de l'état, plutôt que sur le temps en boucle ouverte.

A. Architecture de base

Le mouvement est généré en suivant le gradient négatif d'une fonction potentielle scalaire $\phi(x|s)$, où $x$ est l'état et $s$ est la variable de phase :
$$\dot{x} = -\alpha \nabla_x \phi(x|s)$$

La fonction potentielle est composée de deux termes d'énergie appris :

1. Énergie nominale ($\phi_{nominal}$) : Encode le comportement désiré de la tâche. Elle est dérivée d'une trajectoire nominale $x^*(t)$ et diminue de manière monotone à mesure que la tâche progresse. Elle sert de base pour estimer la variable de phase $s$.
2. Énergie de sécurité ($\phi_{safety}$) : Encode un ensemble de sécurité piloté par les données (la région de l'espace d'état visitée lors des démonstrations). Elle agit comme un champ répulsif/attractif qui guide le robot de retour vers la région démontrée s'il en est poussé hors par une perturbation, sans le forcer à suivre un chemin rigide.

B. Composants techniques clés

• Estimation de phase en boucle fermée : Au lieu d'utiliser le temps $t$, la phase $s$ est estimée dynamiquement à partir de l'état actuel. À mesure que le robot se déplace, $s$ est mise à jour en fonction de la "longueur d'arc" restante ou de l'énergie de la trajectoire nominale. Cela garantit que le système reste invariant dans le temps et réactif.
• Synthèse de trajectoire générative : Un réseau de neurones de type décodeur uniquement (utilisant un hyper-réseau pour attribuer des embeddings appris aux démonstrations) génère un ensemble dense de trajectoires.
  • La trajectoire nominale est sélectionnée comme celle minimisant la distance de Warping Temporel Dynamique (DTW) par rapport aux démonstrations.
  • L'ensemble de sécurité est défini à l'aide d'une Fonction de Distance Signée (SDF) apprise à partir de l'ensemble dense de trajectoires générées.
• Champs neuronaux avec encodage positionnel : Les fonctions d'énergie sont modélisées à l'aide de champs neuronaux (MLP). Pour garantir des gradients lisses (cruciaux pour un contrôle stable) et gérer les changements de courbure brusques, les auteurs utilisent une architecture spécifique :
  • La variable de phase $s$ est traitée via un encodage positionnel et injectée dans un hyper-réseau qui génère les poids du MLP principal.
  • L'état $x$ est injecté directement dans le MLP (sans encodage positionnel) pour exploiter le biais spectral des réseaux ReLU pour la lisibilité dans le domaine spatial.
• Gestion de la périodicité : Pour les tâches périodiques (par exemple, essuyage en forme de 8), l'entrée de phase est transformée en coordonnées sinus/cosinus pour gérer la nature cyclique du mouvement.
• Mouvement 6D : Les orientations sont gérées en mappant les quaternions sur des représentations axe-angle dans l'espace tangent, permettant au même cadre de fonction potentielle de contrôler à la fois la position et l'orientation.

C. Stabilité

Le système est prouvé asymptotiquement stable régionalement en utilisant une analyse de Lyapunov. La fonction potentielle agit comme un candidat de Lyapunov, garantissant que les trajectoires convergent vers l'ensemble cible (intersection de l'ensemble de sécurité et énergie nominale nulle) à condition que les démonstrations soient localement cohérentes.

---

3. Contributions clés

1. Cadre de mouvement réactif : Un nouveau cadre LfD qui combine la réactivité des DS basés sur l'état avec l'expressivité des primitives de mouvement, capable de gérer des tâches avec révisites d'états (intersections).
2. Variable de phase en boucle fermée : Une variable de phase estimée directement à partir de la progression de l'état, éliminant la dépendance au temps ou à la vitesse en boucle ouverte, résolvant ainsi les problèmes d'ambiguïté et de sensibilité des modèles du second ordre.
3. Ensemble de sécurité piloté par les données : Une méthode pour apprendre une frontière de sécurité lisse et non convexe à partir de démonstrations, garantissant que le robot reste dans des régions validées tout en permettant de la flexibilité.
4. Généralisation : La méthode prend en charge les tâches de mouvement point-à-point, périodiques et complètes en 6D (position + orientation).

---

4. Résultats expérimentaux

Les auteurs ont évalué PNPF sur des ensembles de données de simulation (LASA, LAIR, RoboTasks) et des expériences robotiques réelles (UR10).

• Benchmarks de simulation :

  • Ensembles de données : Comparé à CONDOR (DS du second ordre) et NODE (DS du premier ordre).
  • Performance : PNPF a obtenu les scores moyens les plus élevés sur toutes les métriques (Distance DTW, Distance Fréchet, Erreur de position finale).
  • Gestion des intersections : Sur l'ensemble de données CHAR (conçu avec des trajectoires intersectées précédées de segments similaires), PNPF a réduit la distance DTW de ~80 % par rapport à CONDOR. CONDOR a échoué à lever les ambiguïtés de direction, sautant ou répétant souvent des segments, tandis que PNPF a navigué avec succès dans les intersections.
  • Robustesse : Lors de tests de déploiement avec des perturbations aléatoires, PNPF a maintenu la stabilité dans >99,999 % des cas.

• Expériences réelles :

  • Tâches : Nœud de corde, versement de haricots et essuyage 3D en forme de 8.
  • Perturbations : Le robot a été soumis à :
    1. Obstacles : Évitement réussi de cubes statiques en utilisant des potentiels répulsifs.
    2. Déplacements spatiaux : Le cadre de la tâche a été déplacé en cours de tâche.
    3. Déplacement manuel : L'effecteur terminal a été poussé manuellement hors de sa trajectoire.
  • Résultat : Dans tous les cas, le robot s'est remis avec fluidité et a terminé la tâche sans sauter d'étapes. Par exemple, lorsque la corde a été dénouée par une poussée, le robot l'a correctement re-nœudée. Cela contraste avec les bases de référence (CONDOR, LPVDS) qui dérivent souvent ou répètent des segments après des réinitialisations de vitesse.

---

5. Signification et impact

• Résolution du problème d'intersection : PNPF fournit une solution robuste au "problème d'intersection" en LfD sans sacrifier la réactivité. Il permet aux robots d'apprendre des tâches complexes et non monotones (comme faire des nœuds ou tisser) à partir de quelques démonstrations.
• Sécurité et fiabilité : En apprenant explicitement un ensemble de sécurité à partir des données, la méthode garantit que le robot opère dans une région "sûre" de l'espace d'état, réduisant le risque de comportements dangereux dans des états non vus.
• Applicabilité en temps réel : La méthode s'exécute à 50 Hz sur du matériel réel, démontrant que des champs potentiels neuronaux complexes peuvent être utilisés pour un contrôle en ligne et réactif.
• Perspectives futures : Les auteurs notent une limitation où la méthode a tendance à "lisser excessivement" les coins pointus en raison de la nature de la formulation de l'énergie. Les travaux futurs visent à affiner la conception de l'énergie pour préserver les changements de direction nets et intégrer un retour visuel/force.

En résumé, PNPF représente une avancée significative dans l'apprentissage par imitation robotique, comblant le fossé entre un contrôle stable et réactif et la capacité d'apprendre des trajectoires complexes et intersectées à partir de démonstrations humaines.