Résumé technique : Évaluation comparative des espaces d'action en apprentissage par renforcement pour la manipulation robotique basée sur la vision

Problématique

L'apprentissage par renforcement (RL) est apparu comme un cadre puissant pour le contrôle robotique, pourtant son application pratique dans la manipulation réelle se heurte à des obstacles importants concernant la sécurité, la fluidité du mouvement et la performance de transfert sim-to-real (de la simulation vers le réel). Un choix de conception critique, mais sous-exploré, dans les formulations de RL est l'espace d'action. Bien que des études antérieures aient examiné les représentations d'espaces d'action (par exemple, position articulaire, couple, vitesse), elles se sont largement appuyées sur des observations basées sur l'état au sein d'environnements uniquement simulés. Cela laisse une lacune dans la compréhension de la manière dont la conception de l'espace d'action impacte la dynamique d'apprentissage et la performance de transfert lorsque des observations basées sur la vision (qui introduisent une observabilité partielle et du bruit perceptuel) sont utilisées, particulièrement dans des tâches riches en contacts comme la saisie et la poussée.

Méthodologie

Les auteurs ont mené une étude comparative exhaustive comparant quatre représentations d'espaces d'action courantes à travers deux tâches de manipulation basées sur la vision sur un bras robotique Franka Emika Panda :

1. PandaPickCuboid : Une tâche préhensile exigeant que le robot atteigne, saisisse et soulève un cuboïde rouge jusqu'à une hauteur cible.
2. PandaPushCuboid : Une tâche non préhensile exigeant que le robot pousse un cuboïde sur une surface.

Espaces d'action évalués

L'étude a comparé les représentations suivantes :

• Incrément de pose ($\delta x$) : Incréments de position et d'orientation cartésiennes.
• Vélocité de pose ($\dot{x}$) : Commandes de vitesse cartésienne.
• Incrément de position articulaire ($\delta q$) : Incréments des angles articulaires.
• Vélocité articulaire ($v$) : Vitesses articulaires cibles.

Architecture du système

• Algorithme : Les politiques ont été entraînées à l'aide de l'Optimisation de Politique Proximale (PPO), choisie pour sa compatibilité avec les entrées visuelles de haute dimension et sa performance démontrée dans le transfert sim-to-real.
• Simulation : L'entraînement s'est déroulé dans MuJoCo, utilisant la randomisation de domaine (perturbations visuelles et dynamiques) pour combler l'écart sim-to-real.
• Déploiement en conditions réelles : Les politiques ont été déployées via l'interface Franka ROS. Le système a utilisé des interfaces d'action spécifiques :
  • Les actions basées sur la position ($\delta x, \delta q$) ont été mappées vers des cibles articulaires via la cinématique inverse (IK) et exécutées à l'aide d'un contrôleur d'impédance articulaire.
  • Les actions basées sur la vélocité ($\dot{x}, v$) ont été mappées directement vers les vitesses articulaires cibles.
• Observations : L'agent recevait une image RGB (64x64), des données proprioceptives (positions/vitesses articulaires, état de la préhension), la hauteur de l'effecteur terminal et l'action précédente.

Résultats clés

1. Écart entre simulation et monde réel

En simulation, tous les espaces d'action ont atteint des taux de réussite comparables et élevés (0,98–1,00) pour la tâche de saisie. Cependant, cette performance ne s'est pas traduite linéairement dans le monde réel. Le choix de l'espace d'action a considérablement modifié la robustesse du transfert sim-to-real.

2. Performance sur PandaPickCuboid (Saisie)

• Vélocité articulaire ($v$) : A atteint un taux de réussite de 100 % avec un temps de complétion médian de 3,58s. Elle a présenté le jerk (accélération brusque) le plus faible mesuré et a systématiquement évité les collisions.
• Incrément de position articulaire ($\delta q$) : A également atteint un taux de réussite de 100 % avec le temps médian le plus rapide (2,12s). Cependant, un déploiement stable nécessitait un réglage minutieux des gains d'impédance pour éviter les vibrations.
• Incrément de pose ($\delta x$) : A mal performé (41,67 % de réussite). La politique traînait fréquemment l'objet vers la base du robot avant de le soulever, un comportement non observé en simulation.
• Vélocité de pose ($\dot{x}$) : A échoué complètement (0 % de réussite), dérivant souvent vers des configurations instables ou sortant de l'espace de travail.

3. Performance sur PandaPushCuboid (Poussée)

• Vélocité articulaire ($v$) : A atteint le plus grand déplacement médian (0,405 m) mais a présenté des collisions plus violentes avec les bords de l'objet.
• Incrément de position articulaire ($\delta q$) : A atteint le deuxième déplacement le plus élevé (0,104 m) mais a démontré un comportement plus compliant avec moins d'événements de contact violents grâce au contrôleur d'impédance réglé.
• Actions cartésiennes ($\delta x, \dot{x}$) : Ont mal performé en termes de déplacement.

4. Analyse du Jerk et de la Sécurité

L'étude a analysé le jerk (taux de variation de l'accélération) comme un indicateur de la fluidité du mouvement et de la variation du couple.

• La vélocité articulaire a systématiquement produit le jerk le plus faible dans les essais en simulation et dans le monde réel.
• Explication : Les auteurs avancent que le contrôle basé sur la position (utilisant des gains proportionnels $K_p$ élevés) amplifie les fluctuations de haute fréquence de la sortie de la politique, entraînant de grandes variations de couple et un jerk élevé. En revanche, le contrôle de la vélocité agit comme un filtre passe-bas ; l'intégration des commandes de vélocité pour générer une position lisse naturellement les bruits de haute fréquence, résultant en des trajectoires plus fluides.
• Sensibilité de l'IK : Les espaces d'action cartésiens dépendent de la cinématique inverse (IK). Les écarts entre les paramètres des segments de la simulation et de la réalité se propagent à travers le mappage IK, générant des cibles articulaires inexactes que les actionneurs réels peinent à suivre, particulièrement près des singularités.

Contributions clés et importance

Cet article fournit des conseils pratiques aux praticiens du RL en démontrant que la représentation de l'espace d'action est un facteur critique du transfert sim-to-real, particulièrement pour les tâches basées sur la vision.

• Supériorité de la vélocité articulaire : Les auteurs concluent que la vélocité articulaire offre le meilleur équilibre entre robustesse, fluidité et performance de la tâche pour la saisie et la poussée basées sur la vision. Elle a obtenu les taux de réussite les plus élevés et les mouvements les plus fluides sans nécessiter le réglage complexe de l'impédance requis par les méthodes basées sur la position.
• Limites des espaces cartésiens : L'étude souligne que les espaces d'action cartésiens (incrément de pose/vélocité) sont très sensibles aux écarts sim-to-real, notamment concernant les erreurs de mappage IK et les capacités de suivi des actionneurs.
• Sécurité et Compliance : Bien que la vélocité articulaire ait fourni le mouvement le plus fluide, les auteurs notent que les actions basées sur la position (via une impédance réglée) offraient un comportement plus compliant lors du contact, réduisant la sévérité des collisions.

Le travail souligne que si la performance en simulation est une base nécessaire, elle est insuffisante pour prédire le succès dans le monde réel. Le choix de l'espace d'action façonne fondamentalement la dynamique d'apprentissage et la sécurité physique de la politique déployée.