Learning Reactive Dexterous Grasping via Hierarchical Task-Space RL Planning and Joint-Space QP Control

Résumé technique : Apprentissage de la préhension dextre réactive par planification RL hiérarchique dans l'espace des tâches et contrôle QP dans l'espace articulaire

Énoncé du problème
La préhension dextre réactive avec des mains à degrés de liberté multiples (DoF) reste un défi majeur en raison des dynamiques hybrides, des modes de contact discontinus et des interactions de frottement complexes. Les pipelines séquentiels traditionnels (synthèse de préhension, planification de mouvement, suivi de trajectoire) peinent dans des environnements dynamiques et non structurés en raison de la surcharge computationnelle et d'une réactivité limitée. Bien que l'apprentissage par renforcement (RL) offre une alternative sans modèle, les approches monolithiques de bout en bout se heurtent à trois limitations critiques : (1) un entraînement coûteux en calcul qui s'adapte mal à la diversité des objets ; (2) un comportement imprévisible dépourvu de garanties formelles de sécurité ; et (3) une faible maniabilité, rendant difficile l'adaptation à de nouveaux obstacles ou contraintes de sécurité sans réentraînement. Les auteurs soutiennent que ces problèmes découlent de la charge d'apprentissage excessive imposée à une seule politique, la forçant à résoudre simultanément le raisonnement de haut niveau sur la tâche, la coordination cinématique de bas niveau et la satisfaction des contraintes de sécurité.

Méthodologie
L'article propose un cadre de contrôle hiérarchique hybride qui découple explicitement l'intention spatiale de haut niveau de l'exécution articulaire de bas niveau. L'architecture se compose de deux couches distinctes :

1. Planificateur RL multi-agents de haut niveau (Espace des tâches) :

   • Inspiré par le contrôle moteur humain, le planificateur est décomposé en deux agents spécialisés entraînés dans un cadre d'entraînement centralisé avec exécution décentralisée (CTDE) :
     • Agent bras ($\pi_{arm}$) : Responsable du transport global, il émet une torsion de paume désirée (vitesses linéaires et angulaires) dans le repère mondial.
     • Agent main ($\pi_{hand}$) : Responsable de la manipulation locale, il émet des vitesses linéaires désirées pour les bouts des doigts par rapport au repère de la paume.
   • Observations : Les agents utilisent des états proprioceptifs et des états d'objet représentés par une boîte englobante de volume minimum (MVBB), évitant ainsi le besoin de maillages 3D explicites ou de poses de préhension précalculées.
   • Récompenses : Le système utilise un indicateur de préhension partagé et des récompenses de soulèvement dans l'espace des tâches pour encourager la collaboration, accompagnées d'une régularisation pour la douceur des actions.

2. Contrôleur QP contraint de bas niveau dans l'espace articulaire :

   • Les commandes de vitesse dans l'espace des tâches de haut niveau sont traitées par un solveur de Programmation Quadratique (QP) parallélisé sur GPU.
   • Le QP mappe les vitesses dans l'espace des tâches vers des vitesses articulaires réalisables ($\dot{q}_{des}$) en minimisant l'erreur de suivi sous réserve de contraintes strictes :
     • Limites de position et de vitesse articulaires.
     • Évitement des collisions (robot-environnement et auto-collision).
     • Faisabilité cinématique.
   • La sortie du QP est convertie en commandes de couple via un contrôleur PD haute fréquence.
   • Crucialement, le solveur QP est intégré directement dans la boucle d'entraînement du RL, assurant ainsi que la politique apprend à opérer dans les contraintes physiques du contrôleur plutôt que d'apprendre à les éviter par façonnage de récompense.

Contributions clés

1. Architecture hiérarchique hybride : Un cadre combinant le RL avec un contrôleur explicite basé sur la physique, permettant un apprentissage efficace en données, un traitement explicite des contraintes et un comportement maniable.
2. Décomposition multi-agents : La démonstration que la séparation de la politique en agents de transport de paume (bras) et de manipulation des doigts (main) produit des performances supérieures et une convergence plus rapide que les politiques monolithiques, en particulier pour les mains à haut nombre de DoF.
3. Solveur QP parallélisé sur GPU : Le développement et la mise en open source d'un solveur QP parallélisé sur GPU intégré directement dans le pipeline d'entraînement du RL, applicable à diverses tâches de manipulation bras-main.
4. Transférabilité zéro-shot : Validation d'une préhension robuste sur des objets divers sans modèles d'objets explicites ni poses précalculées, réalisant un transfert simulation-réel réussi.

Résultats expérimentaux
Le cadre a été validé par des simulations extensives et des expériences matérielles réelles utilisant un bras à 7 DoF équipé d'une main anthropomorphe à 20 DoF (ROBOTIS HX5-D20) et d'une pince à 2 doigts à 8 DoF.

• Performance en simulation : L'approche multi-agents a atteint un taux de réussite de 81,4 % sur la main 5F, surpassant nettement les bases de référence de bout en bout (13,2 %) et les bases de référence hiérarchiques à agent unique (80,9 %). Elle a également démontré une précision de suivi de pose supérieure (erreur de position de 4,2 cm, erreur d'orientation de 15,9°) par rapport aux autres architectures.
• Transfert simulation-réel : La politique, entraînée exclusivement en simulation, a été déployée sur du matériel physique sans réglage fin. Elle a réussi à saisir et soulever 22 objets sur 26 non vus, y compris des éléments déformables.
• Robustesse réactive : Les expériences matérielles ont démontré la capacité du système à récupérer de perturbations physiques inattendues (par exemple, une bouteille en spray poussée loin pendant l'approche) et à ressaisir des objets déformables déplacés (un paresseux en peluche) en recalculant continuellement les trajectoires dans l'espace des tâches.
• Maniabilité : Le cadre prend en charge une maniabilité zéro-shot. Les opérateurs peuvent ajuster dynamiquement les marges de sécurité (par exemple, limites de vitesse articulaire) ou ajouter des champs de potentiel répulsifs pour l'évitement d'obstacles sans réentraîner la politique.

Portée et revendications
Les auteurs affirment que cette isolation structurelle de la prise de décision dans l'espace des tâches par rapport à l'exécution de bas niveau adresse les limitations fondamentales des approches RL pures. En laissant le QP basé sur la physique gérer les contraintes traitables (cinématique, sécurité), la politique RL est libérée pour se concentrer exclusivement sur le raisonnement stratégique de haut niveau. Cette conception :

• Accélère la convergence de l'entraînement en réduisant la charge d'apprentissage et en évitant les signaux de récompense conflictuels.
• Garantit la sécurité matérielle grâce à une application déterministe des contraintes plutôt qu'à un façonnage probabiliste de récompense.
• Débloque la maniabilité zéro-shot, permettant l'ajustement dynamique des marges de sécurité et des stratégies d'évitement d'obstacles après l'entraînement.
• Démontre une robustesse dans des environnements non structurés, capable de réagir aux perturbations physiques et de généraliser à des géométries d'objets non vues en utilisant uniquement des informations spatiales grossières (MVBB).

L'article conclut que cette approche hybride comble le fossé entre l'adaptabilité des méthodes basées sur l'apprentissage et les garanties de sécurité du contrôle basé sur le modèle, offrant une solution évolutive pour la manipulation dextre réactive.