Résumé technique : Échantillonnage contraint combiné et apprentissage par renforcement pour la manipulation robotique

Problématique

L'entraînement de politiques de manipulation non préhensiles dans des environnements riches en contacts demeure un défi central en robotique. Bien que l'apprentissage par renforcement (RL) ait démontré sa force pour gérer les dynamiques riches en contacts en lissant implicitement les discontinuités sous-jacentes, il se heurte à de graves problèmes d'exploration. Les modes d'interaction pertinents nécessitent souvent d'atteindre des états de contact rares avant de recevoir des récompenses informatives.

Un goulot d'étranglement critique réside dans la conception des distributions de réinitialisation et d'objectifs ($p(s_0)$ et $p(g)$). Les stratégies existantes reposent souvent sur des heuristiques, une génération de scènes aléatoires ou des échantillonneurs spécifiques à une tâche (par exemple, liés à la préhension). Ces méthodes ne parviennent pas à fournir un mécanisme général pour spécifier les diverses configurations de contact nécessaires aux tâches non préhensiles, telles que l'équilibrage d'objets, où l'espace d'états est contraint par des dynamiques de contact complexes et des structures de complémentarité.

Méthodologie

Les auteurs proposent le CSRL (Combined Constrained Sampling and Reinforcement Learning), un cadre qui intègre un échantillonneur d'états informé par la physique avec un apprentissage par renforcement conditionné par l'objectif. L'approche se compose de trois composantes principales :

1. Échantillonneur d'états contraint

Contrairement aux simulateurs physiques standards qui échantillonnent la dynamique vers l'avant, cet échantillonneur génère des états de départ et d'objectif valides en résolvant un problème de contraintes non linéaires. Il modélise explicitement la structure du contact pour assurer une couverture diversifiée des modes de contact.

• Formulation : L'échantillonneur définit un espace de contraintes $S_c$ utilisant la dynamique du corps rigide, les contraintes de collision et les contraintes de force de contact (cônes de friction de Coulomb). Il suppose que les objectifs peuvent être maintenus en équilibre quasi-statique.
• Variables : Les variables de décision incluent les modes de contact discrets ($c_{ij} \in \{0, 1\}$) et les variables d'état continues ($s$), ainsi que les points d'attaque et les forces linéaires pour les contacts actifs.
• Stratégie d'échantillonnage : Une approche hiérarchique est utilisée. D'abord, une configuration de mode de contact est échantillonnée (par exemple, la sélection de 1, 2 ou 3 contacts de support). Ensuite, une méthode de Lagrange augmenté résout un problème d'optimisation proximal pour projeter un échantillon aléatoire sous contraintes de boîte $\bar{s}$ sur la variété réalisable $S_c$. Ce processus est répété jusqu'à ce qu'un ensemble de données $D$ d'états réalisables soit généré.

2. Stratégies de réinitialisation et de curriculum

Pour répondre au défi de l'exploration dans des espaces de haute dimension où les départs et les objectifs aléatoires sont probablement éloignés, le CSRL emploie deux stratégies supplémentaires :

• Interpolation projetée : Au lieu de se réinitialiser à des états aléatoires, le système échantillonne un départ $a$ et un objectif $g$ à partir de l'ensemble de données contraint $D$. Il calcule une interpolation convexe entre eux dans un espace d'états embarqué $\phi$, puis projette ce point interpolé sur la variété contrainte $S_c$ (en trouvant le plus proche voisin dans $D$). Cela garantit que les états intermédiaires restent physiquement valides.
• Apprentissage par curriculum : Une variable de phase $\alpha$ est programmée de proche de 0 à 1. Initialement, l'interpolation utilise $t \sim U[0, \alpha]$, réinitialisant l'agent plus près de l'objectif. Le temps de troncature de l'MDP est également mis à l'échelle avec $\alpha$, permettant à l'agent de collecter des trajectoires courtes près de l'objectif avant de s'attaquer à des trajectoires plus longues et plus complexes.

3. Intégration avec le RL

L'échantillonneur contraint fournit la distribution $p_0$ pour un MDP conditionné par l'objectif. L'agent de RL (utilisant TD7 par défaut, avec des évaluations de variantes TD3 et HER) apprend une politique universelle $\pi: s, g \mapsto a$ pour connecter n'importe quel état de départ à n'importe quel état d'objectif au sein de la distribution.

Principales contributions

1. Nouvel échantillonneur d'états contraint : Une méthode pour générer des distributions de réinitialisation et d'objectif pour la manipulation riche en contacts qui tient explicitement compte de la structure de contact, fournissant une couverture riche de divers modes de contact sans s'engager dans des primitives d'interaction spécifiques.
2. Interpolation projetée et curriculum : Une stratégie pour combler l'écart entre les états échantillonnés en utilisant une interpolation projetée par contrainte et un curriculum qui augmente progressivement la difficulté de la tâche, atténuant ainsi les problèmes de récompense parcelleuse.
3. Validation expérimentale : Démonstration que cette approche surpasse le RL standard avec des réinitialisations aléatoires et d'autres méthodes de réinitialisation sur quatre domaines de difficulté croissante.

Résultats expérimentaux

Les auteurs ont évalué le CSRL sur quatre domaines :

1. Double-sphère : Un test de base pour la manipulation universelle entre des états quasi-statiques.
2. Panda-sphère : Teste des compétences de contact corps entier utilisant un bras Panda.
3. Sphère-cube : Teste le contrôle de la rotation et de l'orientation, incluant l'équilibrage sur des arêtes/coins.
4. Panda-cube : Teste le contrôle d'un cube avec des contacts de l'effecteur terminal et des doigts.

Résultats clés :

• Supériorité de l'échantillonnage contraint : Sur les domaines double-sphère et panda-sphère, l'utilisation de l'échantillonnage contraint pour les départs et les objectifs a nettement surpassé l'échantillonnage aléatoire. L'échantillonnage aléatoire a particulièrement mal performé sur la tâche panda-sphère, échouant à générer des états de maintien statiques valides.
• Impact de l'interpolation et du curriculum : L'ajout de l'interpolation projetée et de l'apprentissage par curriculum a encore amélioré les taux de succès et la vitesse de convergence dans tous les domaines et pour tous les algorithmes de RL (y compris les variantes HER).
• Comparaison avec le curriculum inverse : La stratégie d'interpolation proposée a surpassé la génération de curriculum inverse (qui simule à rebours à partir des objectifs), notamment en termes d'efficacité computationnelle et de taux de succès.
• Transfert au monde réel : Une politique sphère-cube entraînée en simulation a été transférée avec succès sur une installation réelle utilisant une balle fixée à l'effecteur terminal et un suivi OptiTrack, démontant le potentiel de transfert sim-to-real de compétences fondamentales de manipulation.

Signification et affirmations

L'article affirme qu'en complétant l'échantillonnage de la dynamique physique par un échantillonneur d'états contraint informé par la physique, il est possible d'entraîner des politiques de manipulation universelles, non préhensiles et dynamiques dans des contextes riches en contacts. L'approche traite efficacement le goulot d'étranglement de l'exploration en RL en garantissant que l'agent est exposé dès le départ à diverses configurations de contact physiquement valides.

Les auteurs positionnent ce travail comme une étape vers une manipulation non préhensile généraliste. Ils notent que bien que l'approche actuelle cible l'« entraînement privilégié » (où la politique a un accès complet à l'état), elle pose les bases de futurs paradigmes enseignant-élève. Le papier reconnaît les limites concernant les coûts de calcul pour les objets complexes dus à l'utilisation d'un solveur NLP sur un seul CPU, ainsi que les défis du transfert basé sur les capteurs, suggérant des travaux futurs en parallélisation et dans des solveurs dédiés.