Résumé Technique : Apprentissage par Renforcement Guidé par l'Objectif Informé par la Physique sous Dynamiques de Contact Hybrides

Énoncé du Problème

L'apprentissage par renforcement guidé par l'objectif (Goal-Conditioned Reinforcement Learning ou GCRL) vise à apprendre des politiques capables de se généraliser à travers des objectifs arbitraires en utilisant un feedback parcimonieux. Bien que le GCRL informé par la physique (Pi-GCRL) ait appliqué avec succès des biais inductifs inspirés du contrôle optimal (spécifiquement les contraintes d'équations aux dérivées partielles) à la navigation et à l'atteinte d'objectifs sans contact, son application à la manipulation robotique riche en contacts reste problématique.

Dans les environnements riches en contacts, la dynamique du système est hybride, alternant entre mouvement en espace libre, interaction médiée par le contact et transport d'objets. Ces transitions induisent une contrôlabilité dépendante du mode : certaines coordonnées de l'état (par exemple, la position de l'objet) peuvent être localement incontrôlables dans certains modes de contact (par exemple, lorsqu'il n'y a pas de saisie). Les auteurs soutiennent que les méthodes de Pi-GCRL existantes, qui appliquent généralement une régularisation de l'Éikonal sur l'état complet, échouent dans ces contextes car les hypothèses sous-jacentes de l'équation de l'Éikonal (dynamiques isotropes et entièrement contrôlables) sont violées. Ce désalignement provoque une distorsion de la fonction de valeur, pénalisant des variations valides le long de coordonnées incontrôlables et dégradant la performance de la politique.

Méthodologie

Le papier propose une analyse rigoureuse de ce mode de défaillance et introduit deux formulations complémentaires pour y remédier : la Régularisation Sensible au Contact et la Décomposition Hiérarchique.

1. Analyse Théorique : Désalignement de l'Éikonal

Les auteurs formalisent l'échec de la régularisation de l'Éikonal sur l'état complet dans les systèmes hybrides. Ils modélisent la manipulation comme un système hybride où l'état $s = (x, z)$ se compose de coordonnées contrôlables $x$ et de coordonnées localement incontrôlables $z$ (par exemple, la pose de l'objet lorsqu'il n'est pas saisi).

• La Proposition 4.1 démontre que si le coût optimal pour atteindre l'objectif $d^*$ dépend de coordonnées localement incontrôlables ($\nabla_z d^* \neq 0$), la contrainte de l'Éikonal sur l'état complet ($\|\nabla_s d^*\| = 1$) contredit la caractérisation locale de Hamilton-Jacobi-Bellman (HJB).
• La contrainte de l'Éikonal alloue incorrectement le budget de gradient vers des directions où aucun mouvement instantané n'est possible, alors que l'équation HJB contraint correctement les gradients uniquement le long des directions réalisables.

2. Apprentissage de la Valeur Informé par la Physique et Sensible au Contact

Pour résoudre ce désalignement, les auteurs proposent de remplacer la contrainte de norme de gradient sur l'état complet par une contrainte directionnelle alignée sur les transitions observables réalisables.

• Au lieu de pénaliser la norme complète du gradient, la méthode approxime la direction de la dynamique en temps continu en utilisant le vecteur de transition empirique $(s' - s)$.
• Cela produit un résidu de type HJB sensible au contact (Éq. 4) :
  $$\mathcal{L}_{CA-HJB} = \mathbb{E} \left[ \left( \nabla_s d_\theta(s, g)^\top \frac{s' - s}{\|s' - s\| + \epsilon} + 1 \right)^2 \right]$$
• Cette formulation garantit que les gradients de valeur ne sont contraints que le long des directions où le mouvement est réellement observé, ignorant ainsi les coordonnées incontrôlables lors de modes de contact spécifiques.

3. Flux Hiérarchique Informé par la Physique (Pi-H-Flow)

Les auteurs introduisent un cadre hiérarchique pour aligner davantage la régularisation avec la contrôlabilité :

• Politique de Haut Niveau ($\pi_{hi}$) : Un modèle basé sur le flux génère des sous-objectifs $x_g$ dans une représentation contrôlable $X$ (excluant les coordonnées de la pose de l'objet). Cela sépare le raisonnement de haut niveau centré sur l'objet de l'exécution de bas niveau.
• Politique de Bas Niveau ($\pi_{lo}$) : Opère entièrement dans la représentation contrôlable $X$, associant l'état actuel et le sous-objectif à des actions primitives.
• Régularisation : Les contraintes informées par la physique (Éikonal ou HJB) sont appliquées uniquement au bas niveau au sein de $X$, là où les dynamiques sont pleinement contrôlables et où les hypothèses d'isotropie sont plus valides.
• Le flux de haut niveau est entraîné pour générer des états contrôlables futurs, tandis que l'apprenant de bas niveau utilise le résidu HJB sensible au contact pour apprendre la fonction de valeur.

Contributions Clés

1. Analyse Fondamentale : Le papier identifie et prouve que la régularisation de l'Éikonal sur l'état complet est structurellement désalignée avec les dynamiques de contact hybrides en raison des coordonnées localement incontrôlables, ce qui est distinct des problèmes causés par des dynamiques anisotropes.
2. Nouvelles Formulations :
   • Un résidu sensible au contact qui contraint les gradients de valeur uniquement le long des directions de transition réalisables.
   • Une décomposition hiérarchique qui isole les dynamiques contrôlables pour la régularisation informée par la physique, les séparant des variables d'état centrées sur l'objet.
3. Validation Empirique : Les auteurs valident leur approche à travers des tâches de manipulation hors ligne guidées par l'objectif dans une simulation (OGBench) et sur un robot réel UR5e.

Résultats Expérimentaux

Les méthodes proposées ont été évaluées sur la suite OGBench (tâches de réarrangement de cubes Double, Triple et Quadruple) et sur une tâche de prise et dépose réelle.

• Simulation (OGBench) :

  • Échec des Baselines : Les méthodes standard régularisées par l'Éikonal (Eik-GCIVL, Eik-QRL) n'ont pas convergé de manière fiable, confirmant le désalignement théorique.
  • Amélioration par la Sensibilité au Contact : La variante HJB sensible au contact (HJB-GCIVL) a nettement surpassé les méthodes Éikonal sur l'état complet, particulièrement dans les scénarios multi-objets complexes.
  • Bénéfice Hiérarchique : Le cadre hiérarchique (Pi-H-Flow-HJB-GCIVL) a atteint les taux de réussite les plus élevés et la convergence la plus rapide.
  • Ablation : L'utilisation de la représentation "Joints+Contacts" contrôlable au bas niveau a systématiquement amélioré les performances (gain de 10 à 20 % du taux de réussite) par rapport à l'utilisation de l'état complet, validant l'intérêt de la décomposition d'état.

• Expériences Réelles :

  • Entraîné sur un jeu de données hors ligne d'environ 60k étapes collectées à partir d'une politique MPC scriptée.
  • La méthode Pi-H-Flow-HJB-GCIVL a obtenu les taux de réussite les plus élevés (75 % à un seuil de 10 cm, 60 % à 5 cm, 50 % à 3 cm), surpassant à la fois les baselines non informées par la physique et les variantes informées par la physique non hiérarchiques.
  • Les résultats qualitatifs ont montré que la politique peut récupérer d'une saisie mal alignée et utiliser des modes d'interaction alternatifs (par exemple, faire glisser des objets).

Signification et Revendications

Le papier affirme fournir une étape fondamentale vers l'extension du Pi-GCRL à la manipulation riche en contacts. En analysant le désalignement géométrique entre les contraintes de l'Éikonal et les dynamiques hybrides, les auteurs démontrent que l'application naïve de biais informés par la physique peut être préjudiciable.

La signification réside dans :

1. Correction d'un Défaut Théorique : Montrer que la continuité de Lipschitz (imposée par les contraintes de l'Éikonal) est insuffisante pour les systèmes hybrides et que les contraintes doivent respecter la contrôlabilité locale.
2. Cadre Pratique : Offrir une architecture hiérarchique scalable combinant la génération de sous-objectifs par flux et l'apprentissage de la valeur sensible au contact.
3. Applicabilité Réelle : Démontrer que ces intuitions théoriques se traduisent par une amélioration des performances sur des robots physiques utilisant des données hors ligne limitées.

Les auteurs restent modestes quant aux limites, notant que les algorithmes actuels restent gourmands en données et que le régularisateur HJB ne garantit pas intrinsèquement la sécurité ou le respect des limites des actionneurs. Ils suggèrent que les travaux futurs devraient intégrer des modèles physiques plus explicites et des contraintes de sécurité.