Résumé Technique : AnyMug – Saisie Fonctionnelle Robotique Indépendante de la Pose via la Canonicalisation Observation-Action

1. Formulation du Problème

L'article traite du défi de la saisie robotique fonctionnelle, ciblant spécifiquement la tâche de saisie des anses de tasses. Contrairement à une saisie générique, la saisie fonctionnelle nécessite que le robot interagisse avec des parties spécifiques d'un objet (l'anse) pour permettre des tâches ultérieures (ex: verser un liquide). Cette tâche est complexifiée par :

• La Variabilité Géométrique : Les anses sont fines, courbes et varient considérablement d'une instance de tasse à l'autre.
• La Sensibilité à la Pose : Les tasses peuvent apparaître dans différentes positions, orientations d'anse et deux catégories de pose distinctes : verticale (droite) et inversée.
• Les Limites des Méthodes Existantes :
  • Détection de Pose de Saisie (Boucle Ouverte) : Les méthodes qui prédisent une pose de saisie en 6-DoF ou 7-DoF sont très sensibles aux erreurs d'estimation, particulièrement sur les structures d'anses fines.
  • Politiques Visuo-Motrices Apprises (Boucle Fermée) : Les politiques standards doivent implicitement apprendre à gérer la variation couplée entre l'apparence visuelle et la direction de l'action pour chaque placement possible, ce qui limite la généralisation et nécessite l'apprentissage de stratégies redondantes dépendantes du placement.

L'objectif est d'apprendre une politique unique en boucle fermée qui se généralise à travers diverses géométries de tasses et catégories de pose, tout en maintenant un contact précis avec l'anse.

2. Méthodologie : Le Framework AnyMug

Les auteurs proposent AnyMug, un framework d'apprentissage par renforcement (RL) entièrement entraîné en simulation (Isaac Sim) et déployé en zéro-shot sur un robot réel Franka Panda. L'innovation centrale est la Canonicalisation Observation-Action.

2.1 Canonicalisation Observation-Action

Au lieu d'entraîner une politique à gérer des entrées brutes et variables, AnyMug transforme l'entrée sensorielle et la sortie de contrôle en un cadre canonique partagé, centré sur la tasse.

• Canonicalisation de l'Observation :
  • L'image de profondeur vue de dessus ($D_t$) brute est traitée pour identifier le centre de la tasse et le centre de l'anse.
  • Une déformation affine est appliquée à l'image pour : (1) centrer la tasse dans l'image, et (2) faire pivoter l'anse vers une direction canonique fixe (ex: pointant vers la gauche).
  • Cela produit une image de profondeur canonique ($D^c_t$) où la tasse apparaît toujours au même endroit et avec la même orientation, indépendamment de son placement physique.
• Canonicalisation de l'Action :
  • La politique prédit une action de l'effecteur terminal en 7D ($a^c_t$) dans le cadre canonique, composée d'un déplacement de translation ($\Delta p^c$), d'un déplacement de rotation ($\Delta \omega^c$) et d'une commande de pince ($u_g$).
  • Avant l'exécution, les composantes spatiales de l'action sont pivotées vers le cadre monde en utilisant l'inverse de l'angle de rotation de l'anse ($\theta_t$). La commande de la pince reste inchangée.
  • Cela permet à la politique d'apprendre une stratégie de saisie unique qui est réutilisée pour tous les placements et orientations d'anse de tasses.

2.2 Fonction de Récompense Sensible à l'Anse

Pour garantir que la politique apprenne une saisie fonctionnelle précise plutôt qu'une simple approche générique, une fonction de récompense dense et sensible à l'anse est employée :

• Récompense d'Approche ($r_{pos}$) : Encourage le préhenseur à atteindre le centre de l'anse.
• Récompense d'Orientation ($r_{rot}$) : Encourage le préhenseur à s'aligner avec une orientation cible par rapport à la tasse.
• Récompense d'Opposition des Doigts ($r_{opp}$) : Un terme spécifique à la tâche crucial qui récompense le fait que les deux extrémités des doigts soient sur des côtés opposés de l'anse avant la fermeture. Ce terme est cadencé par la proximité pour s'assurer que les doigts sont proches de l'anse.
• Pénalité d'Action ($r_{act}$) : Pénalise les mouvements amples et saccadés pour encourager des trajectoires fluides.

2.3 Stratégie d'Entraînement

• Algorithme : Optimisation de Politique de Proximité (PPO).
• Curriculum de Pose : L'entraînement commence avec un biais vers les tasses verticales (70%) pour établir un comportement d'approche fiable, puis transitionne vers une distribution équilibrée (50/50) pour les tasses verticales et inversées.
• Randomisation du Domaine : Randomisation des positions des tasses, des yaw d'anses et des géométries de tasses. Crucialement, un bruit gaussien est ajouté aux estimations de pose pour simuler les erreurs de perception du monde réel, calibrées à partir d'un estimateur de pose de pointe (CPPF++).

3. Contributions Clés

1. Canonicalisation Observation-Action : L'article formule la saisie de tasse comme un problème canonicalisé où les observations de profondeur et les actions de l'effecteur terminal sont représentées dans un cadre partagé centré sur la tasse. Cela réduit la variation induite par la pose tant dans la perception que dans le contrôle, permettant à une politique unique de réutiliser une stratégie partagée.
2. Saisie en Boucle Fermée Sensible à l'Anse : Les auteurs entraînent une politique de RL unique utilisant un retour visuel-proprioceptif canonicalisé et une fonction de récompense spécialisée. Cela permet une approche, un alignement et un timing de fermeture précis à travers diverses géométries et poses sans planification de mouvement explicite.
3. Évaluation Complète : Le framework est testé par rapport à des bases de planification de mouvement et de politiques de diffusion en simulation et sur matériel. L'étude inclut des études d'ablation isolant les contributions de la canonicalisation, de la mise en forme de la récompense et du curriculum d'apprentissage.

4. Résultats Expérimentaux

4.1 Performance en Simulation

Évalué sur des instances de tasses non vues avec des placements randomisés :

• Taux de Succès (SR) : AnyMug a atteint 93,18 % sur les tasses verticales et 94,19 % sur les tasses inversées.
• Comparaison :
  • Planification de Mouvement (Boucle Ouverte) : La performance se dégrade fortement avec l'augmentation du bruit d'estimation de pose (tombant à ~60 % de SR à $\sigma=0,030$ m), soulignant la sensibilité de l'exécution en boucle ouverte.
  • Politique de Diffusion (DP) : A atteint ~36 % de SR, échouant principalement à cause de saisies vides et de dépassements de temps, indiquant une difficulté à apprendre un alignement précis à partir de démonstrations seules.
  • Bases Équivariantes (EquiDiff, EquiBot) : Améliorent le DP standard mais restent nettement en dessous d'AnyMug (54 % et ~12-19 % de SR respectivement), suggérant que l'équivariance seule est insuffisante pour le raisonnement fin sur la géométrie de l'anse.

4.2 Transfert Zero-Shot dans le Monde Réel

Déployé sur un robot Franka Panda réel sans ajustement fin (fine-tuning), testé sur 5 tasses physiquement distinctes et non vues :

• Taux de Succès : A atteint un taux de succès de 80 % pour les deux catégories, verticale et inversée (8/10 essais chacune).
• Modes d'Échec : Les échecs étaient divisés entre "pointe/chute" et "saisie vide", indiquant que la politique approche généralement en toute sécurité mais peine avec l'alignement sous le bruit de perception du monde réel.
• Bases :
  • Planification de Mouvement : 70 % (verticale) et 60 % (inversée) de SR.
  • Politique de Diffusion : 20 % (verticale) et 10 % (inversée) de SR.
• Conclusion : AnyMug a démontré une robustesse supérieure aux erreurs de perception du monde réel par rapport aux approches en boucle ouverte et aux bases d'apprentissage standard.

4.3 Études d'Ablation

• Récompense d'Opposition des Doigts : Supprimer ce terme a entraîné un taux de succès de 0 % et 100 % de saisies vides, prouvant qu'elle est essentielle pour la saisie fonctionnelle.
• Canonicalisation : Supprimer la canonicalisation observation-action a fait chuter les taux de succès de ~93 % à ~31 % (verticale) et ~41 % (inversée), confirmant qu'elle est le facteur dominant pour la généralisation.

5. Signification et Revendications

L'article affirme qu'AnyMug résout avec succès le problème de la saisie fonctionnelle indépendante de la pose en découplant la stratégie de la tâche de la pose de l'objet. En canonicalisant à la fois l'entrée (profondeur) et la sortie (action), le système apprend une politique unique en boucle fermée réutilisable qui se généralise à travers les instances et les poses.

Les auteurs soulignent que :

• La canonicalisation est la clé : Elle élimine le besoin pour la politique d'apprendre des commandes motrices dépendantes du placement, améliorant considérablement la généralisation.
• Le feedback en boucle fermée est nécessaire : Contrairement aux méthodes en boucle ouverte, la nature en boucle fermée d'AnyMug compense les erreurs résiduelles d'estimation de pose et les variations de contact.
• Transfert Sim-to-Real : Le framework parvient à un transfert zero-shot robuste sur un robot réel, surpassant les planificateurs analytiques et les bases d'apprentissage de pointe sans ajustement fin dans le monde réel.

Limites Reconnues :

• Le travail actuel est limité aux objets de type tasse et à deux catégories de pose.
• Il suppose une observation de profondeur descendante claire ; les performances pourraient se dégrader dans des scènes encombrées, sous une occlusion sévère ou avec des surfaces réfléchissantes où l'estimation de la direction de l'anse échoue.
• Des travaux futurs sont nécessaires pour étendre le framework à des classes d'objets plus larges, des modes de pose supplémentaires (ex: inclinés) et des tâches en aval comme le versement.