Rotation-Aware Point-Cloud Embeddings for Vision-Based In-Hand Reorientation

Résumé Technique : Plongements de Nuages de Points Sensibles à la Rotation pour la Réorientation Manuelle Basée sur la Vision

Énoncé du Problème
L'article traite du défi de la réorientation dextre manuelle à l'aide d'objectifs de nuages de points. Bien que les nuages de points offrent un moyen naturel de spécifier une géométrie 3D sans nécessiter de cadres de pose spécifiques à l'objet ou d'estimation de pose 6D, le conditionnement par nuage de points brut est mal adapté à l'apprentissage de politiques. La difficulté fondamentale réside dans la nature des nuages de points : ils sont non ordonnés, échantillonnés de manière indépendante et dépendants de la visibilité. Par conséquent, l'écart entre une observation actuelle et un nuage de points cible mélange la rotation de l'objet avec la permutation, le rééchantillonnage et des structures de correspondance instables.

Les approches antérieures ont tenté de contourner cela en ajoutant une structure externe, telle que :

• Des entrées de pose explicite ou de pose relative (ex. : Geometry-Dex).
• Des caractéristiques de flux dense indiquant le mouvement des points (ex. : HACMan).
• La distillation à partir d'enseignants privilégiés ayant accès à l'état réel (ground-truth).

Ces méthodes reposent sur des calculs au moment du test fragiles (estimation de pose, enregistrement) ou nécessitent une supervision experte. Les auteurs postulent que les encodeurs de nuages de points génériques (entraînés pour la reconstruction ou l'identité de forme) échouent à organiser l'état pertinent pour la tâche de manière à faciliter le contrôle, car ils rejettent souvent les signaux de rotation spécifiques nécessaires à la réorientation.

Méthodologie
La solution proposée est un plongement de nuage de points sensible à la rotation qui calibre la distance euclidienne latente entre les plongements par rapport à l'erreur géodésique SO(3) entre les orientations de l'objet. Cela permet à une politique d'apprentissage par renforcement (RL) sans modèle de l'apprendre directement à partir des plongements des nuages de points actuels et cibles sans pose, flux ou supervision d'enseignant explicite.

1. Encodeur Sensible à la Pose ($\phi$) :

   • Architecture : Un encodeur basé sur PointNet++ qui mappe des nuages de points colorés ($P \in \mathbb{R}^{N \times 6}$) vers des plongements de 128 dimensions.
   • Objectif d'Entraînement : L'encodeur est entraîné à l'aide d'un objectif d'apprentissage métrique de style siamois. Pour deux nuages du même objet aux orientations $q_1$ et $q_2$, la distance euclidienne entre leurs plongements est régressée vers l'erreur de rotation géodésique SO(3) :
     $$L_{metric} = \mathbb{E}[(\|\phi(P_1) - \phi(P_2)\|_2 - 2 \arccos |\langle q_1, q_2 \rangle|)^2]$$
   • Curriculum : L'entraînement utilise un curriculum d'occlusion sur des mailles texturées du jeu de données YCB, supprimant progressivement des points pour simuler des observations partielles. Une étape de fine-tuning utilise un jeu de données IsaacLab avec des occlusions de type main pour correspondre aux conditions d'apprentissage de la politique.

2. Apprentissage de la Politique (Réorientation Manuelle) :

   • Cadre : La tâche est formulée comme un processus de décision de Markov (MDP) augmenté par un objectif, résolu via PPO avec une architecture acteur-critique asymétrique.
   • Observations (Acteur) : La politique reçoit :
     • Les plongements appris des nuages de points actuels et cibles ($z_{obj}, z_{goal}$).
     • La proprioception (positions articulaires, vitesses, poses des extrémités des doigts).
     • Des métadonnées géométriques (centroïdes des nuages de points actuels et cibles) pour compléter l'information de translation.
   • Critique : Le critique a accès à des informations d'état privilégiées (pose réelle, vitesse, forces de contact) pour faciliter une convergence plus rapide.
   • Récompense : La fonction de récompense minimise la dérive de position manuelle et l'erreur de rotation (mesurée via la distance géodésique sur SO(3)), avec une régularisation de l'action et un bonus de succès.

Contributions Clés

• Apprentissage de Représentation pour le Contrôle : L'article démontre qu'une représentation peut elle-même rendre le conditionnement par nuage de points utilisable pour un apprentissage de politique standard, éliminant le besoin d'échafaudages externes comme les estimateurs de pose ou les champs de flux denses.
• Plongements Calibrés sur SO(3) : En entraînant explicitement l'encodeur pour aligner la distance latente sur l'erreur de rotation, la méthode crée un signal de contrôle fluide où la différence entre les plongements reflète directement la rotation nécessaire pour atteindre l'objectif.
• Succès du RL sans Modèle : Les auteurs montrent qu'une politique sans modèle utilisant ces plongements peut apprendre de manière stable et égaler les performances des bases de distillation et des méthodes à état privilégié, malgré l'absence d'accès à la pose réelle ou aux actions de l'enseignant pendant l'entraînement.
• Preuve Diagnostique : L'article fournit la preuve que le pré-entraînement auto-supervisé générique (ex. : Point-MAE) est insuffisant pour cette tâche car il préserve les caractéristiques de forme mais échoue à organiser l'espace latent selon les axes et les magnitudes de rotation, tandis que l'approche d'apprentissage métrique proposée récupère cette structure.

Résultats
Les expériences ont été menées en simulation avec la Shadow Hand et quatre objets YCB (Pêche, Rubik's Cube, Poire, Boîte de Thon).

• Performance : La méthode proposée a atteint des taux de succès de 100 % sur tous les objets testés, égalant les performances des bases "Teacher" (état privilégié) et "Distilled Student".
• Efficacité : Bien que la méthode proposée ait réussi, elle a nécessité plus de pas de temps en moyenne pour atteindre l'objectif par rapport à l'enseignant privilégié (ex. : 85,29 étapes contre 25,40 pour la Pêche). Les auteurs attribuent cela à la nature sans modèle de l'apprentissage (optimisation à partir de la récompense plutôt que des actions par étape) et notent que des cycles d'entraînement plus longs pourraient améliorer davantage la vitesse.
• Comparaison aux Bases :
  • Les méthodes reposant sur des estimateurs de pose (ex. : FoundationPose) ou l'enregistrement (Open3D) ont montré des taux de succès nettement inférieurs (ex. : 33-58 % pour le Rubik's Cube et la Poire) et des temps d'échec beaucoup plus élevés, soulignant la fragilité de ces modules intermédiaires lors du déploiement.
  • Les méthodes basées sur le flux utilisant l'état simulé ont bien fonctionné, mais celles reposant sur l'enregistrement ont échoué de manière significative.
  • Encodeurs Génériques : Une politique utilisant un encodeur Point-MAE affiné a totalement échoué à apprendre, confirmant que les caractéristiques de forme génériques ne fournissent pas le signal sensible à la rotation nécessaire.
• Analyse de la Représentation : Les visualisations de l'espace latent (graphiques de surface et t-SNE) ont confirmé que l'encodeur proposé organise les plongements par axe et magnitude de rotation, créant un paysage structuré similaire à celui appris par un étudiant par distillation, mais sans nécessiter de supervision d'action.

Signification et Revendications
L'article affirme que les objectifs de nuages de points deviennent pratiques pour le contrôle dextre lorsque la représentation elle-même encode la géométrie de rotation pertinente pour la tâche, plutôt que de compter sur des modules externes pour calculer la pose ou le flux.

• Le travail suggère que l'« échafaudage » de l'estimation de pose et de l'enregistrement n'est pas strictement nécessaire si la représentation visuelle est correctement calibrée aux contraintes géométriques de la tâche.
• Il souligne une limitation du pré-entraînement visuel générique : préserver l'identité de la forme est insuffisant pour les tâches de contrôle exigeant une comparaison géométrique précise ; la représentation doit être explicitement structurée pour le groupe de transformation spécifique (SO(3) dans ce cas).
• Les auteurs notent que bien que l'évaluation soit en simulation, l'utilisation de curriculums d'occlusion, de jittering de points et de randomisation de domaine fournit la preuve que la représentation est robuste aux perturbations attendues dans un déploiement réel, motivant une validation future sur robot réel.

Limites
Les auteurs reconnaissent que l'embedding actuel préserve principalement l'état lié à la rotation et n'est pas explicitement contraint pour préserver la forme de l'objet, ce qui limite la capacité d'apprendre une politique unique pour différents objets. Des travaux futurs sont suggérés pour explorer des plongements qui préservent conjointement la forme et permettent des comparaisons favorables au contrôle, ainsi que pour étendre l'objectif métrique au groupe complet SE(3) pour une manipulation générale.