HOGraspFlow: Taxonomy-Aware Hand-Object Retargeting for Multi-Modal SE(3) Grasp Generation

Résumé technique de HOGraspFlow

Énoncé du problème
L'article aborde le défi du recalibrage des démonstrations d'interaction main-objet (HOI) humaines vers des effecteurs terminaux parallèles (PJ) robotiques. Les approches existantes reposent souvent sur un proxy simplifié « pouce-index », qui réduit la diversité de la taxonomie des préhensions humaines et néglige la fermeture de force dépendante du contact, les limitant ainsi à des préhensions de type pincement. À l'inverse, les méthodes récentes de génération de préhensions multi-incarnations sont généralement centrées sur l'objet, nécessitant des priors géométriques 3D fiables (par exemple, SDF, nuages de points) et une estimation de pose au moment du test. Ces dépendances géométriques les rendent fragiles face aux artefacts de détection (par exemple, profondeur manquante, réflexions spéculaires) et incapables d'exploiter directement des données vidéo « in-the-wild » où la géométrie de l'objet est inconnue ou peu fiable. Le problème central consiste à développer un cadre basé sur la vision capable de générer des préhensions PJ 6-DoF multi-modales et exécutables à partir d'une seule image RVB sans modèles d'objets explicites, tout en préservant la diversité des intentions de préhension humaine et des sémantiques de contact.

Méthodologie
Les auteurs proposent HOGraspFlow, un cadre de recalibrage centré sur les affordances qui synthétise des poses de préhension SE(3) en utilisant l'appariement de flux de débruitage (FM). Le pipeline fonctionne comme suit :

1. Perception et extraction de caractéristiques :

   • Le système prend une image RVB unique d'une démonstration HOI.
   • Il utilise WiLoR, un reconstructeur de main fondamental, pour extraire les paramètres MANO (pose et forme) et les boîtes englobantes de la main.
   • Au lieu de s'appuyer sur des maillages d'objets, la méthode extrait des sémantiques visuelles du crop main-objet en utilisant DINOv2, un modèle de fondation visuelle, pour obtenir des jetons de patch invariants à l'apparence et à la catégorie de l'objet.
   • Ces caractéristiques visuelles sont fusionnées avec les paramètres de la main via une auto-attention pour créer un descripteur compact conscient de l'HOI.

2. Indices de conditionnement :
   Le processus génératif est conditionné par trois indices complémentaires dérivés du descripteur :

   • Sémantiques visuelles : Les caractéristiques DINOv2 fournissent un contexte sur l'interaction.
   • Reconstruction de contact : Un décodeur léger prédit des logits de contact par sommet sur le maillage de la main, répondant à « où saisir » sans nécessiter d'entrée de contact explicite.
   • Prior conscient de la taxonomie : Un classificateur de type de préhension (entraîné sur la taxonomie GRASP) produit une distribution de probabilité sur 33 types de préhension. Cela est mappé à un codebook apprenable pour fournir un prior catégoriel, répondant à « comment saisir » et régularisant la distribution des poses recalibrées.

3. Synthèse générative (SE(3)) :

   • Le cadre introduit deux modèles génératifs : HOGraspDiff (basé sur la diffusion fondée sur les scores) et HOGraspFlow (basé sur l'appariement de flux).
   • Les deux modèles opèrent sur la variété SE(3) pour générer des poses de préhension PJ diversifiées et multi-modales.
   • HOGraspFlow est mis en avant pour sa stabilité. Contrairement aux modèles basés sur les scores qui apprennent une fonction de score sous une perturbation à variance explosive (entraînant une dérive d'échelle), l'appariement de flux apprend un champ de vitesse déterministe. Cela découple la translation et la rotation, réduisant l'instabilité de l'optimisation et améliorant l'efficacité de l'échantillonnage.
   • Guidage : Le processus de génération intègre un guidage doux pour aligner l'axe d'approche de la pince avec l'axe de la paume de la main et utilise un guidage sans classificateur pour orienter la distribution.

4. Déploiement :

   • Les poses générées sont initialement dans le repère du poignet de la main.
   • Pour mapper au repère mondial, le système utilise la pose globale de la main issue de WiLoR.
   • Un raffinement « Z-only ICP » (Iterative Closest Point) est appliqué pour corriger le biais de translation le long du rayon de la caméra, compensant les erreurs d'estimation de profondeur monoculaire sans nécessiter de configurations multi-vues.

Contributions clés

1. Cadre centré sur les affordances basé sur la vision : Une approche novatrice générant des préhensions PJ 6-DoF multi-modales à partir d'une seule image RVB sans nécessiter de géométrie d'objet 3D explicite ni d'estimation de pose, s'appuyant plutôt sur des caractéristiques visuelles fondamentales et une reconstruction de main.
2. Architectures génératives duales : L'introduction de HOGraspDiff et HOGraspFlow pour le recalibrage SE(3) basé sur la vision. L'article démontre que l'appariement de flux offre une fidélité distributionnelle et une stabilité d'optimisation supérieures à la diffusion fondée sur les scores dans ce contexte.
3. Intégration de la taxonomie et du contact : La méthode intègre explicitement la reconnaissance de la taxonomie de préhension et la reconstruction de contact comme signaux de conditionnement, permettant au système de reconnaître divers types de préhension et de maintenir une précision de contact élevée sans entrées de contact de vérité terrain lors de l'inférence.
4. Validation dans le monde réel : Déploiement réussi sur un robot UR10e avec une pince Robotiq 2F-85, démontrant un transfert robuste vers divers objets (y compris des éléments hors distribution) avec des taux de réussite élevés.

Résultats

• Simulation (jeu de données HOGraspNet) :
  • HOGraspFlow a surpassé HOGraspDiff et d'autres références. Avec DINOv2 et le codebook de taxonomie, HOGraspFlow a atteint une précision de taxonomie (TA) de 92,5 % et une précision de contact (CA) de 88,1 %.
  • La distance d'Earth Mover (EMD) pour HOGraspFlow était de 0,67, significativement plus faible (meilleure) que la variante basée sur les scores (0,80) et la référence sans caractéristiques visuelles (0,81).
  • Les études d'ablation ont confirmé que les sémantiques visuelles (DINOv2) sont cruciales pour la compréhension sémantique, surpassant un « oracle de contact » (qui utilise des étiquettes de contact de vérité terrain) dans la classification des types de préhension, suggérant que les indices visuels sont plus discriminants pour la taxonomie que le contact seul.
• Expériences dans le monde réel :
  • Le système a atteint un taux de réussite global de préhension de 83,8 % (67/80 essais) sur divers objets, y compris des outils et des articles ménagers.
  • Il a nettement surpassé une approche standard de modèle pouce-index (33/80) et une référence GraspNet-1B basée sur le nuage de points (53/80), en particulier dans la gestion d'objets aux géométries complexes ou aux artefacts de détection.
  • La méthode a démontré une robustesse face aux occlusions et aux spéculations là où les méthodes centrées sur la géométrie échouaient.

Signification
L'article affirme que HOGraspFlow représente un passage d'une génération de préhension centrée sur l'objet à une génération centrée sur l'intention. En exploitant l'asymétrie entre la forte variabilité des objets et les intentions de préhension humaine contraintes, la méthode réalise un recalibrage fiable sans la fragilité des priors géométriques. Les auteurs soulignent que l'appariement de flux fournit un chemin d'optimisation plus stable et efficace pour la génération de pose SE(3) par rapport aux modèles de diffusion traditionnels. Le travail démontre qu'une synthèse de préhension multi-modale de haute fidélité est réalisable directement à partir de vidéo monoculaire, permettant aux robots d'apprendre à partir de démonstrations humaines diverses et « in-the-wild » sans nécessiter de reconstruction 3D précise des objets cibles.