GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

Résumé Technique : GraspFoM

Énoncé du Problème
La saisie robotique (grasping) demeure un défi majeur dans des scénarios réels caractérisés par des observations partielles, l'occlusion et l'encombrement. Une saisie efficace nécessite de raisonner à la fois sur les indices de contact locaux et sur la structure 3D globale d'un objet. Bien que les méthodes existantes fondées sur la géométrie reconnaissent la valeur de la reconstruction 3D, elles traitent généralement la géométrie comme une prédiction intermédiaire plutôt que comme un a priori d'objet réutilisable. De plus, les cadres unifiés actuels reposent souvent sur des représentations spécifiques à une tâche apprises à partir de zéro ou dépendent de modèles de langage visuel (VLM) qui héritent de connaissances sémantiques 2D, ce qui entraîne une inférence lente et un mauvais alignement de la pose 3D. Il existe un fossé entre les modèles de reconstruction 3D généraux, qui optimisent la fidélité des actifs, et les structures orientées vers la manipulation (ex: régions saisissables, affordances) requises pour la saisie robotique.

Méthodologie : GraspFoM
Le papier propose GraspFoM, un cadre unifié qui exploite les a priori de fondation 3D (spécifiquement SAM3D) pour construire un latent d'objet 3D partagé pour la reconstruction d'objets et la prédiction de la pose de saisie. Le pipeline fonctionne comme suit :

1. Préparation du Latent d'Objet Partagé :

   • Le système prend en entrée des images RGB, des masques d'objets et des cartes de points.
   • Il utilise l'étape de structure parcimonieuse de SAM3D pour initialiser un latent d'objet 3D partagé ($z$) et les paramètres d'alignement de coordonnées.
   • Ce latent est converti en un volume de caractéristiques 3D structuré et élevé dans une grille sensible à la forme.
   • Pour chaque point de surface interrogé, le modèle fusionne les indices géométriques locaux (position du point et normale) avec le contexte de forme globale extrait de la grille latente via une attention croisée (cross-attention). Cela crée un jeton de point fusionné qui encode à la fois les détails de surface locaux et la structure globale de l'objet.

2. Diffuseur de Raisonnement de Pose Initialisé par Ancrage :

   • Au lieu de régresser une pose unique ou de s'appuyer sur des candidats de saisie discrets, GraspFoM modélise la prédiction de saisie comme un processus de débruitage conditionné par le latent dans un espace de pose normalisé.
   • Un ensemble d'ancres de saisie est créé par le regroupement (clustering) des poses d'entraînement valides.
   • Le modèle emploie un processus de diffusion ancré tronqué. Plutôt que de partir d'un bruit gaussien pur, le processus de diffusion est initialisé à proximité de l'ancre la plus proche, améliant l'efficacité du débruitage tout en maintenant la capacité à modéliser des distributions de saisie multimodales.
   • Le diffuseur prédit directement la rotation 6D continue et la profondeur de saisie à partir du latent d'objet partagé.

3. Scoring Sensible à la Reconstruction et Raffinement du Latent :

   • Scorer : Un score sensibilisé à la reconstruction prédit trois métriques par point : la "saisissabilité" (graspness/faisabilité), la qualité de saisie et l'affordance. Ces scores sont ancrés dans la structure reconstruite de l'objet plutôt que dans des indices de pose uniquement.
   • Metteur à jour du Latent Résiduel : Pour imposer une interaction bidirectionnelle, la supervision de la saisie est réinjectée dans la branche de reconstruction. Un résumé pondéré par la confiance des signaux de saisie est utilisé pour prédire un volume de caractéristiques résiduelles, qui est ajouté à la grille latente originale.
   • Régularisation : Une perte de régularisation sensible à la surface garantit que le latent raffiné maintient la cohérence géométrique tout en s'alignant sur les indices pertinents pour la manipulation.

4. Inférence :

   • Le système effectue un échantillonnage DDIM tronqué à partir des ancres de saisie pour générer des hypothèses de pose continues.
   • Les hypothèses de saisie sont classées à l'aide d'un score composite combinant la saisissabilité, l'alignement de vue et la probabilité de l'ancre.
   • Le même latent partagé est décodé pour produire des actifs 3D de haute fidélité (formats mesh ou 3DGS) parallèlement aux poses de saisie.

Contributions Clés

• Cadre Unifié : La proposition de GraspFoM, qui exploite les a priori de fondation 3D pour construire un latent d'objet 3D partagé pour la reconstruction d'objets et la prédiction de la pose de saisie simultanées.
• Génération de Pose Continue : L'introduction d'un diffuseur de raisonnement de pose, initialisé par ancrage, qui modélise des distributions de pose de saisie continues et multimodales, évitant de dépendre de candidats de saisie discrets.
• Interaction Bidirectionnelle : La conception d'un scoreur sensible à la reconstruction et d'un metteur à jour de latent résiduel qui couplent l'apprentissage de la reconstruction et de la saisie, permettant un ancrage géométrique et l'amélioration des affordances pertinentes à la manipulation au sein du latent partagé.
• Double Sortie : La capacité de prédire conjointement des poses de saisie précises et de reconstruire des actifs 3D de haute fidélité (mesh et 3DGS) avec des performances de pointe.

Résultats Expérimentaux
Les auteurs ont évalué GraspFoM sur le benchmark GraspNet-1Billion :

• Prédiction de la Pose de Saisie : GraspFoM a obtenu des résultats de pointe sur tous les segments (Vu, Similaire, Nouveau) et réglages de friction. Notamment, il a montré des améliorations significatives sur le segment Nouveau (catégories d'objets non vus), suggérant une forte généralisation via des a priori d'objets réutilisables. Il a surpassé les méthodes unifiées existantes comme ZeroGrasp et MG-Grasp, bien qu'entraîné uniquement sur le split officiel GraspNet-1B sans jeux de données synthétiques supplémentaires.
• Reconstruction 3D : Le cadre a obtenu une qualité géométrique supérieure aux bases de comparaison à structure parcimonieuse (MinkowskiNet, OCNN, OctMAE) et à l'approche unifiée ZeroGrasp, atteignant les meilleurs scores pour la distance de Chamfer (CD), le F1-Score et la cohérence des normales (NC).
• Études d'Ablation : Les expériences ont confirmé la nécessité du nombre d'ancres ($K=8$), de l'horizon de diffusion ($T_{max}=50$) et des étapes de raffinement ($N_{ref}=4$). La suppression du module de mise à jour de la reconstruction a considérablement dégradé la qualité de la reconstruction et la performance de la saisie, validant le renforcement mutuel entre les deux tâches.
• Évaluation "In-the-Wild" : Les résultats qualitatifs sur le jeu de données WildRGB-D ont démontré des reconstructions plus complètes et des poses de saisie plus stables par rapport à ZeroGrasp.

Signification et Revendications
L'article affirme que GraspFoM répond à la limitation des méthodes existantes qui traitent la géométrie comme une étape intermédiaire transitoire. En exploitant des a priori de fondation 3D transférables (SAM3D), la méthode établit une représentation partagée qui est à la fois géométriquement fidèle et sensible à la manipulation. Les auteurs soutiennent que cette approche offre une voie plus efficace en termes de données pour une généralisation robuste de la saisie par rapport à l'apprentissage de représentations spécifiques à partir de zéro. Le lien bidirectionnel entre la reconstruction et la saisie permet au système d'affiner les représentations d'objets en fonction des besoins de manipulation tout en utilisant des indices géométriques ancrés pour améliorer la prédiction de saisie. Le cadre atteint des performances de pointe sur les deux tâches avec seulement un petit nombre de paramètres entraînables supplémentaires.

Limites
Les auteurs notent que le cadre actuel se concentre principalement sur les objets rigides. Ils identifient l'incorporation de priors cinématiques structurés (ex: URDF) pour la manipulation d'objets articulés comme une direction pour les travaux futurs.