GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

Technische Samenvatting: GraspFoM

Probleemstelling
Robotische grijpbewegingen (grasping) blijven een aanzienlijke uitdaging in realistische scenario's die worden gekenmerkt door gedeeltelijke observaties, occlusie en rommeligheid. Effectief grijpen vereist redeneren over zowel lokale contactkenmerken als de globale 3D-structuur van een object. Bestaande geometrie-bewuste methoden erkennen de waarde van 3D-reconstructie, maar behandelen geometrie doorgaans als een intermediaire voorspelling in plaats van een herbruikbare object-prior. Bovendien vertrouwen huidige verenigde frameworks vaak op taakspecifieke representaties die vanaf nul worden geleerd, of ze zijn afhankelijk van Vision-Language Models (VLM's) die 2D-semantische kennis erven, wat leidt tot trage inferentie en een slechte 3D-pose-uitlijning. Er bestaat een kloof tussen algemene 3D-reconstructiemodellen, die optimaliseren voor de getrouwheid van assets, en de specifieke manipulatie-georiënteerde structuren (bijv. grijpbare regio's, affordances) die vereist zijn voor robotisch grijpen.

Methodologie: GraspFoM
Het artikel stelt GraspFoM voor, een verenigd framework dat gebruikmaakt van 3D-foundation priors (specifiek SAM3D) om een gedeelde 3D-objectlatent te construeren voor zowel objectreconstructie als grijppose-voorspelling. De pipeline werkt als volgt:

1. Voorbereiding van de Gedeelde Object-Latent:

   • Het systeem neemt RGB-beelden, objectmaskers en puntkaarten als input.
   • Het maakt gebruik van de sparse-structure fase van SAM3D om een gedeelde 3D-objectlatent ($z$) en coördinat-uitlijningsparameters te initialiseren.
   • Deze latent wordt omgezet in een gestructureerd 3D-feature volume en gelift naar een vormbewuste grid.
   • Voor elk gequeried oppervlakspunt fuseert het model lokale geometrische kenmerken (puntpositie en normaal) met de globale vormcontext die via cross-attention uit de latent grid wordt geëxtraheerd. Dit creëert een gefuseerd punt-token dat zowel lokale oppervlaktedetails als de globale objectstructuur codeert.

2. Anchor-geïnitialiseerde Pose-Reasoning Diffuser:

   • In plaats van een enkele pose te regresseren of te vertrouwen op discrete grijpcandidaten, modelleert GraspFoM grijppredictie als een latent-geconditioneerd denoising-proces in een genormaliseerde pose-ruimte.
   • Een set grijp-anchors wordt gecreëerd door geldige trainingsposes te clusteren.
   • Het model maakt gebruik van een getrunceerd geankerd diffusieproces. In plaats van te starten vanuit pure Gaussische ruis, wordt het diffusieproces geïnitialiseerd nabij de dichtstbijzijnde anchor, wat de denoising-efficiëntie verbetert terwijl het vermogen behouden blijft om multimodale grijpdistributies te modelleren.
   • De diffuser voorspelt continue 6D-rotatie en grijpdiepte direct vanuit de gedeelde object-latent.

3. Reconstructie-bewuste Scoring en Latent Verfijning:

   • Scorer: Een reconstructie-bewuste scorer voorspelt drie punt-gewijze metrieken: graspness (haalbaarheid), grasp quality en affordance. Deze scores zijn geworteld in de gereconstrueerde objectstructuur in plaats van enkel in pose-kenmerken.
   • Residual Latent Updater: Om bidirectionele interactie af te dwingen, wordt grasp-supervisie teruggevoerd naar de reconstructietak. Een vertrouwensgewogen samenvatting van grasp-signalen wordt gebruikt om een residu feature volume te voorspellen, dat wordt toegevoegd aan de originele latent grid.
   • Regularisatie: Een oppervlakte-bewuste regularisatieverlies zorgt ervoor dat de verfijnde latent geometrische consistentie behoudt terwijl deze uitlijnt met manipulatie-relevante kenmerken.

4. Inferentie:

   • Het systeem voert getrunceerde DDIM-sampling uit vanaf grasp anchors om continue pose-hypotheses te genereren.
   • Grijphypotheses worden gerankt met een composiet score die graspability, view-alignment en anchor-waarschijnlijkheid combineert.
   • Dezelfde gedeelde latent wordt gedecodeerd om hoogwaardige 3D-assets (mesh of 3DGS formaten) samen met de grijpposes te produceren.

Belangrijkste Bijdragen

• Verenigd Framework: De voorstel van GraspFoM, dat gebruikmaakt van 3D-foundation priors om een gedeelde 3D-objectlatent te bouwen voor simultane objectreconstructie en grijppose-voorspelling.
• Continue Pose Generatie: De introductie van een anchor-geïnitialiseerde, pose-reasoning diffuser die continue, multimodale grijppose-distributies modelleert, waardoor de afhankelijkheid van discrete grijpcandidaten wordt vermeden.
• Bidirectionele Interactie: Het ontwerp van een reconstructie-bewuste scorer en een residual latent updater die reconstructie en grasp-leren aan elkaar koppelen, wat geometrische gronding en de verbetering van grasp-relevante affordances binnen de gedeelde latent mogelijk maakt.
• Duale Output: Het vermogen om accuraat grijpposes en hoogwaardige 3D-assets (mesh en 3DGS) gezamenlijk te voorspellen met state-of-the-art prestaties.

Experimentele Resultaten
De auteurs hebben GraspFoM geëvalueerd op de GraspNet-1Billion benchmark:

• Grasp Pose Predictie: GraspFoM behaalde state-of-the-art resultaten over alle splits (Seen, Similar, Novel) en wrijving-instellingen. Met name toonde het significante verbeteringen op de Novel split (ongeziene objectcategorieën), wat wijst op sterke generalisatie via herbruikbare object-niveau priors. Het presteerde beter dan bestaande verenigde methoden zoals ZeroGrasp en MG-Grasp, ondanks dat het alleen werd getraind op de officiële GraspNet-1B split zonder extra synthetische datasets.
• 3D Reconstructie: Het framework bereikte een superieure geometrische kwaliteit vergeleken met sparse-structure baselines (MinkowskiNet, OCNN, OctMAE) en de verenigde ZeroGrasp, waarbij het de beste Chamfer Distance (CD), F1-Score en Normal Consistency (NC) behaalde.
• Ablatie Studies: Experimenten bevestigden de noodzaak van het aantal anchors ($K=8$), de diffusie horizon ($T_{max}=50$) en de verfijningsstappen ($N_{ref}=4$). Het verwijderen van de reconstructie-update module verslechterde zowel de reconstructiekwaliteit als de grasp-prestaties aanzienlijk, wat de wederzijdse versterking tussen beide taken valideert.
• In-the-Wild Evaluatie: Kwalitatieve resultaten op de WildRGB-D dataset toonden completere reconstructies en stabielere grijpposes aan in vergelijking met ZeroGrasp.

Significantie en Claims
Het artikel claimt dat GraspFoM de beperking van bestaande methoden aanpakt die geometrie als een tijdelijke tussenstap behandelen. Door gebruik te maken van overdraagbare 3D-foundation priors (SAM3D), vestigt de methode een gedeelde representatie die zowel geometrisch getrouw als manipulatie-bewust is. De auteurs stellen dat deze aanpak een meer data-efficiënte route biedt naar robuuste grasp-generalisatie vergeleken met het vanaf nul leren van taakspecifieke representaties. De bidirectionele link tussen reconstructie en grijpen stelt het systeem in staat om objectrepresentaties te verfijnen op basis van manipulatiebehoeften, terwijl het gebruik maakt van gegronde geometrische kenmerken om de grijppredictie te verbeteren. Het framework bereikt state-of-the-art prestaties voor beide taken met slechts een klein aantal extra trainbare parameters.

Beperkingen
De auteurs merken op dat het huidige framework zich primair richt op stijve objecten (rigid objects). Zij identificeren de integratie van gestructureerde kinematische priors (bijv. URDF) voor de manipulatie van gearticuleerde objecten als een richting voor toekomstig werk.