GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

Sintesi Tecnica: GraspFoM

Definizione del Problema
La manipolazione robotica (grasping) rimane una sfida significativa in scenari del mondo reale caratterizzati da osservazioni parziali, occlusioni e ingombri. Una presa efficace richiede il ragionamento sia sui segnali di contatto locale che sulla struttura 3D globale dell'oggetto. Sebbene i metodi esistenti basati sulla geometria riconoscano il valore della ricostruzione 3D, essi trattano tipicamente la geometria come una predizione intermedia piuttosto che come un prior di oggetto riutilizzabile. Inoltre, gli attuali framework unificati spesso si affidano a rappresentazioni specifiche per il compito apprese da zero o dipendono da Modelli Vision-Language (VLM) che ereditano conoscenze semantiche 2D, portando a un'inferenza lenta e a un scarso allineamento della posa 3D. Esiste un divario tra i modelli generali di ricostruzione 3D, che ottimizzano la fedeltà dell'asset, e le strutture orientate alla manipolazione (es. regioni afferrabili, affordance) richieste per la manipolazione robotica.

Metodologia: GraspFoM
Il documento propone GraspFoM, un framework unificato che sfrutta i prior di fondazione 3D (nello specifico SAM3D) per costruire un latente 3D condiviso dell'oggetto sia per la ricostruzione dell'oggetto che per la predizione della posa di presa. La pipeline opera come segue:

1. Preparazione del Latente dell'Oggetto Condiviso:

   • Il sistema riceve in input immagini RGB, maschere di oggetti e mappe di punti.
   • Utilizza la fase a struttura sparsa di SAM3D per inizializzare un latente 3D dell'oggetto condiviso ($z$) e i parametri di allineamento delle coordinate.
   • Questo latente viene convertito in un volume di feature 3D strutturato e sollevato in una griglia consapevole della forma (shape-aware grid).
   • Per ogni punto di superficie interrogato, il modello fonde i segnali geometrici locali (posizione del punto e normale) con il contesto della forma globale estratto dalla griglia latente tramite cross-attention. Ciò crea un token di punto fuso che codifica sia i dettagli superficiali locali che la struttura globale dell'oggetto.

2. Diffusore di Ragionamento della Posa Inizializzato con Anchor:

   • Invece di regredire una singola posa o fare affidamento su candidati di presa discreti, GraspFoM modella la predizione della presa come un processo di denoising condizionato dal latente in uno spazio di posa normalizzato.
   • Un insieme di anchor di presa viene creato raggruppando (clustering) le pose di addestramento valide.
   • Il modello impiega un processo di diffusione ancorato troncato. Invece di partire da puro rumore Gaussiano, il processo di diffusione è inizializzato vicino all'anchor più vicino, migliorando l'efficienza del denoising pur mantenendo la capacità di modellare distribuzioni di presa multimodali.
   • Il diffusore predice direttamente la rotazione 6D continua e la profondità della presa dal latente dell'oggetto condiviso.

3. Scoring Consapevole della Ricostruzione e Raffinamento del Latente:

   • Scorer (Valutatore): Uno scorer consapevole della ricostruzione predice tre metriche per punto: graspness (fattibilità), qualità della presa e affordance. Questi punteggi sono radicati nella struttura dell'oggetto ricostruito piuttosto che su soli segnali di posa.
   • Aggiornatore del Latente Residuo: Per imporre un'interazione bidirezionale, la supervisione della presa viene riportata nel ramo di ricostruzione. Un riassunto pesato sulla confidenza dei segnali di presa viene utilizzato per predire un volume di feature residuo, che viene aggiunto alla griglia latente originale.
   • Regolarizzazione: Una perdita di regolarizzazione consapevole della superficie assicura che il latente raffinato mantenga la coerenza geometrica pur allineandosi con i segnali rilevanti per la manipolazione.

4. Inferenza:

   • Il sistema esegue un campionamento DDIM troncato dagli anchor di presa per generare ipotesi di posa continue.
   • Le ipotesi di presa vengono classificate utilizzando uno score composito che combina la capacità di presa (graspability), l'allineamento della vista e la probabilità dell'anchor.
   • Lo stesso latente condiviso viene decodificato per produrre asset 3D ad alta fedeltà in formati mesh o 3D Gaussian (3DGS) insieme alle pose di presa.

Contributi Chiave

• Framework Unificato: La proposta di GraspFoM, che sfrutta i prior di fondazione 3D per costruire un latente 3D dell'oggetto condiviso per la simultanea ricostruzione dell'oggetto e predizione della posa di presa.
• Generazione di Posa Continua: L'introduzione di un diffusore di ragionamento della posa inizializzato con anchor che modella distribuzioni di posa di presa continue e multimodali, evitando la dipendenza da candidati di presa discreti.
• Interazione Bidirezionale: Il design di uno scorer consapevole della ricostruzione e di un aggiornatore del latente residuo che accoppia la ricostruzione e l'apprendimento della presa, consentendo il radicamento geometrico e il potenziamento delle affordance rilevanti per la manipolazione all'interno del latente condiviso.
• Output Duale: La capacità di predire congiuntamente pose di presa accurate e ricostruire asset 3D ad alta fedeltà (mesh e 3DGS) con prestazioni allo stato dell'arte.

Risultati Sperimentali
Gli autori hanno valutato GraspFoM sul benchmark GraspNet-1Billion:

• Predizione della Posa di Presa: GraspFoM ha raggiunto risultati allo stato dell'arte in tutti gli split (Seen, Similar, Novel) e nelle impostazioni di attrito. In particolare, ha mostrato miglioramenti significativi nello split Novel (categorie di oggetti non viste), suggerendo una forte generalizzazione tramite prior di livello oggetto riutilizzabili. Ha superato i metodi unificati esistenti come ZeroGrasp e MG-Grasp, nonostante sia stato addestrato solo sullo split ufficiale GraspNet-1B senza dataset sintetici aggiuntivi.
• Ricostruzione 3D: Il framework ha ottenuto una qualità geometrica superiore rispetto ai baseline a struttura sparsa (MinkowskiNet, OCNN, OctMAE) e allo ZeroGrasp unificato, raggiungendo i migliori valori di Chamfer Distance (CD), F1-Score e Normal Consistency (NC).
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità del numero di anchor ($K=8$), dell'orizzonte di diffusione ($T_{max}=50$) e dei passi di raffinamento ($N_{ref}=4$). Rimuovere il modulo di aggiornamento della ricostruzione ha degradato significativamente sia la qualità della ricostruzione che le prestazioni della presa, validando il rinforzo reciproco tra i due compiti.
• Valutazione In-the-Wild: I risultati qualitativi sul dataset WildRGB-D hanno dimostrato ricostruzioni più complete e pose di presa più stabili rispetto a ZeroGrasp.

Significatività e Rivendicazioni
Il documento afferma che GraspFoM affronta il limite dei metodi esistenti che trattano la geometria come un passaggio intermedio transitorio. Sfruttando i prior di fondazione 3D trasferibili (SAM3D), il metodo stabilisce una rappresentazione condivisa che è sia geometricamente fedele che consapevole della manipolazione. Gli autori sostengono che questo approccio fornisca una via più efficiente in termini di dati per una robusta generalizzazione della presa rispetto all'apprendimento di rappresentazioni specifiche per il compito da zero. Il legame bidirezionale tra ricostruzione e presa permette al sistema di raffinare le rappresentazioni degli oggetti in base alle necessità di manipolazione, utilizzando al contempo segnali geometrici radicati per migliorare la predizione della presa. Il framework raggiunge prestazioni allo stato dell'arte su entrambi i compiti con un numero limitato di parametri addestrabili aggiuntivi.

Limitazioni
Gli autori notano che l'attuale framework si concentra principalmente su oggetti rigidi. Identificano l'incorporazione di prior cinematici strutturati (es. URDF) per la manipolazione di oggetti articolati come una direzione per il lavoro futuro.