ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation

Sintesi Tecnica di ShapeGrasp: Completamento della Forma e Presa Simultanei Visuo-Tattili per una Manipolazione Robotica Migliorata

Problematica
La presa robusta di oggetti non noti a priori rimane una sfida quando gli oggetti sono osservati solo parzialmente tramite una singola vista RGB-D, il che comporta ampie regioni occluse. Sebbene i metodi di completamento della forma possano inferire la geometria mancante, i modelli risultanti spesso contengono incertezza o geometrie allucinate, portando a fallimenti nella pianificazione della presa, particolarmente con oggetti deformabili. Al contrario, la presa è un'interazione informativa che fornisce feedback tattile e vincoli sullo spazio occupato dal gripper (spazio libero). Gli approcci esistenti trattano spesso il completamento della forma e la presa come fasi separate o si affidano a cicli dedicati di esplorazione tattile che sono dispendiosi in termini di tempo. Gli autori affrontano la necessità di un sistema che ricostruisca simultaneamente un modello 3D dettagliato ed esegua le prese, utilizzando il feedback dai tentativi di presa (successo o fallimento) per raffinare iterativamente il modello dell'oggetto e ri-pianificare.

Metodologia
Gli autori propongono ShapeGrasp, una pipeline visuo-tattile iterativa che accoppia il completamento della forma tramite superfici implicite con la pianificazione della presa basata sulla fisica. Il sistema opera in un ciclo chiuso:

1. Rappresentazione dell'Oggetto: Il sistema rappresenta l'oggetto come una superficie implicita definita da una Funzione di Distanza con Segno (SDF), $O = \{x \in \mathbb{R}^3 \mid f(x; \theta, z_r) = 0\}$. L'input è una nuvola di punti aggregata $X_r$ che contiene l'osservazione visiva iniziale, i contatti tattili e i vincoli dello spazio libero.
2. Completamento della Forma: Il componente centrale è una rete neurale profonda basata su IGR (Implicit Geometric Regularization for Learning Shapes). Essa ottimizza un vettore latente $z_r$ per la specifica istanza dell'oggetto per approssimare la SDF. La rete è addestrata per minimizzare la distanza dai punti osservati e allinearsi con le normali di superficie, mentre un termine Eikonal regolarizza la magnitudo del gradiente.
3. Fusione dei Dati:
   • Visivi: Dati RGB-D iniziali da una telecamera fissa su tavolo e dati opzionali da una telecamera sul polso.
   • Tattili: Quando i sensori del gripper contattano l'oggetto, le loro posizioni vengono calcolate tramite cinematica diretta e aggiunte come dati di nuvola di punti.
   • Spazio Libero: Il volume occupato dal corpo del gripper durante l'approccio viene proiettato come una nuvola di punti. Questi punti sono trattati come vincoli che devono trovarsi al di fuori dell'oggetto (distanza con segno positiva), impedendo alla rete di allucinare geometria nel percorso del gripper.
4. Stima della Posa: Tra le iterazioni, la posa 6D dell'oggetto viene ricalcolata utilizzando l'allineamento ICP (Iterative Closest Point) tra l'attuale nuvola di punti segmentata e il sistema di riferimento iniziale, permettendo l'integrazione corretta dei nuovi dati.
5. Generazione della Presa: Un pianificatore di presa basato sulla fisica (utilizzando PyBullet) genera candidati dalla mesh triangolare ricostruita. Campiona punti superficiali, calcola i vettori di approccio e simula la presa (chiusura, sollevamento e rotazione) per valutarne la stabilità. Un punteggio di qualità $q$ penalizza lo scivolamento, il movimento dell'oggetto e la mancanza di contatto.
6. Ciclo Iterativo: Il sistema tenta la presa con la qualità più elevata e fattibile. Se la presa fallisce (l'oggetto scivola o cade), il sistema rileva il fallimento, ricalcola la posa, aggiorna il modello di forma con i nuovi dati tattili e dello spazio libero, e genera nuovi candidati di presa. Il ciclo continua finché non viene raggiunta una presa riuscita o viene raggiunto il numero massimo di iterazioni.

Contributi Chiave

1. Pipeline Iterativa di Presa e Completamento: Gli autori presentano il primo approccio, a loro conoscenza, che aggiorna le rappresentazioni di forma nel mondo reale a seguito di un tentativo di presa. La pipeline integra i contatti tattili e i vincoli dello spazio libero derivati dal gripper per raffinare il modello implicito dell'oggetto e innesca la ri-presa in caso di fallimento.
2. Generatore di Proposte di Presa Basato sulla Fisica: Un generatore innovativo che consuma le mesh triangolari ricostruite e supporta gripper multi-dito tramite modelli URDF. Utilizza la simulazione di corpi rigidi per valutare la stabilità della presa, integrandosi strettamente con l'output del completamento della forma.
3. Valutazione nel Mondo Reale: Esperimenti estesi sono stati condotti su due robot differenti (Kinova Gen3 e KUKA iiwa) con due gripper distinti (Robotiq 2F-85 e Barrett Hand) dotati di sensori tattili. Lo studio include un'analisi di ablazione delle fonti di informazione (solo visiva, spazio libero, tattile e combinata).
4. Open Source: Il codice e i dati sono resi pubblicamente disponibili.

Risultati
Il metodo è stato valutato su 9 oggetti del dataset YCB attraverso 10 sessioni per oggetto.

• Tasso di Successo della Presa (GSR): ShapeGrasp ha ottenuto tassi di successo superiori rispetto ai baseline (HyperPCR, 3DSGPD, VQDIF, VISHAC, ecc.). Ha raggiunto un tasso di successo dell'84% con la mano a tre dita Barrett e del 91% con il gripper a due dita Robotiq 2F-85.
• Qualità del Completamento della Forma: Il metodo ha superato i baseline nelle metriche di Chamfer Distance (CD) e Hausdorff Distance (HD). Per il gripper Robotiq, ShapeGrasp ha ottenuto una CD di 18,64 mm rispetto ai 23,85 mm del miglior baseline (HyperPCR). L'inclusione dei dati tattili ha fornito un miglioramento statisticamente significativo (circa il 5,5% di miglioramento medio tra le metriche) rispetto al completamento basato solo sui dati visivi.
• Studio di Ablazione:
  • Dati Tattili: Hanno migliorato significativamente la qualità della ricostruzione e il successo della presa.
  • Spazio Libero: I risultati sono stati misti; ha migliorato leggermente le prestazioni per il gripper Robotiq, ma ha diminuito le prestazioni per il Barrett Hand, probabilmente perché il potente Barrett Hand può schiacciare oggetti deformabili, posizionando i vincoli di "spazio libero" all'interno del volume dell'oggetto.
  • Telecamera sul Polso: Ha fornito le migliori metriche di ricostruzione ma non è sempre disponibile; i dati tattili fungono da alternativa robusta.
• Efficienza: Sebbene il metodo sia più lento di alcuni baseline basati sull'apprendimento (circa 5s per completamento + pianificazione rispetto a <1s di alcuni baseline), offre una pipeline unificata che non richiede modelli pre-addestrati per specifiche categorie di oggetti e gestisce i fallimenti in modo dinamico.

Significatività e Rivendicazioni
Gli autori affermano che ShapeGrasp dimostra una "pipeline simbiotica" in cui il completamento della forma e la presa si rinforzano a vicenda. La principale significatività risiede nella capacità di migliorare la rappresentazione della forma 3D dopo una presa nel mondo reale, una capacità che gli autori dichiarano essere unica nel loro approccio. Trattando i fallimenti della presa come eventi informativi piuttosto che errori terminali, il sistema adatta il proprio modello interno per ridurre l'incertezza. Gli autori osservano che, sebbene il metodo attualmente privilegi il richiamo (recall) rispetto alla precisione (portando a forme leggermente "gonfie"), riesce comunque a raggiungere alti tassi di successo nella presa e una migliore qualità di ricostruzione rispetto ai metodi allo stato dell'arte che si affidano esclusivamente a dati visivi o a cicli di esplorazione tattile dedicati. Il lavoro si posiziona come un passo verso una manipolazione autonoma più robusta in scenari che richiedono una conoscenza precisa delle proprietà dell'oggetto, come il passaggio di oggetti mano-robot o compiti di smistamento.