RoboArmGS: High-Quality Robotic Arm Splatting via Bézier Curve Refinement

Sintesi Tecnica: RoboArmGS

Problematica
La costruzione di asset digitali fotorealistici e controllabili di bracci robotici a partire da osservazioni del mondo reale è fondamentale per applicazioni nel controllo robotico, nell'apprendimento di policy e nella simulazione. Tuttavia, gli approcci attuali affrontano una discrepanza fondamentale tra i modelli cinematici idealizzati (URDF) e l'esecuzione fisica reale. I metodi esistenti tipicamente legano 3D Gaussian statiche a link URDF, costringendole a seguire passivamente un moto cinematico rigido. Questo approccio non tiene conto delle deviazioni dinamiche del mondo reale — come la latenza di controllo, l'attrito dei giunti e gli errori di calibrazione — portando a gravi artefatti di rendering e disallineamenti tra l'asset digitale e le osservazioni visive. Inoltre, molti pipeline esistenti si affidano a processi complessi multistadio che richiedono dati multi-view e una segmentazione manuale laboriosa, limitandone la scalabilità e l'applicabilità al di fuori di ambienti di laboratorio controllati.

Metodologia: RoboArmGS
Gli autori propongono RoboArmGS, una nuova rappresentazione ibrida progettata per armonizzare i priori cinematici rigidi con le effettive osservazioni visive utilizzando video monoculari. Il framework consiste in due moduli core:

1. Structured Gaussian Binding (SGB):
   Invece di trattare le 3D Gaussian come una collezione non strutturata, l'SGB ancora ogni Gaussian a una specifica faccia della mesh URDF del robot all'interno del proprio sistema di coordinate locale. Ciò impone una coerenza topologica garantendo che tutte le Gaussian su un singolo link subiscano una trasformazione rigida collettiva.

   • Parametrizzazione Locale guidata dalla Fisica: Il moto è guidato dalla cinematica diretta (FK) da un motore MuJoCo per mantenere la rigidità a tratti. Le proprietà delle Gaussian sono decomposte in stati dinamici dipendenti dalla posa (determinati dalle pose dei link) e attributi statici apprendibili (offset locali per posizione, rotazione, scala, colore e opacità).
   • Densificazione Adattiva Consapevole del Binding: Per catturare dettagli ad alta frequenza senza rompere l'integrità strutturale, il metodo implementa l'ereditarietà del binding (le nuove primitive ereditano l'indice della faccia del loro progenitore) e un vincolo di preservazione strutturale (impedendo la rimozione delle Gaussian associate a qualsiasi faccia della mesh).

2. Bézier-based Motion Refiner (BMR):
   Per affrontare il disallineamento tra la FK idealizzata e la dinamica del mondo reale, il BMR agisce come un campo residuo di moto leggero. Esso apprende una trasformazione residua continua nel tempo per correggere il modello rigido.

   • Correzione Bézier Apprendibile: Una correzione globale variabile nel tempo è modellata utilizzando una curva di Bézier apprendibile in uno spazio di parametri a 9 dimensioni (traslazione 3D + rotazione 6D). Ciò cattura pattern di moto complessi e derive temporali.
   • Correzione Statica per Giunto: Per gestire le dipendenze gerarchiche, il modello include embedding statici apprendibili per ogni giunto. Questi correggono le discrepanze strutturali intrinseche come gli errori di lunghezza del link o la deriva di calibrazione del giunto.
   • Composizione della Posa: La posa finale per ogni giunto è calcolata componendo la posa FK nominale, la correzione Bézier globale e l'offset statico per giunto.

L'intero sistema è ottimizzato tramite una perdita di rendering (L1 + D-SSIM) combinata con una regolarizzazione geometrica (che penalizza i grandi offset locali) e una regolarizzazione della velocità di Bézier (per garantire la fluidità temporale della correzione).

Contributi Chiave

• Framework RoboArmGS: Una rappresentazione ibrida che sinergizza lo Structured Gaussian Binding e un Bézier-based Motion Refiner. Impone la coerenza geometrica correggendo esplicitamente le discrepanze dinamiche, riconciliando i priori cinematici rigidi con le osservazioni del mondo reale.
• Dataset RoboArm4D: Un benchmark accuratamente raccolto che presenta bracci robotici industriali ampiamente utilizzati (Franka FR3, UR-5e, ABB IRB 120). Fornisce video monoculari sincronizzati, parametri della camera calibrati, traiettorie dei giunti con timestamp e file URDF per facilitare l'valutazione della creazione di asset digitali ad alta fedeltà.
• Prestazioni allo Stato dell'Arte: Il metodo ottiene risultati superiori sia nella sintesi di nuovi viste (ricostruzione statica) che nella sintesi di nuove pose (rendering dinamico di configurazioni di giunti non viste) rispetto ai baseline esistenti.

Risultati
Valutato sul dataset RoboArm4D, RoboArmGS dimostra miglioramenti significativi rispetto ai metodi allo stato dell'arte:

• Sintesi di Nuove Viste: Ha raggiunto un PSNR di 28.669, SSIM di 0.938 e LPIPS di 0.065, superando metodi come Robo-GS, 2DGS e SuGaR. Il binding strutturato previene artefatti fluttuanti e mantiene la coerenza strutturale.
• Sintesi di Nuove Pose: Ha raggiunto un PSNR di 31.704, SSIM di 0.967 e LPIPS di 0.039. A differenza dei metodi generici di ricostruzione 4D che falliscono nel renderizzare angoli di giunto specifici, o dei semplici baseline guidati da FK che soffrono di disallineamento del moto, RoboArmGS produce immagini nitide e cinematicamente accurate per pose non viste.
• Studi di Ablazione: Confermano che la rimozione del modulo SGB degrada severamente la qualità della ricostruzione statica, mentre la rimozione del modulo BMR provoca artefatti significativi nelle regioni altamente articolate (es. la pinza/gripper), validando la necessità di entrambi i componenti.

Significato
Il paper posiziona RoboArmGS come un passo fondamentale verso la creazione di piattaforme di simulazione robuste per la robotica. Colmando il divario tra la cinematica idealizzata e la realtà fisica tramite video monoculari, il metodo consente la generazione di asset digitali che sono sia visivamente fotorealistici che cinematicamente accurati. Questa capacità è essenziale per colmare il gap sim-to-real nel controllo robotico e nell'apprendimento di policy. Gli autori sottolineano che il loro approccio offre un'alternativa scalabile ai complessi pipeline multi-view, richiedendo solo input video monoculari casuali pur modellando esplicitamente le deviazioni dinamiche inerenti all'esecuzione robotica nel mondo reale. Il rilascio del dataset RoboArm4D e del codice mira a supportare la ricerca futura nella digitalizzazione robotica ad alta fedeltà.