RoboArmGS: High-Quality Robotic Arm Splatting via Bézier Curve Refinement

Technische Samenvatting: RoboArmGS

Probleemstelling
Het construeren van fotorealistische en controleerbare digitale assets van robotarmen op basis van observaties uit de echte wereld is cruciaal voor toepassingen in robotbesturing, beleidsleren (policy learning) en simulatie. De huidige benaderingen kampen echter met een fundamentele discrepantie tussen geïdealiseerde kinematische modellen (URDF) en de werkelijke fysieke uitvoering. Bestaande methoden koppelen statische 3D-Gaussians vaak passief aan URDF-links, waardoor ze de rigide kinematische beweging simpelweg volgen. Deze aanpak houdt geen rekening met real-world dynamische afwijkingen—zoals controlelatentie, gewrichtsfrictie en kalibratiefouten—wat leidt tot ernstige rendering-artefacten en een mismatch tussen de digitale asset en visuele observaties. Bovendien vertrouwen veel bestaande pipelines op complexe, meerfasige processen die multi-view data en arbeidsintensieve handmatige segmentatie vereisen, wat de schaalbaarheid en toepasbaarheid buiten gecontroleerde laboratoriumomgevingen beperkt.

Methodologie: RoboArmGS
De auteurs stellen RoboArmGS voor, een nieuwe hybride representatie die ontworpen is om rigide kinematische priors te harmoniseren met werkelijke visuele observaties met behulp van monoculaire video. Het framework bestaat uit twee kernmodules:

1. Structured Gaussian Binding (SGB):
   In plaats van 3D-Gaussians te behandelen als een ongestructureerde verzameling, verankert SGB elke Gaussian aan een specifief vlak (face) op het URDF-mesh van de robot binnen zijn lokale coördinatenstelsel. Dit dwingt topologische consistentie af door ervoor te zorgen dat alle Gaussians op een enkele link een collectieve rigide transformatie ondergaan.

   • Physics-driven Lokale Parameterisatie: De beweging wordt gedreven door forward kinematics (FK) vanuit een MuJoCo-engine om stuksgewijze rigiditeit te behouden. Gaussian-eigenschappen worden gedecomposeerd in dynamische, pose-afhankelijke staten (bepaald door link-poses) en leerbare statische attributen (lokale offsets voor positie, rotatie, schaal, kleur en opaciteit).
   • Binding-Aware Adaptieve Densificatie: Om hoogfrequente details te vangen zonder de structurele integriteit te verbreken, implementeert de methode binding-overerving (nieuwe primitieven erven de face-index van hun progenitor) en een structurele preservatie-constraint (het voorkomen van het verwijderen van Gaussians die geassocieerd zijn met een mesh-vlak).

2. Bézier-gebaseerde Motion Refiner (BMR):
   Om de mismatch tussen geïdealiseerde FK en real-world dynamica aan te pakken, fungeert BMR als een lichtgewicht motion residual field. Het leert een vloeiende, continue-tijd residuele transformatie om het rigide model te corrigeren.

   • Leerbare Bézier-correctie: Een globale, tijdvariërende correctie wordt gemodelleerd met behulp van een leerbare Bézier-curve in een 9-dimensionale parameterruimte (3D translatie + 6D rotatie). Dit vangt complexe bewegingspatronen en temporele drift op.
   • Per-Joint Statische Correctie: Om hiërarchische afhankelijkheden te beheren, bevat het model statische, leerbare embeddings voor elk gewricht. Deze corrigeren intrinsieke structurele discrepanties zoals fouten in de linklengte of kalibratie-drift van de gewrichten.
   • Pose Compositie: De uiteindelijke pose voor elk gewricht wordt berekend door de nominale FK-pose te combineren met de globale Bézier-correctie en de per-joint statische offset.

Het volledige systeem wordt geoptimaliseerd via een rendering loss (L1 + D-SSIM) gecombineerd met geometrische regularisatie (het bestraffen van grote lokale offsets) en Bézier-snelheidsregularisatie (het garanderen van temporele vloeiendheid van de correctie).

Belangrijkste Bijdragen

• RoboArmGS Framework: Een hybride representatie die Structured Gaussian Binding en een Bézier-gebaseerde Motion Refiner combineert. Het dwingt geometrische consistentie af terwijl het expliciet dynamische discrepanties corrigeert, waardoor rigide kinematische priors en real-world observaties met elkaar worden verzoend.
• RoboArm4D Dataset: Een zorgvuldig samengestelde benchmark met veelgebruikte industriële robotarmen (Franka FR3, UR-5e, ABB IRB 120). Het biedt gesynchroniseerde monoculaire video's, gekalibreerde cameraparameters, tijdgestempelde trajecten van de gewrichten en URDF-bestanden om de evaluatie van hoogwaardige digitale asset-creatie te faciliteren.
• State-of-the-Art Prestaties: De methode behaalt superieure resultaten in zowel novel-view synthesis (statische reconstructie) als novel-pose synthesis (dynamische rendering van ongeziene gewrichtsconfiguraties) vergeleken met bestaande baselines.

Resultaten
Geëvalueerd op de RoboArm4D dataset, vertoont RoboArmGS significante verbeteringen ten opzichte van state-of-the-art methoden:

• Novel-View Synthesis: Behaalde een PSNR van 28.669, SSIM van 0.938 en LPIPS van 0.065, waarmee methoden zoals Robo-GS, 2DGS en SuGaR wordt overtroffen. De gestructureerde binding voorkomt zwevende artefacten en behoudt structurele coherentie.
• Novel-Pose Synthesis: Behaalde een PSNR van 31.704, SSIM van 0.967 en LPIPS van 0.039. In tegen tegenover generieke 4D-reconstructiemethoden die falen bij het renderen van specifieke gewrichtshoeken, of eenvoudige FK-gestuurde baselines die lijden onder bewegingsmisalignement, produceert RoboArmGS scherpe, kinematisch accurate beelden voor ongeziene poses.
• Ablatie-studies: Bevestigen dat het verwijderen van de SGB-module de kwaliteit van de statische reconstructie ernstig verslechtert, terwijl het verwijderen van de BMR-module resulteert in significante artefacten in sterk gearticuleerde regio's (bijv. de gripper), wat de noodzaak van beide componenten valideert.

Betekenis
Dit artikel positioneert RoboArmGS als een fundamentele stap naar het creëren van robuuste simulatieplatforms voor robotica. Door de kloof tussen geïdealiseerde kinematica en de fysieke realiteit te overbruggen met behulp van monoculaire video, stelt de methode de generatie van digitale assets mogelijk die zowel visueel fotorealistisch als kinematisch accuraat zijn. Deze capaciteit is essentieel voor het overbruggen van de sim-to-real gap in robotbesturing en beleidsleren. De auteurs benadrukken dat hun aanpak een schaalbaar alternatief biedt voor complexe multi-view pipelines, waarbij slechts monoculaire video-inputs nodig zijn terwijl de inherente dynamische afwijkingen in real-world robotuitvoering expliciet worden gemodelleerd. De release van de RoboArm4D dataset en code heeft als doel toekomstig onderzoek in hoogwaardige robotisering te ondersteunen.