RoboArmGS: High-Quality Robotic Arm Splatting via Bézier Curve Refinement

Resumen Técnico: RoboArmGS

Planteamiento del Problema
La construcción de activos digitales fotorrealistas y controlables de brazos robóticos a partir de observaciones del mundo real es crítica para aplicaciones en control de robots, aprendizaje de políticas y simulación. Sin embargo, los enfoques actuales enfrentan una discrepancia fundamental entre los modelos cinemáticos idealizados (URDF) y la ejecución física real. Los métodos existentes suelen vincular Gaussianas 3D estáticas a los eslabones del URDF, forzándolas a seguir pasivamente un movimiento cinemático rígido. Este enfoque no logra contabilizar las desviaciones dinámicas del mundo real —como la latencia de control, la fricción de las articulaciones y los errores de calibración—, lo que provoca graves artefactos de renderizado y desalineación entre el activo digital y las observaciones visuales. Además, muchos de los pipelines existentes dependen de procesos complejos de múltiples etapas que requieren datos multivista y una segmentación manual laboriosa, lo que limita su escalabilidad y aplicabilidad fuera de entornos de laboratorio controlados.

Metodología: RoboArmGS
Los autores proponen RoboArmGS, una novedosa representación híbrida diseñada para armonizar los conocimientos previos cinemáticos rígidos con las observaciones visuales reales utilizando video monocular. El marco consta de dos módulos principales:

1. Vinculación de Gaussianas Estructuradas (SGB - Structured Gaussian Binding):
   En lugar de tratar las Gaussianas 3D como una colección no estructurada, SGB ancla cada Gaussiana a una cara específica de la malla URDF del robot dentro de su marco de referencia local. Esto impone consistencia topológica al asegurar que todas las Gaussianas en un solo eslabón experimenten una transformación rígida colectiva.

   • Parametrización de Parámetros Locales Impulsada por la Física: El movimiento es impulsado por la cinemática directa (FK) de un motor MuJoCo para mantener la rigidez por partes. Las propiedades de la Gaussiana se descomponen en estados dinámicos dependientes de la pose (determinados por las poses de los eslabones) y atributos estáticos aprendibles (offsets locales para posición, rotación, escala, color y opacidad).
   • Densificación Adaptativa Consciente de la Vinculación: Para capturar detalles de alta frecuencia sin romper la integridad estructural, el método implementa la herencia de vinculación (los nuevos primitivos heredan el índice de la cara de su progenitor) y una restricción de preservación estructural (evitando la poda de Gaussianas asociadas con cualquier cara de la malla).

2. Refinador de Movimiento Basado en Bézier (BMR - Bézier-based Motion Refiner):
   Para abordar el desajuste entre la FK idealizada y la dinámica del mundo real, BMR actúa como un campo de residuo de movimiento ligero. Aprende una transformación de residuo continua en el tiempo para corregir el modelo rígido.

   • Corrección de Bézier Aprendible: Una corrección global variable en el tiempo se modela mediante una curva de Bézier aprendible en un espacio de parámetros de 9 dimensiones (traslación 3D + rotación 6D). Esto captura patrones de movimiento complejos y derivas temporales.
   • Corrección Estática por Articulación: Para manejar dependencias jerárquicas, el modelo incluye embeddings estáticos aprendibles para cada articulación. Estos corrigen discrepancias estructurales intrínsecas como errores de longitud de eslabón o deriva de calibración de la articulación.
   • Composición de Pose: La pose final para cada articulación se calcula componiendo la pose nominal de la FK, la corrección de Bézier global y el offset estático por articulación.

Todo el sistema se optimiza mediante una pérdida de renderizado (L1 + D-SSIM) combinada con regularización geométrica (penalizando grandes offsets locales) y regularización de velocidad de Bézier (asegurando la suavidad temporal de la corrección).

Contribuciones Clave

• Marco de Trabajo RoboArmGS: Una representación híbrida que sinergiza la Vinculación de Gaussianas Estructuradas y un Refinador de Movimiento basado en Bézier. Impone consistencia geométrica mientras corrige explícitamente las discrepancias dinámicas, reconciliando los conocimientos previos cinemáticos rígidos con las observaciones del mundo real.
• Dataset RoboArm4D: Un benchmark cuidadosamente recolectado que presenta brazos robóticos industriales ampliamente utilizados (Franka FR3, UR-5e, ABB IRB 120). Proporciona videos monoculares sincronizados, parámetros de cámara calibrados, trayectorias de articulación con marcas de tiempo y archivos URDF para facilitar la evaluación de la creación de activos digitales de alta fidelidad.
• Desempeño de Vanguardia (State-of-the-Art): El método logra resultados superiores tanto en la síntesis de vistas novedosas (reconstrucción estática) como en la síntesis de poses novedosas (renderizado dinámico de configuraciones de articulación no vistas) en comparación con las líneas base existentes.

Resultados
Evaluado en el dataset RoboArm4D, RoboArmGS demuestra mejoras significativas sobre los métodos de vanguardia:

• Síntesis de Vistas Nuevas: Logró un PSNR de 28.669, SSIM de 0.938 y LPIPS de 0.065, superando métodos como Robo-GS, 2DGS y SuGaR. La vinculación estructurada evita artefactos flotantes y mantiene la coherencia estructural.
• Síntesis de Poses Nuevas: Logró un PSNR de 31.704, SSIM de 0.967 y LPIPS de 0.039. A diferencia de los métodos genéricos de reconstrucción 4D que fallan al renderizar ángulos de articulación específicos, o las líneas base simples impulsadas por FK que sufren de desalineación de movimiento, RoboArmGS produce imágenes nítidas y cinemáticamente precisas para poses no vistas.
• Estudios de Ablación: Confirman que eliminar el módulo SGB degrada severamente la calidad de la reconstrucción estática, mientras que eliminar el módulo BMR resulta en artefactos significativos en regiones altamente articuladas (por ejemplo, la pinza), validando la necesidad de ambos componentes.

Significado
El artículo posiciona a RoboArmGS como un paso fundacional hacia la creación de plataformas de simulación robustas para la robótica. Al cerrar la brecha entre la cinemática idealizada y la realidad física mediante video monocular, el método permite la generación de activos digitales que son tanto visualmente fotorrealistas como cinemáticamente precisos. Esta capacidad es esencial para cerrar la brecha sim-to-real en el control de robots y el aprendizaje de políticas. Los autores enfatizan que su enfoque ofrece una alternativa escalable a los complejos pipelines multivista, requiriendo solo entradas de video monocular casuales mientras modela explícitamente las desviaciones dinámicas inherentes a la ejecución robótica en el mundo real. El lanzamiento del dataset RoboArm4D y del código tiene como objetivo apoyar la investigación futura en la digitalización robótica de alta fidelidad.