RoboArmGS: High-Quality Robotic Arm Splatting via Bézier Curve Refinement

Resumo Técnico: RoboArmGS

Problema
A construção de ativos digitais fotorrealistas e controláveis de braços robóticos a partir de observações do mundo real é crítica para aplicações em controle de robôs, aprendizado de políticas e simulação. No entanto, as abordagens atuais enfrentam uma discrepância fundamental entre modelos cinemáticos idealizados (URDF) e a execução física real. Os métodos existentes normalmente vinculam Gaussianos 3D estáticos a links do URDF, forçando-os a seguir passivamente um movimento cinemático rígido. Essa abordagem falha em considerar desvios dinâmicos do mundo real — como latência de controle, fricção de junta e erros de calibração — levando a artefatos de renderização severos e desalinhamento entre o ativo digital e as observações visuais. Além disso, muitos pipelines existentes dependem de processos complexos de múltiplos estágios que exigem dados de múltiplas vistas e segmentação manual trabalhosa, limitando sua escalabilidade e aplicabilidade fora de ambientes laboratoriais controlados.

Metodologia: RoboArmGS
Os autores propõem o RoboArmGS, uma nova representação híbrida projetada para harmonizar priors cinemáticos rígidos com observações visuais reais usando vídeo monocular. O framework consiste em dois módulos principais:

1. Vínculo de Gaussiano Estruturado (Structured Gaussian Binding - SGB):
   Em vez de tratar os Gaussianos 3D como uma coleção não estruturada, o SGB ancora cada Gaussiano a uma face específica da malha (mesh) do URDF do robô dentro de seu quadro de referência local. Isso impõe consistência topológica ao garantir que todos os Gaussianos em um único link passem por uma transformação rígida coletiva.

   • Parametrização Local Impulsionada pela Física: O movimento é impulsionado pela cinemática direta (FK) de um motor MuJoCo para manter a rigidez por partes. As propriedades dos Gaussianos são decompostas em estados dinâmicos, dependentes da pose (determinados pelas poses dos links) e atributos estáticos aprendíveis (offsets locais para posição, rotação, escala, cor e opacidade).
   • Densificação Adaptativa Consciente do Vínculo: Para capturar detalhes de alta frequência sem quebrar a integridade estrutural, o método implementa herança de vínculo (novos primitivos herdam o índice da face de seu progenitor) e uma restrição de preservação estrutural (impedindo a poda de Gaussianos associados a qualquer face da malha).

2. Refinador de Movimento Baseado em Bézier (Bézier-based Motion Refiner - BMR):
   Para abordar o descompasso entre a FK idealizada e a dinâmica do mundo real, o BMR atua como um campo de resíduo de movimento leve. Ele aprende uma transformação residual contínua no tempo para corrigir o modelo rígido.

   • Correção de Bézier Aprendível: Uma correção global e variante no tempo é modelada usando uma curva de Bézier aprendível em um espaço de parâmetros de 9 dimensões (translação 3D + rotação 6D). Isso captura padrões de movimento complexos e derivas temporais.
   • Correção Estática por Junta: Para lidar com dependências hierárquicas, o modelo inclui embeddings estáticos aprendíveis para cada junta. Estes corrigem discrepâncias estruturais intrínsecas, como erros de comprimento de link ou deriva de calibração de junta.
   • Composição de Pose: A pose final para cada junta é computada compondo a pose nominal da FK, a correção de Bézier global e o offset estático por junta.

Todo o sistema é otimizado via uma perda de renderização (L1 + D-SSIM) combinada com regularização geométrica (penalizando grandes offsets locais) e regularização de velocidade de Bézier (garantindo suavidade temporal da correção).

Principais Contribuições

• Framework RoboArmGS: Uma representação híbrida que sinergiza o Vínculo de Gaussiano Estruturado e um Refinador de Movimento Baseado em Bézier. Ele impõe consistência geométrica enquanto corrige explicitamente discrepâncias dinâmicas, reconciliando priors cinemáticos rígidos com observações do mundo real.
• Dataset RoboArm4D: Um benchmark cuidadosamente coletado apresentando braços robóticos industriais amplamente utilizados (Franka FR3, UR-5e, ABB IRB 120). Ele fornece vídeos monoculares sincronizados, parâmetros de câmera calibrados, trajetórias de junta com carimbo de tempo e arquivos URDF para facilitar a avaliação da criação de ativos digitais de alta fidelidade.
• Desempenho de Estado da Arte: O método alcança resultados superiores tanto em síntese de nova visão (reconstrução estática) quanto em síntese de nova pose (renderização dinâmica de configurações de junta não vistas) em comparação com baselines existentes.

Resultos
Avaliado no dataset RoboArm4D, o RoboArmGS demonstra melhorias significativas sobre métodos de estado da arte:

• Síntese de Nova Visão: Alcançou um PSNR de 28.669, SSIM de 0.938 e LPIPS de 0.065, superando métodos como Robo-GS, 2DGS e SuGaR. O vínculo estruturado evita artefatos flutuantes e mantém a coerência estrutural.
• Síntese de Nova Pose: Alcançou um PSNR de 31.704, SSIM de 0.967 e LPIPS de 0.039. Diferente de métodos genéricos de reconstrução 4D que falham em renderizar ângulos de junta específicos, ou baselines simples impulsionados por FK que sofrem de desalinhamento de movimento, o RoboArmGS produz imagens nítidas e cinematicamente precisas para poses não vistas.
• Estudos de Ablação: Confirmam que remover o módulo SGB degrada severamente a qualidade da reconstrução estática, enquanto remover o módulo BMR resulta em artefatos significativos em regiões altamente articuladas (ex: o gripper), validando a necessidade de ambos os componentes.

Significância
O artigo posiciona o RoboArmGS como um passo fundamental para a criação de plataformas de simulação robustas para robótica. Ao preencher a lacuna entre a cinemática idealizada e a realidade física usando vídeo monocular, o método permite a geração de ativos digitais que são simultaneamente fotorrealistas e cinematicamente precisos. Essa capacidade é essencial para reduzir o gap sim-to-real em controle de robôs e aprendizado de políticas. Os autores enfatizam que sua abordagem oferece uma alternativa escalável a pipelines complexos de múltiplas vistas, exigindo apenas entradas de vídeo monocular casuais enquanto modela explicitamente os desvios dinâmicos inerentes à execução robótica no mundo real. O lançamento do dataset RoboArm4D e do código visa apoiar pesquisas futuras em digitalização robótica de alta fidelidade.