RoboArmGS: High-Quality Robotic Arm Splatting via Bézier Curve Refinement

기술 요약: RoboArmGS

문제 정의
실제 관측으로부터 로봇 팔의 사실적인 디지털 자산을 구축하는 것은 로봇 제어, 정책 학습 및 시뮬레이션 분야에서 매우 중요하다. 그러나 기존 방식들은 이상적인 운동학 모델(URDF)과 실제 물리적 실행 사이의 근본적인 불일치 문제에 직면해 있다. 기존 방법들은 정적인 3D 가우시안을 URDF 링크에 결합하여, 이들이 강체 운동을 수동적으로 따르도록 강제한다. 이러한 접근 방식은 제어 지연, 관절 마찰, 캘리브레이션 오류와 같은 실제 세계의 동적 편차를 반영하지 못하며, 이로 인해 심각한 렌더링 아티팩트와 디지털 자산과 시각적 관측 사이의 정렬 불량 문제를 야기한다. 또한, 많은 기존 파이프라인은 다중 뷰 데이터와 노동 집약적인 수동 세그멘테이션을 요구하는 복잡한 다단계 프로세스에 의존하므로, 통제된 실험실 환경 외에서의 확장성과 적용성이 제한된다.

방법론: RoboArmGS
저자들은 단안 비디오를 사용하여 강체 운동학적 사전 정보와 실제 시각적 관측을 조화시키도록 설계된 새로운 하이브리드 표현 방식인 RoboArmGS를 제안한다. 이 프레임워크는 두 가지 핵심 모듈로 구성된다:

1. 구조적 가우시안 바인딩 (Structured Gaussian Binding, SGB):
   SGB는 3D 가우시안을 비구조적인 집합체로 취급하는 대신, 로봇의 URDF 메쉬 상의 특정 면(face)에 각 가우시안을 고정한다. 이는 모든 가우시안이 단일 링크 내에서 집단적인 강체 변환을 거치도록 보장함으로써 위상적 일관성을 강제한다.

   • 물리 기반 로컬 파라미터화: 움직임은 조각적 강성(piecewise rigidity)을 유지하기 위해 MuJoCo 엔진의 순운동학(Forward Kinematics, FK)에 의해 구동된다. 가우시안 속성은 동적인 포즈 의존적 상태(링크 포즈에 의해 결정됨)와 학습 가능한 정적 속성(위치, 회전, 스케일, 색상 및 불투명도에 대한 로컬 오프셋)으로 분해된다.
   • 바인딩 인지 적응형 밀도화 (Binding-Aware Adaptive Densification): 구조적 무결성을 깨뜨리지 않으면서 고주파 세부 사항을 포착하기 위해, 이 방법은 바인딩 상속(새로운 프리미티브가 조상의 면 인덱스를 상속함)과 구조 보존 제약(어떠한 메쉬 면과 관련된 가우시안도 제거되지 않도록 방지)을 구현한다.

2. 베지에 기반 모션 리파이너 (Bézier-based Motion Refiner, BMR):
   이상적인 FK와 실제 역학 사이의 불일치를 해결하기 위해, BMR은 경량 모션 잔차 필드(motion residual field) 역할을 한다. 이는 강체 모델을 교정하기 위해 매끄럽고 연속적인 시간 기반 잔차 변환을 학습한다.

   • 학습 가능한 베지에 교정: 9차원 파라미터 공간(3D 이동 + 6D 회전) 내의 학습 가능한 베지에 곡선을 사용하여 전역적이고 시간에 따라 변하는 교정을 모델링한다. 이는 복잡한 움직임 패턴과 시간적 드리프트를 포착한다.
   • 관절별 정적 교정: 계층적 의존성을 처리하기 위해, 모델은 각 관절에 대해 학습 가능한 정적 임베딩을 포함한다. 이는 링크 길이 오류나 관절 캘리브레이션 드리프트와 같은 내재적인 구조적 불일치를 교정한다.
   • 포즈 합성: 각 관절의 최종 포즈는 명목상의 FK 포즈, 전역 베지에 교정, 그리고 관절별 정적 오프셋을 합성하여 계산된다.

전체 시스템은 렌더링 손실(L1 + D-SSIM)과 기하학적 정규화(큰 로컬 오프셋에 패널티 부여) 및 베지에 속도 정규화(교정의 시간적 매끄러움 보장)를 통해 최적화된다.

주요 기여

• RoboArmGS 프레임워크: 구조적 가우시안 바인딩과 베지에 기반 모션 리파이너를 결ongs시킨 하이브리드 표현 방식이다. 이는 기하학적 일관성을 강제하는 동시에 동적 편차를 명시적으로 교정하여, 강체 운동학적 사전 정보와 실제 관측을 일치시킨다.
• RoboArm4D 데이터셋: 널리 사용되는 산업용 로봇 팔(Franka FR3, UR-5e, ABB IRB 120)을 특징으로 하는 정교하게 수집된 벤치마크이다. 이는 고충실도 디지털 자산 생성을 용이하게 하기 위해 동기화된 단안 비디오, 캘리브레이션된 카메라 파라미터, 타임스탬프가 찍힌 관절 궤적 및 URDF 파일을 제공한다.
• 최첨단 성능: 이 방법은 기존 베이스라인 모델들과 비교하여 새로운 뷰 합성(정적 재구성) 및 새로운 포즈 합성(보이지 않는 관절 구성의 동적 렌더링) 모두에서 우수한 결과를 달성하였다.

결과
RoboArm4D 데이터셋에서 평가된 RoboArmGS는 최첨단 방법들보다 유의미한 개선을 보여준다:

• 새로운 뷰 합성 (Novel-View Synthesis): PSNR 28.669, SSIM 0.938, LPIPS 0.065를 달성하여 Robo-GS, 2DGS, SuGaR와 같은 방법들을 능가했다. 구조적 바인딩은 부유하는 아티팩트(floating artifacts)를 방지하고 구조적 일관성을 유지한다.
• 새로운 포즈 합성 (Novel-Pose Synthesis): PSNR 31.704, SSIM 0.967, LPIPS 0.039를 달성했다. 특정 관절 각도를 렌더링하지 못하는 일반적인 4D 재구성 방법이나, 움직임 불일치 문제를 겪는 단순 FK 구동 베이스라인과 달리, RoboArmGS는 보이지 않는 포즈에 대해서도 날카롭고 운동학적으로 정확한 이미지를 생성한다.
• 절제 연구 (Ablation Studies): SGB 모듈을 제거하면 정적 재구성 품질이 심각하게 저하되는 반이, BMR 모듈을 제거하면 움직임이 많은 영역(예: 그리퍼)에서 상당한 아티팩트가 발생함을 확인하여 두 구성 요소의 필요성을 입증했다.

의의
본 논문은 RoboArmGS를 로보틱스를 위한 견고한 시뮬레이션 플랫폼을 구축하기 위한 기초적인 단계로 자리매김한다. 단안 비디오를 사용하여 이상적인 운동학과 물리적 실체 사이의 간극을 메꿈으로써, 이 방법은 시각적으로 사실적이면서도 운동학적으로 정확한 디지털 자산 생성을 가능하게 한다. 이러한 능력은 로봇 제어 및 정책 학습의 Sim-to-Real 격차를 해소하는 데 필수적이다. 저자들은 이 접근 방식이 복잡한 다중 뷰 파이프라인의 대안으로서, 캐주얼한 단안 비디오 입력만을 필요로 하면서도 실제 로봇 실행에 내재된 동적 편차를 명시적으로 모델링한다는 점을 강조한다. RoboArm4D 데이터셋과 코드의 공개는 고충실도 로봇 디지털화를 위한 향후 연구를 지원하는 것을 목표로 한다.