기술 요약: 로봇 조작을 위한 기하학적 인식 4D 비디오 생성

문제 정의

로봇 조작은 물리적 세계가 시간에 따라 어떻게 변화하는지, 특히 물체의 운동과 가려짐 (occlusion) 과 관련하여 예측할 수 있는 능력을 요구합니다. 최근 비디오 생성 모델은 동적 장면을 모델링하는 데 강력한 잠재력을 보여주지만, 로봇 공학에 적용될 때 두 가지 중요한 한계에 직면합니다:

1. 시간적 일관성: 시간 경과에 따라 매끄럽고 인과적으로 일관된 운동을 보장하는 것.
2. 3D 일관성: 서로 다른 시점에서 물체의 기하학적 구조와 공간적 대응 관계를 유지하는 것.

기존의 픽셀 기반 모델 (예: 표준 비디오 확산) 은 단기 운동에는 탁월한 성능을 보이지만 3D 구조적 이해가 부족하여 깜빡임이나 변형과 같은 아티팩트를 초래합니다. 반면, 3D 인식 접근법은 기하학적 제약을 강제하지만 현실적인 다중 물체 조작 시나리오로 확장하는 데 어려움을 겪거나 알려진 카메라 포즈에 크게 의존합니다. 또한, 새로운 카메라 뷰에서 시간적으로 일관성 있고 기하학적으로 일관된 비디오를 생성하는 것은 여전히 중요한 과제로 남아 있습니다.

방법론

저자들은 강력한 시간 모델링과 견고한 3D 기하학적 일관성을 통합하는 4D 비디오 생성 프레임워크를 제안합니다. 이 방법은 각 뷰당 단일 RGB-D 이미지를 입력으로 받아 새로운 뷰에서 RGB 및 깊이 (Depth) 가 포함된 시공간적으로 정렬된 미래 비디오 시퀀스를 생성하며, 추론 시 카메라 포즈를 입력으로 요구하지 않습니다.

핵심 아키텍처

이 모델은 잠재 비디오 확산 (Latent Video Diffusion) 백본 (특히 Stable Video Diffusion, SVD 에서 적응된) 을 기반으로 구축되었습니다. 이 모델은 미래 RGB 프레임과 3D 포인트맵을 공동으로 생성합니다.

• 입력: 두 개의 카메라 뷰 ($v_n$ 및 $v_m$) 에서의 과거 RGB-D 관측치.
• 출력: 두 뷰에 대한 미래 RGB 프레임 및 3D 포인트맵. 중요한 점은 두 번째 뷰 ($v_m$) 의 포인트맵이 기준 뷰 ($v_n$) 의 좌표계로 예측된다는 것입니다.

주요 기술 구성 요소

1. 기하학적 일관성 감독
DUSt3R 에서 영감을 받아, 저자들은 교차 뷰 정렬을 강제하는 감독 메커니즘을 도입했습니다:

• 모델은 기준 뷰 ($v_n$) 에 대한 3D 포인트맵 시퀀스와 $v_n$ 의 좌표계로 투영된 두 번째 뷰 ($v_m$) 에 대한 3D 포인트맵 시퀀스 쌍을 예측합니다.
• 포인트맵 VAE(사전 학습된 RGB VAE 에서 초기화되고 포인트맵 데이터로 미세 조정됨) 가 이러한 포인트맵을 잠재 공간으로 인코딩합니다.
• 확산 모델은 시간 경과에 따라 기준 포인트와 투영된 3D 포인트 간의 차이를 최소화하도록 훈련되어 공유된 3D 장면 표현을 학습합니다.

2. 다중 뷰 교차 어텐션
네이티브 뷰와 투영된 뷰 간의 비대칭성을 처리하기 위해 U-Net 디코더 아키텍처가 수정되었습니다:

• 두 개의 뷰에 대해 두 개의 별도 디코더 (동일한 아키텍처를 가지지만 독립적인 가중치) 가 사용됩니다.
• 디코더 사이에 교차 어텐션 (cross-attention) 레이어가 삽입됩니다. 기준 뷰 ($v_n$) 의 특징은 교차 어텐션을 통해 두 번째 뷰 ($v_m$) 디코더로 전달됩니다. 이를 통해 두 번째 뷰는 기준 뷰의 기하학적 단서를 통합하여 공유 좌표계 내에서 정확한 포인트맵 예측을 가능하게 합니다.

3. 공동 최적화
훈련 목적 함수는 RGB 를 위한 표준 비디오 확산 손실과 포인트맵을 위한 제안된 기하학적 일관성 손실을 결합합니다:
$$L = \sum_{t'} \left[ (L^n_{diff}(t') + L^m_{diff}(t')) + \lambda \cdot L^{3D-diff}(t') \right]$$
여기서 $L^{3D-diff}$는 네이티브 뷰 포인트맵과 투영된 뷰 포인트맵 모두에 확산 손실을 적용합니다. 또한 로봇 그리퍼 영역의 정확도를 우선시하기 위해 가중치 메커니즘이 적용되어 하류 동작 추출에 중요합니다.

4. 로봇 정책 추출
생성된 4D 비디오는 시각화를 위한 것뿐만 아니라 로봇 엔드 이펙터 궤적을 복원하는 데 사용됩니다:

• 상용 6DoF 포즈 추적기(FoundationPose) 가 생성된 RGB-D 시퀀스를 처리하여 그리퍼 포즈 ($T_t \in SE(3)$) 를 추출합니다.
• 그리퍼 열기/닫기 상태는 예측된 포인트맵에서 손가락을 세그먼트화하고 중심점 사이의 거리를 측정하여 추론됩니다.
• 이 시스템은 모델이 기준 프레임에서 직접 기하학을 예측하므로 추론 중 명시적인 카메라 포즈 보정이 필요하지 않게 됩니다.

주요 기여

1. 통합 4D 생성 프레임워크: 픽셀 기반 비디오 생성과 3D 인식 재구성 간의 격차를 해소하면서 시간적 일관성과 다중 뷰 3D 기하학적 일관성을 동시에 달성하는 새로운 모델.
2. 기하학적 일관성 감독: 추론 시 카메라 포즈를 요구하지 않고 모델이 공유된 3D 장면 표현을 학습할 수 있도록 훈련 중 교차 뷰 포인트맵 정렬 손실을 도입.
3. 다중 뷰 교차 어텐션 메커니즘: 뷰 간 3D 정렬을 강제하기 위해 확산 디코더에 적용된 특정 아키텍처 적응으로, 일관된 포인트맵 생성에 필수적임이 입증됨.
4. 로봇 조작 벤치마크: 다양한 카메라 뷰를 가진 시뮬레이션 (LBM/Drake) 및 실제 세계 로봇 작업으로 구성된 벤치마크를 구축하여 4D 생성 품질과 일반화를 평가.
5. 하류 응용: 생성된 4D 비디오가 포즈 추적을 통해 로봇 조작 정책을 직접 구동할 수 있음을 시연하여, 보지 못한 카메라 뷰를 가진 작업에서 높은 성공률을 달성.

실험 결과

이 방법은 세 가지 시뮬레이션 작업 (StoreCerealBoxUnderShelf, PutSpatulaOnTable, PlaceAppleFromBowlIntoBin) 과 네 가지 실제 세계 작업에서 평가되었습니다.

• 비디오 품질: 제안된 방법은 기준 뷰와 새로운 뷰 모두에서 프리셰트 비디오 거리 (FVD) 측면에서 SVD, 다중 뷰 어텐션이 적용된 SVD, 4D 가우스 재구성 등을 포함한 베이스라인보다 우수한 성능을 보였습니다.
• 깊이 및 기하학: 이 방법은 베이스라인에 비해 우수한 깊이 예측 정확도 (낮은 AbsRel, 높은 $\delta_1$) 를 달성했으며, 그리퍼 마스크의 mIoU 로 측정된 교차 뷰 일관성이 훨씬 높았습니다.
• 애블레이션 연구: 다중 뷰 교차 어텐션 메커니즘을 제거한 경우 ("OURS w/o MV attn") 3D 일관성 (mIoU) 과 깊이 정확도가 크게 감소하여 기하학적 감독과 어텐션 메커니즘의 필요성이 확인되었습니다.
• 로봇 정책 성능: 로봇 제어를 위한 궤적 추출에 사용되었을 때, 제안된 방법은 세 가지 시뮬레이션 작업에서 평균 작업 성공률 **64%**를 달성했습니다. 이는 Dreamitate(12%), Diffusion Policy(12%), DP3(25%) 와 같은 베이스라인을 크게 능가하며, 기하학적 일관성이 성공적인 비전 - 모터 제어에 중요함을 입증했습니다.

중요성 및 주장

이 논문은 교차 뷰 포인트맵 정렬을 통해 기하학적 일관성을 강제함으로써 모델이 새로운 뷰에 잘 일반화되는 공유된 3D 표현을 학습한다고 주장합니다. 이는 작은 카메라 이동만으로도 비전 - 모터 정책이 실패할 수 있는 로봇 공학 분야에서 특히 중요합니다.

저자들은 그들의 접근 방식이 다음을 가능하게 한다고 강조합니다:

• 포즈 무관 추론: 명시적인 카메라 포즈 입력 없이 새로운 뷰에서 일관된 4D 비디오를 생성할 수 있는 능력.
• 직접 동작 추출: 생성된 비디오를 표준 포즈 추적기와 직접 사용하여 로봇 동작을 도출할 수 있는 능력으로, 생성적 세계 모델과 물리적 제어 간의 격차를 해소.
• 강건성: 가려짐과 동적 상호작용이 존재하는 복잡한 다중 물체 조작 시나리오에서 향상된 성능.

이 연구는 현재 추론 속도가 엔드 - 투 - 엔드 행동 복제 (behavior cloning) 보다 느리지만, 그 트레이드오프는 비정형 환경에서 신뢰할 수 있는 로봇 조작에 필수적인 훨씬 높은 충실도와 기하학적 일관성을 산출한다고 결론지었습니다. 향후 연구는 폐쇄 루프 계획을 가능하게 하기 위해 더 빠른 생성 모델 (예: 플로우 매칭, 자기회귀 트랜스포머) 을 탐구할 수 있습니다.