기술 요약: MVISTA-4D

문제 정의

로봇 조작은 지시를 받아 의사결정을 안내하기 위해 미래 관측을 예측하는 세계 모델을 사용하는 "상상 후 행동(imagine-then-act)" 패러다임에 의존합니다. 그러나 기존 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 기하학적 불일치: 대부분의 모델은 2D 이미지 공간 또는 단일 뷰 3D(RGB-D) 에서 작동하여 완전한 4D 장면 역학을 포착하지 못합니다. 픽셀 수준의 예측은 종종 기하학적 제약을 위반하여, 특히 가림 (occlusion) 상황에서 상상된 미래와 실행 가능한 행동 사이의 간극을 만듭니다.
2. 잘못된 행동 추론: 예측된 미래를 행동으로 변환하는 것은 어렵습니다. 행동과 관측을 동시에 예측하면 오류가 누적될 수 있습니다. 관측을 행동으로 매핑하는 역동역학 모델 (Inverse Dynamics Models) 은 부분 관측 가능성 하에서 특히 동일한 지각적 전환을 설명할 수 있는 여러 행동이 존재하기 때문에 본질적으로 잘못 정의된 (ill-posed) 문제입니다. furthermore, 행동을 단계별 신호로 취급하는 것은 조작 궤적의 저차원적이고 시간적으로 상관된 구조를 종종 무시합니다.

방법론

본 논문은 기하학적으로 일관된 교차 뷰 RGBD 시퀀스를 생성하고 테스트 시간 최적화를 통해 행동을 추론하도록 설계된 embodied multi-view 4D 생성 세계 모델인 MVISTA-4D를 제안합니다.

1. Multi-View 4D 생성

이 모델은 참조 뷰와 여러 대상 뷰에 대한 지시 따르기 미래 RGB-D 시퀀스를 동시에 생성합니다.

• 입력 및 토큰화: 시스템은 단일 뷰 RGB-D 관측 ($I_0, D_0$) 과 대상 카메라 외향 (extrinsics) 집합을 수용합니다. 축 방향 연결 (axis-wise concatenation) 을 사용하는 구조화된 토큰화 전략을 채택합니다: 폭 방향 연결은 뷰 내에서 RGB 와 깊이 토큰을 융합하여 교차 모달리티 일관성을 장려하고, 높이 방향 연결은 다른 뷰를 융합하여 구조 수준의 일관성을 촉진합니다.
• 특징 통합:
  • 교차 모달리티 융합: 학습 가능한 모달리티 토큰이 외관과 기하학 스트림을 구분합니다. 경량 로컬 교차 모달리티 어텐션 모듈은 작은 공간 이웃 내에서 특징을 교환하며, 게이트된 잔차 업데이트를 사용하여 RGB 와 깊이 단서를 융합하면서 노이즈를 억제합니다.
  • 교차 뷰 일관성: 카메라 외향은 공유된 바라보는 점 (look-at point) 에 대한 요 (yaw), 피치 (pitch), 롤 (roll), 그리고 로그 반경 (log-radius) 을 구면 좌표 임베딩으로 인코딩하여 구별 가능한 뷰 토큰으로 작용합니다. 기하학 인식 변형 가능 교차 뷰 어텐션 (Geometry-aware Deformable Cross-View Attention) 메커니즘은 다른 뷰의 에피폴라 선을 따라 후보 키를 샘플링합니다. 이는 MLP 를 통해 변형 가능한 오프셋을 예측하여 샘플링 위치를 정제하고, 특징을 집계하기 전에 기하학적 정렬을 보장합니다.
• 백본: 생성기는 3D VAE 와 Transformer 기반 확산을 활용하는 Flow Matching 을 기반으로 한 잠재 비디오 확산 프레임워크 (WAN2.2) 위에 구축되었습니다.

2. 궤적 조건부 행동 추론

행동을 단계별로 예측하는 대신, 모델은 전체 행동 궤적을 나타내는 컴팩트한 저차원 잠재 코드를 기반으로 생성을 조건화합니다.

• 궤적 잠재: 행동 시퀀스는 TCN 기반 VAE 를 사용하여 잠재 토큰 시퀀스 ($z$) 로 인코딩됩니다. 이 잠재는 교차 어텐션을 통해 생성기에 주입되는 "스타일 코드"로 작용하여 운동의 시간적 리듬과 구조를 포착합니다.
• 테스트 시간 행동 최적화: 추론 시, 텍스트 지시와 초기 관측이 주어지면 모델은 텍스트 전용 조건을 사용하여 동적 롤아웃 $\bar{V}$를 먼저 생성합니다. 그런 다음 $\bar{V}$를 고정하고 무작위 초기화된 궤적 잠재 $z$를 역전파를 통해 최적화하여 생성된 출력 $G(l, z)$와 고정된 롤아웃 $\bar{V}$ 사이의 재구성 거리를 최소화합니다.
• 잔차 역동역학: 최적화된 잠재는 예비 행동 시퀀스로 디코딩됩니다. 역동역학의 잘못 정의된 특성을 해결하기 위해 **잔차 역동역학 모델 (Residual Inverse Dynamics Model, R-IDM)**이 사용됩니다. 이 네트워크는 예비 행동을 강력한 사전 지식으로 받아들이고, 관측된 3D 포인트 클라우드 전환을 기반으로 작은 보정 항 ($\Delta a_t$) 만 예측하여 실행을 정제합니다.

주요 기여

1. Embodied Multi-View 4D 세계 모델: 교차 모달 (RGB-D) 미래 예측을 생성하는 뷰 일관성 있는 새로운 아키텍처로, 시공간 일관성을 개선하고 가림 하의 조작을 위한 견고한 기하학적 단서를 제공합니다.
2. 궤적 수준 조건화: 전체 행동 시퀀스를 컴팩트한 잠재 코드로 표현하는 방법으로, 테스트 시간 역전파를 통해 생성된 4D 미래로부터 행동을 추론할 수 있게 하여 작업 관련 시간적 구조를 포착합니다.
3. 사전 기반 잔차 역동역학: 추론된 궤적을 초기화로 간주하고 잔차 보정만 학습하는 정제 모듈로, 고전적 역동역학의 잘못 정의된 문제를 완화하고 실행 견고성을 향상시킵니다.
4. 실제 세계 데이터셋: 동기화된 RGB-D 관측 및 행동을 포함하는 14 가지 조작 작업으로 구성된 실제 로봇 4D 멀티뷰 데이터셋의 수집.

실험 결과

이 방법은 세 가지 데이터셋에서 평가되었습니다: RLBench(합성), RoboTwin2(합성), 그리고 실제 세계 로봇 데이터셋.

• 4D 생성 품질: MVISTA-4D 는 외관 지표 (PSNR, SSIM, FVD) 와 기하학 지표 (Depth AbRel, RMSE, 3D Chamfer Distance, Earth Mover Distance) 모두에서 베이스라인 (UniPi*, TesserAct, 4DGen) 보다 우수한 성능을 보였습니다. 정성적 결과는 단일 또는 듀얼 뷰 방법에 비해 가림으로 인한 구멍이 적고 뷰 간 기하학적 정렬이 더 우수함을 보여주었습니다.
• 조작 성능: 하류 조작 작업에서 제안된 방법은 모든 베이스라인보다 높은 성공률을 달성했습니다.
  • RLBench: 72.6% 성공률 (TesserAct 67.3%, 4DGen 47.0% 대비).
  • RoboTwin: 43.0% 성공률 (TesserAct 33.9% 대비).
  • 실제 세계: "Cap Bottle"(56% vs 37%) 및 "Stack Cubes"(특정 하위 작업에서 TesserAct 대비 63% vs 66%, 전반적인 추세는 제안된 방법이 우세함) 와 같은 작업에서 우수한 성능을 입증했습니다.
• Ablation 연구: 교차 뷰 융합, 교차 모달리티 융합, 또는 궤적 잠재 최적화를 제거하면 일관되게 성능이 저하되어 각 구성 요소의 필요성을 검증했습니다. 잔차 IDM 은 전체 역동역학 모델을 사용하거나 정제가 없는 경우와 비교하여 행동을 정제하는 데 결정적인 것으로 나타났습니다.

중요성 및 주장

본 논문은 MVISTA-4D가 여러 뷰 간의 기하학적 일관성을 보장함으로써 상상된 미래와 실행 가능한 로봇 행동 사이의 더 신뢰할 수 있는 인터페이스를 확립한다고 주장합니다. 궤적 구조를 잠재 스타일 코드로 명시적으로 모델링하고 잔차 역동역학 모델을 통해 행동을 정제함으로써, 이 접근법은 가림 환경에서 기존 세계 모델의 취약성과 역동역학의 모호성을 해결합니다. 저자들은 뷰 일관성 4D 예측이 견고한 embodied 조작을 위한 필수 단계라고 주장하며, 증가된 뷰 예산과 계산을 통한 성능 향상을 위한 실용적인 경로를 제시합니다. 이 작업은 기하학적으로 일관된 미래의 생성과 잔차 사전 지식을 통한 행동 정제를 분리하는 것이 로봇 계획에 대한 확장 가능하고 효과적인 패러다임을 제공한다고 시사합니다.