VistaBot: View-Robust Robot Manipulation via Spatiotemporal-Aware View Synthesis

1. 문제 정의 (Problem)

최근 종단간 (End-to-End) 로봇 조작 모델 (시각 - 운동 정책) 은 확장성과 일반화 능력으로 주목받고 있습니다. 그러나 이러한 모델들은 카메라 시점 (Viewpoint) 변화에 매우 취약하다는 치명적인 약점이 있습니다.

• 핵심 문제: 조명이나 질감 변화와 달리, 시점의 변화는 '지각 (Perception)'과 '행동 (Action)' 사이의 공간적 기반 (Spatial Grounding) 을 붕괴시킵니다.
• 현재의 한계:
  • 고정된 카메라 시점에서 학습된 모델은 테스트 시 시점이 조금만 변해도 정책 실패율이 급증합니다.
  • 기존 해결책인 다중 카메라 기반 3D 재구성 방법은 정밀한 보정 (Calibration) 이 필요하여 실제 배포에 비효율적입니다.
  • 비디오 생성 기반 방법들은 통합된 행동 학습이 부족하거나 추론 효율성이 낮아 폐루프 (Closed-loop) 제어에 적합하지 않습니다.

2. 제안 방법론: VistaBot (Methodology)

VistaBot 은 **순방향 기하학적 모델 (Feed-forward Geometric Models)**과 **비디오 확산 모델 (Video Diffusion Models, VDM)**을 융합하여, 카메라 보정 없이도 시점에 강인한 폐루프 조작을 가능하게 하는 새로운 프레임워크입니다.

주요 구성 요소 (3 단계)

1. 4D 기하학 추정 (4D Geometry Estimation):

   • 임의의 테스트 시점 (Inference View) 에서 입력된 이미지를 기반으로, 학습 시점 (Training View) 과의 상대적 카메라 포즈와 깊이 (Depth) 맵을 예측합니다.
   • 이를 위해 VGGT와 같은 순방향 기하학 모델을 미세 조정 (Fine-tuning) 하여 로봇 팔과 그리퍼와 같은 특정 객체에서도 일관된 4D 기하학 추정이 가능하도록 합니다.
   • 추정된 깊이와 포즈를 이용해 2D 관측을 3D 포인트 클라우드로 변환한 후, 다시 학습 시점으로 투영 (Warping) 합니다.

2. 시공간 잠재 특징 추출 (Spatiotemporal Latent Feature Extraction):

   • 투영된 이미지에는 가려짐 (Occlusion) 으로 인한 구멍이 발생하므로, **조건부 비디오 확산 모델 (Conditional Video Diffusion Model, CogVideoX 기반)**을 사용하여 이를 채우고 고품질의 학습 시점 이미지를 생성합니다.
   • 스페이스 보간 (Spatial Interpolation): 시점 변화가 클 때 발생할 수 있는 아티팩트를 줄이기 위해, 원본 시점과 새로운 시점 사이의 카메라 포즈를 보간하여 프레임 단위로 렌더링합니다.
   • 메모리 메커니즘 (Temporal Memory): 폐루프 제어의 시간적 일관성을 유지하기 위해 이전 단계의 관측 정보를 '메모리'로 저장하고, 이를 Diffusion 모델의 조건으로 주입하여 4D 일관된 잠재 표현 (Latent Representation) 을 생성합니다.

3. 폐루프 행동 학습 (Closed-loop Action Learning):

   • 생성된 이미지를 직접 정책의 입력으로 사용하는 대신, **비디오 확산 모델의 잠재 공간 (Latent Space)**에서 추출된 특징을 직접 사용합니다.
   • 이 잠재 특징은 이미 객체 수준의 이해와 기하학적 정보를 내포하고 있어, 해독 (Decoding) 과정 없이도 효율적으로 행동을 학습할 수 있습니다.
   • 기존 ACT 나 $\pi_0$와 같은 정책 아키텍처에 통합되어, 로봇 상태 특징과 융합된 후 행동을 예측합니다.

3. 주요 기여 (Key Contributions)

1. 기하학 - 생성 융합 프레임워크: 카메라 포즈 입력 없이도 시공간적으로 일관된 4D 잠재 표현을 생성하여, 보정 (Calibration) 의존성을 제거하고 확장 가능한 배포를 가능하게 함.
2. 잠재 공간 행동 계획자 (Latent Planner): 생성 모델의 잠재 특징을 직접 활용하여, 기하학적 이해가 포함된 표현에서 행동을 학습하는 효율적인 폐루프 제어 방식 제안.
3. 새로운 평가 지표 (View Generalization Score, VGS): 시점 변화 하에서 정책의 강인함을 정량화하는 새로운 지표 도입. 기존 벤치마크의 공백을 메움.
4. 광범위한 검증: 전문가 모델 (ACT) 과 범용 모델 ($\pi_0$) 모두에 적용하여 시뮬레이션 및 실제 로봇 환경에서 검증.

4. 실험 결과 (Results)

VistaBot 은 RL-Bench 시뮬레이션 및 실제 Franka FR3 로봇을 이용한 실험에서 기존 SOTA 모델 대비 압도적인 성능을 보였습니다.

• 성능 향상 (VGS 및 성공률):
  • ACT 대비: VGS 점수가 2.79 배 향상 (0.24 $\rightarrow$ 0.67).
  • $\pi_0$ 대비: VGS 점수가 2.63 배 향상 (0.33 $\rightarrow$ 0.87).
  • 시점이 45 도 변하는 극단적인 조건에서도 기존 모델의 성공률이 0 에 수렴하는 반면, VistaBot 은 높은 성공률을 유지했습니다.
• 시각적 품질:
  • AnySplat(재구성 기반) 과 LangScene-X(생성 기반) 와 비교하여, 배경 구멍 채우기, 아티팩트 제거, 선명도 면에서 우수한 결과를 보였습니다 (FVD, FID, PSNR 등 지표 개선).
• 실제 로봇 적용:
  • 실제 환경에서도 시점 변화에 대한 강인함을 입증하며, 폐루프 조작 작업 (상자 닫기, 바나나 놓기 등) 에서 성공률을 크게 개선했습니다.

5. 의의 및 결론 (Significance)

• 시각적 표현의 안정성 유지: 이미지 기반 모방 학습에서 시점 변화는 데이터 분포의 이동 (OOD, Out-of-Distribution) 을 유발하여 정책 실패를 초래합니다. VistaBot 은 생성된 관측치를 통해 학습 시점과 유사한 특징 분포를 유지하게 함으로써 이 문제를 해결했습니다.
• 실용성: 카메라 보정이나 복잡한 3D 재구성 없이도, 단일 시점의 데이터만으로 다양한 각도에서 작동 가능한 로봇을 개발할 수 있는 길을 열었습니다.
• 미래 전망: Novel View Synthesis(NVS) 기술과 동적 로봇 조작을 연결하여, 더 일반화되고 견고한 자율 로봇 시스템 개발의 기반을 마련했습니다.

이 논문은 로봇이 환경의 시점 변화에 유연하게 적응할 수 있도록 하는 기술적 돌파구를 제시하며, 실제 산업 현장에서의 로봇 배포 가능성을 크게 높였다는 점에서 의의가 큽니다.