MoVerse 기술 요약: 파노라마 가우시안 스캐폴드를 이용한 실시간 비디오 월드 모델링

문제 정의

본 논문은 단일 협각(Narrow Field-of-View, NFOV) 이미지로부터 탐색 가능하고 상호작용 가능한 3D 세계를 생성하는 과제를 다룹니다. 이 작업은 입력된 이미지가 환경의 작은 프러스트럼(frustum)만을 포착하기 때문에 근본적으로 제약이 많은(under-constrained) 작업입니다. 반면, VR 프로토타이핑, 디지털 트윈, 체화된 에이전트 시뮬레이션과 같은 상호작용형 애플리케이션은 완전하고 공간적으로 지속되는 세계와 제어 가능한 카메라 움직임, 그리고 시간적으로 일관된 고충실도 관측치를 요구합니다.

기존 방식들은 다음과 같은 요구사항을 동시에 충족하는 데 어려움을 겪습니다:

• 명시적 3D 방식 (포인트 클라우드, 메쉬, 3D 가우시안): 지속적인 공간 메모리와 정확한 카메라 제어를 제공하지만, 단일 NFOV 이미지에서 직접 리프팅(lifting)할 경우 증거가 부족하여 구멍(holes), 부유물(floaters), 제한된 지각적 품질로 이어지는 경우가 많습니다.
• 암시적 비디오/월드 모델: 시각적으로 강력한 비디오를 생성하지만, 장기적인 기하학적 안정성이 부족하여 긴 궤적 동안 드리프트(drift), 정체성 변화 또는 경계 불연속성이 발생하는 경우가 많습니다.
• 하이브리드 시스템: 두 가지를 결합하려고 시도하지만, 기하학적 앵커의 강점과 생성형 렌더러의 배포 가능성 사이에서 긴장이 발생하며, 종종 희소한 가이드만을 제공하거나 실시간 상호작용에 부적합한 계산 비용이 많이 드는 양방향 모델로 나타납니다.

방법론

MoVerse는 세계 구축(오프라인)과 관측 렌더링(온라인)을 분리하는 3단계 시스템을 제안합니다. 이러한 계층화는 시스템이 명시적 3D 표현의 제어 가능성을 활용하면서도 생성형 비디오 모델의 지각적 품질을 활용할 수 있게 합니다.

1단계: 기하학 인지 파노라마 생성

단일 NFOV 이미지가 주어지면, 시스템은 먼저 이 뷰를 완전하고 중력 정렬된 360° equirectangular (ERP) 파노라마로 확장합니다. 이 단계는 3D 리프팅이 일어나기 전에 누락된 시야를 먼저 채웁니다.

• 정규화(Canonicalization): 입력 이미지는 **미분 가능한 오토 레벨링(differentiable auto-leveling)**을 사용하여 중력에 정렬된 정규 뷰잉 공간으로 안정화됩니다. 이 모듈은 조밀한 2D 대응 관계를 예측하고 강체 구형 변환(rigid spherical transformation)을 해결하여 피치(pitch)와 롤(roll)을 제거함으로써, 지평선이 수평을 유지하고 수직 구조물이 수직을 이루도록 보장합니다.
• 위상 인식 완성(Topology-Aware Completion): 마스크드 잠재 확산 모델(masked latent diffusion model)이 누락된 시야를 완성합니다. ERP 파노라마의 수평 $S^1$ 주기성을 준수하기 위해, 시스템은 원형 잠재 인코딩(circular latent encoding, 방위각 축을 따라 컨볼루션 패딩을 래핑)과 이동 변이 불변 생성(shift-equivariant generation, 수평 원형 이동에 대한 일관성 강제)을 채택합니다.
• 학습: 이 모델은 Horizon360이라는 정규화된 파노라마 큐레이션 데이터셋을 사용하여 잠재 확산 손실, 이동 일관성 손실 및 기하학적 흐름 손실의 조합으로 학습됩니다.

2단계: 파노라마 가우시안 스캐폴드 구축

완성된 파노라마는 지속적이고 직접 렌더링 가능한 3D 가우시안(3DGS) 스캐폴드로 리프팅됩니다.

• 초기화: 가우시안은 예측된 파노라마 깊이 맵으로부터 구형 역투영(spherical back-projection)을 통해 초기화됩니다. 결정적으로, 초기화는 ERP 픽셀의 비균일한 면적을 고려하여 가우시안 크기를 $\cos \phi$(위도)에 비례하도록 조정하는 ERP 인지형(ERP-aware) 방식입니다.
• 잔차 예측(Residual Prediction): 피드포워드 네트워크가 **각도-역깊이 공간(angular–inverse-depth space)**에서 가우시안 속성(중심, 스케일, 회전, 색상, 불투명도)에 대한 잔차 수정을 예측합니다. 이를 통해 업데이트가 ERP 기하학 구조와 일관성을 유지하고 수평 폐쇄성을 유지하도록 합니다.
• 출력: 결과물은 재사용 가능한 공간 메모리 역할을 하는 조밀한 3DGS 자산($G$)이며, 이는 카메라 제어가 가능한 RGB 조건부 프레임($\hat{V}_{1:T}$)을 제공하지만 렌더링 아티팩트(예: 부유물, 구멍)를 포함할 수 있습니다.

3단계: 가우시안 조건부 스트리밍 비디오 렌더링

이 단계는 불완전한 스캐폴드 렌더링을 고충실도의 시간적으로 일관된 비디오로 실시간 변환합니다.

• 교사-학생 증류(Teacher-Student Distillation): Wan2.1-T2V로부터 초기화된 **양방향 확산 교사(bidirectional diffusion teacher)**가 고품질을 위해 전체 클립을 참조하며 밀집 가우시안 조건부 비디오 렌더링을 수행하도록 학습됩니다. 이 교사는 self-forcing 및 분포 매칭(RAVEN)을 사용하여 **인과적 자기회귀 학생(causal autoregressive student)**으로 증류됩니다.
• 인과적 스트리밍(Causal Streaming): 학생 모델은 현재 스캐폴드 렌더링을 조건으로 하고 최근 이력을 로컬 Key-Value (KV) 캐시를 통해 참조하며 비디오 블록을 자기회귀적으로 생성합니다. 이 설계는 제한된 지연 시간의 스트리밍을 가능하게 합니다.
• 메모리 관리: 시스템은 긴 롤아웃(rollout) 동안 시간적 위치를 관리하기 위해 MemRoPE(sink 및 장기 EMA 메모리 토큰이 있는 슬라이딩 윈도우)를 사용합니다. 명시적 스캐폴드는 장기적인 공간 메모리를 운반하고, 비디오 모델은 국소적인 아티팩트 복구 및 지각적 향상에 집중합니다.

주요 기여

1. 3단계 계층화: 세계 구축(파노라마 생성 + 3D 리프팅)과 관측 렌더링을 분리하는 새로운 아키텍처를 통해 오프라인 자산 생성과 온라인 실시간 상호작용을 가능하게 합니다.
2. 파노라마 가우시안 스캐폴드: 위도 인지형 초기화 및 각도 잔차 예측을 사용하여 파노라마를 3DGS로 리프팅함으로써, 밀집하고 직접 렌더링 가능한 공간 메모리를 생성하는 방법입니다.
3. 위상 인식 확산: 미분 가능한 오토 레벨링과 이동 변이 불변 잠재 확산을 통해 중력 정렬 및 수평 $S^1$ 위상을 강제하는 360° 파노라마 완성 기술입니다.
4. 인과적 비디오 증류: 고품질 양방향 비디오 교사를 저지연 인과적 학생으로 변환하는 증류 파이프라인을 통해, 스캐폴드가 제공하는 기하학적 일관성을 유지하면서 실시간 스트리밍(단일 RTX 4090에서 8 FPS)을 가능하게 합니다.

결과

• 성능: 시스템은 단일 NVIDIA RTX 4090 GPU에서 8 FPS의 실시간 장면 로밍을 지원합니다.
• 정성적 출력: 파이프라인은 단일 NFOV 입력으로부터 탐색 가능한 비디오를 성공적으로 생성합니다. 3D 가우시안 스캐폴드는 안정적인 카메라 제어와 레이아웃을 제공하며, 인과적 렌더러는 지각적 품질과 시간적 일관성을 향상시켜 스플래팅(splatting) 아티팩트와 작은 디스오클루전(disocclusion)을 효과적으로 복구합니다.
• 절제 실험/분석: 단계별 분리가 순수 암시적 모델에서 흔히 나타나는 기하학적 드리프트 없이 긴 궤적을 처리할 수 있게 함과 동시에, 직접적인 단일 이미지 3D 재구성에서 나타나는 대규모 미관측 영역의 환각 현상을 피할 수 있음을 입증합니다.

의의 및 주장

본 논문은 MoVerse가 상호작용 가능한 비디오 출력을 가진 단일 이미지 세계 생성을 향한 실질적인 경로를 보여준다고 주장합니다. 명시적 3D 표현(파노라마 가우시안 스캐폴드)의 제어 가능성과 장기 일관성을 생성형 비디오 모델(증류된 인과적 렌더러)의 지각적 품질과 결합함으로써, 시스템은 기존의 명시적 및 암시적 접근 방식의 한계를 극복합니다.

저자들은 이 설계가 비디오 모델이 처음부터 세계를 환각하도록 만드는 것이 아니라, 명시적 스캐폴드가 장면의 레이아웃과 카메라 움직임을 고정(anchor)하여 비디오 모델이 고충실도 관측 합성(observation synthesis)에 집중할 수 있도록 한다는 점을 강조합니다. 이러한 하이브리드 접근 방식은 두 방법 중 어느 하나만으로는 달성할 수 없었던 실시간 상호작용을 가능하게 합니다.

인정된 한계점:
논문은 최종 세계의 품질이 Stage I 파노라마 완성에 의해 제한된다는 점(파노라마의 오류가 스캐폴드로 전파됨)과 가우시안 스캐폴드가 여전히 근사적인 표현이라는 점(깊이가 모호한 영역에서 부유물이 발생할 수 있음)을 겸허히 언급합니다. 또한, 인과적 렌더러는 스트리밍 지연 시간을 위해 글로벌 클립 수준의 최적화를 희생하며, 이로 인해 단기적인 텍스처 드리프트가 발생할 수 있습니다. 향ate 연구로는 단계 간의 피드백을 강화하고 동적 객체로 시스템을 확장하는 것이 제안되었습니다.