Novel View Synthesis as Video Completion

1. 문제 정의 (Problem)

희소 뷰 신시시스 (Sparse Novel View Synthesis, NVS) 는 소수의 입력 이미지 (보통 5 개 내외) 와 해당 카메라 포즈를 바탕으로, 새로운 카메라 시점의 이미지를 생성하는 작업입니다.

• 기존 접근법의 한계:
  • 회귀 기반 방법 (NeRF 등): 기하학적 제약이 부족할 때 (희소 뷰) 성능이 급격히 저하됩니다.
  • 이미지 확산 모델 (Image Diffusion) 기반 방법: 대규모 생성 사전 학습 (Pretraining) 의 이점을 얻지만, 단일 이미지 기반 학습으로 인해 다중 뷰 (Multi-view) 지식이나 3D 일관성이 부족합니다. 이를 해결하기 위해 대규모 포즈가 주석된 다중 뷰 데이터셋 (수만~수십만 장면) 이 필요하여 데이터 효율성이 낮습니다.
• 핵심 가설: 비디오 확산 모델은 시간의 흐름에 따라 시점 변화와 공간적 일관성을 자연스럽게 학습하므로, 이미 내재된 다중 뷰 지식 (Implicit Multi-view Prior) 을 가지고 있습니다. 따라서 이를 NVS 작업에 재사용하는 것이 더 효율적일 수 있습니다.

2. 방법론 (Methodology)

저자들은 FrameCrafter를 제안하며, 사전 학습된 비디오 확산 모델을 희소 뷰 NVS 모델로 변환하기 위해 다음과 같은 세 가지 주요 아키텍처 수정을 수행합니다.

A. 뷰별 독립 인코딩 (Per-View Independent VAE Encoding)

• 문제: 기존 비디오 VAE 는 인과적 (Causal) 3D 컨볼루션을 사용하여 프레임 간의 시간적 의존성을 생성합니다. 이를 희소 뷰 입력에 그대로 적용하면 프레임 순서에 따른 편향 (Ordering Bias) 이 발생하고, 시공간 압축으로 인해 개별 뷰의 정보가 손실됩니다.
• 해결: 각 입력 뷰를 **1 프레임의 독립적인 "비디오"**로 간주하여 VAE 에 인코딩합니다.
  • 입력된 $K$개의 이미지를 각각 독립적으로 인코딩한 후, 시간 축을 따라 연결합니다.
  • 이를 통해 프레임 순서에 무관한 (Permutation-invariant) 인코딩이 보장되며, 각 뷰의 공간적 디테일이 보존됩니다.

B. 카메라 조건부 확산 트랜스포머 (Camera-Conditioned DiT)

• 플뤼커 광선 맵 (Plücker Ray Maps): 카메라 포즈 정보를 모델에 주입하기 위해, 각 픽셀에 대한 광선 (Ray) 의 방향과 원점을 나타내는 플뤼커 좌표를 계산하여 입력 채널에 병합합니다.
• 쿼리 중심 좌표계 (Query-Centered Coordinates): 기존 방법들이 첫 번째 입력 이미지를 기준으로 세계 좌표계를 정의하는 대신, **생성하려는 타겟 뷰 (Query View)**를 기준으로 좌표계를 정의합니다. 이는 입력 뷰의 순서가 바뀌어도 좌표계가 일관되게 유지되도록 하여 순열 불변성을 강화합니다.
• 입력 채널 확장: 노이즈가 추가된 잠재 변수 (Latent), 마스크, 플뤼커 맵을 채널 단위로 연결하여 DiT 에 입력합니다.

C. 시간적 위치 인코딩 제거 (Removal of Temporal Positional Encoding)

• 문제: 비디오 확산 모델은 일반적으로 시퀀스 순서를 인식하기 위해 회전 위치 인코딩 (RoPE) 의 시간적 성분을 사용합니다.
• 해결: 희소 뷰 NVS 는 입력이 순서가 없는 집합 (Set) 이므로, 시간적 위치 인코딩을 완전히 제거합니다.
  • 모델이 프레임 인덱스 대신 **카메라 기하학 (Plücker 맵)**에 의존하여 뷰 간 관계를 추론하도록 유도합니다.
  • 이는 모델이 "시간"을 "잊게" 만들고, 대신 "다중 뷰" 지식에 집중하게 합니다.

D. 경량화 파인튜닝 (Lightweight Finetuning)

• 전체 모델을 재학습하는 대신, **LoRA (Low-Rank Adaptation)**를 DiT 의 어텐션 및 피드포워드 레이어에 적용합니다.
• 입력 차원 변경에 따른 패치 임베딩 (Patch Embedding) 레이어만 새로 초기화하여 학습합니다.
• 데이터 효율성: DL3DV 데이터셋의 **1,000 개 장면 (1K scenes)**만으로 학습이 가능합니다.

3. 주요 기여 (Key Contributions)

1. 비디오 확산 모델을 NVS 에 적용한 새로운 패러다임: 이미지 확산 모델이 아닌, 비디오 확산 모델을 NVS 의 사전 지식 (Prior) 으로 활용하여 강력한 기하학적 일관성을 확보했습니다.
2. 순열 불변성 (Permutation Invariance) 달성: 비디오 모델의 시간적 의존성을 제거하고 뷰별 독립 인코딩을 도입하여, 입력 뷰의 순서가 바뀌어도 동일한 결과를 생성하는 모델을 설계했습니다.
3. 높은 데이터 효율성: 대규모 다중 뷰 데이터 (80K+ 장면) 가 필요한 기존 최첨단 방법 (SEVA 등) 과 비교하여, 1K 장면으로 동급 이상의 성능을 달성했습니다.
4. 확장성 (Scalability): 비디오 확산 모델의 백본 (Backbone) 이 발전할수록 (예: CogVideoX-5B → Wan2.1-14B), NVS 성능도 자연스럽게 향상됨을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: DL3DV-Benchmark 및 Mip-NeRF 360 에서 평가.
• 성능 비교:
  • EscherNet (이미지 확산 기반): 10K 장면으로 학습된 EscherNet 보다 적은 데이터 (1K) 로 모든 지표 (PSNR, SSIM, LPIPS, DreamSim) 에서 우월한 성능을 보였습니다.
  • SEVA (SOTA 이미지 기반): 80K 장면으로 학습된 SEVA 와 비교하여, Wan2.1-14B 백본을 사용한 FrameCrafter 는 DL3DV 와 Mip-NeRF 360 에서 PSNR, LPIPS, DreamSim 등에서 경쟁력 있거나 더 나은 성능을 기록했습니다.
  • Aether (비디오 기반): 동일한 백본을 사용하더라도, FrameCrafter 가 희소 뷰 설정에서 더 정확한 기하학적 일관성과 선명한 디테일을 보여주었습니다.
• 데이터 스케일링: 학습 데이터를 20 개 장면으로 줄여도 10K 장면으로 학습된 EscherNet 을 능가하는 것을 확인하여, 비디오 사전 학습 지식의 강력함을 입증했습니다.
• 순열 강건성: 입력 뷰의 순서를 무작위로 섞었을 때, FrameCrafter 는 성능 변동 (Variance) 이 거의 없었으나, 기존 방법들은 성능 저하와 높은 변동성을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시각적 세계 모델의 본질 재고: 비디오 생성 모델이 단순히 "시간의 흐름"을 학습하는 것이 아니라, 이미 강력한 3D 기하학과 다중 뷰 지식을 내재하고 있음을 시사합니다.
• 효율적인 NVS 패러다임: NVS 를 별도의 대규모 데이터 학습이 필요한 독립적인 문제로 접근하기보다, 강력한 비디오 기반 모델 (Video Foundation Models) 을 **가벼운 특수화 (Lightweight Specialization)**로 접근하는 것이 미래의 확장 가능한 방향임을 제시합니다.
• 실용적 가치: 소량의 데이터와 계산 자원으로 고품질의 새로운 뷰 합성이 가능해졌으며, 비디오 모델의 발전이 곧바로 3D 생성 기술의 발전으로 이어질 수 있음을 보여줍니다.

이 논문은 **"비디오 확산 모델을 비디오 완성 (Video Completion) 과 유사한 방식으로 재해석하여, 희소 뷰 신시시스 문제를 해결한다"**는 독창적인 아이디어와 이를 실현한 기술적 세부사항으로 평가됩니다.