기술 요약: MoCam - 구조화된 탈노이즈 동역학을 통한 통합된 새로운 뷰 합성

1. 문제 제기

생성형 새로운 뷰 합성은 기하학적 사전 지식과 외관 사전 지식 간의 조화에서 근본적인 딜레마에 직면해 있습니다.

• 기하학적 사전 지식: 재구성된 기하학 (예: 깊이 맵, 점 구름) 에 의존하는 방법은 목표 카메라 궤적을 위한 필수적인 공간 정렬을 제공합니다. 그러나 큰 뷰 변화나 단안 입력 하에서는 가려짐 해제 (disocclusion) 와 깊이 부정확성으로 인해 이러한 사전 지식이 필연적으로 희소하고, 불완전하며, 오류가 발생하게 됩니다.
• 외관 사전 지식: 원본 이미지나 비디오는 고충실도 시각적 세부 정보를 제공하지만, 새로운 뷰포인트와의 기하학적 대응 관계는 부족합니다.
• 충돌: 기존 접근법은 구조물 (scaffolds) 만을 의존함으로써 생성 과정 전반에 걸쳐 기하학적 오류를 전파하거나, 기하학과 외관을 정적으로 융합하려고 시도합니다. 정적 융합은 강한 외관 단서가 생성 초기에 기하학적 드리프트를 유발하거나, 결함 있는 기하학이 생성 후반에 구조적 오류를 출력에 영구적으로 '구워넣는 (bakes)' 신호 충돌로 이어집니다. 이는 특히 4D 리카메라 작업 (동적 장면) 과 단일 이미지 3D 재구성에서 기하학적 붕괴, 시각적 아티팩트, 불안정성을 초래합니다.

2. 방법론: MoCam

MoCam 은 확산 과정 내에서 구조화된 탈노이즈 동역학을 활용하여 정적 및 동적 뷰 합성을 통합하는 프레임워크를 도입합니다. 핵심 통찰은 확산 모델이 서로 다른 탈노이즈 단계에서 명확한 표현적 필요성을 가진다는 점입니다: 초기 단계는 거친 구조적 앵커링을 필요로 하는 반면, 후기 단계는 고주파수 정교화를 요구합니다.

2.1 파이프라인 개요

이 방법은 세 가지 주요 단계로 작동합니다:

1. 구조물 생성 (Scaffold Generation): 깊이 추정기와 역 투영 투사를 사용하여 단안 입력 비디오 (또는 $N$프레임으로 복제된 단일 이미지) 로부터 동적 점 구름을 구성합니다. 이 점 구름은 목표 카메라 궤적을 따라 렌더링되어 거친 "구조물 비디오"($x_{ren}^{tgt}$) 를 생성합니다. 이 구조물은 목표 운동과 공간적으로 정렬되어 있지만, 상당한 아티팩트 (구멍, 왜곡) 를 포함합니다.
2. 이중 조건부 아키텍처: 모델은 두 가지 서로 다른 조건부 신호를 활용합니다:
   • 구조물 조건 ($c_{ren}$): 렌더링된 구조물 비디오에서 파생되어 강력한 운동 및 구조적 사전 지식을 제공합니다.
   • 참조 외관 조건 ($c_{src}$): 원본 소스 비디오에서 파생되어 고충실도 텍스처 및 객체 동역학을 제공합니다.
3. 단계별 생성: 이러한 신호를 정적으로 융합하는 대신, MoCam 은 탈노이즈 시간 단계 $t$에 기반하여 이를 시간적으로 분리합니다.

2.2 구조화된 탈노이즈 동역학

생성 과정은 미리 정의된 임계값 $T_{switch}$ (경험적으로 0.85 로 설정됨) 에서의 전환에 의해 정의되는 시간 의존적 컨텍스트 $c(t)$에 의해 지배됩니다:

$$c(t) = \begin{cases} c_{ren} & \text{if } t > T_{switch} \quad (\text{초기 단계}) \\ c_{src} & \text{if } t \le T_{switch} \quad (\text{후기 단계}) \end{cases}$$

• 초기 단계 ($t > T_{switch}$): 모델은 구조물 ($c_{ren}$) 만을 조건으로 합니다. 잠재 변수가 대부분 노이즈이므로, 주요 작업은 전역 구조와 운동 일관성을 확립하는 것입니다. 모델은 장면 레이아웃을 앵커링하기 위해 구조물의 기하학적 불완전성을 의도적으로 허용하면서 목표 카메라 궤적을 준수하도록 강제됩니다.
• 후기 단계 ($t \le T_{switch}$): 모델은 소스 외관 ($c_{src}$) 만을 조건으로 전환합니다. 이 시점에는 이미 일관된 저주파수 구조가 확립되어 있습니다. 모델은 고충실도 참조 비디오를 사용하여 세부 사항을 합성하고, 텍스처를 정교화하며, 구조물에서 물려받은 기하학적 오류를 능동적으로 수정하고 가려짐 해제 영역을 채웁니다. 이는 구조물의 결함이 최종 출력에 영구적으로 구워지는 것을 방지합니다.

이 프레임워크는 변분 오토인코더 (VAE) 를 통해 압축된 잠재 공간에서 작동하는 사전 훈련된 잠재 비디오 생성 모델 (예: Wan2.2) 을 기반으로 구축되었습니다.

3. 주요 기여

1. 신호 충돌 식별: 이 논문은 생성형 뷰 합성에서 기하학적 및 외관 사전 지식 간의 근본적인 긴장 관계를 식별하며, 정적 융합이 신호 간섭과 오류 전파로 이어진다고 주장합니다.
2. 구조화된 탈노이즈 동역학: 저자들은 이러한 신호를 시간적으로 분리하는 원칙적인 해결책을 제안합니다. 초기 구조적 앵커링을 위한 구조물 정렬과 후기 정교화를 위한 외관 정렬을 통해, 이 방법은 강력한 기하학 - 외관 분리를 달성합니다.
3. 통합 프레임워크: MoCam 은 단일 이미지 3D 재구성과 비디오 4D 리카메라 모두에 적용 가능한 단일 프레임워크를 제시합니다. 이는 단계별 조건부가 입력 모달리티 전반에 걸쳐 일반화되어, 장면별 최적화 없이도 불완전한 기하학 하에서 뷰를 합성하는 과제를 해결함을 보여줍니다.

4. 실험 결과

이 방법은 야외 단안 비디오인 OpenVid-1M 데이터셋과 iPhone 다중 뷰 데이터셋에서 평가되었습니다.

• 정량적 성능: MoCam 은 여러 지표에서 최첨단 방법 (GEN3C, TrajCrafter, ReCam) 을 크게 능가합니다:
  • 지각적 품질: VBench 지표 (배경 일관성, 주제 일관성, 영상 품질) 에서 우수한 점수를 달성하고 FVD-V 점수는 더 낮습니다 (예: 3D 재구성의 경우 GEN3C 대비 255.16 대 289.37).
  • 포즈 정확도: 최소의 회전 및 이동 오류를 유지하여 정밀한 카메라 제어를 입증합니다.
  • 픽셀 단위 지표: iPhone 데이터셋에서 MoCam 은 가장 높은 PSNR, SSIM 및 가장 낮은 LPIPS 및 FVD 를 달성하여 실제 값 (ground truth) 에 대한 높은 충실도를 나타냅니다.
• 기하학적 열화에 대한 강건성: 카메라 운동 크기 (30°에서 90°궤도) 를 변화시킨 실험은 기하학적 희소성이 증가함에 따라 MoCam 이 일관된 성능을 유지함을 보여줍니다. 경쟁자들은 큰 뷰 변화 하에서 치명적인 드리프트나 구조적 붕괴를 겪는 반면, MoCam 의 단계별 접근법은 드리프트를 방지하고 희소한 오류를 수정합니다.
• 절대 실험 (Ablation Studies):
  • 구조물 전용: 붕괴된 지표로 이어져 지속적인 기하학적 조건부 설정이 오류를 구워넣음을 확인합니다.
  • 초기 구조물: 최악의 아티팩트는 피하지만 후기 단계 외관 신호 없이는 가려짐 해제 영역에서 흐릿한 세부 정보를 생성합니다.
  • 정적 모두: 신호 간섭으로 인해 치명적인 기하학적 불안정성 (높은 회전/이동 오류) 을 겪어 시간적 분리 필요성을 검증합니다.
  • 일반화: 이 방법은 서로 다른 백본 아키텍처 (Wan2.1 및 Wan2.2) 전반에 걸쳐 일관된 성능을 발휘합니다.

5. 중요성 및 주장

이 논문은 MoCam 이 불완전한 기하학 하에서 뷰를 합성하는 근본적인 과제를 탈노이즈 과정을 정렬에서 리얼리즘으로 이어지는 구조화된 진전으로 변환함으로써 해결한다고 주장합니다.

• 강건성: 이 방법은 점 구름에 심각한 구멍이나 왜곡이 있더라도 일관되고 사진처럼 사실적인 결과를 생성하는 강력한 기하학 - 외관 분리를 달성합니다.
• 오류 수정: 이전 방법들이 오류를 전파하는 것과 달리, MoCam 의 후기 단계 외관 조건부는 기하학적 부정확성을 능동적으로 수정합니다.
• 통합 접근법: 동일한 생성 원리가 정적 및 동적 뷰 합성 모두에 적용됨을 강조하여, 밀집된 다중 뷰 데이터나 장면별 최적화 없이 3D 재구성과 4D 리카메라를 위한 통합 솔루션을 제공합니다.

저자들은 불완전한 단안 재구성의 한계를 효과적으로 완화함으로써 그들의 단계별 설계가 제어 가능한 뷰 합성을 위한 새로운 기준을 설정한다고 결론지었습니다.