기술 요약: VidSplat

문제 정의

다중 뷰 이미지로부터 3D 기하학을 재구성하는 것은 컴퓨터 비전의 근본적인 과제이며, 최근 신경 방사선장 (NeRF) 과 3D 가우스 스플래팅 (3DGS) 을 통해 획기적인 진전이 이루어졌습니다. 그러나 이러한 패러다임은 다중 뷰 광도 일관성에 크게 의존하므로, 소수의 입력 뷰만 제공될 경우 성능이 현저히 저하됩니다. 희소 뷰 설정에서는 최적화 문제가 잘못 설정되고 과소 제약되는 문제가 발생합니다.

기존 솔루션은 일반적으로 두 가지 범주로 나뉩니다: 대규모 데이터셋에서 사전 학습하여 교차 뷰 대응 관계를 학습하는 일반화 가능한 방법과, 단안 또는 스테레오 사전 지식을 사용하여 단일 장면에 과적합하는 장면별 방법입니다. 이러한 접근법들은 성능을 향상시키지만, 여전히 주어진 입력 뷰의 가시 영역만 복원하는 데 제한됩니다. 입력 시야를 벗어난 보이지 않거나 가려진, 혹은 제약이 약한 영역에서의 기하학을 추론하는 데 어려움을 겪어, 불완전하고 단편화된 표면을 초래합니다. 또한, 최근의 새로운 뷰 합성을 위한 생성적 접근법들은 종종 비용이 많이 드는 사전 학습을 요구하거나, 외삽된 영역을 복원하지 못해 (공백 생성) 입력된 뷰를 벗어나는 영역을 생성하거나, 시각적으로 그럴듯하지만 기하학적으로 일관성이 없는 렌더링을 생성합니다.

방법론: VidSplat

이러한 한계를 해결하기 위해 저자들은 VidSplat을 제안합니다. VidSplat 은 훈련이 필요 없는 생성적 재구성 프레임워크입니다. VidSplat 은 강력한 비디오 확산 사전 지식을 활용하여 누락된 입력 커버리지를 보상하는 새로운 뷰를 반복적으로 합성함으로써, 희소 입력 (심지어 단일 이미지) 에서 완전한 3D 장면을 복원할 수 있게 합니다. 이 프레임워크는 초기화와 훈련이라는 두 가지 주요 단계를 포함하는 반복적 최적화 루프를 통해 생성과 재구성을 통합합니다.

1. 최적화 프레임워크

이 과정은 희소 입력 뷰 $\{V_{input}\}_0$로 시작합니다.

• 초기화: DUSt3R 를 사용하여 초기 점 구름을 구성합니다. 이를 기반으로 가시성 기반 카메라 궤적을 샘플링하고 RGB 및 마스크 이미지를 렌더링합니다. 이러한 이미지들은 카메라 제어 비디오 확산 모델 (VDM) 에 입력되어 3D 일관성 비디오 클립을 합성합니다. 이러한 클립의 핵심 프레임들이 생성된 세트 $\{V_{gen}\}_0$를 형성하며, 이는 입력과 병합되어 2D 가우스를 초기화하기 위한 더 밀집된 점 구름을 만듭니다.
• 반복적 훈련: 가우스 훈련 동안 시스템은 여러 번의 정제 사이클을 수행합니다. 각 사이클 $t$에서 새로운 궤적이 샘플링되고 새로운 시퀀스가 생성되어 $\{V_{gen}\}_t$를 형성합니다. 이들은 현재 뷰 세트와 병합되어 커버리지를 확장합니다. 초기화 단계와 달리, 생성된 뷰는 재초기화에 사용되지 않고 단안 깊이를 통해 3D 공간으로 역투영되어 추가 가우스 중심을 생성합니다. 재구성은 반복적으로 정제되며, 최종 표면은 테트라헤드론 마칭을 통해 추출됩니다.

2. 가시성 기반 카메라 포즈 샘플링

불충분하게 커버된 영역을 효과적으로 탐색하기 위해 VidSplat 은 새로운 샘플링 전략을 사용합니다. 단순한 보간이나 원형 경로 대신, 카메라 광선과 장면 표면 간의 교차점을 중심으로 카메라가 구면에서 궤도를 그리도록 궤적을 구성합니다. 궤적은 근접 평면 가림 (예: 시야를 가리는 벽) 을 피하고 적절한 양의 보이지 않는 영역을 커버하도록 보장하기 위해 핵심 프레임의 깊이와 마스크를 기반으로 검증됩니다. 환각의 누적을 완화하기 위해 생성 중 궤적은 25% 확장되며, 꼬리 프레임은 폐기됩니다.

3. 기하학 유도 비디오 생성

핵심 혁신은 3D 일관성을 보장하도록 설계된 훈련이 필요 없는 단계별 디노이징 전략에 있습니다. 표준 비디오 생성은 종종 기하학적 제약을 위반하는 콘텐츠 드리프트와 동역학을 도입합니다. VidSplat 은 이를 다음과 같이 해결합니다:

• 역변환: 렌더링된 RGB 및 마스크 이미지에 확산 역변환을 적용하여 카메라 운동으로 유도된 레이아웃 사전 지식을 인코딩하는 노이즈 잠재 공간을 생성합니다.
• 적응형 블렌딩: 각 디노이징 단계에서 모델은 공간 마스크 $M(t)$를 사용하여 예측된 잠재 공간과 역변환된 참조 잠재 공간을 블렌딩합니다.
• 3 단계 제어:
  1. 초기 단계 ($T_0 \to T_1$): 알려진 영역에서의 디노이징 방향이 렌더링된 참조를 따르도록 엄격하게 제한됩니다 ($M(t) = M_{ref}$). 이는 장면 구조를 고정하고 콘텐츠 드리프트를 방지합니다.
  2. 중간 단계 ($T_1 \to T_2$): 제약이 점진적으로 완화되어 모델이 불완전한 렌더링을 정제할 수 있게 합니다.
  3. 최종 단계 ($T_2 \to 0$): 제약이 완전히 제거되어 사실적인 지역 세부 사항을 합성하고 아티팩트를 수리합니다.

4. 손실 함수

최적화 목적 함수는 입력 뷰와 생성된 뷰에 대한 손실을 결합합니다. 입력 뷰의 경우 표준 광도 손실, 정규화, 그리고 법선 사전 지식을 사용합니다. 생성된 뷰의 경우, 고주파 아티팩트를 완화하기 위해 광도 손실이 라플라시안 손실로 대체되며, 점 구름 융합에서 파생된 픽셀별 신뢰도 맵이 감독 가중치로 사용됩니다.

주요 기여

1. 생성적 프레임워크: 비디오 생성을 가우스 스플래팅 재구성에 반복적으로 통합하여 지속적인 정제와 희소 입력으로부터 완전한 3D 장면 복원을 가능하게 하는 새로운 프레임워크.
2. 기하학 유도 디노이징: 모델 미세 조정이 필요 없이 비디오 확산 과정을 근본적인 기하학을 향해 적응적으로 유도하여 3D 일관성을 보장하는 훈련이 필요 없는 단계별 디노이징 전략.
3. 최첨단 성능: 널리 채택된 실세계 벤치마크에서 표면 재구성과 새로운 뷰 합성 모두에서 기존 희소 뷰 및 생성적 방법보다 우수한 결과를 달성함.

실험 결과

저자들은 Tanks and Temples, Replica, DL3DV를 포함한 다양한 실세계 데이터셋에서 VidSplat 을 평가했으며, 실내 및 실외 시나리오를 모두 포함합니다.

• 표면 재구성: Tanks and Temples 및 Replica 데이터셋에서 VidSplat 은 FSGS, MAtCha, GuidedVD 와 같은 베이스라인에 비해 훨씬 우수한 정량적 지표 (Chamfer Distance, F-Score, Normal Consistency) 를 달성했습니다. 시각화는 5 개의 입력 뷰만으로도 구멍 없이 완전하고 고충실도 표면을 재구성할 수 있음을 보여줍니다.
• 새로운 뷰 합성: DL3DV 데이터셋에서 이 방법은 실내 및 실외 장면 모두에서 최고의 PSNR, SSIM, LPIPS 점수를 달성하여 입력으로 희소하게 커버된 영역에서도 고품질 세부 사항을 성공적으로 렌더링했습니다.
• 비디오 생성: 다른 카메라 제어 비디오 확산 방법 (예: ViewCrafter, TrajectoryCrafter) 과 비교했을 때, VidSplat 은 실제 지형 (ground truth) 과의 일관성이 뛰어나고 생성 다양성이 더 큽니다.
• 단일 뷰 생성: 이 프레임워크는 단일 입력 이미지에서 완전한 3D 장면을 생성하고 큰 보이지 않는 영역을 복원하는 능력을 성공적으로 입증했습니다.

의의

이 논문은 VidSplat 이 생성적 비디오 모델과 기하학적 재구성 사이의 간극을 효과적으로 연결함으로써 희소 뷰 3D 재구성 분야에서 중요한 진전을 이루었다고 주장합니다. 기하학 유도 디노이징 전략을 도입함으로써 저자들은 3D 일관성을 유지하거나 보이지 않는 기하학을 추론하지 못하는 기존 생성적 방법의 치명적인 한계를 극복했습니다. 훈련이 필요 없는 (training-free) 프레임워크의 기능과 다양한 비디오 확산 백본 (SVD 및 Hunyuan 포함) 에 걸친 견고성은 그 실용성과 확장성을 강조합니다. 궁극적으로 VidSplat 은 극도로 제한된 데이터로부터 완전하고 고충실도인 3D 장면을 복원할 수 있게 하여, 밀집된 다중 뷰 캡처가 비현실적인 디지털 콘텐츠 제작, VR/AR, 그리고 구체적 지능 (embodied intelligence) 분야의 응용에 새로운 가능성을 열어줍니다.