1. 문제 정의 (Problem Statement)

• 희소 뷰 (Sparse-view) 3D 재구성의 한계: 일상적인 촬영 (휴대폰, 인터넷 영상 등) 은 일반적으로 희소하고 불규칙한 시점에서 촬영됩니다. 기존의 NeRF 나 3D Gaussian Splatting 과 같은 신경망 기반 재구성 방법들은 밀집된 다중 뷰 데이터를 필요로 하므로, 이러한 희소 입력에서는 기하학적 불일치와 아티팩트가 발생합니다.
• 기존 확산 모델 (Diffusion Model) 의 제약: 최근 확산 모델을 활용한 신시각 합성 (Novel View Synthesis) 연구가 진행되고 있으나, 대부분 1~2 개의 프레임 (예: 첫 번째와 마지막 프레임) 만을 조건 (Condition) 으로 사용합니다. 이는 다음과 같은 문제를 야기합니다.
  • 기하학적 일관성 부족: 제한된 조건으로 인해 대규모 장면이나 복잡한 기하학적 구조에서 일관성을 유지하기 어렵습니다.
  • 시퀀스 의존성: 기존 비디오 확산 모델은 시간적 연속성을 가정하여 잠재 공간 (Latent Space) 을 압축하므로, 불규칙하고 큰 시점 간격 (Large Viewpoint Gaps) 이 있는 입력을 처리하는 데 비효율적입니다.
  • 확장성 부재: 대규모 장면을 한 번에 처리하기 어렵고, 반복적인 재구성을 위한 효율적인 프레임워크가 부족합니다.

2. 방법론 (Methodology)

AnyRecon 은 희소하고 무작위 순서로 입력된 뷰에서 대규모 3D 장면을 재구성하기 위한 확장 가능한 프레임워크를 제안합니다. 핵심 구성 요소는 다음과 같습니다.

가. 비정렬 컨텍스트 비디오 확산 (Unordered Contextual Video Diffusion)

• 임의의 입력 뷰 지원: 고정된 수의 프레임이 아닌, 임의의 개수와 순서의 캡처된 RGB 이미지를 조건으로 사용할 수 있도록 설계되었습니다.
• 전역 장면 메모리 (Global Scene Memory): 캡처된 뷰를 시퀀스 시작 부분에 삽입하여 영구적인 전역 키 - 값 (KV) 메모리 캐시로 활용합니다. 이를 통해 시간적 인과관계에 구애받지 않고 임의의 시점 궤적에서 일관된 장면을 생성할 수 있습니다.
• 비압축 잠재 인코딩 (Non-Compressive Latent Encoding): 기존 비디오 확산 모델이 사용하는 시간적 압축 (Temporal Compression) 을 제거하고 프레임 단위의 2D VAE 를 사용합니다. 이는 큰 시점 간격에서도 프레임 간의 정확한 공간 - 시간 대응 관계를 유지하여 기하학적 왜곡을 방지합니다.

나. 효율적인 아키텍처 (Efficient Architecture)

• 컨텍스트 윈도우 희소 어텐션 (Context-Window Sparse Attention): 긴 시퀀스 처리 시 발생하는 $O(L^2)$ 복잡도를 줄이기 위해, 각 프레임이 국소 시간 윈도우와 기하학적으로 정렬된 참조 뷰 subset 에 대해서만 어텐션 하도록 제한합니다.
• 4-스텝 확산 증류 (4-Step Diffusion Distillation): 생성 속도를 높이기 위해 사전 훈련된 모델을 4 스텝으로 증류 (Distillation) 하여 추론 시간을 획기적으로 단축합니다.

다. 기하 인식 조건화 전략 (Geometry-Aware Conditioning Strategy)

생성과 재구성을 폐루프 (Closed-loop) 로 연결하여 대규모 장면의 일관성을 유지합니다.

1. 3D 기하 메모리 업데이트: 생성된 새로운 뷰를 기존 3D 포인트 클라우드에 역투영 (Back-projection) 하여 전역 기하 메모리 ($M_{geo}$) 를 점진적으로 업데이트합니다. 이는 장시간 궤적에서의 기하학적 드리프트 (Drift) 를 방지합니다.
2. 기하 기반 뷰 선택 (Geometry-Driven View Selection): 단순한 이미지 유사도나 시야각 (FOV) 이 아닌, 현재 타겟 뷰에서 가시성 (Visibility) 과 기하학적 기여도를 기반으로 캡처된 뷰를 선택합니다. 가려진 (Occluded) 뷰는 제외되어 생성 모델에 불필요한 노이즈를 주지 않도록 합니다.

3. 주요 기여 (Key Contributions)

1. 유연한 희소 뷰 재구성 프레임워크: 임의의 개수와 순서의 입력 뷰를 지원하면서도 명시적인 기하학적 제어를 유지하는 비디오 확산 기반 접근법을 제안했습니다.
2. 기하 인식 조건화 설계: 3D 기하 메모리 (역투영 기반) 와 기하 기반 캡처 뷰 검색을 통해 생성과 재구성을 결합하여, 공간적으로 grounded 된 확산 가이드를 제공합니다.
3. 효율적인 확산 아키텍처: 시간적 압축 제거, 확산 증류, 블록 희소 어텐션을 결합하여 다양한 입력 뷰 수에 일반화되면서도 계산 효율성을 유지합니다.

4. 실험 결과 (Results)

• 데이터셋: DL3DV-10K 및 Tanks and Temples 데이터셋에서 평가되었습니다.
• 성능:
  • 정량적 지표: Interpolation (보간) 및 Extrapolation (외삽) 설정에서 PSNR, SSIM, LPIPS 모든 지표에서 기존 최첨단 방법 (Difix3D+, ViewCrafter, Uni3C) 보다 우수한 성능을 보였습니다. (예: DL3DV Interpolation PSNR 20.95 vs 기존 17.88)
  • 시각적 품질: 큰 시점 간격과 긴 궤적에서도 기하학적 일관성과 텍스처 디테일을 잘 유지하며, 기존 방법에서 발생하는 색상 변화나 구조적 붕괴를 해결했습니다.
• 효율성: 40 프레임 생성 시 약 105 초 (약 1 분 45 초) 로, 기존 방법 (Difix3D+ 는 1200 초 이상) 대비 약 20 배 빠른 추론 속도를 달성했습니다.

5. 의의 및 결론 (Significance)

AnyRecon 은 일상적인 희소하고 불규칙한 영상 입력을 탐색 가능한 3D 자산으로 변환하는 실용적인 솔루션을 제공합니다.

• 대규모 장면 처리: 전역 메모리와 점진적 업데이트 메커니즘을 통해 단일 확산 모델의 한계를 넘어 대규모 3D 장면 재구성을 가능하게 했습니다.
• 생성 - 재구성 시너지: 생성 모델의 강력한 외삽 능력과 명시적인 3D 기하 제어의 정밀함을 결합하여, 기존 방법들이 겪던 기하학적 불일치 문제를 해결했습니다.
• 실시간 적용 가능성: 빠른 추론 속도와 높은 재구성 품질을 동시에 달성하여, 증강현실 (AR), 가상현실 (VR), 시각 효과 등 다양한 응용 분야에 즉시 적용 가능한 가능성을 열었습니다.

요약하자면, AnyRecon 은 비디오 확산 모델의 시간적 한계를 극복하고, 명시적인 3D 기하 정보를 활용하여 희소 뷰에서도 고품질의 대규모 3D 장면을 효율적으로 재구성하는 새로운 패러다임을 제시합니다.