DF3DV-1K: A Large-Scale Dataset and Benchmark for Distractor-Free Novel View Synthesis

1. 문제 정의 (Problem Statement)

광선장 (Radiance Fields) 기술은 사실적인 새로운 뷰 합성 (Novel View Synthesis) 을 가능하게 했으나, 시각적 방해 요소 (Distractors) 가 포함된 이미지에서 깨끗한 장면을 복원하는 방해 요소 제거 (Distractor-Free) 작업은 여전히 큰 과제를 안고 있습니다.

• 데이터 부재: 기존 연구들은 주로 특정 장면에 최적화된 방법이거나, 방해 요소가 없는 깨끗한 데이터셋에 의존했습니다. 방해 요소가 포함된 'Cluttered' 이미지와 이를 제거한 'Clean' 이미지가 쌍으로 제공되는 대규모 실세계 (Real-world) 데이터셋이 부족했습니다.
• 평가의 한계: 기존 벤치마크 (RobustNeRF, On-the-go 등) 는 규모가 작거나 방해 요소의 다양성이 부족하여, 최신 방법론들의 미세한 성능 차이를 구분하기 어렵거나, 특정 장면에만 과적합 (Overfitting) 되는 경향을 보였습니다.
• 일반화 부족: 대부분의 방해 요소 제거 방법은 장면별 최적화 (Per-scene optimization) 에 의존하며, 대규모 데이터를 활용한 일반화 가능한 모델 개발이 지연되고 있습니다.

2. 방법론 및 제안 (Methodology & Proposal)

저자들은 이러한 격차를 해소하기 위해 DF3DV-1K라는 대규모 데이터셋과 벤치마크를 제안했습니다.

A. DF3DV-1K 데이터셋 구축

• 규모: 총 1,048 개의 장면 (실내 726 개, 실외 322 개) 으로 구성되며, 총 89,924 개의 이미지를 포함합니다.
• 데이터 구성: 각 장면마다 방해 요소가 포함된 Cluttered 이미지와 이를 제거한 Clean 이미지 쌍을 제공합니다.
• 다양성:
  • 128 가지 방해 요소 유형: 색상 유사, 정면 가림, 유체 (물), 반사, 그림자, 반투명, 저조도 (야간) 등 다양한 시나리오를 포함합니다.
  • 161 가지 장면 테마: 주방, 거실, 공원 등 일상적인 환경부터 특수한 상황까지 포괄합니다.
  • 캐처 (Capture) 다양성: 9 개월 동안 12 가지 다른 소비자용 카메라 (iPhone, Samsung 등) 를 사용하여 4K 해상도로 촬영되었으며, 자동 노출/초점 설정을 유지하여 실제 캐주얼 촬영 환경을 모사했습니다.
• DF3DV-41: 전체 데이터셋 중 41 개의 장면을 선별하여, 17 가지의 체계적으로 설계된 난이도 높은 시나리오 (예: 의미론적으로 유사한 방해 요소, 유체, 야간 장면 등) 를 평가하는 서브셋을 구성했습니다.

B. 벤치마크 및 평가 프로토콜

• 평가 대상: 최신 오픈소스 방해 요소 제거 광선장 방법론 9 개 (AsymGS, RobustSplat, OCSplats, DeGauss 등) 와 기본 3DGS 를 포함하여 총 10 개 방법을 평가했습니다.
• 평가 지표: PSNR, SSIM, LPIPS 를 사용하여 정량적 성능을 측정하고, 다양한 방해 요소 유형별 강건성 (Robustness) 을 분석했습니다.

C. DI2FIX (적용 사례)

• DF3DV-1K 의 대규모 데이터를 활용하여 기존 2D 향상 모델 (DIFIX) 을 파인튜닝한 DI2FIX를 제안했습니다.
• 이는 광선장 렌더링 결과에 방해 요소 아티팩트를 제거하고 누락된 영역을 인페인팅 (Inpainting) 하는 플러그인형 2D 향상기입니다.

3. 주요 기여 (Key Contributions)

1. DF3DV-1K 데이터셋: 방해 요소 제거 신비전 합성을 위한 최초의 대규모 실세계 데이터셋으로, 1,048 개의 장면과 128 가지 방해 요소 유형을 포함하며 Clean/Cluttered 이미지 쌍을 제공합니다.
2. 포괄적인 벤치마크: 10 가지 최신 방법론에 대한 대규모 평가를 통해, 현재 방법론들의 강건성과 한계를 체계적으로 분석했습니다.
3. DI2FIX (Generalizable Enhancer): 대규모 데이터를 기반으로 학습된 2D 향상기를 통해, 모델 수정 없이도 방해 요소 제거 성능을 획기적으로 개선할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • 가장 강력한 방법: AsymGS와 RobustSplat이 DF3DV-1K 및 DF3DV-41 에서 가장 높은 강건성을 보였습니다.
  • 성능 추세: 방법론의 발표 시기가 늦을수록 성능이 향상되는 경향이 명확히 관찰되었습니다 (PSNR, SSIM, LPIPS 모두).
  • 기존 벤치마크와의 비교: RobustNeRF 나 On-the-go 데이터셋에 비해 DF3DV-1K 는 훨씬 더 어렵고 다양하여, 기존 방법론들의 성능 차이가 명확하게 드러났습니다.
• 어려운 시나리오:
  • 가장 어려운 방해 요소: 의미론적으로 유사한 방해 요소 (Semantic Similarity) 와 유체 (Fluid) 방해 요소.
  • 가장 어려운 환경: 야간 장면 (Low-light).
  • 이러한 시나리오에서는 기존 방법론들이 배경과 방해 요소를 구분하지 못하거나, 가시성 있는 장면을 잘못 제거하는 등의 오류가 발생했습니다.
• DI2FIX 효과:
  • DF3DV-1K* (1,007 개 장면) 로 파인튜닝된 DI2FIX 는 Hold-out 세트 (DF3DV-41, On-the-go) 에서 평균 PSNR 0.96 dB 향상과 LPIPS 0.057 감소를 달성했습니다.
  • 학습 데이터의 규모가 커질수록 (250 → 1,000 장면) 성능이 꾸준히 향상되었으며, 다양한 방해 요소 유형에 대한 일반화 능력이 입증되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 연구 방향 전환: DF3DV-1K 는 방해 요소 제거 연구가 단순한 장면별 최적화를 넘어, 대규모 데이터를 기반으로 한 일반화 가능한 (Generalizable) 솔루션으로 발전할 수 있는 토대를 마련했습니다.
• 엄격한 평가 기준: 기존 벤치마크에서 관찰되지 않았던 미세한 성능 차이를 명확히 구분할 수 있는 "Zoom-in no more" 수준의 엄격한 평가 환경을 제공합니다.
• 미래 전망: 이 데이터셋과 벤치마크는 방해 요소가 포함된 일상적인 촬영 환경에서도 고품질의 3D 합성이 가능한 더 강건한 비전 시스템 개발을 가속화할 것으로 기대됩니다.

요약하자면, 이 논문은 방해 요소 제거 3D 비전 분야의 성장을 막았던 대규모 고품질 데이터셋의 부재를 해결하고, 이를 통해 현재 기술의 한계를 규명하며 향후 연구 방향을 제시했다는 점에서 매우 중요한 기여를 했습니다.