In Depth We Trust: Reliable Monocular Depth Supervision for Gaussian Splatting

1. 연구 배경 및 문제 정의 (Problem)

3D 가우시안 스플래팅 (3DGS) 은 고품질의 신비로운 뷰 합성 (Novel View Synthesis) 을 가능하게 하는 획기적인 기술이지만, 희소한 학습 데이터나 질감이 없는 (textureless) 표면에서는 아티팩트가 발생하기 쉽습니다. 이를 해결하기 위해 단안 깊이 추정 (Monocular Depth Estimation, MDE) 모델을 활용한 깊이 사전 지식 (prior) 을 도입하려는 시도가 있었으나, 다음과 같은 근본적인 문제들이 존재합니다.

• 스케일 모호성 (Scale Ambiguity): 기존 MDE 모델은 절대적인 깊이가 아닌 상대적인 깊이만 예측하므로, 다중 뷰 간의 정렬 (alignment) 이 어렵습니다.
• 다중 뷰 불일치 (Multi-view Inconsistency): 서로 다른 시점에서 예측된 깊이 지도가 기하학적으로 일치하지 않아 3D 구조 학습을 방해합니다.
• 국소 기하학적 부정확성: MDE 모델은 도메인 시프트 (domain shift) 나 희소한 텍스처 영역에서 세부 사항을 정확히 복원하지 못합니다.
• 부정적 영향: 이러한 불완전한 깊이 정보를 무조건적으로 (naively) 적용하면, 오히려 잘 재구성된 3D 구조를 훼손하고 렌더링 품질을 저하시킬 수 있습니다.

2. 제안 방법론 (Methodology)

저자들은 MDE 의 불완전성을 보완하면서도 깊이 정보를 효과적으로 활용할 수 있는 신뢰할 수 있는 학습 프레임워크를 제안합니다. 이 프레임워크는 크게 세 가지 핵심 구성 요소로 이루어집니다.

가. 깊이 불일치 마스크 (Depth-Inconsistency Mask, DIM)

• 목적: 다중 뷰 기하학적 일관성이 깨진 영역 (잘 재구성되지 않은 가우시안) 과 일관성이 유지된 영역을 구분합니다.
• 구현: 가상 스테레오 (Virtual Stereo) 설정을 시뮬레이션합니다. 현재 학습 카메라를 '왼쪽 눈'으로, x 축으로 이동한 가상 카메라를 '오른쪽 눈'으로 가정합니다.
• 과정:
  1. 가상 오른쪽 뷰에서 렌더링된 깊이 지도를 3D 공간으로 역투영 (back-project) 한 후, 다시 왼쪽 뷰로 재투영 (re-project) 합니다.
  2. 원래 왼쪽 뷰의 렌더링 깊이와 재투영된 깊이를 비교합니다.
  3. 깊이 차이가 임계치 ($\epsilon$) 를 초과하거나 재투영이 불가능한 (occlusion 등) 픽셀을 '불일치 영역'으로 마스킹합니다.
• 효과: 이 마스크를 통해 MDE 의 부정확한 깊이가 잘 재구성된 영역에 전파되는 것을 차단하고, 불일치 영역에만 깊이 정규화를 적용합니다.

나. 스케일 불변 깊이 손실 (Scale-Invariant Depth Loss, $L_{sid}$)

• 기존 방식과 유사하게 SfM(Sparse Structure-from-Motion) 점 구름과 MDE 깊이를 정렬하여 절대적인 깊이 값을 맞추는 손실 함수를 사용하지만, 이를 DIM 에 의해 선택된 불일치 영역에만 적용합니다.

다. 기울기 정렬 손실 (Gradient-Alignment Loss, GAL)

• 목적: 스케일 모호성이 있는 MDE 깊이에서 미세한 기하학적 구조 (고주파수 정보) 를 추출합니다.
• 기존 방식의 한계: 패치 기반의 상관관계 손실 (NCC/Pearson correlation) 은 계산 비용이 크고 기하학을 과도하게 평활화 (oversmoothing) 하는 경향이 있습니다.
• 제안 방식: 렌더링된 깊이와 MDE 깊이의 1 차 공간 미분 (기울기, $\partial_x, \partial_y$) 간의 $L_1$ 차이를 최소화합니다.
• 효과: 절대적인 깊이 값이 아닌 '깊이의 변화 패턴'에 초점을 맞춰, 선명한 에지와 세부 구조를 보존하면서도 스케일 불일치에 강건하게 학습을 유도합니다.

최종 손실 함수:
$$R = \alpha L_{abs} + \beta L_{rel}$$
여기서 $L_{abs}$는 DIM 을 적용한 절대 깊이 손실, $L_{rel}$은 GAL 입니다.

3. 주요 기여 (Key Contributions)

1. 신뢰할 수 있는 학습 프레임워크: MDE 의 스케일 모호성과 노이즈를 완화하면서, 가용한 단안 깊이 단서를 3DGS 학습에 안정적으로 통합하는 방법을 제시했습니다.
2. DIM 및 GAL 도입:
   • DIM: 다중 뷰 불일치 가우시안을 탐지하여 MDE 정규화를 선택적으로 적용함으로써 오류 전파를 방지합니다.
   • GAL: 패치 기반 손실의 평활화 문제를 해결하고, 스케일 모호한 깊이에서도 미세한 기하학적 단서를 포착하는 기울기 기반 손실을 도입했습니다.
3. 광범위한 검증: 다양한 MDE 백본 (DepthAnything V2, MoGe-2, UniDepth V2 등) 과 3DGS/2DGS 아키텍처, 그리고 다양한 데이터셋 (ScanNet++, MipNeRF 360, TanksAndTemples) 에서 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 설정: ScanNet++(실내), MipNeRF 360(실내/실외), TanksAndTemples(실외) 에서 저데이터 (Low-data) 및 중등 데이터 (Moderate-data) 설정으로 실험 수행.
• 성능 향상:
  • 렌더링 품질: 기존 3DGS 베이스라인 및 다른 SOTA 방법들 (SparseGS, DNGaussian 등) 보다 PSNR, SSIM, LPIPS 등 모든 지표에서 우수한 성능을 보였습니다. 특히 저데이터 환경에서 평균 0.47dB 이상의 PSNR 향상을 기록했습니다.
  • 깊이 정확도: 렌더링된 깊이 지도의 정확도 ($\delta_1$) 가 크게 개선되었으며, 아티팩트 (예: 'floaters') 가 현저히 감소했습니다.
  • 강건성: MDE 모델의 품질이 낮을 때 (예: Marigold) 도 기존 방법은 성능이 저하되거나 베이스라인보다 나빠지는 반면, 제안된 방법은 일관된 개선을 보였습니다.
  • 범용성: 3DGS 와 2DGS 두 가지 백본 모두에서 적용 가능하며, 다양한 MDE 모델과 호환됩니다.
• Ablation Study: DIM 과 GAL 을 모두 사용할 때 최적의 성능을 보이며, 각 모듈이 기하학적 학습과 세부 구조 복원에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 기존의 불완전한 2D 기반 모델 (Foundation Models) 을 3D 재구성에 안전하게 활용하는 방법론을 제시했다는 점에서 의의가 큽니다.

• 실용성: 고가의 RGB-D 카메라나 정밀한 SfM 데이터 없이도, 오픈소스 MDE 모델을 통해 고품질의 3D 장면을 재구성할 수 있는 길을 열었습니다.
• 기술적 진보: 단순히 깊이를 '추가'하는 것을 넘어, 깊이 정보의 **신뢰도를 동적으로 평가 (DIM)**하고 **세부 기하학 (GAL)**을 보존하는 전략을 통해, MDE 의 한계를 극복하고 3DGS 의 성능을 한 단계 끌어올렸습니다.
• 미래 지향성: MDE 기술이 발전함에 따라 이 프레임워크도 자연스럽게 성능 향상을 따라갈 수 있는 확장 가능한 (scalable) 솔루션을 제공합니다.

결론적으로, 이 연구는 복잡한 실제 환경에서 견고하고 고충실도 (high-fidelity) 인 3D 장면 재구성을 가능하게 하는 신뢰할 수 있는 깊이 지도 활용 프레임워크를 확립했습니다.