StereoGS: Sparse-View 3D Gaussian Splatting via Stereo Priors

기술 요약: StereoGS

문제 정의

3D 가우시안 스플래팅(3DGS)은 밀집된 뷰(dense-view) 설정에서 실시간 신규 뷰 합성(NVS)을 혁신했지만, 희소한 뷰(sparse-view) 상황에 적용할 경우 심각한 과적합과 기하학적 결함이 발생합니다. 희소한 설정에서는 제한된 뷰 중첩과 불충분한 외관 대응 관계(appearance correspondences)로 인해 적절한 기하학적 제약을 제공하지 못합니다. 이를 단안 깊이 사전 정보(monocular depth priors)를 사용하여 완화하려는 기존의 시도들은 두 가지 근본적인 한계에 직면해 있습니다:

1. 스케일 모호성(Scale Ambiguity): 단안 깊이 추정치는 절대적인 값이 아닌 상대적인 값입니다. 이를 정규화로 강제하면 입력 이미지로부터 유도된 광도 일관성(photometric consistency)과 충돌하여 최적화 과정에서 잘못된 방향으로 유도될 수 있습니다.
2. 교차 뷰 불일치(Cross-View Inconsistency): 단안 깊이 지도는 각 뷰에 대해 독립적으로 추론되므로, 서로 다른 시점에서 동일한 공간 지점에 대해 일관되지 않은 깊이 값을 생성합니다. 역투영(back-projection) 시, 이러한 불일치는 공간적 정렬 오류와 기하학적 아티팩트를 유발합니다.

또한, 워핑된 이미지(warped images)에 대한 광도 손실 등을 통해 교차 뷰 일관성을 강제하려는 기존 방법들은 3D 가우시안 프리미티브(primitives)에 대한 직접적인 그래디언트 가이드를 제공하지 못하여, 이들을 실제 장면 표면에 정확하게 고정하는 데 실패합니다.

방법론

StereoGS는 최적화 과정에서 신뢰할 수 있는 쌍안 일관성(binocular consistency)과 절대 스케일 제약을 확립하기 위해 **스테레오 사전 정보(stereo priors)**를 통합하는 희소 뷰 3DGS 프레임워크를 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 일관성을 고려한 조밀한 초기화 (Consistency-Aware Dense Initialization)

희소한 설정에서 표준 구조-기반-운동(SfM) 포인트 클라우드의 희소성과 노이즈를 극복하기 위해, StereoGS는 제로샷 다중 뷰 깊이 추정기(MVSAnywhere)와 엄격한 기하학적 필터링을 결 تعداد합니다.

• 각 훈련 뷰에 대해, 모델은 남은 이미지들을 소스 뷰로 사용하여 깊이 지도를 추정합니다.
• 교차 뷰 재투영 오차를 사용하여 이상치(outliers)를 필터링합니다.
• 필터링된 깊이 지도는 역투영되어 밀집되고 다중 뷰 일관성이 있는 포인트 클라우드로 융합되며, 이는 가우시안을 위한 견고한 기하학적 토대를 제공합니다.

2. 스테레오 깊이 정규화 (Stereo Depth Regularization)

스케일 불변적인 단안 제약에 의존하는 방법들과 달리, StereoGS는 절대 스케일과 쌍안 일관성을 강제하기 위해 스테레오 깊이 정규화 항을 도입합니다.

• 가상 스테레오 쌍 구축: 최적화 중에 각 훈련 뷰(왼쪽 카메라로 취급)에 대해 수평 이동을 통해 가상 오른쪽 카메라를 구축합니다.
• 참조 깊이 생성: 실제 왼쪽 이미지와 렌더링된 오른쪽 뷰 이미지를 파운데이션 스테레오 모델(FoundationStereo)에 입력하여 매우 정확한 참조 시차(disparity) 지도를 생성합니다. 이는 외부의 스케일 인지형 사전 정보 역할을 합니다.
• 일관성 필터링: 추정된 시차에 좌우 일관성 체크(left-right consistency check)를 적용하여 폐쇄(occlusion) 및 잘못된 매칭을 식별하고, 유효성 마스크($M_{valid}$)를 생성합니다.
• 손실 함수: 유효한 픽셀에 대해 렌더링된 깊이와 스테레오 유도 깊이($Z_{stereo}$) 사이의 역수 깊이 공간에서의 L1 오차를 최소화합니다:
  $$\mathcal{L}_{depth} = \lVert M_{valid} \odot (\frac{1}{\hat{Z}} - \frac{1}{Z_{stereo}}) \rVert_1$$
  이 과정은 3D 가우시안이 절대 스케일과 일관된 구조를 학습하도록 강제합니다.

3. 그래디언트 인지 불투명도 감쇠 (Gradient-Aware Opacity Decay)

무분별하게 안정적인 표면 구조를 제거하지 않으면서 과적합을 억제하고 불필요한 프리미티브(floaters)를 제거하기 위해, StereoGS는 주기적인 불투명도 리셋 대신 동적인 전략을 사용합니다.

• 핵심 통찰: 불투명도 그래디언트 크기($\nabla_\alpha \mathcal{L}$)는 가우시안의 필요성을 반영합니다. 큰 그래디언트는 광도 오차를 줄이는 데 결정적인 기여를 함을 나타내며, 미미한 그래디언트는 중복성을 시사합니다.
• 메커니즘: 모든 가우시안의 평균 그래디언트 크기에 대해 각 가우시안의 그래디언트 크기를 정규화하여 상대적 그래디언트 $\beta$를 계산합니다.
• 감쇠 계수: $\beta$에 기반한 지수 소프트 임계값 함수를 사용하여 동적 감쇠 계수 $\gamma$를 도출합니다. 상대적으로 작은 그래디언트를 가진 가우시안은 더 많이 페널티를 받는 반면, 큰 업데이트 요구를 가진 가우시안은 보존됩니다.
  $$\gamma = 1 - (1 - \gamma_{base}) \exp(-s \cdot \beta)$$
  그 후 불투명도는 $\hat{\alpha} = \gamma \alpha$로 스케일링됩니다.

주요 기여

1. 스테레오 깊이 정규화: 파운데이션 스테레오 모델을 활용하여 최적화 중에 절대 스케일 제약과 쌍안 일관성을 강제하는 새로운 메커니즘을 통해, 단안 사전 정보의 고유한 스케일 모호성을 해결합니다.
2. 그래디언트 인지 불투명도 감쇠: 상대적 그래디언트 크기에 따라 불투명도를 조정하는 동적 프루닝(pruning) 전략을 통해, 필수적인 장면 기하학은 보존하면서 중복된 프리미티브를 효과적으로 제거합니다.
3. 일관성을 고려한 조밀한 초기화: 제로샷 다중 뷰 깊이 추정과 기하학적 필터링을 활용한 견고한 초기화 파이프라인을 통해 고품질의 포인트 클라우드 기반을 생성합니다.
4. 최첨단 성능: 제안된 모든 전략이 훈련 시에만 적용되므로, 추가적인 추론 오버헤드 없이 희소 뷰 설정에서 우수한 성능을 달 achieves 합니다.

실험 결과

StereoGS는 LLFF, DTU, Mip-NeRF360, Blender의 네 가지 표준 데이터셋에 대해 희소 훈련 뷰(예: LLFF/DTU의 경우 3, 6, 9 뷰; Mip-NeRF360의 경우 12, 24 뷰)를 사용하여 평가되었습니다.

• 정량적 성능: StereoGS는 PSNR, SSIM, LPIPS 지표 전반에서 기존 NeRF 기반(예: RegNeRF, FreeNeRF) 및 3DGS 기반(예: DNGaussian, FSGS, Binocular3DGS) 방법들을 일관되게 능가합니다. 예를 들어, 3 뷰를 사용하는 LLFF 데이터셋에서 StereoGS는 21.91의 PSNR을 달성하여 이전 최고 기록(Binocular3DGS의 21.44)을 넘어섰습니다.
• 정성적 개선: 시각적 비교를 통해 StereoGS가 질감이 없는 영역의 아티팩트를 크게 줄이고, 베이스라인 방법들이 재구성하지 못하는 미세한 디테일(예: 물체 경계, 풀 질감)을 보존함을 보여줍니다. 깊이 지도는 더 일관되고 정확하며, 구멍이나 플로터(floater)가 적습니다.
• 어블레이션 연구(Ablation Studies): 실험을 통해 각 구성 요소(조밀한 초기화, 스테레오 정규화, 그래디언트 인지 감쇠)가 성능에 점진적으로 기여함을 확인했습니다. 어떤 모듈이라도 제거하면 정량적 지표와 시각적 품질 모두에서 명확한 저하가 나타났습니다.

의의 및 주장

본 논문은 StereoGS가 희소 뷰 3D 가우시안 스플래팅의 핵심 과제인 스케일 모호성과 기하학적 불일치를 근본적으로 해결한다고 주장합니다. 파운데이션 스테레오 모델과 그래디언트 인지 프루닝 전략을 통합함으로써, 이 프레임워크는 3DGS가 희소 뷰 조건에서도 최첨단 신규 뷰 합성 품질을 달성할 수 있는 견고한 기하학적 토대를 구축합니다.

주요 주장은 이러한 개선이 추가적인 추론 오버헤드 없이 달성되어, 기존 3DGS의 실시간 렌더링 효율성을 유지한다는 점입니다. 저자들은 스테레오 모델이 극도로 질감이 없는 영역에서 여전히 어려움을 겪을 수 있고, 온라인 정규화가 추가적인 훈련 시간을 소요한다는 점을 인정하며 이를 향후 연구 방향으로 제시했습니다.