기술 요약: SparseGS

문제 정의

3D 가우시안 스플래팅(3DGS)은 새로운 시점 합성(Novel View Synthesis, NVS)에서 실시간 렌더링과 효율적인 학습의 새로운 표준을 확립했지만, 정확한 3D 기하 구조를 재구성하기 위해 밀집된 입력 뷰에 크게 의존합니다. 이 기술을 희소 입력(sparse-input) 시나리오, 특히 경계가 없는 360도 장면(unbounded 360-degree scenes)에 적용할 경우 심각한 아티팩트가 발생합니다. 식별된 주요 문제는 다음과 같습니다:

1. "플로터(Floaters)": 잘못 배치된 가우시안으로 인해 발생하는 고밀도 부유 영역으로, 제한된 데이터로 인해 3D를 2D로 투영하는 과정에서 발생하는 본질적인 모호함에서 비롯됩니다.
2. "배경 붕괴(Background Collapse)": 배경 가우시안이 잘못된 깊이에 배치되어 배경이 전경에 나타나는 현상입니다.

단안 깊이 프라이어(depth priors)나 정규화 도구를 통합한 기존의 3DGS 확장 방식들은, 특히 경계가 없는 장면에서 이러한 문제를 완전히 해결하는 데 어려움을 겪어왔습니다. 또한, 표준 알파 블렌딩(alpha-blending) 기반의 깊이 렌더링은 그래디언트가 잘못된 가우시안으로 전파되게 할 수 있으며, 학습 뷰에 대한 과적합은 희소한 설정에서 배경 붕괴를 악화시킵니다.

방법론

SparseGS는 12개의 입력 이미지(경계가 없는 장면의 경우) 또는 3개의 이미지(전방향 장면의 경우)만으로 일관된 3D 장면을 재구성하도록 설계된 효율적인 학습 파이프라인을 도입합니다. 이 파이프라인은 세 가지 주요 구성 요소로 통합됩니다:

1. 새로운 깊이 렌더링 기술

"플로터" 문제를 해결하기 위해, 저자들은 표준 알파 블렌딩을 넘어선 두 가지 깊이 렌더링 방법을 제안합니다:

• 모드 선택 깊이(Mode-Selection Depth): 픽셀에 대해 가장 높은 기여 가중치($w_i = T_i \alpha_i$)를 갖는 가우시안의 깊이를 선택합니다. 이는 가장 유의미한 기하 구조를 강조하는 이산적인 깊이 추정치를 제공합니다.
• 소프트맥스 스케일링 깊이(Softmax-Scaling Depth): 알파 블렌딩의 변형으로, 온도 매개변수($\beta$)를 가진 소프트맥스 함수를 적용합니다. 이는 깊이 축적을 고가중치 가우시안 쪽으로 편향시키면서도, 오프-모드(off-mode) 가우시안에도 그래디언트가 전파될 수 있도록 허용합니다.
• 깊이 상관 손실(Depth Correlation Loss): 직접적인 L2 손실(단안 깊이 프라이어와 3DGS 간의 스케일/시프트 차이로 인해 실패함) 대신, 이 방법은 렌더링된 소프트맥스 깊이 패치와 사전 학습된 모델(Marigold 등)로 생성된 의사 그라운드 트루스(pseudo ground truth) 깊이 맵 사이의 피어슨 상관 계수를 계산합니다. 이는 메트릭 스케일 정렬을 요구하지 않으면서도 국소적인 구조적 정렬을 장려합니다.

2. 미보지 시점 정규화 (Unseen Viewpoint Regularization, UVR)

과적합과 "배경 붕괴"를 완화하기 위해, 파이프라인은 입력 학습 뷰와 다른 시점에서 모델을 정규화합니다:

• 점수 증류 샘플링(Score Distillation Sampling, SDS) 손실: 사전 학습된 2D 확산 모델(diffusion model)이 프라이어로 사용됩니다. 장면 중심 주변의 무작위 시점에서 렌더링된 이미지를 인코딩하고, 예측된 노이즈를 SDS 손실을 통해 감독합니다. 이는 장면 구조를 유지하면서 고주파 노이즈와 비사실적인 아티팩트를 제거합니다.
• 깊이 워핑 손실(Depth Warping Loss): 단안 깊이 추정을 사용하여 학습 이미지를 인접한 미보지 시점으로 재투영합니다. 이는 기하 구조를 제약하기 위해 추가적인 의사 학습 데이터를 생성합니다.

3. 고급 플로터 프루닝 (Advanced Floater Pruning)

3DGS의 명시적인 특성을 활용하여, 저자들은 사후 학습 프루닝 휴리스틱을 도입합니다. 모드 선택 깊이와 알파 블렌딩 깊이 사이의 픽셀당 상대적 차이($\Delta$)를 분석함으로써, 시스템은 플로터를 나타내는 이봉 분포(bimodal distribution)를 식별합니다. 이 분포에 임계값을 적용하여 마스크를 생성하고, 이를 사용하여 광선(ray)을 따라 잘못된 깊이에 위치한 모든 가우시안(모드 가우시안 포함)을 식별하고 삭제합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. SparseGS 프레임워크: 제한된 입력으로부터 견고한 3D 가우시안 표현을 학습하기 위한 새로운 프레임워크로, 희소 뷰 합성에서 최첨단(SOTA) 방법들을 능가합니다.
2. 플로터 완화: "플로터" 아티팩트를 해결하기 위해 특별히 설계된 모드 선택 및 소프트맥스 스케일링 깊이 렌더링 기술을 도입했습니다.
3. 미보지 시점 정규화: SDS와 깊이 워핑을 사용하여 미보지 시점에서 학습을 정규화하며, 이는 경험적으로 "배경 붕괴"를 줄입니다.
4. 명시적 프루닝 연산자: 깊이 불일치를 활용하여 바람직하지 않은 부유 아티팩트를 명시적으로 식별하고 제거하는 적응형 연산자입니다.

실험 결과

저자들은 Mip-NeRF360(경계 없음), LLFF, DTU(전방향) 데이터셋에서 SparseGS를 평가했습니다.

• 경계가 없는 장면 (Mip-NeRF360): 12-뷰 설정에서 SparseGS는 PSNR 19.37, LPIPS 0.398, SSIM 0.577을 달성했습니다. 이는 이전의 NeRF 기반 방법들(예: RegNeRF, SparseNeRF)과 동시기의 3DGS 연구들(FSGS, DNGaussian)보다 우수한 성능을 보였습니다.
• 전방향 장면: SparseGS는 LLFF 및 DTU 데이터셋에서 경쟁력 있는 성능을 보여주었으며, 단 3개의 입력 이미지만으로도 고품질의 재구성을 달성했습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 각 구성 요소가 최종 성능에 기여함을 확인했습니다. 소프트맥스 스케일링 깊이는 표준 3DGS 대비 PSNR을 1.37dB 향상시켰고, UVR은 평균 0.33dB, 플로터 프루닝은 0.28dB를 추가로 향상시켰습니다.

의의 및 주장

본 논문은 SparseGS가 희소 입력 새로운 시점 합성에 있어 최첨단 성능을 달ert하며, 특히 대부분의 현재 퓨샷(few-shot) 기술이 어려움을 겪는 360도 경계 없는 장면을 성공적으로 처리한다고 주장합니다. 깊이 프라이어, 확산 기반 정규화, 그리고 명시적 기하 프루닝을 결합함으로써, 이 방법은 3DGS 고유의 빠른 학습 및 실시간 렌더링 능력을 유지하면서도 데이터가 부족한 환경에서의 재구성 품질을 크게 개선하고 아티팩트를 줄입니다. 저자들은 이 접근 방식이 360도 장면의 경우 12개의 입력 이미지만으로도 정확한 재구성을 가능하게 하여, 3DGS의 효율성과 희소 뷰 애플리케이션에 필요한 견고함 사이의 간극을 메운다고 강조합니다.