Pi-GS: Sparse-View Gaussian Splatting with Dense π^3 Initialization

기술 요약: Pi-GS: 조밀한 $\pi^3$ 초기화를 이용한 희소 뷰 가우시안 스플래팅(Sparse-View Gaussian Splatting with Dense $\pi^3$ Initialization)

문제 정의
3D 가우시안 스플래팅(3DGS)은 실시간 렌더링과 빠른 학습을 제공하며 새로운 뷰 합성(NVS) 분야에서 선도적인 방법으로 자리 잡았습니다. 그러나 3DGS의 성능은 정확한 카메라 포즈와 일반적으로 SfM(Structure from Motion) 파이프라인에서 유도되는 고품질 포인트 클라우드 초기화에 크게 의존합니다. 희소 뷰 시나리오(예: 3개에서 12개의 입력 이미지)의 경우, 전통적인 SfM은 제한된 이미지 중첩으로 인해 제대로 작동하지 못하는 경우가 많으며, 이는 희소하거나 존재하지 않는 포인트 클라우드로 이어집니다. 이는 불량한 초기화, 깊이 모호성, 학습 뷰에 대한 과적합, 그리고 재구성된 장면에서 나타나는 "플로터(floaters)"(아티팩트)를 초래합니다. 기존의 학습 기반 대안들이 존재하지만, 많은 방법이 여전히 신뢰할 수 있는 참조 뷰를 필요로 하거나 포즈 및 깊이 오차에 민감하다는 단점이 있습니다.

방법론
제안된 방법인 Pi-GS는 밀집된 참조 없는(reference-free) 포인트 클라우드 추정 네트워크($\pi^3$)를 수정된 3DGS 프레임워크(구체적으로 PGSR) 및 일련의 기하학적 정규화 기술과 통합하여 이러한 문제를 해결합니다.

1. $\pi^3$를 통한 밀집 초기화:
   COLMAP과 같이 낮은 중첩 설정에서 희소한 포인트 클라우드를 생성하는 전통적인 SfM에 의존하는 대신, Pi-GS는 사전 학습된 피드포워드 순열 불변(permutation-equivariant) 네트워크($\pi^3$)를 활용하여 입력 이미지로부터 직접 밀집된 포인트 클라우드와 카메라 포즈를 추정합니다. 실험 결과, $\pi^3$는 COLMAP이 약 1,000개의 점만을 생성하는 장면에 대해 100만 개 이상의 점을 생성하여 최적화를 위한 견고한 기하학적 토대를 제공함을 보여주었습니다.

2. 적응형 PGSR 프레임워크:
   이 방법은 효율적이고 고충실도인 표면 재구성을 위한 평면 기반 가우시안 스플래팅(PGSR)을 기반으로 합니다. 희소 뷰에 적응하기 위해, 저자는 "다중 뷰 옵저버 트리밍(multi-view observer trim)"(포인트가 여러 카메라에 의해 보여야 함을 요구함)과 "불투명도 리셋(opacity reset)" 메커니즘을 비활성화했습니다. 불투명도 리셋을 비활성화하면 학습 중 배경 디테일의 손실과 아티팩트 형성을 방지할 수 있습니다. 또한, $\pi^3$로부터의 밀집 초기화가 이미 충분한 기하학적 세부 정보를 제공하므로 가우시안 밀도화(densification)를 위한 분할 전략을 비활성화했습니다.

3. 불확실성을 고려한 깊이 지도 감독(Uncertainty-Aware Depth Supervision):
   기하학을 정규화하기 위해 Pi-GS는 신뢰도 기반 피어슨 상관 계수 손실($L_{pearson}$)을 사용합니다. 노이즈가 있는 깊이 추정에 과적합될 수 있는 표준 $L_1$ 또는 $L_2$ 손실과 달리, 이 손실은 $\pi^3$가 제공하는 신뢰도 점수를 포함합니다. 이는 불확실한 영역의 가중치를 낮춤으로써 모델이 구조적 일관성을 유지하면서도 고주파 세부 사항을 복구할 수 있도록 합니다.

4. 아티팩트가 없는 법선 벡터 감독(Artifact-Free Normal Supervision):
   표면 법선(surface normals)은 깊이 맵으로부터 유도됩니다. 그러나 $\pi^3$가 이미지를 $14 \times 14$ 픽셀 패치로 처리하기 때문에, 그래디언트 불연속성이 격자 형태의 아티팩트를 생성합니다. Pi-GS는 손실 계산 중에 이러한 패치의 내부 경계(inner borders)를 무시하는 마스킹 전략을 도입하여, 최종 재구성에서 격자 아티팩트를 효과적으로 제거합니다. 감독에는 추정된 법선과 렌더링된 법선 사이의 $L_1$ 손실이 사용됩니다.

5. 의사 뷰(Pseudo-Views)를 위한 깊이 워핑(Depth Warping):
   일반화 능력을 향상시키고 과적합을 줄이기 위해, 이 방법은 깊이 워핑을 통해 의사 뷰를 생성합니다. 가장 가까운 두 알려진 카메라 포즈 사이의 원형 보간(circle interpolation)을 사용하여 새로운 가상 뷰포인트를 합성합니다. 투영 과정에서 신뢰도가 낮은 픽셀은 마스킹 처리됩니다. 이러한 의사 뷰는 학습 중에 낮은 가중치(0.1)를 가진 추가적인 광도 감독(SS림 및 $L_1$)을 위해 사용됩니다.

주요 기여

• 참조 없는 밀집 초기화: $\pi^3$의 통합은 희소 뷰 3DGS에 대한 전통적인 SfM 파이프라인에 대한 의존성을 제거하여, 초기화 실패를 극복하는 밀집된 기하학적 사전 정보를 제공합니다.
• 신뢰도 기반 피어슨 손실: 불확실성 추정을 활용하여 구조적 일관성과 고주파 세부 사항 복구 사이의 균형을 맞추고 노이즈가 있는 깊이 예측에 대한 과적합을 피하는 새로운 깊이 손실 공식을 제안합니다.
• 강건한 희소 뷰 최적화: 희소 데이터에 부적합한 특정 밀도화 및 트리밍 전략을 비활성화한 수정된 PGSR 프레임워크와 격자 아티팩트를 제거하는 마스킹된 법선 감독을 결합했습니다.
• 기하학적 일관성: 깊이 워핑과 의사 뷰의 사용은 생성적 사전 지식(generative priors)이나 뷰 할루시네이션(view hallucination)에 의존하지 않고도 뷰 일관성과 플로터 감소를 향상시킵니다.

실험 결과
Pi-GS는 3-뷰 및 12-뷰 설정 하에서 Tanks and Temples, MipNeRF360, LLFF, DTU의 네 가지 표준 데이터셋에 대해 평가되었습니다.

• 성능: 이 방법은 최근의 희소 뷰 방법들인 Intern-GS, InstantSplat, SparseGS, DNGaussian과 비교하여 대부분의 지표(PSNR, SSism, LPIPS)에서 최첨단(SOTA) 성능을 달s성했습니다.
• 정성적 개선: 시각적 결과는 표준 3DGS 및 PGSR에 비해 플로터가 현저히 감소하고, 가우시안이 기저 표면 기하학에 더 잘 정렬되며, 고주파 텍스처 보존이 개선되었음을 보여줍니다.
• 절제 연구(Ablation Studies): 실험을 통해 각 구성 요소가 최종 성능에 기여함을 확인했습니다. 특히, 밀집 초기화가 가장 큰 이득을 제공했으며, 그 다음으로 깊이 정규화, 법선 정규화, 깊이 워핑 순이었습니다. 또한, 이 맥락에서 가우시안 분할을 활성화하면 성능이 약간 저하되어 이를 비활성화하는 것이 타당함을 입증했습니다.
• 포즈 정확도: $\pi^3$에 의해 추정된 카메라 포즈는 Tanks and Temples 데이터셋에서 0.0293의 절대 궤적 오차(ATE)로 검증되었으며, 이는 고충실도 재구성을 위한 적합성을 확인해 줍니다.

의의 및 한계점
본 논문은 Pi-GS가 반복적이고 실패하기 쉬운 SfM 파이프라인에서 견고한 피드포워드 기하학적 초기화로 중심축을 이동함으로써 희소 뷰 3D 재구성을 크게 발전시켰다고 주장합니다. 뷰 할루시네이션보다는 기하학적 일관성과 일반화에 집중함으로써, 이 방법은 표면 정렬이 개선되고 뷰 일관성이 높은 새로운 뷰를 생성합니다.

저자들은 다음과 같은 구체적인 한계점을 인정합니다:

• 메모리 제약: $\pi^3$로 다수의 입력 뷰를 처리하는 것은 상당한 GPU 메모리를 소비하므로, 매우 큰 데이터셋을 가진 소비자용 하드웨어에서는 현재 실행이 어렵습니다.
• 깊이 추정 오류: 특정 도전적인 장면(예: LLFF의 "leaves" 장면)에서 부정확한 깊이 추정은 여전히 재구성 품질에 영향을 미칠 수 있습니다.
• 보이지 않는 영역: 생성적 방법이 아닌 다른 방법들과 마찬가지로, Pi-GS는 입력 뷰에 의해 완전히 관찰되지 않은 영역의 기하학을 재구성할 수 없습니다. 다만, 관찰된 영역은 과도한 평활화 없이 정확하게 재구성합니다.

저자들이 제시한 향 향후 연구 과제에는 카메라 포즈와 가우시안 씬의 공동 최적화, 그리고 가려진 영역을 더 효과적으로 처리하기 위한 생성적 사전 지식의 통합 가능성이 포함됩니다.