Pose-Free Omnidirectional Gaussian Splatting for 360-Degree Videos with Consistent Depth Priors

1. 문제 정의 (Problem Statement)

• 배경: 360 도 비디오를 위한 오모니디렉셔널 (전방향) 3D 가우시안 스플래팅 (3DGS) 은 VR, 가상 관광 등에 필수적인 기술입니다. 기존 3DGS 는 주로 SfM (Structure from Motion) 을 통해 카메라 포즈와 희소 점 (sparse points) 사전 정보를 제공받아야 합니다.
• 현황의 한계:
  • 기존 오모니디렉셔널 3DGS 방법들은 SfM 에 의존하므로 처리 속도가 느리고, SfM 이 실패하는 경우 (예: 텍스처가 없는 영역, 반복적인 패턴) 재구성이 어렵습니다.
  • 기존 포즈 프리 (Pose-Free) 3DGS 방법들은 평면 (Perspective) 이미지에는 적용되지만, 360 도 파노라마 이미지의 구면 투영 (Spherical Projection) 특성으로 인해 포즈 추정 시 불안정성이 발생합니다.
  • 특히 극점 (Poles) 근처에서의 가우시안 오차 증폭과 다양한 영역에서의 투영 오차로 인해, 평면용 포즈 프리 방법이 파노라마에 직접 적용되면 카메라 포즈 추정과 렌더링 품질이 크게 저하됩니다.
  • 최근 3D 비전 기초 모델 (VFMs) 을 활용한 방법들은 평면 이미지에 최적화되어 있어 파노라마 입력에 직접 적용하기 어렵고, 단안 깊이 추정 (MDE) 을 사용할 경우 프레임 간 깊이 불일치로 인해 가우시안 표현에 이상치 (Outliers) 가 발생하여 고품질 재구성을 방해합니다.

2. 제안 방법 (Methodology: PFGS360)

저자들은 SfM 사전 정보 없이 비포즈 (Unposed) 360 도 비디오로부터 3D 가우시안을 재구성하는 PFGS360 프레임워크를 제안합니다. 이 프레임워크는 두 가지 핵심 모듈로 구성됩니다.

A. 구면 일관성 인식 포즈 추정 모듈 (Spherical Consistency-Aware Pose Estimation, SCA-PE)

• 목적: SfM 없이 정확한 카메라 포즈를 추정합니다.
• 작동 원리:
  1. 2D-3D 대응 관계 구축: 재구성된 가우시안과 비포즈 이미지 간의 2D-3D 대응 관계를 설정합니다.
  2. 구면 일관성 마스크 (Consistency Mask): 렌더링된 깊이 맵 간의 구면 재투영 일관성 (Spherical Reprojection Consistency) 을 계산합니다. 이는 가우시안 재구성 오차가 포즈 추정에 미치는 부정적 영향을 줄이기 위해, 인접 프레임 및 다중 프레임 간의 기하학적 일관성을 평가하여 신뢰할 수 있는 영역만 선택합니다.
  3. SCA 포즈 솔버: SIFT 특징점을 활용하여 2D-3D 대응점을 추출하고, 구면 일관성 마스크를 가중치로 사용하여 구면 재투영 오차를 최소화하는 방식으로 카메라 포즈를 추정합니다.
  4. 포즈 정제 (Refinement): 초기 포즈 추정 후, 인접 프레임 일관성 마스크를 손실 함수에 가중치로 적용하여 광도학적 손실 (Photometric Loss) 의 노이즈를 줄이고 포즈를 정제합니다.

B. 깊이 인라이어 인식 밀집화 모듈 (Depth-Inlier-Aware Densification, DIA-Densify)

• 목적: 고품질의 3D 가우시안을 효율적으로 생성하고 깊이 노이즈를 제거합니다.
• 작동 원리:
  1. 깊이 인라이어 병합 (Depth Inlier Merging): 여러 프레임의 단안 깊이 추정 (MDE) 에서 기하학적으로 일관된 깊이 정보 (Inliers) 를 추출합니다. 패치 기반 다중 뷰 스테레오 (NCC 유사도) 를 활용하여 고신뢰도 깊이 영역을 식별하고, 이를 가우시안 모델에 통합하여 초기 희소 점의 한계를 극복하고 세부 구조를 보강합니다.
  2. 가우시안 이상치 제거 (Gaussian Outlier Pruning): 깊이 불일치로 인해 생성된 신뢰할 수 없는 가우시안 (Outliers) 을 식별하여 제거하거나 불투명도 (Opacity) 를 초기화합니다. 이는 깊이 추정 모델의 노이즈가 3DGS 재구성에 미치는 영향을 억제하여 선명한 렌더링을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. SfM 프리 오모니디렉셔널 3DGS 프레임워크: 360 도 비디오에서 SfM 사전 정보 없이 3D 가우시안 스플래팅을 가능하게 하는 최초의 포즈 프리 방법 중 하나로, SfM 의존성을 완전히 제거했습니다.
2. 새로운 모듈 설계:
   • SCA-PE: 구면 일관성을 고려한 포즈 솔버를 통해 파노라마 환경에서도 안정적인 카메라 포즈 추정을 달성했습니다.
   • DIA-Densify: 깊이 인라이어와 이상치를 구분하여 가우시안 밀집화 효율을 높이고, 노이즈를 제거하여 사실적인 렌더링 품질을 보장했습니다.
3. 성능 입증: 실제 및 합성 360 도 비디오 데이터셋에서 기존 포즈 프리 및 포즈 인식 (Pose-Aware) 방법들을 모두 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: 합성 데이터셋 (OB3D, 실내/실외, Egocentric/NonEgocentric) 과 실제 데이터셋 (Ricoh360) 을 사용했습니다.
• 신시각 합성 (Novel View Synthesis):
  • OB3D: 모든 시나리오에서 가장 높은 PSNR, SSIM, LPIPS 점수를 기록했습니다. 특히 포즈 프리 방법들 (CF-3DGS, HT-3DGS) 보다 월등히 우수하며, SfM 기반의 포즈 인식 방법 (ODGS, OmniGS) 보다도 더 높은 품질을 보여주었습니다 (Egocentric 기준 PSNR 4.42dB 향상).
  • Ricoh360: 실제 환경의 모션 블러, 과노출, 왜곡 등 어려운 조건에서도 2 위 방법 대비 1.78dB PSNR 향상과 더 사실적인 텍스처 재구성을 보였습니다.
• 카메라 포즈 추정 (Camera Pose Estimation):
  • OB3D 데이터셋에서 RPE_t (Relative Pose Error translation) 가 Egocentric 에서 0.018, NonEgocentric 에서 0.040 으로, 기존 방법들 (CF-3DGS, HT-3DGS, 3R-GS) 에 비해 정확도가 압도적으로 높았습니다.
  • 시각적 결과에서 아티팩트 (Artifact) 가 거의 없으며, Ground Truth 와 거의 완벽하게 정렬된 포즈를 재구성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 360 도 비디오 처리 분야에서 SfM 에 대한 의존성을 탈피하면서도 고정밀 포즈 추정과 고품질 렌더링을 동시에 달성하는 새로운 패러다임을 제시했습니다.

• 기술적 혁신: 구면 투영의 불안정성을 해결하기 위한 '구면 일관성' 개념과 깊이 정보의 신뢰성을 높이는 '인라이어/이상치' 분리 전략은 향후 포즈 프리 3DGS 연구에 중요한 지침이 될 것입니다.
• 실용성: SfM 이 실패하거나 계산 비용이 큰 환경에서도 실시간에 가까운 처리가 가능하여, VR/AR 콘텐츠 제작, 가상 관광, 로봇 내비게이션 등 다양한 응용 분야에 직접 적용 가능한 솔루션을 제공합니다.
• 성능: 기존 최첨단 방법들 (SOTA) 을 능가하는 성능을 입증함으로써, 360 도 비디오의 3D 재구성 분야에서 새로운 기준 (Benchmark) 을 설정했습니다.

요약하자면, PFGS360은 깊이 일관성 사전 정보를 효과적으로 활용하여 360 도 비디오의 포즈 프리 3D 재구성 문제를 해결한 획기적인 연구입니다.