GloSplat: Joint Pose-Appearance Optimization for Faster and More Accurate 3D Reconstruction

이 논문은 3D 가우스 스플래팅 훈련 중 명시적인 SfM 특징 트랙을 유지하며 기하학적 앵커와 광학적 손실을 결합한 'GloSplat' 프레임워크를 제안하여, 기존 COLMAP 기반 방법보다 정확하고 COLMAP 없는 방법보다 빠른 3D 재구성을 가능하게 합니다.

핵심

🎬 비유: "혼란스러운 사진첩을 정리하는 두 명의 사진작가"

여러분이 여행 가서 찍은 수백 장의 사진으로 3D 입체 영상을 만들고 싶다고 상상해 보세요. 하지만 문제는 카메라가 흔들려서 사진의 위치 (각도) 가 정확하지 않다는 점입니다.

기존의 방법들은 이렇게 진행했습니다:

1. 1 단계 (지도 제작): 먼저 사진들을 보고 "아, 이 사진은 여기, 저 사진은 저기서 찍었구나"라고 대략적인 지도를 그립니다. (이걸 SfM이라고 합니다.)
2. 2 단계 (조립): 그 지도를 믿고, 사진들을 바탕으로 3D 모델을 조립합니다.
3. 문제점: 1 단계에서 지도를 조금 잘못 그렸다면, 2 단계에서 아무리 열심히 조립해도 3D 모델은 비뚤어지거나 흐릿해집니다. 그리고 2 단계에서는 "지도가 틀렸구나"라고 수정할 수 없기 때문에 오류가 그대로 남습니다.

✨ GloSplat 의 혁신: "동시 작업의 마법"

GloSplat 은 이 두 단계를 하나로 합쳐서 동시에 진행합니다. 마치 지도 제작자와 모델 조립공이 같은 방에 앉아 서로의 작업을 실시간으로 도와주는 것과 같습니다.

1. "고정된 닻"과 "유연한 점토" (핵심 아이디어)

이 기술의 가장 큰 특징은 두 가지 다른 '점'을 따로 관리한다는 것입니다.

• 고정된 닻 (SfM 트랙): 사진 속의 특징점 (건물 모서리, 나무 등) 을 실제 3D 좌표로 잡아두는 '닻'입니다. 이 닻은 흔들리지 않게 단단히 고정되어 있어, 카메라가 어디에 있었는지 기하학적 기준을 잡아줍니다.
• 유연한 점토 (3D 가우스): 실제 3D 모델의 색감과 모양을 만드는 부드러운 점토 같은 것입니다. 이 점토는 카메라 위치가 조금씩 바뀔 때마다 모양을 유연하게 수정하며 더 예쁘게 만들어갑니다.

왜 중요한가요?
기존 방법들은 '점토'만 보고 카메라 위치를 수정하려다 보니, 처음에 점토가 제대로 안 잡혀있으면 카메라 위치가 엉뚱한 곳으로 날아가버리는 **초기 오류 (Drift)**가 발생했습니다. 하지만 GloSplat 은 '닻'이 단단히 잡고 있기 때문에, 점토가 아무리 흔들려도 카메라 위치가 엉뚱하게 날아가지 않고 정확한 자리에 머물 수 있게 해줍니다.

2. "두 가지 눈"으로 보기 (광학적 + 기하학적)

GloSplat 은 카메라 위치를 수정할 때 두 가지 정보를 동시에 봅니다.

• 눈 1 (빛의 눈): "이 사진이 예쁘게 보이는가?" (색상, 명암 등)
• 눈 2 (기하학의 눈): "이 사진의 특징점들이 3D 공간에서 제대로 맞닿아 있는가?" (닻의 위치)

이 두 가지 눈을 함께 쓰니까, 초기에는 '기하학의 눈'으로 방향을 잡고, 나중에 '빛의 눈'으로 미세하게 다듬어 완벽한 3D 모델을 만들어냅니다.

---

🚀 두 가지 버전: "빠른 버전" vs "정교한 버전"

이 기술은 사용 목적에 따라 두 가지 버전으로 나뉩니다.

1. GloSplat-F (Fast, 빠른 버전):

   • 비유: "가장 비슷한 사진들만 골라 빠르게 정리하는 전문가"
   • 모든 사진을 다 비교하는 대신, 가장 관련 있는 사진들만 골라 매우 빠르게 3D 모델을 만듭니다. 기존에 'COLMAP(정교한 지도 제작 도구)' 없이도 가장 좋은 결과를 내며, 속도가 13 배 이상 빨라졌습니다.

2. GloSplat-A (Accurate, 정교한 버전):

   • 비유: "모든 사진을 꼼꼼히 비교해서 완벽을 추구하는 장인"
   • 모든 사진을 다 비교하여 최고의 화질을 만듭니다. 기존에 가장 정교하다고 알려진 도구 (COLMAP) 를 쓴 방법들보다도 더 선명하고 정확한 3D 모델을 만들어냅니다.

---

💡 요약: 왜 이것이 중요한가요?

• 기존 방식: "먼저 지도를 만들고, 그걸 믿고 모델을 만드세요." (오류가 쌓임)
• GloSplat: "지도와 모델을 함께 만들면서 서로를 수정하세요." (오류가 보정됨)

이 방법은 가상의 현실 (VR), 자율주행, 로봇 등 3D 기술이 필요한 모든 분야에서, 더 빠르고 더 정확한 3D 세상을 만들어낼 수 있게 해줍니다. 마치 사진첩을 정리할 때, "어? 이 사진 위치가 좀 이상한데?"라고 생각하며 바로바로 고쳐주는 똑똑한 비서와 같은 역할을 하는 셈입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 새로운 뷰 합성 (Novel View Synthesis, NVS) 파이프라인은 특징 추출 (Feature Extraction), 운동 구조 복원 (SfM), 그리고 방사장 최적화 (Radiance Field Optimization) 를 독립적인 모듈로 분리하여 처리하는 근본적인 한계를 가지고 있습니다.

• 정보의 단절: SfM 단계에서 렌더링의 광도 (photometric) 신호를 활용하지 못하고, NVS 단계에서는 SfM 으로 얻은 고정된 카메라 포즈를 사용하여 기하학적 피드백을 받지 못합니다.
• 오차 누적: 전통적인 COLMAP 기반의 증분식 (incremental) SfM 은 이미지 등록 과정에서 오차가 누적되어 드리프트 (drift) 가 발생하며, 이는 최종 3D 재구성의 흐릿함과 기하학적 불일치를 초래합니다.
• 초기화 의존성: 최근의 3D 가우스 스플래팅 (3DGS) 방법들도 SfM 으로 얻은 초기 포즈에 크게 의존하며, 포즈가 정확하지 않으면 재구성이 실패하거나 품질이 저하됩니다.
• 기존 공동 최적화의 한계: BARF, NeRF-, 3RGS 와 같은 기존 공동 최적화 (Joint Optimization) 방법들은 카메라 포즈를 보정할 때 광도 손실 (photometric loss) 만에 의존합니다. 이는 초기 단계에서 가우스 분포가 희소할 때 포즈가 급격히 드리프트 (drift) 하는 문제를 해결하지 못합니다.

2. 방법론 (Methodology)

저자들은 GloSplat을 제안하며, 이는 3D 가우스 스플래팅 (3DGS) 학습 동안 카메라 포즈와 외관 (Appearance) 을 동시에 최적화하는 통합 프레임워크입니다. 핵심 아키텍처는 다음과 같습니다.

A. 핵심 아키텍처: 지속적 특징 트랙 (Persistent Feature Tracks)

가장 혁신적인 점은 3DGS 학습 중에도 명시적인 SfM 특징 트랙 (Feature Tracks) 을 1 순위 엔티티 (First-class entities) 로 유지한다는 것입니다.

• 분리된 파라미터: 3D 트랙 점 (Track 3D points) 을 가우스의 평균 (Gaussian means) 과는 별도의 최적화 가능한 파라미터로 유지합니다.
• 이중 감독 (Dual Supervision):
  1. 광도 손실 (Photometric Loss): 렌더링된 이미지와 실제 이미지 간의 차이를 최소화하여 미세한 외관 정보를 반영합니다.
  2. 재투사 손실 (Reprojection Loss / BA Loss): 명시적으로 유지된 특징 트랙을 기반으로 한 번들 어저스트먼트 (Bundle Adjustment) 손실을 적용합니다. 이는 가우스가 희소한 초기 단계에서도 기하학적 앵커 (Geometric Anchoring) 역할을 하여 포즈 드리프트를 방지합니다.

B. 파이프라인 단계

1. 학습된 특징 추출 및 매칭 (Frozen Preprocessing):
   • GloSplat-F (Fast): MegaLoc 을 활용한 검색 기반 쌍 선택 (Retrieval-based pair selection) 과 XFeat+LightGlue 를 사용하여 $O(n)$ 복잡도로 효율적인 매칭을 수행합니다.
   • GloSplat-A (Accurate): COLMAP 과의 공정한 비교를 위해 SIFT 와 완전 탐색 (Exhaustive matching) 을 사용합니다.
2. 글로벌 SfM (Global SfM):
   • 증분식이 아닌 전역 최적화 (Global Optimization) 방식을 사용하여 회전 평균 (Rotation Averaging) 과 번들 어저스트먼트 (BA) 를 통해 모든 카메라 포즈를 동시에 추정합니다.
   • NVIDIA cuDSS 를 활용한 GPU 가속화된 희소 선형 솔버를 사용하여 기존 CPU 기반 솔버보다 10 배 빠른 초기화를 제공합니다.
3. 공동 3DGS 학습 (Joint 3DGS Training):
   • 초기화된 가우스와 포즈를 기반으로 광도 손실과 재투사 손실을 동시에 최소화하며 포즈와 가우스를 함께 정제합니다.

C. 두 가지 변형 (Variants)

• GloSplat-F: COLMAP 없이 작동하며, 검색 기반 매칭으로 인해 매우 빠릅니다.
• GloSplat-A: 완전 탐색 매칭을 사용하여 최대의 재구성 품질을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 3DGS 학습 중 지속적 특징 트랙 유지: 기존 공동 최적화 방법들이 광도 그라디언트만 의존하여 초기 드리프트를 겪는 것과 달리, 명시적인 SfM 트랙을 별도의 파라미터로 유지하여 기하학적 안정성을 확보합니다.
2. 광도 - 기하학 공동 최적화: 렌더링 품질을 개선하는 광도 손실과 다중 뷰 기하학적 일관성을 강제하는 재투사 손실을 결합하여, 초기 안정성과 미세 조정을 동시에 달성합니다.
3. 글로벌 SfM 통합: GPU 가속화된 글로벌 SfM 을 3DGS 학습 파이프라인에 통합하여 더 빠르고 견고한 초기화를 제공합니다.
4. 최고 성능 달성:
   • GloSplat-F: COLMAP 을 사용하지 않는 방법들 중 SOTA(State-of-the-Art) 성능을 달성했습니다.
   • GloSplat-A: COLMAP 기반의 모든 베이스라인을 능가하는 최고 정확도를 기록했습니다.

4. 실험 결과 (Results)

• 성능 (MipNeRF360, Tanks and Temples, CO3Dv2):
  • GloSplat-F는 이전 COLMAP-free 최선 방법 (VGGT-X) 보다 PSNR 에서 +1.37dB 향상, SSIM 에서 3.6 포인트 향상, LPIPS 에서 7.3% 감소를 기록했습니다.
  • GloSplat-A는 MipNeRF360 에서 28.86 dB 의 PSNR 을 기록하여 기존 COLMAP 기반 방법들 (Improved-GS 등) 을 모두 상회했습니다.
• 속도 (Speed):
  • GloSplat-F는 1000 장의 이미지로 구성된 'Courthouse' 장면에서 GPU 가속화된 COLMAP+3DGS 대비 13.3 배 빠른 속도를 달성하면서도 더 높은 정확도를 보였습니다.
  • COLMAP 의 $O(n^2)$ 복잡도에서 GloSplat-F 는 검색 기반 매칭으로 인해 $O(n)$ 에 가까운 선형 스케일링을 보입니다.
• 포즈 정확도 (Pose Accuracy):
  • ScanNet 데이터셋에서 Ground Truth 포즈와 비교 시, GloSplat-F 는 COLMAP 및 3RGS 보다 회전 오차 (Rotation Error) 와 절대 궤적 오차 (ATE) 모두에서 더 낮은 수치를 기록했습니다.
  • 포즈를 고정했을 때 PSNR 이 8.59dB 급감하는 실험을 통해, 재구성의 품질 향상이 밀도 제어 (Densification) 가 아닌 포즈 최적화에서 비롯됨을 입증했습니다.

5. 의의 및 결론 (Significance)

• 파이프라인 설계의 패러다임 전환: "전처리 (Preprocessing)"와 "메인 태스크"를 분리하는 기존 관행을 깨고, 교차 단계 (Cross-stage) 그라디언트 흐름을 통해 포즈와 외관을 동시에 학습하는 새로운 아키텍처를 제시했습니다.
• 안정성과 정확성의 동시 달성: 광도 손실만 사용하는 기존 방법들의 초기 드리프트 문제를 기하학적 앵커 (재투사 손실) 를 통해 해결함으로써, 초기화가 불완전한 상황에서도 안정적인 수렴을 가능하게 했습니다.
• 실용성: COLMAP 없이도 전통적인 방법보다 빠르고 정확한 재구성을 가능하게 하여, 자율 주행, 로봇 시뮬레이션, 가상 현실 등 실시간이 요구되는 응용 분야에 큰 기여를 할 것으로 기대됩니다.

요약하자면, GloSplat은 3D 재구성의 핵심인 포즈 추정과 장면 표현을 분리하지 않고 통합하여 최적화함으로써, 기존 방법들의 속도 - 정확도 트레이드오프를 극복하고 새로운 SOTA 를 달성한 획기적인 프레임워크입니다.