VarSplat: Uncertainty-aware 3D Gaussian Splatting for Robust RGB-D SLAM

이 논문은 저조도 영역이나 반사 표면과 같은 신뢰할 수 없는 측정값으로 인한 드리프트를 줄이기 위해, 3D 가우스 스플래팅 기반 SLAM 시스템이 각 스플랫의 불확실성을 명시적으로 학습하고 이를 통해 신뢰할 수 있는 영역에 초점을 맞춘 강건한 추론 및 매핑을 가능하게 하는 'VarSplat'을 제안합니다.

핵심

VarSplat: "불확실성을 아는" 3D 지도 만들기

이 논문은 로봇이나 증강현실 (AR) 기기가 주변 환경을 실시간으로 인식하고 3D 지도를 만들 때, 어떤 부분은 믿을 수 있고 어떤 부분은 의심해야 하는지를 스스로 판단하게 하는 새로운 기술을 소개합니다.

이 기술을 쉽게 이해하기 위해 **'정교한 그림 그리기'**와 **'신뢰할 수 있는 안내자'**라는 비유를 들어 설명해 보겠습니다.

---

1. 기존 기술의 문제점: "눈가리개 하고 그림 그리기"

기존의 3D 지도 만들기 기술 (3D Gaussian Splatting) 은 카메라로 찍은 사진을 바탕으로 3D 공간에 수많은 '작은 점들 (가우스 분포)'을 뿌려서 장면을 재현합니다. 마치 수많은 점으로 이루어진 픽셀 아트를 그리는 것과 비슷하죠.

하지만 이 방법에는 치명적인 약점이 있었습니다.

• 문제: 벽이 너무 매끄럽거나 (반사), 유리창처럼 투명하거나, 무늬가 없는 흰 벽 같은 곳에서는 카메라가 "이게 어디야?"라고 헷갈립니다.
• 결과: 기존 기술은 모든 정보를 똑같이 믿고 그림을 그립니다. 그래서 거울에 비친 반사광이나 흐릿한 부분을 진짜 물체로 착각해 지도가 뒤틀리거나 (Drift), 로봇이 길을 잃는 경우가 많았습니다. 마치 눈가리개를 하고 그림을 그리는데, 눈앞이 흐릿한 부분도 선명하다고 믿고 계속 그리는 상황과 같습니다.

2. VarSplat 의 해결책: "자신의 실력을 아는 화가"

이 논문에서 제안한 VarSplat은 이 문제를 해결하기 위해 **"불확실성 (Uncertainty)"**이라는 개념을 도입했습니다.

• 핵심 아이디어: VarSplat 은 그림을 그리는 각 '작은 점'에게 **"네가 그리는 이 색이 얼마나 확실한지?"**라는 질문을 던집니다.
• 작동 원리:
  1. 신뢰도 점수 매기기: 각 점 (Splat) 은 자신의 색이 얼마나 불안정한지 (예: 반사광 때문에 색이 자꾸 변한다면) 스스로 계산합니다. 이를 **분산 (Variance)**이라고 합니다.
  2. 불확실성 지도 만들기: 이 점들의 신뢰도를 합쳐서 화면 전체에 **'불확실성 지도'**를 만듭니다.
     • 신뢰할 수 있는 곳 (예: 벽돌 벽): 신뢰도 점수가 높음 (파란색).
     • 의심스러운 곳 (예: 유리창, 거울): 신뢰도 점수가 낮음 (붉은색).
  3. 현명한 판단: 로봇이 길을 찾을 때나 지도를 만들 때, 신뢰도가 낮은 붉은색 부분은 무시하거나 가볍게 취급하고, 신뢰도가 높은 파란색 부분에 집중합니다.

3. 일상생활 비유: "현명한 등산 가이드"

이 기술을 등산 가이드에 비유해 볼까요?

• 기존 기술 (구형 가이드):

  • "저기 안개가 자욱한 길도 있고, 거울처럼 반사되는 호수도 있지만, 다 똑같이 믿고 가자!"
  • → 안개 때문에 길을 잃거나, 호수 반사 때문에 절벽을 오르는 실수를 합니다.

• VarSplat (새로운 가이드):

  • "저기 안개 낀 길은 **신뢰도 0%**니까 무시하고, 거울 같은 호수는 **신뢰도 10%**니까 지나치지 말고, **신뢰도 90%**인 나무가 우거진 길로 가자!"
  • → 가이드가 **"이 부분은 내가 잘 모르니까 믿지 마"**라고 미리 알려주므로, 팀은 안전한 길만 골라가며 목적지에 정확히 도착합니다.

4. 이 기술이 가져오는 변화

1. 튼튼한 지도: 반사되는 유리창이나 매끄러운 벽 때문에 지도가 뒤틀리는 현상이 사라집니다.
2. 안전한 이동: 로봇이나 AR 기기가 헷갈리는 곳에서 멈추거나 방향을 틀어, 더 안전하게 움직일 수 있습니다.
3. 빠른 처리: 복잡한 계산을 따로 하지 않고, 그림을 그리는 과정 (렌더링) 에서 자연스럽게 불확실성을 계산하므로 속도가 매우 빠릅니다.

요약

VarSplat은 "모든 것을 다 믿는 바보 같은 화가"를 **"어떤 부분은 의심하고, 어떤 부분은 확신하며 그림을 그리는 현명한 화가"**로 바꾼 기술입니다.

로봇이 복잡한 세상 (거울, 유리, 흐릿한 벽) 을 마주할 때, **"이건 내가 잘 모르는 부분이야"**라고 스스로 판단하게 만들어, 더 정확하고 안전한 3D 지도를 만들 수 있게 해줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 3D 가우스 스플래팅 (3DGS) 기반 SLAM 시스템은 빠르고 미분 가능한 렌더링 및 고충실도 재구성을 가능하게 하지만, 측정 신뢰도 (measurement reliability) 를 명시적으로 모델링하지 않는다는 한계가 있습니다.

• 주요 취약점: 저조도 (low-texture) 영역, 깊이 불연속부 (depth discontinuities), 반사면 (reflective surfaces), 투명 표면 등에서 발생하는 불확실한 관측치들을 균일하게 처리합니다.
• 결과: 이러한 영역에서 카메라 포즈 추정이 불안정해지고, 장기적인 주행 시 드리프트 (drift) 가 발생하거나 맵 정합 (registration) 및 루프 클로저 (loop closure) 실패로 이어질 수 있습니다.
• 기존 연구의 부족: 기존 불확실성 정량화 연구들은 주로 기하학적 깊이 분산에 의존하거나 사전 학습된 예측기를 사용하며, 3DGS 렌더링 과정에서 직접적으로 발생하는 외관 (appearance) 불확실성을 온라인 밀집 SLAM 에서 1 순위 요소로 다루지 못했습니다.

2. 제안 방법 (Methodology: VarSplat)

저자들은 VarSplat을 제안하며, 이는 3D 가우스 스플래팅 맵 표현에 명시적인 불확실성을 통합하는 RGB-D SLAM 시스템입니다.

핵심 아이디어

• 스플랫당 외관 분산 (Per-splat Appearance Variance, $\sigma^2$): 각 3D 가우스는 위치, 크기, 색상뿐만 아니라 외관 분산 $\sigma^2$을 함께 학습합니다. 이는 특정 뷰포인트에서의 평균 색상 ($c_i$) 주변에 존재하는 관측치의 변동성을 모델링합니다.
• 전체 분산의 법칙 (Law of Total Variance) 적용:
  • 픽셀 단위의 불확실성 맵 ($V$) 을 얻기 위해 전체 분산의 법칙을 3DGS 래스터라이저에 적용합니다.
  • $Var[X] = E[Var[X|Z]] + Var(E[X|Z])$ 공식을 사용하여, 가우스들의 평균 색상의 분산과 가우스 자체의 분산 ($\sigma^2$) 을 알파 합성 (alpha compositing) 과정을 통해 미분 가능한 픽셀 단위 불확실성 맵 $V$로 변환합니다.
  • 이 과정은 단일 패스 (single-pass) 래스터라이제이션으로 수행되어 효율성을 유지합니다.

시스템 파이프라인

1. 매핑 (Mapping):
   • 카메라 포즈, 가우스 파라미터, 그리고 분산 $\sigma^2$을 종단간 (end-to-end) 으로 공동 최적화합니다.
   • 손실 함수: 색상/깊이 재구성 손실과 함께, 가우스 분산 $\sigma^2$을 학습하기 위해 가우스 음의 로그 가능도 (Negative Log-Likelihood) 기반의 분산 손실 ($L_{var}$) 을 사용합니다. 이는 잔차의 크기에 따라 분산을 적응적으로 조정하여 반사나 투명 영역에서 과신 (overconfidence) 을 방지합니다.
2. 추적 (Tracking):
   • 렌더링된 픽셀 단위 불확실성 맵 $V$를 신뢰도 가중치로 사용합니다.
   • 불확실성이 높은 픽셀 (예: 질감이 없는 벽, 깊이 구멍) 에는 낮은 가중치를 부여하여 포즈 최적화 시 불안정한 그라디언트를 억제합니다.
3. 등록 (Registration) 및 루프 감지 (Loop Detection):
   • 등록: 중첩된 서브맵 간의 정합 시 분산 기반 가중치를 사용하여 겹침 영역의 정합을 안정화합니다.
   • 루프 감지: 각 서브맵의 신뢰도 가중치 (스플랫 분산 $\sigma^2$ 기반) 를 사용하여 루프 후보 간의 유사도 점수를 보정합니다. 이는 잘못된 루프 클로저를 방지하고 장기 드리프트를 교정합니다.

3. 주요 기여 (Key Contributions)

1. VarSplat 시스템 도입: 온라인 설정에서 스플랫당 외관 분산 $\sigma^2$을 학습하고, 이를 통해 미분 가능한 픽셀 단위 불확실성 맵 $V$를 렌더링하는 최초의 3DGS-SLAM 시스템입니다.
2. 표현 및 렌더러 수준의 통합: 포즈, 가우스 파라미터, 분산 $\sigma^2$을 모두 온라인 종단간 파이프라인에서 공동 최적화하여, 불확실성을 맵 표현과 렌더링 과정에 자연스럽게 통합했습니다.
3. 단일 패스 효율성 유지: 신경망 예측기나 다중 샘플링 없이, 기존 3DGS 래스터라이저의 단일 패스 구조를 유지하면서 불확실성 추정을 가능하게 했습니다.

4. 실험 결과 (Results)

Replica (합성), TUM-RGBD, ScanNet, ScanNet++ (실세계) 등 4 개의 데이터셋에서 기존 SOTA 방법들 (NeRF 기반 및 3DGS 기반) 과 비교 평가되었습니다.

• 추적 성능 (Tracking):
  • Replica: 기존 방법 대비 약 10% 개선.
  • ScanNet++: 2 위 방법 대비 ATE RMSE 약 18% 개선. 특히 긴 시퀀스에서 다른 방법 (예: SplaTAM) 이 실패하는 대규모 운동 구간에서도 견고한 성능을 보임.
  • TUM-RGBD: 질감이 부족하거나 반사되는 영역에서도 수동 마스크 없이 안정적인 운동 추적을 달성.
  • ScanNet: 신경망 암시적 필드 및 3DGS 기반 모든 베이스라인 대비 최상의 성능 기록.
• 재구성 및 렌더링 (Reconstruction & Rendering):
  • 재구성 정확도 (Depth L1, F1 Score) 는 기존 최상위 방법들과 유사하거나 우위를 점하며, 불확실성 정규화가 메쉬 품질을 저하시키지 않음을 입증.
  • 새로운 뷰 합성 (Novel View Synthesis) 에서도 경쟁력 있거나 우수한 PSNR, SSIM, LPIPS 점수를 기록.
• 성능 (Runtime):
  • 분산 학습 및 렌더링으로 인한 계산 비용 증가가 있으나, 최신 3DGS-SLAM 시스템과 경쟁 가능한 실시간 성능을 유지.

5. 의의 및 결론 (Significance)

VarSplat 은 3DGS 기반 SLAM 의 핵심 약점인 불확실성 관리 부재를 해결합니다.

• 안전성 및 견고성: 안전이 중요한 자율 시스템 (로봇, AR/VR) 에서 저신뢰 영역을 식별하고 신뢰할 수 있는 영역에 집중함으로써, 드리프트를 줄이고 장기 주행의 안정성을 확보합니다.
• 방법론적 혁신: 기하학적 불확실성뿐만 아니라 외관 (Appearance) 불확실성을 3DGS 렌더링 파이프라인 내부에서 직접 학습하고 활용하는 새로운 패러다임을 제시했습니다.
• 실용성: 사전 학습된 예측기에 의존하지 않고 데이터로부터 직접 불확실성을 학습하므로, 다양한 환경 (실내, 실외, 합성) 에 적용 가능한 범용적인 솔루션을 제공합니다.

결론적으로, VarSplat 은 3D 가우스 스플래팅을 활용한 밀집 RGB-D SLAM 의 정확성과 견고성을 동시에 향상시키는 중요한 진전을 이루었습니다.