MOGS: Monocular Object-guided Gaussian Splatting in Large Scenes

본 논문은 저비용 비주얼 - 관성 (VI) 센서와 객체 기반 밀도 깊이 추정을 통해 대규모 장면에서 LiDAR 기반 방식과 경쟁력 있는 고품질 렌더링을 제공하면서 훈련 시간과 메모리 소비를 획기적으로 줄이는 단안 3D 가우스 스프래팅 프레임워크인 MOGS 를 제안합니다.

핵심

🏗️ 비유: 거대한 퍼즐을 맞추는 두 가지 방법

거대한 도시를 3D 로 재현한다는 것은, 수백만 개의 퍼즐 조각을 맞춰 거대한 3D 모델을 만드는 것과 같습니다.

1. 기존 방식 (LiDAR 기반): "고가의 정밀 레이저 스캐너"

• 상황: 과거에는 이 퍼즐을 맞추기 위해 **수천만 원짜리 고가의 레이저 스캐너 (LiDAR)**를 사용했습니다.
• 장점: 레이저가 쏘는 대로 정확한 거리 정보가 나오니 퍼즐 조각 (3D 점들) 이 매우 정확합니다.
• 단점: 장비가 너무 비싸고, 생성된 데이터 양이 어마어마해서 컴퓨터가 처리하는 데 시간이 오래 걸리고 메모리를 많이 잡아먹습니다. 마치 "정밀한 공구로 하나하나 다듬는" 방식이라서 대량 생산 (여러 대의 차량에 탑재) 이 어렵습니다.

2. 새로운 방식 (MOGS): "현명한 추측과 연결"

• 상황: MOGS 는 비싼 레이저 대신 **일반 카메라 (단안 카메라)**와 **관성 센서 (IMU)**만 사용합니다. 하지만 이 방식은 단순히 "눈으로 보는 것"만 믿지 않습니다.
• 핵심 아이디어: "사물을 객체 (Object) 단위로 생각하자!"입니다.

---

🧩 MOGS 가 어떻게 작동할까요? (3 단계 비유)

MOGS 는 두 가지 똑똑한 전략을 사용합니다.

1 단계: "작은 조각들을 하나로 묶어 모양을 추측하다" (다중 스케일 모양 합의)

• 문제점: 카메라로만 보면, 도로나 유리창처럼 무늬가 없는 평평한 곳에서는 거리 정보가 거의 나오지 않습니다. 마치 흰 벽에 찍힌 점들이 너무 적어 벽의 모양을 알 수 없는 것과 같습니다.
• MOGS 의 해결책:
  • 먼저 AI 가 사진 속 사물을 구분합니다 (예: "저건 차야", "저건 건물 벽이야").
  • 그런 다음, 작은 조각들이 모여 큰 사물을 이룬다고 가정합니다.
  • "저 차는 대략 타원형이야", "저 건물 벽은 평면이야"라고 기하학적 모양 (원통, 타원, 평면 등) 을 추측합니다.
  • 아주 적은 수의 거리 정보 (스파스 포인트) 만 있어도, "아, 이건 차 모양이니까 이 점들은 차의 일부겠구나"라고 모든 픽셀에 거리를 퍼뜨려줍니다.
  • 비유: 퍼즐 조각이 몇 개 없어도, "이건 자동차 퍼즐이니까 나머지 빈 공간도 자동차 모양으로 채우자!"라고 추측해서 퍼즐을 빠르게 완성하는 것입니다.

2 단계: "이웃 사물들과의 관계를 확인하며 다듬기" (객체 간 깊이 정제)

• 문제점: 각 사물 (차, 건물) 은 혼자서는 잘 만들어졌지만, 서로의 위치 관계 (높이, 평행 여부) 가 어색할 수 있습니다.
• MOGS 의 해결책:
  • 최신 AI 모델 (Depth Anything) 이 주는 '대략적인 깊이 지도'를 참고합니다. (이건 정확한 거리는 아니지만, 형태는 잘 보여줍니다.)
  • MOGS 는 자기가 추측한 정확한 거리와 AI 가 준 대략적인 형태를 비교하며 다듬습니다.
  • "차와 보도블록이 이어져야 하는데, 여기서 끊어지면 안 돼"라고 이웃 사물 간의 연결고리를 강화합니다.
  • 비유: 각 방 (객체) 을 따로 꾸미다가, 문과 창문 (경계) 이 서로 맞지 않으면 다시 고쳐서 집 전체가 자연스럽게 보이게 만드는 것입니다.

---

🚀 MOGS 가 가져온 변화

이 기술을 사용하면 어떤 이점이 있을까요?

1. 비용 절감: 비싼 레이저 스캐너를 쓸 필요가 없어져, 자율주행차나 드론을 대량으로 저렴하게 만들 수 있습니다.
2. 속도 향상: 불필요한 데이터 처리를 줄여, 3D 지도를 만드는 시간이 약 30% 단축됩니다.
3. 메모리 절약: 컴퓨터가 기억해야 할 데이터 양이 약 20% 줄어듭니다.
4. 품질 유지: 비싼 장비를 쓴 경우와 거의 비슷하게 선명하고 사실적인 3D 영상을 보여줍니다.

💡 한 줄 요약

"MOGS 는 비싼 레이저 없이도, 카메라로 사물의 '모양'을 추측하고 서로의 관계를 맞춰 거대한 3D 세상을 빠르고 정확하게 재현하는 똑똑한 기술입니다."

이 기술은 앞으로 자율주행차가 더 저렴하고 빠르게 도시를 이해하는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 3D 가우시안 스플래팅 (3DGS) 은 실시간 고품질 3D 합성을 가능하게 하여 자율주행과 같은 대규모 장면 응용 분야에서 큰 잠재력을 가지고 있습니다.
• 현황의 한계: 현재 대규모 장면용 최첨단 (SOTA) 시스템은 주로 LiDAR 기반 파이프라인에 의존합니다. LiDAR 는 정밀한 거리 측정이 가능하지만, 고채널 센서는 비용이 매우 비싸고 생성된 밀집 포인트 클라우드 (dense point clouds) 는 메모리 사용량과 계산 비용을 급격히 증가시켜 확장성 (scalability) 과 최적화 속도를 저해합니다.
• 모노큘러 3DGS 의 난제: LiDAR 없이 단일 카메라 (모노큘러) 만으로 대규모 장면을 재구성하려면 신뢰할 수 있는 **계량적 깊이 (metric depth)**가 필요합니다. 기존 모노큘러 방법은 깊이 스케일 (scale) 이 불안정하거나 (scale drift), SfM(Structure-from-Motion) 이 저조도/저질감 영역 (도로, 유리 등) 에서 특징점이 부족하여 객체 내부의 기하학적 구조를 제대로 추정하지 못합니다. 또한, 객체 간의 기하학적 일관성 (평행성, 접촉 관계 등) 을 유지하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 MOGS라는 새로운 모노큘러 3DGS 프레임워크를 제안합니다. 이는 고가의 LiDAR 대신 시각 - 관성 (VI) SfM의 희소 (sparse) 한 계량적 단서와 이미지 시맨틱스를 결합하여 객체 단위의 밀집 계량적 깊이를 생성합니다.

핵심 구성 요소:

1. 시스템 개요:

   • RGB 이미지와 VI-SfM(카메라 자세 및 IMU 데이터) 을 입력으로 받습니다.
   • 'Segment Anything'을 이용해 객체 마스크를 생성하고, SfM 특징점과 매칭합니다.
   • 생성된 계량적 밀집 깊이를 통해 3D 가우시안을 초기화하고 고품질 렌더링을 수행합니다.

2. 다중 스케일 형태 합의 모듈 (Multi-scale Shape Consensus Module):

   • 문제 해결: SfM 특징점이 객체 내부 (예: 도로, 유리) 에 부족하거나 불규칙하게 분포하는 문제.
   • 방식:
     • 작은 세그먼트들을 SfM 지원이 충분해질 때까지 적응적으로 병합하여 더 큰 객체 단위로 만듭니다.
     • 각 객체에 대해 평면 (plane), 타원체 (ellipsoid), 원통 (cylinder) 과 같은 매개변수형 기하 모델을 피팅합니다.
     • RANSAC 을 사용하여 SfM 포인트와 가장 잘 일치하는 모델을 선택하고, 해당 모델을 통해 객체 내 모든 픽셀에 계량적 깊이를 전파합니다.
   • 효과: 희소한 SfM 포인트를 밀집된 계량적 깊이로 변환하여 가우시안 초기화를 안정화합니다.

3. 객체 간 깊이 정제 모듈 (Cross-object Depth Refinement Module):

   • 문제 해결: 개별 객체 내부의 기하학적 오차와 객체 간의 기하학적 불일치 (global inconsistency) 문제.
   • 방식:
     • 'Depth Anything'과 같은 대규모 기반 모델 (LFM) 의 상대적 깊이 정보를 활용합니다.
     • 세 가지 항으로 구성된 결합 목적 함수 (combinatorial objective) 를 통해 픽셀 단위 깊이를 최적화합니다:
       1. 기하학적 일관성 (Geometric Consistency): 전파된 모델 깊이와 LFM 깊이의 정렬.
       2. LFM 사전 고정 (Prior Anchoring): LFM 추정치를 부드러운 사전 정보로 활용하여 약한 영역의 구조를 유지.
       3. 에지 인식 평활화 (Edge-aware Smoothness): 객체 경계는 보존하면서 내부 노이즈를 제거.
   • 효과: 객체 간의 깊이 오프셋을 보정하고 전역적으로 일관된 깊이장을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 다중 스케일 형태 합의 모듈 제안: 희소 SfM 단서와 일치하는 객체 수준의 형태 모델을 구축하여, 모든 픽셀에 밀집된 계량적 깊이 사전 (prior) 을 제공합니다. 이를 통해 대규모 장면에서 신뢰할 수 있는 가우시안 초기화가 가능해졌습니다.
2. 객체 간 깊이 정제 모듈 개발: 기하학적 일관성, LFM 사전 고정, 에지 인식 평활화라는 세 가지 항을 결합하여 객체 간 정렬을 수행하고 전역적으로 일관된 깊이장을 생성합니다.
3. 성능 입증: 공개 데이터셋 실험을 통해 저비용 VI 센서만으로도 LiDAR 기반 접근법과 경쟁 가능한 렌더링 품질을 달성하면서도, 학습 시간을 최대 30.4% 단축하고 메모리 소비를 19.8% 감소시켰음을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: KITTI-Depth 및 KITTI-360(대규모 도시 및 교외 주행 장면).
• 깊이 정확도: MOGS 는 Depth Anything V2, Metric3D 등 기존 모노큘러 기반 SOTA 방법들보다 **AbsRel(절대 상대 오차)**과 RMSE가 낮고 $\delta_1$이 높아 더 정확한 계량적 깊이를 생성했습니다.
• 렌더링 품질 및 효율성:
  • 수렴 속도: 목표 PSNR 에 도달하는 데 필요한 반복 횟수가 기존 방법 (Init-Rand, Init-LFM-M) 대비 약 30.4% 적었습니다.
  • 메모리 효율: 생성된 가우시안 primitives 수가 약 19.8% 적어 메모리 사용량이 감소했습니다.
  • 화질: PSNR, SSIM, LPIPS 지표에서 기존 모노큘러 방법 (MonoGS, DepthSplat) 을 크게 능가했으며, 고가의 LiDAR 기반 방법 (GS-LIVM) 과 유사한 고품질 렌더링을 달성했습니다.
• Ablation Study: 다중 스케일 형태 합의 (MSC) 와 객체 간 정제 (CDR) 모듈을 제거할 경우, PSNR 이 크게 하락하고 (최대 15.9% 감소), 객체 경계에서 '플로터 (floaters)' 현상이 발생하며 전역 일관성이 깨지는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 비용 절감 및 확장성: 고가의 고채널 LiDAR 센서 없이도 저비용 VI 센서 (카메라 + IMU) 만으로 대규모 장면의 고품질 3DGS 를 구축할 수 있어, 자율주행 차량의 대량 배치 (fleet deployment) 와 알고리즘/지도의 빠른 반복 개발을 가능하게 합니다.
• 기술적 혁신: 이미지 시맨틱스와 희소 SfM 을 결합하여 '객체'를 계량적 기하학의 운반체로 활용하는 새로운 패러다임을 제시했습니다. 이는 대규모 장면에서의 스케일 드리프트와 기하학적 불일치 문제를 효과적으로 해결합니다.
• 실용성: 메모리 효율성과 학습 속도가 개선되어 실시간 응용 및 대규모 환경 매핑에 실질적으로 적용 가능한 솔루션을 제공합니다.