Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

이 논문은 정렬 불필요 렌더링, 신경망 기반 뷰 의존성 향상, 그리고 신경 벡터 양자화 및 가지치기 기법을 통해 모바일 기기의 제한된 자원에서도 고품질의 실시간 3D 가우시안 스플래팅을 가능하게 하는 'Mobile-GS'를 제안합니다.

핵심

📱 모바일을 위한 'Mobile-GS': 무거운 3D 장면을 스마트폰으로 가볍게!

이 논문은 **"Mobile-GS"**라는 새로운 기술을 소개합니다. 쉽게 말해, 고화질 3D 장면을 스마트폰에서도 실시간으로 부드럽게 보여주는 방법을 개발한 것입니다.

기존의 3D 기술은 화질은 좋지만 데이터가 너무 무거워서 스마트폰 같은 작은 기기에서는 버벅거렸습니다. Mobile-GS 는 이 문제를 해결하기 위해 세 가지 마법 같은 아이디어를 사용했습니다.

---

🎨 1. 문제: "정렬"이라는 무거운 짐

기존 3D 기술 (3DGS) 은 장면을 그릴 때, 가까운 것부터 먼 것까지 순서대로 정렬하는 작업을 했습니다.

• 비유: 천 명이나 되는 사람들이 줄을 서서 사진을 찍으려는데, 카메라가 "가장 앞에 서 있는 사람부터 순서대로" 찍으라고 지시하는 상황입니다.
• 문제점: 이 '줄 서기 (정렬)' 작업이 너무 느려서, 스마트폰의 작은 뇌 (GPU) 가 감당하기 힘들었습니다.

✨ 해결책 1: "줄 서기 없는" 실시간 렌더링 (Depth-Aware Order-Independent Rendering)

Mobile-GS 는 "줄을 서서 기다릴 필요 없다!"라고 말합니다. 대신 모든 물체를 한 번에 섞어서 처리하되, 가까운 물체일수록 더 선명하게, 먼 물체는 흐릿하게 만드는 지능적인 규칙을 적용했습니다.

• 비유: 줄을 서서 기다리는 대신, 모든 사람이 동시에 사진을 찍되, 카메라에 가까운 사람은 선명하게, 먼 사람은 흐릿하게 처리하는 '스마트 필터'를 씌운 것입니다.
• 효과: 줄 서는 시간이 사라져서 속도가 엄청나게 빨라졌습니다.

---

👓 2. 문제: "투명한 유령" 같은 오류

줄을 서지 않고 한 번에 섞어 그리다 보니, 물체가 겹치는 부분에서 투명해지거나 유령처럼 보이는 오류가 생길 수 있습니다.

• 비유: 안경을 끼고 있는데, 유리가 두꺼워져서 앞뒤 물체가 섞여 보이는 것처럼요.

✨ 해결책 2: "눈을 가진" 신경망 (Neural View-Dependent Enhancement)

이 오류를 잡기 위해 **AI(신경망)**를 도입했습니다. 이 AI 는 "내가 지금 어떤 각도에서 보고 있나?"를 계산해서, 겹치는 부분의 투명함을 자동으로 수정해 줍니다.

• 비유: 안경에 스마트 코팅을 입혀서, 어떤 각도에서 보든 물체가 선명하게 보이도록 자동으로 보정해 주는 것입니다.
• 효과: 속도가 빠르면서도 화질은 여전히 선명하고 자연스러워졌습니다.

---

🎒 3. 문제: "짐이 너무 무겁다"

3D 장면을 저장하려면 데이터 용량이 수 기가바이트 (GB) 로 커서 스마트폰에 담기 힘들었습니다.

• 비유: 100kg 짜리 짐을 들고 여행을 가려는 것과 같습니다.

✨ 해결책 3: "마법의 압축" (Distillation & Quantization)

Mobile-GS 는 데이터를 압축하고 잘라내는 기술을 썼습니다.

1. 지식 증류 (Distillation): 복잡한 3D 색상을 단순한 1 차원 정보로 요약합니다. (비유: 두꺼운 백과사전 내용을 한 장의 요약 노트로 줄이는 것)
2. 벡터 양자화 (Quantization): 비슷한 색이나 모양을 가진 것들을 묶어서 같은 '코드'로 저장합니다. (비유: 100 가지의 파란색을 모두 따로 저장하지 않고, '파란색'이라는 하나의 태그로 묶어두는 것)
3. 기여도 기반 가지치기 (Pruning): 화면에 거의 보이지 않는, 쓸모없는 3D 조각들은 과감히 버립니다. (비유: 여행 가방에 들어갈 때, 안 쓸 물건은 과감히 버리는 것)

• 효과: 데이터 크기가 수 기가바이트 (GB) 에서 몇 메가바이트 (MB) 로 줄어든 가벼운 가방이 되었습니다.

---

🚀 결과: 스마트폰에서 116 프레임의 마법!

이 모든 기술을 합친 Mobile-GS 는 놀라운 성과를 냈습니다.

• 속도: 최신 스마트폰 (Snapdragon 8 Gen 3) 에서 **초당 116 프레임 (FPS)**을 달성했습니다. (일반적인 게임이 60 프레임인데, 그보다 훨씬 부드럽습니다!)
• 용량: 데이터 크기가 4.8MB로 줄어든 반면, 화질은 원래 3D 기술과 거의 비슷하게 유지되었습니다.
• 의의: 이제 우리는 스마트폰으로 고화질의 3D 가상 현실을 실시간으로 즐길 수 있게 되었습니다.

한 줄 요약:

"Mobile-GS 는 3D 장면을 그릴 때 '줄 서기'를 없애고, 'AI 보정'을 입히며, '마법의 압축'을 입혀서, 무거운 3D 장면을 스마트폰에서도 가볍고 빠르게 즐길 수 있게 만든 기술입니다."

기술 요약

1. 연구 배경 및 문제점 (Problem)

3D 가우시안 스플래팅 (3DGS) 은 고품질의 새로운 뷰 합성 (Novel View Synthesis) 을 가능하게 하는 혁신적인 기술이지만, 모바일 기기 (스마트폰, AR 헤드셋 등) 에 배포하기에는 다음과 같은 치명적인 한계가 존재합니다.

• 계산 병목 현상 (Sorting Bottleneck): 기존 3DGS 는 알파 블렌딩 (Alpha Blending) 을 위해 3D 가우시안을 카메라에서 가까운 순서부터 먼 순서까지 **깊이 정렬 (Depth Sorting)**해야 합니다. 이 정렬 과정은 연산 비용이 매우 크고, 특히 모바일 GPU 에서는 실시간 렌더링을 방해하는 주요 병목 현상입니다.
• 저장 공간 및 메모리 부족: 고차원 구면 조화 함수 (Spherical Harmonics, SH) 와 수많은 가우시안 원시 (Primitives) 를 저장하기 위해 많은 메모리와 저장 공간이 필요하여, 제한된 리소스를 가진 모바일 기기에서는 배포가 어렵습니다.
• 기존 경량화 방법의 한계: 기존에 제안된 경량화 방법들 (Scaffold-GS, Mini-Splatting 등) 은 가우시안을 줄이거나 압축하더라도 여전히 정렬 과정에 의존하므로 모바일 환경에서의 실시간 성능을 달성하기 어렵습니다.

2. 제안 방법론 (Methodology: Mobile-GS)

저자들은 모바일 환경에 최적화된 Mobile-GS를 제안하며, 다음과 같은 4 가지 핵심 기술 요소를 통합하여 정렬 없이도 고품질 실시간 렌더링을 가능하게 합니다.

2.1. 깊이 인식 순서 독립적 렌더링 (Depth-Aware Order-Independent Rendering)

• 개념: 시간 소모적인 정렬 과정을 제거하기 위해, 정렬에 의존하지 않는 렌더링 방식을 도입합니다.
• 기술: 기존 알파 블렌딩을 폐기하고, 각 가우시안의 깊이 ($d_i$) 와 스케일 ($s_{max}$) 을 기반으로 가중치 ($w_i$) 를 부여하는 깊이 인식 가중치 전략을 사용합니다.
  • 카메라에서 먼 가우시안은 가중치를 낮추고, 가까운 가우시안은 가중치를 높여 순서 없이도 자연스럽게 합성됩니다.
  • 수식: $C = (1-T) \frac{\sum c_i \alpha_i w_i}{\sum \alpha_i w_i} + T c_{bg}$
• 효과: 병렬 처리가 가능해져 렌더링 속도가 비약적으로 향상됩니다.

2.2. 신경망 기반 뷰 의존성 향상 (Neural View-Dependent Enhancement)

• 문제: 정렬을 제거하면 겹치는 기하학적 구조에서 투명도 아티팩트 (Transparency Artifacts) 가 발생할 수 있습니다.
• 해결: 3D 가우시안의 속성 (크기, 회전, SH 계수) 과 카메라 방향 벡터를 입력으로 받는 경량 **MLP (Multi-Layer Perceptron)**를 도입합니다.
• 기능: 이 MLP 는 각 가우시안의 **뷰 의존적 불투명도 (View-Dependent Opacity)**와 가중치 ($\phi$) 를 예측하여, 깊이 모호성이 있는 영역의 투명도 아티팩트를 보정하고 렌더링 품질을 복원합니다.

2.3. 1 차 구면 조화 함수 증류 및 신경 벡터 양자화 (Distillation & Quantization)

• 1 차 SH 증류 (Distillation): 기존 3 차 SH 대신 1 차 SH를 사용하여 파라미터 수를 대폭 줄입니다. 강력한 교사 모델 (Teacher Model, Mini-Splatting) 의 지식을 증류 (Distillation) 하여 1 차 SH 만으로도 고차원 SH 의 표현력을 모방하도록 학습시킵니다.
• 신경 벡터 양자화 (Neural Vector Quantization, NVQ):
  • K-Means 를 통해 가우시안 속성 벡터를 클러스터링하고, 각 클러스터별 코드북 (Codebook) 을 사용하여 양자화합니다.
  • Huffman 코딩을 적용하여 저장 공간을 추가로 압축합니다.
  • SH 계수를 직접 저장하는 대신, 경량 MLP 를 통해 복원하는 방식을 사용하여 메모리 사용을 극도로 줄입니다.

2.4. 기여도 기반 가지치기 (Contribution-Based Pruning)

• 전략: 불투명도 (Opacity) 와 공간적 스케일 (Scale) 이 모두 낮은 가우시안은 장면 표현에 기여도가 낮다고 판단하여 제거합니다.
• 방식: 단순히 한 번의 임계값으로 제거하는 것이 아니라, 여러 반복 (Iteration) 동안 누적 투표 (Vote) 를 통해 지속적으로 기여도가 낮은 가우시안을 점진적으로 제거하여 학습 안정성을 확보합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 실험 결과

• 모바일 성능: 퀄컴 스냅드래곤 8 Gen 3 GPU 탑재 모바일 기기에서 116 FPS의 실시간 렌더링을 달성했습니다. (해상도: 1600x1063, 장면: Bicycle)
• 저장 공간: 원본 3DGS 대비 저장 공간을 약 100 배 이상 줄였습니다 (예: Bicycle 장면 기준 4.8MB).
• 품질: PSNR, SSIM, LPIPS 지표에서 원본 3DGS 와 유사하거나 일부 경량화 방법보다 우수한 품질을 유지했습니다.
  • Table 1: Mip-NeRF 360, Tanks&Temples, Deep Blending 데이터셋에서 기존 경량화 방법들 (LightGaussian, SortFreeGS 등) 보다 우수한 효율성과 품질을 보였습니다.
  • Table 2: 모바일 환경에서 127 FPS 를 기록하며, 기존 방법들 (8~24 FPS) 보다 압도적인 속도를 보여주었습니다.

3.2. 성능 분석

• 정렬 제거 효과: 정렬 과정을 제거함으로써 렌더링 시간을 획기적으로 단축시켰으며, 이는 모바일 환경에서의 실시간성 확보에 결정적이었습니다.
• 아바테이션 연구 (Ablation Study):
  • 순서 독립적 렌더링 제거 시: 속도가 684 FPS 에서 1125 FPS 로 감소 (정렬이 병목임을 증명).
  • 뷰 의존적 향상 제거 시: 투명도 아티팩트가 발생하여 화질이 급격히 저하됨.
  • 양자화 제거 시: 저장 공간이 4.6MB 에서 121MB 로 급증.

4. 의의 및 결론 (Significance)

• 최초의 모바일 실시간 3DGS: Mobile-GS 는 모바일 기기에서 실시간 (Real-time) 으로 고품질 3D 가우시안 스플래팅을 수행할 수 있는 첫 번째 방법론으로 평가받습니다.
• 실용적 배포 가능성: AR/VR, 모바일 게임, 자율주행 등 리소스가 제한된 엣지 디바이스에서의 3D 콘텐츠 구현에 새로운 가능성을 열었습니다.
• 기술적 균형: 정렬 제거 (속도 향상), 증류 및 양자화 (저장 공간 감소), 신경망 기반 보정 (화질 유지) 의 세 가지 요소를 균형 있게 통합하여, "속도 vs 화질 vs 용량"의 트레이드오프를 성공적으로 해결했습니다.

이 논문은 3D 가우시안 스플래팅 기술이 고사양 데스크탑을 넘어 일상적인 모바일 기기에서도 실시간으로 작동할 수 있는 길을 열었다는 점에서 중요한 의미를 가집니다.