MEGS$^{2}$: Memory-Efficient Gaussian Splatting via Spherical Gaussians and Unified Pruning

이 논문은 구면 가우시안 로브를 도입하고 원시 개수 및 파라미터를 통합적으로 최적화하는 'MEGS$^{2}$' 프레임워크를 제안하여, 기존 3D 가우시안 스플래팅의 렌더링 메모리 병목 현상을 해결하고 엣지 디바이스에서의 효율성을 크게 향상시켰습니다.

핵심

🎨 메그스2 (MEGS2): 3D 세상을 스마트폰에서도 부드럽게 보여주는 마법

안녕하세요! 오늘 소개해 드릴 논문은 **'MEGS2'**라는 이름의 새로운 기술에 관한 것입니다. 이 기술은 우리가 3D 그래픽을 볼 때 겪는 **'메모리 부족'**이라는 큰 문제를 해결해 줍니다.

비유를 들어 쉽게 설명해 드릴게요.

---

1. 문제: "고급 3D 영화는 스마트폰에서 못 본다?" 📱🚫

지금까지 3D 그래픽을 표현하는 가장 뛰어난 기술 중 하나가 **'3D 가우시안 스플래팅 (3DGS)'**이었습니다. 이 기술은 마치 **수백만 개의 반짝이는 구슬 (3D 가우시안)**을 화면에 뿌려서 3D 장면을 만드는 것과 같습니다.

하지만 이 구슬들이 너무 많고, 각 구슬이 가지고 있는 정보 (색깔, 빛 반사 등) 가 너무 방대해서 컴퓨터는 잘 처리하지만, 스마트폰이나 태블릿 같은 작은 기기에서는 메모리 (RAM) 가 부족해 멈춰버리거나 매우 느려집니다.

비유: 마치 고급 레스토랑에서 100 가지 재료를 다 넣은 스페셜 파스타를 주문했는데, 작은 도시락 통에 담으려고 하면 넘쳐버리는 상황과 비슷합니다.

2. 해결책: MEGS2 의 두 가지 마법 🪄✨

저자들은 이 문제를 해결하기 위해 두 가지 핵심 전략을 사용했습니다.

① "무거운 옷을 가볍게 갈아입히기" (구형 vs 신형)

기존 기술은 구슬의 색깔을 표현할 때 **'구형 조화 (Spherical Harmonics, SH)'**라는 복잡한 수학적 도구를 썼습니다. 이는 마치 무거운 겨울 코트를 입은 것과 같아서, 작은 구슬 하나하나가 엄청난 메모리를 차지했습니다.

MEGS2 는 이를 **'구형 가우시안 (Spherical Gaussian, SG)'**이라는 더 가볍고 효율적인 도구로 바꿨습니다.

• 비유: 겨울 코트 (SH) 대신 **가벼운 기능성 재킷 (SG)**을 입힌 것입니다. 같은 따뜻함 (화질) 을 유지하면서 무게 (메모리) 는 절반으로 줄였습니다. 게다가 이 재킷은 필요 없는 부분 (불필요한 빛 반사) 은 아예 떼어낼 수도 있습니다.

② "한 번에 정리하는 스마트 청소부" (통합 가지치기)

기존 방법들은 구슬의 개수를 줄이는 일 (A) 과 구슬의 정보를 줄이는 일 (B) 을 따로따로 했습니다. 하지만 MEGS2 는 이 두 가지를 하나의 지능적인 시스템으로 묶었습니다.

• 비유: 방을 정리할 때, "일단 책상 위를 비우고 (구슬 개수 줄임), 그다음 책상 위 물건들을 작게 접어라 (정보 줄임)"라고 따로따로 시키는 대신, **"메모리라는 제한된 공간에 딱 맞게, 불필요한 구슬과 불필요한 정보까지 한 번에 계산해서 정리해라"**라고 명령하는 것입니다. 이렇게 하면 가장 효율적인 조합을 찾아냅니다.

3. 결과: 스마트폰에서도 영화처럼! 🎬🚀

이 기술의 결과는 놀랍습니다.

• 메모리 폭탄 해결: 기존 방식보다 8 배 이상 더 적은 메모리로 3D 장면을 저장할 수 있게 되었습니다.
• 실시간 재생: 고사양 그래픽카드가 있는 노트북뿐만 아니라, **최신 스마트폰 (메디아텍, 퀄컴 칩셋)**에서도 3D 장면을 부드럽게 (프레임 속도 높게) 볼 수 있게 되었습니다.
  • 예전에는 스마트폰에서 3D 를 보면 화면이 멈추거나 검은 화면이 떴다면, 이제는 60 프레임 이상의 부드러운 영상을 즐길 수 있습니다.
• 화질 유지: 메모리는 줄였지만, 화질은 오히려 더 선명해지거나 기존과 비슷하게 유지됩니다. 특히 거울이나 유리처럼 빛이 반사되는 부분 (고광택) 을 표현하는 데 탁월합니다.

4. 요약: 왜 이 기술이 중요한가요? 🌟

지금까지 3D 그래픽은 무거운 PC 나 게임 콘솔에서만 가능했습니다. 하지만 MEGS2는 이 장벽을 허물었습니다.

• 여행지 3D 가이드: 스마트폰으로 고화질 3D 유적지를 돌아볼 수 있습니다.
• 가상 피팅: 옷을 입어보는 AR 서비스가 훨씬 더 매끄럽게 작동합니다.
• 게임: 모바일 게임에서 PC 수준의 고퀄리티 3D 그래픽을 즐길 수 있게 됩니다.

결론적으로, MEGS2 는 "무거운 3D 데이터를 스마트폰이라는 작은 가방에 쏙 넣을 수 있게 만든, 메모리 절약의 마법사"라고 할 수 있습니다! 🎒✨

기술 요약

MEGS2: 구형 가우스 (Spherical Gaussians) 와 통합 가지치기를 통한 메모리 효율적 가우스 스패팅

1. 문제 정의 (Problem)

3D 가우스 스패팅 (3D Gaussian Splatting, 3DGS) 은 빠른 재구성, 실시간 성능, 높은 화질로 인해 신경 렌더링 분야에서 표준이 되었으나, 높은 메모리 소비량으로 인해 모바일 및 엣지 장치 (Edge Devices) 에 적용하는 데 심각한 한계가 있습니다.

기존의 3DGS 압축 방법들은 주로 저장 공간 (Storage) 압축에 집중했습니다. 그러나 이러한 방법들은 렌더링 시 압축된 데이터를 풀어서 전체 파라미터를 메모리에 로드해야 하므로, 실제 렌더링 시 필요한 VRAM (Video RAM) 사용량을 줄이는 데는 실패했습니다. 특히 기존 3DGS 가 사용하는 **구형 조화 함수 (Spherical Harmonics, SH)**는 고주파 세부 사항 (예: 반사광) 을 표현하기 위해 많은 계수가 필요하고, 파라미터 수가 고정되어 있어 효율적인 압축이 어렵습니다.

따라서, 렌더링 메모리 병목 현상을 해결하고 엣지 장치에서 고품질 실시간 렌더링을 가능하게 하기 위한 새로운 접근법이 필요합니다.

2. 방법론 (Methodology)

저자들은 **MEGS2 (Memory-Efficient Gaussian Splatting via Spherical Gaussians and Unified Pruning)**를 제안합니다. 이 프레임워크는 렌더링 메모리를 줄이기 위해 원시 개체 (Primitive) 의 총 수와 개체당 파라미터 수를 동시에 최적화합니다.

2.1 색상 표현: 구형 가우스 (Spherical Gaussians, SG)

• SH 대체: 기존 3DGS 의 색상 표현인 SH 를 완전히 제거하고, **임의 방향의 구형 가우스 (Arbitrarily-oriented Spherical Gaussians)**로 대체합니다.
• 장점:
  • SH 는 저주파 조명에는 적합하지만, 국소적이고 고주파인 하이라이트를 표현하려면 고차 계수가 필요합니다. 반면 SG 는 몇 개의 로브 (Lobe) 만으로도 이러한 세부 사항을 효율적으로 모델링할 수 있습니다.
  • SG 로브의 개수를 조절하여 파라미터 수를 유연하게 제어할 수 있으며, 이는 가지치기 (Pruning) 에 매우 유리합니다.
  • 기존 SG-Splatting 과 달리, 로브 축을 고정된 직교 축으로 제한하지 않고 임의 방향을 허용하여 표현력을 극대화했습니다.

2.2 통합 소프트 가지치기 프레임워크 (Unified Soft Pruning Framework)

기존 방법들은 원본 개체 수를 줄이는 가지치기와 개체 내 파라미터 (로브) 를 줄이는 가지치기를 별개로 수행하거나 순차적으로 수행했습니다. MEGS2 는 이를 단일 제약 최적화 문제로 통합합니다.

• 문제 정의: 전체 메모리 예산 ($\kappa$) 을 제약 조건으로 하여, 불투명도 (Opacity, 원본 개체 수) 와 날카로움 (Sharpness, SG 로브 수) 의 $L_0$ 노름을 동시에 최소화하는 문제를 설정합니다.
  $$\min_{o,s,\Theta} \mathcal{L}(o, s, \Theta) \quad \text{s.t.} \quad \rho_o \|o\|_0 + \rho_s \|s\|_0 \le \kappa$$
• 해법 (ADMM 기반): $L_0$ 노름의 비미분 가능성 (Non-differentiable) 을 해결하기 위해 **ADMM (Alternating Direction Method of Multipliers)**에서 영감을 받은 알고리즘을 사용합니다.
  • 프록시 변수 (Proxy variables) 와 듀얼 변수 (Dual variables) 를 도입하여 최적화 문제를 분해합니다.
  • 임포트런스 (Importance) 기반의 근사 연산자를 통해 불필요한 원본과 로브를 소프트하게 제거합니다.
• 후처리 및 색상 보상:
  • 가지치기 후 제거된 로브로 인한 색상 손실을 보상하기 위해 **색상 보상 항 ($\Delta c_0$)**을 도입합니다. 이는 제거된 로브의 에너지를 확산 항 (Diffuse term) 에 추가하여 평균 색상 변동을 최소화합니다.
  • 최종적으로 미세 조정 (Fine-tuning) 을 통해 렌더링 품질을 회복합니다.

3. 주요 기여 (Key Contributions)

1. 완전 독립형 색상 표현: SH 를 완전히 제거하고 임의 방향의 가지치기 가능한 SG 로만 구성된 색상 모델을 제안하여, 개체당 파라미터 수를 획기적으로 줄였습니다.
2. 통합 소프트 가지치기: 원본 수와 로브 수를 동시에 최적화하는 통합 프레임워크를 제안하여, 기존 순차적 또는 하드 가지치기 방법보다 우수한 메모리 효율과 화질을 달성했습니다.
3. 전례 없는 메모리 압축:
   • 기존 3DGS 대비 정적 VRAM 8 배, 렌더링 VRAM 6 배 압축 달성.
   • 최신 SOTA 방법 (GaussianSpa) 대비 정적 VRAM 2 배, 렌더링 VRAM 40% 추가 감소 달성.
   • 화질은 유지하거나 오히려 개선 (SSIM/LPIPS 향상) 했습니다.

4. 실험 결과 (Results)

• 데이터셋: Mip-NeRF 360, Tanks & Temples, Deep Blending 등 다양한 실사 데이터셋에서 평가.
• 성능:
  • VRAM 감소: 모든 기존 방법 대비 월등히 낮은 VRAM 사용량 (예: DeepBlending 에서 243MB vs 3DGS 1569MB).
  • 화질: PSNR, SSIM, LPIPS 지표에서 기존 3DGS 및 경량화 방법들과 비교해 동급 또는 우수한 성능을 보임. 특히 반사광 (Specular highlights) 과 고주파 세부 사항 복원 능력이 뛰어남.
  • 실시간 렌더링:
    • 데스크탑 (RTX 3060): 117.4 FPS (기존 3DGS 27 FPS 대비).
    • 모바일 (Dimensity 9400+): 91.0 FPS (기존 3DGS 6.6 FPS 대비).
    • 저사양 모바일 (Snapdragon 865): 기존 3DGS 가 실행 불가 (N/A) 했던 환경에서 34.9 FPS 달성.
• 저장 공간: 명시적인 압축 기술 없이도 EAGLES 등 기존 압축 방법들보다 더 작은 파일 크기를 기록했습니다.

5. 의의 (Significance)

MEGS2 는 3DGS 의 적용 범위를 **저사양 엣지 장치 (모바일, 웹 브라우저 등)**까지 확장하는 중요한 전환점이 됩니다. 단순히 파일 크기를 줄이는 것을 넘어, 렌더링 시의 메모리 병목을 근본적으로 해결함으로써, 고해상도 3D 콘텐츠를 스마트폰이나 웹 환경에서도 실시간으로 고품질로 경험할 수 있는 길을 열었습니다. 이는 모바일 3D 스캐닝, 가상 피팅, 실시간 게임 렌더링 등 다양한 실제 응용 분야에 직접적인 영향을 미칠 것으로 기대됩니다.