1. 문제 정의 (Problem)

3D 가우시안 스플래팅 (3D Gaussian Splatting, 3DGS) 은 실시간 렌더링 속도와 높은 화질을 제공하여 새로운 뷰 합성 분야에서 혁신을 일으켰습니다. 그러나 복잡한 장면을 표현하기 위해 수백만 개의 가우시안 스플랫 (splat) 과 고차원 속성 (색상, 불투명도, 회전, 스케일 등) 을 저장해야 하므로 메모리 사용량이 매우 크다는 (수 GB 규모) 치명적인 단점이 있습니다.

기존의 압축 방법들은 크게 두 가지 방향으로 진행되었습니다:

1. 신호 처리 기반: 속성 (quantization) 을 양자화하여 저장 공간을 줄이지만, 스플랫 간의 국소적 공간 상관관계나 반복 패턴을 충분히 활용하지 못합니다.
2. 학습 기반 (Anchor-Offset): Scaffold-GS 와 같이 '앵커 (anchor)'와 '오프셋 (offset)' 계층 구조를 사용하여 스플랫을 공유합니다. 하지만 이 방식은 투명하거나 보이지 않는 오프셋을 생성하거나, 좌표 복원을 위해 여러 요소를 조합해야 하는 등 구조적 오버헤드가 발생하며, 정밀한 공간 구조를 유지하기 위해 좌표 압축을 회피하는 경향이 있습니다.

이러한 배경에서 Smol-GS는 좌표 구조를 명시적으로 유지하면서 (하지만 효율적으로 압축) 시각적 특징을 추상화하여 저장 효율을 극대화하는 새로운 접근법을 제시합니다.

---

2. 방법론 (Methodology)

Smol-GS 는 3D 장면을 **고도로 효율적인 스플랫별 추상 특징 (abstract features)**과 **소형 MLP(다층 퍼셉트론)**로 학습하며, 좌표와 특징을 압축하는 5 가지 핵심 단계로 구성됩니다.

가. 좌표 압축: 점유 옥트리 인코딩 (Coordinate Compression)

• 문제 해결: 기존 3DGS 는 재구성에 민감하여 좌표 양자화를 꺼렸으나, Smol-GS 는 16 비트 양자화만으로도 화질 저하가 미미함을 확인했습니다.
• 기법: 점군 (Point Cloud) 압축 기술에서 영감을 받아 **점유 옥트리 (Occupancy-octree)**를 사용합니다.
  • 장면의 경계 상자 (Bounding Box) 를 재귀적으로 8 개의 서브 박스로 분할합니다.
  • 비어 있지 않은 박스만 계속 분할하며, 각 분할 단계에서 8 비트의 점유 바이트 (1=비어있지 않음, 0=비어있음) 를 생성합니다.
  • 최종 깊이 $R$의 박스 중심을 스플랫의 양자화된 좌표로 사용합니다.
  • 생성된 바이트 시퀀스는 **허프만 코딩 (Huffman coding)**을 통해 엔트로피 기반 압축을 수행하여 손실 없는 (그리드 내) 저장 효율을 달성합니다.

나. 위치 인코딩: 옥트리 기반 인덱스 (Positional Encoding)

• 각 스플랫은 할당된 최종 옥트리 셀에서 고유한 **Morton 코드 (Z-order index)**를 추출하여 위치 인코딩 벡터 ($f_{oct}$) 로 사용합니다.
• 이 인코딩은 스플랫의 공간적 국소성 (spatial locality) 을 명시적으로 모델링하여, MLP 가 해당 위치의 시각적 특징을 더 효율적으로 학습하도록 돕습니다.

다. 신경 가우시안 스플랫 (Neural Gaussian Splats)

• 각 스플랫은 실제 색상/불투명도 등을 직접 저장하는 대신, **저차원의 추상 특징 벡터 ($f$)**와 **스케일링 컨트롤러 ($s$)**를 가집니다.
• 렌더링 시, 카메라 위치, 시선 방향, 위치 인코딩 ($f_{oct}$) 을 입력으로 받아 소형 MLP 들이 다음 값을 예측합니다:
  • 불투명도 (Opacity), 색상 (Color), 회전 (Rotation), 스케일 (Scaling).
• 이를 통해 뷰 의존적 (view-dependent) 인 효과와 재질 정보를 저차원 특징으로 추상화하여 저장합니다.

라. 특징 압축: 산술 부호화 (Feature Compression)

• 추상 특징 ($f$) 과 스케일 컨트롤러 ($s$) 는 **해시 그리드 (Hash-grid)**를 보조로 사용하여 예측된 가우시안 분포를 기반으로 양자화됩니다.
• **산술 코딩 (Arithmetic coding)**을 적용하여 비트 수를 최소화하며, 부정확한 양자화 손실을 보상하기 위해 **음의 로그 가능도 (NLL)**를 손실 함수에 포함하여 학습합니다.

마. 적응형 밀도 제어 및 훈련 파이프라인

• 5 단계 훈련 프로세스:
  1. Warm-up: SfM 점군에서 초기화.
  2. Densification: 기울기 기반 밀도 증가 (세부 정보 추가).
  3. Compaction: 불투명도 정규화 및 가지치기로 스플랫 수 감소.
  4. Feature Compression: 특징과 스케일 컨트롤러 양자화 및 압축.
  5. Coordinate Compression: 좌표를 옥트리 구조로 최종 압축.

---

3. 주요 기여 (Key Contributions)

1. Smol-GS 모델 제안: 앵커 - 오프셋 구조의 오버헤드를 제거하고, 직접적인 스플랫 조작이 가능한 단순하지만 효과적인 신경 스플랫 모델을 제안했습니다.
2. 옥트리 기반 위치 인코딩: 공간 분할에서 유도된 새로운 위치 인코딩 ($f_{oct}$) 을 도입하여 신경 스플랫 표현의 효율성을 크게 향상시켰습니다.
3. 압축률과 화질의 균형: 기존 최첨단 (SOTA) 방법들보다 훨씬 작은 모델 크기 (수 MB 수준) 를 유지하면서도 동등하거나 더 나은 렌더링 화질을 달성했습니다. 특히 좌표 데이터를 효율적으로 압축하여 저장 공간을 획기적으로 줄였습니다.

---

4. 실험 결과 (Results)

• 벤치마크: Mip-NeRF 360, Tanks and Temples, Deep Blending 등 표준 데이터셋에서 평가되었습니다.
• 압축 성능:
  • Smol-GS-small은 Mip-NeRF 360 에서 평균 4.87 MB의 모델 크기로 27.61 dB의 PSNR 을 달성했습니다.
  • 기존 3DGS (약 734 MB) 대비 약 150 배의 압축률을 보였으며, Compact3DGS, HAC++, ContextGS 등 다른 최신 압축 기법들보다 더 작은 크기에서 더 높은 화질을 보여주었습니다.
• 화질: 그림자 가장자리, 반사 (specular highlights), 유리, 평면 벽 등 복잡한 재질과 경계선을 잘 보존하며, 원본 3DGS 와 비교해 아티팩트가 적습니다.
• 속도:
  • 렌더링: 평균 241.3 fps (실시간).
  • 인코딩/디코딩: H200 GPU 기준 수 초 내로 완료되어 저장 및 전송에 실용적입니다.
• 저장 구성: 전체 용량의 약 50% 가 특징 ($f$) 에 사용되지만, 좌표 ($x$) 는 옥트리 인코딩 덕분에 매우 효율적으로 저장됩니다. MLP 파라미터는 전체 용량의 미미한 부분만 차지합니다.

---

5. 의의 및 결론 (Significance)

Smol-GS 는 3D 가우시안 스플래팅의 저장 효율성 문제를 해결하는 새로운 패러다임을 제시합니다.

• 구조적 혁신: 좌표 데이터를 명시적이면서도 압축된 형태로 유지하고, 시각적 정보를 저차원 특징으로 추상화함으로써, 기존 방법들이 직면했던 '정밀도 vs 압축률'의 트레이드오프를 극복했습니다.
• 실용성: 수 MB 단위의 초소형 모델로 고품질 3D 장면을 표현할 수 있어, 대역폭이 제한된 환경 (모바일, VR/AR, 스트리밍) 에서의 실시간 3D 콘텐츠 전송 및 렌더링에 큰 기여를 할 것으로 기대됩니다.
• 확장성: 이산화된 스플랫 특징은 향후 3D 토큰 (tokens) 으로 활용되어 다른 학습 모달리티나 언어 모델과 결합될 수 있는 가능성을 열어줍니다.

요약하자면, Smol-GS 는 기하학적 구조는 명시적으로, 시각적 정보는 추상적으로 처리하는 혁신적인 압축 전략을 통해 3DGS 의 상용화 장벽을 낮춘 획기적인 연구입니다.