1. 문제 정의 (Problem Statement)

최근 3D 가우시안 스플래팅 (3D Gaussian Splatting, 3DGS) 은 실시간 렌더링 성능과 높은 재구성 품질을 제공하며 신경 방사선장 (NeRF) 을 대체하는 강력한 표현 방식으로 부상했습니다. 그러나 기존 3DGS 압축 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 단일 레이트 (Single-rate) 한계: 기존 접근법은 특정 타겟 메모리 또는 대역폭 예산에 맞춰 별도의 모델을 훈련하거나 미세 조정 (fine-tuning) 합니다. 이는 레이트 - 왜곡 (Rate-Distortion) 곡선상에서 고정된 작동점 (operating points) 만을 제공하며, 진정한 확장성 (Scalability) 을 결여합니다.
• 배포의 비효율성: 장치별 메모리, 대역폭, 또는 시간에 따라 변하는 컴퓨팅 예산에 대응하기 위해 여러 개의 전용 모델을 저장하거나 전송하는 것은 비현실적입니다.
• 재훈련 필요성: 다른 해상도나 품질 수준을 지원하기 위해서는 매번 모델을 다시 훈련하거나 추가적인 미세 조정이 필요합니다.

이 논문은 이러한 문제를 해결하기 위해, 단일 훈련된 모델에서 확장 가능한 압축 (Scalable Compression) 을 구현하고, 재훈련 없이 다양한 작동점을 지원할 수 있는 프레임워크를 제안합니다.

2. 제안 방법: GoDe (Gaussians on Demand)

GoDe 는 사전 훈련된 3DGS 모델을 기반으로 가우시안 원시 (primitives) 를 고정된 점진적 계층 구조 (Progressive Hierarchy) 로 재구성하는 프레임워크입니다. 주요 핵심 과정은 다음과 같습니다.

A. 점진적 가우시안 계층 구조 (Progressive Hierarchy of Gaussians)

• 개념: 전체 가우시안 집합 $G$를 기본 집합 $G_0$와 일련의 불연속적인 향상 집합 (enhancement sets) $E_1, \dots, E_{L-1}$로 분해합니다.
  • 레벨 $l$의 표현은 $G_l = G_0 \cup \bigcup_{i=1}^{l} E_i$로 정의됩니다.
  • 하위 레벨은 장면의 거친 구조 (coarse structure) 를, 상위 레벨은 점진적인 세부 사항 (fine refinements) 을 담당합니다.
• 크기 할당: 각 레벨에 할당되는 가우시안 수는 기하급수적 진행 (geometric progression) 을 따르도록 설정하여, 초기 레벨에 더 많은 용량을 할당하고 고도화된 레벨로 갈수록 점진적으로 줄입니다.

B. 기울기 기반 계층 구성 (Gradient-Informed Hierarchy Construction)

• 중요도 평가: 훈련된 모델의 각 가우시안의 모든 파라미터 (위치, 불투명도, 스케일, 회전, 외관 등) 에 대한 재구성 손실 (reconstruction loss) 의 누적 기울기 노름 (aggregated gradient norm) 을 계산하여 중요도 점수 $s_i$를 도출합니다.
  • $s_i = ||\frac{\partial \mathcal{L}}{\partial \theta_i}||^2$
• 반복적 마스킹 (Iterative Masking):
  1. 전체 모델에서 시작하여 가장 낮은 중요도 점수를 가진 가우시안들을 선택하여 현재 레벨의 향상 집합 ($E_l$) 으로 할당합니다.
  2. 해당 가우시안을 제거하고 남은 집합에 대해 기울기를 다시 계산하여 다음 레벨을 구성합니다.
  3. 이 과정을 반복하여 거시적 구조에서 미세한 세부 사항까지 안정적으로 계층화합니다.
• 장점: 이 방식은 모델에 구애받지 않으며 (model-agnostic), 훈련 중 이미 존재하는 일반적인 최적화 신호를 활용합니다.

C. 양자화 인식 미세 조정 (Quantization-Aware Fine-Tuning)

• 단일 공동 미세 조정: 계층 구조가 구성된 후, 단 하나의 공동 미세 조정 단계를 수행합니다.
• 작동 방식: 각 반복(iteration) 에서 무작위로 하나의 레벨을 선택하여 해당 레벨의 가우시안만 렌더링하고 손실을 계산하여 파라미터를 최적화합니다.
• 목적: 모든 레벨에서 일관된 동작을 보장하고, 저정밀도 (양자화) 저장 환경에서도 재구성 품질을 유지하며, 아티팩트를 줄입니다.

D. 확장 가능한 압축 및 적응형 렌더링

• 압축: 각 레벨 ($G_0$ 및 $E_l$) 을 독립적으로 압축하여 확장 가능한 비트스트림을 생성합니다. Zstandard(ZSTD) 와 사전 학습된 사전 (dictionary) 을 사용하여 효율적인 엔트로피 부호화를 수행합니다.
• 적응형 렌더링: 실행 시 (inference time) 메모리나 대역폭 제약에 따라 필요한 레벨까지 디코딩하여 렌더링합니다.
• 부드러운 전환: 레벨 간 전환 시 발생하는 '팝인 (pop-in)' 아티팩트를 완화하기 위해, 향상 집합의 가우시안 불투명도를 점진적으로 페이드인 (fade-in) 하는 런타임 기법을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 단일 파이프라인에서의 확장 가능한 압축: 별도의 재훈련 없이 단일 사전 훈련 모델에서 여러 개의 이산적 압축 레벨을 도출하는 프레임워크를 제안했습니다.
2. 기울기 유도 계층 조직화: 가우시안의 모든 파라미터에 대한 기울기 정보를 집계하여 안정적이고 효과적인 LoD 계층을 구축하는 반복적 마스킹 전략을 고안했습니다.
3. 모델 중립적 설계 (Model-agnostic): 명시적 3DGS 는 물론, Scaffold-GS, Octree-GS 와 같은 신경 3DGS 변형체에도 아키텍처 변경 없이 적용 가능합니다.
4. 실용적 배포: 양자화 인식 미세 조정, 불투명도 보간, 고속 엔트로피 부호화를 통해 이질적인 배포 환경에서 효율적인 저장, 점진적 디코딩, 적응형 렌더링을 가능하게 합니다.

4. 실험 결과 (Results)

논문은 Mip-NeRF360, Tanks&Temples, DeepBlending 등 표준 벤치마크와 3DGS, Scaffold-GS, Octree-GS 등 다양한 백본에서 GoDe 를 평가했습니다.

• 레이트 - 왜곡 성능: GoDe 는 단일 모델로 생성된 점진적 표현이면서도, 최신 단일 레이트 압축 방법 (HAC, Context-GS, RDO 등) 과 비교해 동등하거나 종종 더 나은 재구성 품질 (PSNR, SSIM) 을 달성했습니다.
• 다양한 작동점 지원: 8 개의 LoD 레벨을 지원하며, 모델 크기가 수 MB 에서 60 MB 이상까지 다양하게 조절 가능합니다.
• 렌더링 속도: 낮은 레벨 (LoD 0) 에서 매우 높은 프레임 속도 (800 FPS 이상) 를 제공하며, 고해상도/고품질 설정에서도 경쟁력 있는 속도를 유지합니다.
• 효율성:
  • 훈련 비용: 여러 작동점을 위한 별도의 모델을 훈련하는 기존 방식과 달리, GoDe 는 단일 훈련 파이프라인으로 모든 레벨을 생성하므로 총 계산 비용이 현저히 낮습니다.
  • 디코딩 속도: 기존 방법 대비 최대 1762 배 빠른 디코딩 속도를 보여 스트리밍 환경에 적합함을 입증했습니다.
• 비교 실험: PUP-3DGS 와 같은 다른 가지치기 (pruning) 방법론과 비교했을 때, 기울기 기반 중요도 평가가 더 높은 재구성 품질을 제공함을 확인했습니다.

5. 의의 및 결론 (Significance)

GoDe 는 3D 가우시안 스플래팅 분야에서 확장 가능한 압축 (Scalable Compression) 과 적응형 렌더링 (Adaptive Rendering) 을 동시에 실현하는 획기적인 접근법입니다.

• 파라다임 전환: "특정 예산에 맞춰 모델을 어떻게 압축할 것인가"라는 질문에서 "단일 모델이 어떻게 다양한 예산을 유연하게 지원할 수 있는가"라는 질문으로 문제를 재정의했습니다.
• 실용성: 네트워크 대역폭이나 GPU 메모리가 제한된 환경 (모바일, 웹, 클라우드 스트리밍) 에서 실시간으로 품질과 성능을 동적으로 조절할 수 있게 하여, 3D 콘텐츠의 실제 배포 장벽을 낮춥니다.
• 일반성: 특수한 아키텍처 변경 없이 기존 훈련된 모델에 적용 가능한 범용적인 프레임워크로서, 향후 3D 표현 방식의 표준 압축 전략으로 자리 잡을 잠재력을 가집니다.

결론적으로, GoDe 는 단일 통합 표현을 통해 확장성과 고품질 재구성을 모두 달성함으로써 3DGS 의 실용적 적용 가능성을 크게 확장시켰습니다.