기술 요약: GaussianPOP

문제 정의

3D 가우시안 스플래팅(3DGS)은 실시간의 사실적인 신규 시점 합성(novel view synthesis)을 달-성하지만, 수백만 개의 이방성(anisotropic) 3D 가우시안 프리미티브를 포함하는 조밀한 표현 방식에 의존합니다. 이러한 밀도는 상당한 메모리 및 저장 공간 요구 사항을 초래하여 배포 가능성을 저해합니다. 기존의 단순화 방법들은 가우시안 수를 줄이는 것을 목표로 하지만, 일반적으로 중복된 가우시안을 식별하기 위해 중요도 기반 점수(예: 블렌딩 가중치, 불투명도 또는 그래디언트 민감도)에 의존합니다. 본 논문은 이러한 점수들이 시각적 영향력에 대한 간접적인 대리 지표(proxy)일 뿐이며, 실제 시각적 오차와 직접적인 상관관계가 부족하다고 주장합니다. 결과적으로, 이러한 방법들은 모델의 압축도와 렌더링 충실도 사이에서 최적의 트레이드오프를 도출하지 못하는 경우가 빈번합니다. 또한, 많은 기존 방식들(특히 희소성 유도 방식)은 학습 목적 함수를 처음부터 수정해야 하므로, 이미 학습된 모델에 적용하는 데 한계가 있습니다.

방법론: GaussianPOP

저자들은 **분석적 가우시안 오차 정량화(analytical Gaussian error quantification)**에 기반한 원칙적인 단순화 프레임워크인 GaussianPOP을 제안합니다. 핵심 철학은 특정 가우시안을 제거했을 때 발생하는 시각적 오차를 대리 지표를 통한 중요도 추정이 아닌, 직접적으로 정량화하는 것입니다.

1. 원칙적인 오차 기준

이 방법은 3DGS 렌더링 방정식으로부터 직접 유도된 새로운 오차 기준을 도출합니다. 단일 픽셀에 대해, 렌더링된 색상 $C_{render}$는 $\alpha$-블렌딩을 통해 전방에서 후방으로 정렬된 $N$개 가우시안의 합성물입니다. 저자들은 특정 가우시안 $k$를 제거함으로써 발생하는 제곱 오차($\Delta SE_k$)를 다음과 같이 분석적으로 유도했습니다:
$$\Delta SE_k = \| T_k \alpha_k (c_k - b_{k+1}) \|^2$$
여기서:

• $c_k$는 가우시안의 기본 색상입니다.
• $b_{k+1}$은 배경 색상(가우시안 $k$ 뒤에 있는 모든 가우시안의 기여분)입니다.
• $T_k \alpha_k$는 가우시안의 유효 기여도를 나타냅니다.

이 공식은 오차가 가우시안의 색상과 그것이 가리는 배경 사이의 가중치 차이임을 보여줍니다. 이는 시각적 영향력에 대한 직접적인 픽셀 단위 측정을 제공합니다.

2. 효율적인 단일 패스 알고리즘

이 오차를 계산하는 나이브한 접근 방식은 각 가우시안을 반복적으로 제거하고 모든 뷰를 재렌더링해야 하므로($M \times V$ 패스), 계산 비용이 매우 높습니다. GaussianPOP은 CUDA 커널로 구현된 "한 번 렌더링 후 로컬 계산(render-once, compute-locally)" 전략을 통해 이를 해결합니다 (알고리즘 1):

• 1단계 (순방향 렌더링): 표준 순방향 패스를 통해 각 픽셀에 기여하는 가우시안의 정렬된 리스트를 생성합니다.
• 2단계 (접두사 합/Prefix Sum): 병렬 접두사 합 연산을 통해 누적 색상($P_k$)과 투과율($T_k$) 값을 계산하여 로컬에 캐싱합니다.
• 3단계 (오차 계산): 캐싱된 값과 최종 렌더링된 색상을 사용하여, 알고리즘은 재렌더링 없이 단일 패스 내에서 배경 색상 $b_{k+1}$을 분석적으로 구하고 $\Delta SE_k$를 계산합니다.

3. 단순화 프레임워크

이 프레임워크는 두 가지 별개의 적용 시나리오를 지원합니다:

• 학습 중 프루닝 (On-Training Pruning): 오차 메트릭이 학습 과정 중 프루닝 스케줄로 통합됩니다. 특정 간격마다 누적된 $\Delta SE$가 가장 낮은 가우시안들을 영구적으로 제거하며, 남은 가우시안들이 이를 보완하도록 최적화할 수 있게 합니다.
• 사후 학습 단순화 (Post-Training Simplification): 사전 학습된 모델에 적용됩니다. 한 배치(batch)의 가우시안을 제거하면 후속 가우시안들의 투과율이 변하는 "연쇄 효과(cascading effect)"를 해결하기 위해, 저자들은 반복적 재정량화(iterative re-quantification) 전략을 사용합니다. 프루닝 예산을 여러 사이클(예: 8회 사이클)로 나누어, 각 부분 프루닝 단계 이후 남은 가우시안들에 대해 오차를 재평가함으로써 안정성과 정확성을 확보합니다.

주요 기여

1. 분석적 오차 기준: 단일 가우시안 제거 시 발생하는 픽셀 오차를 분석적으로 정량화하는 기준을 유도하여, 중요도 기반 휴리스틱보다 더 정확하고 효율적인 프루닝 메트릭을 제공합니다.
2. 효율적인 계산: 모든 장면의 모든 가우시안에 대해 단일 순방향 패스로 이 오차를 계산하는 매우 효율적인 알고리즘을 도입하여, 이 메트릭을 학습 중 및 사후 학습 모두에 실용적으로 사용할 수 있게 합니다.
3. 유연한 프레임워크: 학습 중 프루닝 스케줄과 사후 학습 단순화 도구로서 모두 효과적으로 작동하는 통합된 프레임워크를 입증하였으며, 두 시나리오 모두에서 기존 방법들을 능가하는 성능을 보여주었습니다.

실험 결과

저자들은 Mip-NeRF 360, Tanks&Temples, Deep Blending 데이터셋에 대해 Compact3DGS, LightGaussian, GaussianSpa, MaskGaussian을 포함한 최신 기술(SOTA)들과 GaussianPOP을 비교 평가했습니다.

• 학습 중 성능: GaussianPOP은 경쟁 방법들과 비교하여 더 적은 수의 가우시안으로도 일관되게 우수한 PSNR 및 SSIM 점수를 달성했습니다. 예를 들어, 30k 반복 설정에서 전체 GaussianSpa 모델보다 더 압축된 모델로도 더 나은 렌더링 품질을 달شد했습니다.
• 사후 학습 성능: 사후 학습 시나리오(예: 사전 학습된 모델에서 가우시안 80%를 프루닝하는 경우)에서, GaussianPOP은 미세 조정(fine-tuning) 없이도 휴리스틱 기반 경쟁 모델들(예: LightGaussian, C3DGS)보다 현저히 높은 PSNR을 유지했습니다. 5k 반복의 미세 조정을 거친 후에는 강력한 회복력과 안정성을 보여주었습니다.
• 시각적 품질: 정성적 비교 결과, GaussianPOP은 동일한 가우시안 수에서 눈에 띄는 디테일 손실을 보이는 경쟁 방법들과 달리, 미세한 디테일(예: 자전거 바퀴 살, 질감)을 더 잘 보존했습니다.
• 복잡도: 정량화 단계는 매우 효율적입니다. 학습 중 시나리오에서 오버헤드는 무시할 만한 수준이며, 프루닝된 모델의 가속된 수렴 덕분에 전체 학습 시간은 오히려 단축됩니다. 사후 학습 시나리오에서는 반복적 재정량화가 추가적인 계산 비용(사이클당 몇 초)을 발생시키지만, 단일 샷 프루닝에 비해 실제 PSNR 오차를 크게 줄여줍니다.

의의 및 주장

본 논문은 GaussianPOP이 휴리스틱한 중요도 점수 산정에서 원칙적인 오차 정량화로의 전환을 나타낸다고 주장합니다. 렌더링 방정식을 통해 제거 시의 시각적 영향을 직접 측정함으로써, 이 방법은 모델의 압축도와 렌더링 충실도 사이에서 우수한 트레이드오프를 달성합니다.

저자들은 자신들의 접근 방식이 **범용적(general-purpose)**임을 강조합니다. 특수한 학습 과정을 처음부터 요구하는 희소성 유도 방식과 달리, GaussianPOP은 학습 루프를 수정하지 않고도 기존의 사전 학습된 3DGS 모델에 적용할 수 있습니다. 이러한 유연성과 오차 메트릭의 정확성이 결려, 고품질 렌더링을 유지하면서도 압축된 3D 표현을 생성할 수 있게 하여 3DGS 기술 배포의 핵심적인 병목 현상을 해결합니다.