Eulerian Gaussian Splatting using Hashed Probability Pyramids

기술 요약: 해시 확률 피라미드를 사용한 오일러형 가우스 스플래팅

문제 제기
현재의 3D 가우스 스플래팅 (3DGS) 방식은 이산적인 가우스 원시 (primitive) 로 장면을 표현함으로써 실시간 렌더링을 달성합니다. 그러나 이러한 장면을 최적화하는 과정은 훈련 중에 원시를 추가하거나 제거하기 위해 수동으로 조정된 휴리스틱 (예: 분할, 복제, 제거) 의 집합인 "적응형 밀도 제어 (Adaptive Density Control, ADC)"에 의존합니다. 이러한 휴리스틱은 취약할 수 있으며 비최적의 국소 최소값으로 이어질 수 있습니다. 반면, 신경 방사선 필드 (NeRF) 는 경사 하강법을 통해 연속적인 체적 밀도를 최적화하여 더 큰 안정성을 제공하지만 렌더링 속도가 느리다는 단점이 있습니다. 본 논문은 휴리스틱 원시 조작의 필요성을 제거하면서 3DGS 의 렌더링 효율성을 유지하고 연속 필드의 원칙적인 경사 기반 최적화를 채택하는 프레임워크의 필요성을 다룹니다.

방법론
저자들은 명시적으로 원시를 이동하는 라그랑주 관점에서 장면 부피에 대한 확률 밀도 함수를 최적화하는 오일러 관점으로 전환하는 확률론적 프레임워크인 **오일러형 가우스 스플래팅 (Eulerian Gaussian Splatting, EGS)**을 제안합니다.

1. 확률론적 렌더링 모델:
   개별 가우스 위치를 최적화하는 대신, EGS 는 3D 공간에 대한 체적 확률 밀도 함수 $p_\theta(\mu)$를 정의합니다. 각 훈련 반복 단계에서 이 분포로부터 $N$개의 이산적인 가우스 중심 $\mu_i$ 집합이 샘플링됩니다. 이렇게 샘플링된 중심들은 표준 3DGS 래스터화를 사용하여 렌더링됩니다. 손실 함수는 기반 확률 분포의 매개변수 $\theta$와 가우스 속성 $\phi$(색상, 크기, 회전, 불투명도) 를 최적화함으로써 최소화됩니다.

2. 해시 확률 피라미드:
   비현실적인 메모리 증가 없이 고해상도에서 확률 밀도 $p_\theta(\mu)$를 효율적으로 표현하기 위해, 저자들은 **해시 확률 피라미드 (Hashed Probability Pyramid)**를 도입합니다.

   • 구조: 이는 $L$개의 레벨에 걸쳐 조각별 상수 함수들의 곱으로 매개변수화된 확률 밀도를 갖는 다중 스케일 계층적 그리드입니다.
   • 메모리 효율성: 매개변수의 3 차원적 증가를 피하기 위해 해시 인코딩을 사용합니다. 각 레벨에서 그리드는 제한된 예산 ($B$) 의 $2\times2\times2$ 블록으로 타일링됩니다. 해시 함수는 그리드 인덱스를 이러한 블록에 매핑하여, 고해상도 분포 (예: $4096^3$) 를 컴팩트한 매개변수 집합 (약 8,600 만 개의 매개변수, $4096^3$ 그리드의 경우 0.33GB 만 필요) 으로 표현할 수 있게 합니다.
   • 샘플링: 샘플링은 거친 레벨에서 정교한 레벨로 계층을 탐색하여 효율적으로 수행됩니다. 결정론적 소수 부분 함수를 통해 레벨 간 무작위 샘플을 연결함으로써 과정은 엔드투엔드 미분 가능하게 만들어집니다.

3. 경사 추정 및 분산 감소:
   확률적 경사 하강법을 통해 분포를 최적화하면 높은 분산이 발생합니다. 샘플링 과정을 통한 자동 미분을 사용하는 표준 경로 추정기 (pathwise estimator) 는 불안정한 것으로 밝혀졌습니다.

   • 통제 변수 (Control Variates): 저자들은 점수 함수 (score function) 기반의 편향 없는 경사 추정기를 유도하고, 이를 통제 변수로 강화했습니다.
   • 핵심 통찰: 특정 샘플의 경사 기여도는 렌더링된 이미지에 대한 그 개별적인 영향으로 가중치가 부여됩니다. 구체적으로, 전체 이미지 $I$와 $i$번째 가우스 없이 렌더링된 이미지 $I_{-i}$ 사이의 차이가 사용됩니다.
   • 효율성: 중요한 점은 논문이 $(I - I_{-i})$가 표준 역전파 (backward pass) 동안 불투명도 $o_i$와 불투명도에 대한 손실의 경사 ($\partial I / \partial o_i$) 에서 직접 계산될 수 있음을 증명한다는 것입니다. 이는 $M$개의 별도 이미지를 렌더링하는 계산 비용을 피하면서도 경사 분산을 크게 감소시킵니다.

4. 훈련 전략:

   • 방어적 샘플링 (Defensive Sampling): 훈련 초기에 일부 샘플에 가우스 잡음을 추가하여 나중에 중요해질 수 있는 영역에서 확률 밀도가 0 으로 붕괴되는 것을 방지합니다.
   • 샘플 반올림: 샘플 위치를 가장 정교한 그리드 빈의 중심으로 반올림하여 미세한 위치 이동으로 인한 분산을 줄입니다.
   • 중복 제거: 반올림으로 인해 발생하는 중복 샘플을 렌더링 전에 제거하여 모델이 최적화됨에 따라 가우스 수를 자연스럽게 가지치기합니다.
   • 정제 (Refinement): 확률 및 속성 그리드를 최적화한 후, 최종 정제 단계에서 샘플링된 가우스의 이산 집합에 대해 5,000 회 반복 표준 경사 기반 최적화를 실행합니다.

주요 기여

• 오일러형 공식화: 이산적인 가우스 배치를 지배하기 위해 연속 확률 필드를 최적화함으로써 NeRF 와 3DGS 를 연결하는 새로운 접근법으로, 휴리스틱 밀도 제어의 필요성을 제거합니다.
• 해시 확률 피라미드: 단일 GPU 에서 고해상도 최적화를 가능하게 하는 메모리 효율적이고 전역적으로 정규화된 다중 스케일 3D 확률 밀도 표현법.
• 저분산 경사 추정기: 각 가우스가 렌더링된 이미지에 기여하는 바를 분리하여 표준 경로 추정기의 높은 분산 없이 확률 분포의 안정적인 훈련을 가능하게 하는 통제 변수 기반 추정기.
• 휴리스틱 없는 훈련: 이 방법은 구조 운동 (SfM) 점이나 수동 조정된 분할/제거 규칙에 의존하지 않고 균일한 무작위 초기화에서 시작하여 최첨단 결과를 달성합니다.

결과
이 방법은 mip-NeRF 360, Tanks & Temples, Deep Blending 데이터셋에서 평가되었습니다.

• 성능: EGS 는 무작위로 초기화된 모델들 사이에서 최첨단 재구성 품질을 달성하여, 3DGS-MCMC 및 Taming-3DGS 와 같은 베이스라인을 전체 PSNR 측면에서 능가합니다.
• SfM 기반 방법과의 비교: COLMAP 점으로 초기화된 모델들이 일반적으로 약간 더 좋은 성능을 보이지만, 무작위 초기화에서 시작하는 EGS 는 이 격차의 상당 부분을 해소하여 견고성을 입증합니다.
• 절차 제거 연구 (Ablation Studies): 사용자 정의 경사 추정기가 가장 중요한 구성 요소로 확인되었습니다. 이를 사용하지 않으면 훈련이 불안정해지고 열악한 결과로 수렴합니다. 불투명도 정규화와 방어적 샘플링 또한 상당한 안정성 이점을 제공합니다.
• 효율성: 많은 수의 샘플과 해시 그리드 쿼리로 인해 훈련 과정은 표준 3DGS 보다 느리고 메모리 집약적이지만, 최종 렌더링 속도는 3DGS 와 비교 가능한 수준을 유지합니다.

의의
본 논문은 EGS 가 연속 필드 최적화와 이산 가우스 렌더링 사이의 "원칙적인 다리"를 제공한다고 주장합니다. 취약한 휴리스틱을 학습 가능한 확률 분포로 대체함으로써, 이 프레임워크는 장면 기하학이 순수하게 경사 단서로부터 나타나도록 허용합니다. 이는 사전 기하학적 초기화 (SfM) 나 수동 개입 없이 다양한 장면에서 일반화되는 단순한 엔드투엔드 훈련 절차를 가능하게 하며, 샘플링 기반 공식이 스플랫 기반 렌더링의 효율성을 유지하면서 고품질 재구성을 달성할 수 있음을 입증합니다.