기술 요약: Flux-GS: 모바일 3D 가우시안 스플래팅을 위한 몬테카를로 에너지 집계

1. 문제 정의

최근 3D 가우시안 스플래팅(3DGS)의 발전은 데스크톱 하드웨어에서의 새로운 시점 합성(novel view synthesis)과 실시간 렌더링에 혁신을 가져왔습니다. 그러나 자원이 제한된 모바일 플랫폼에 3DGS를 배포하는 데에는 두 가지 주요 병목 현상이 존재합니다:

1. 고차 구면 조화 함수(SH) 오버헤드: 표준 3DGS는 시점 의존적 휘도를 포착하기 위해 3차 SH(프리미티브당 48개의 부동 소수점 파라미터)를 사용합니다. 수백만 개의 가우시안으로 확장될 때, 이는 과도한 저장 공간 요구량과 래스터화 과정에서의 메모리 대역폭 소비를 초래합니다.
2. 중복 프리미티브: 기존의 경량화 변형 모델들은 종종 단일 시점 기반의 그래디언트 기반 밀집화(densification)에 의존합니다. 이러한 방식은 과도한 수의 프리미티브를 생성하여 특정 시점에 대한 과적합(overfitting)을 유발하고, 훈련 시간을 증가시키며, 저장 용량을 키워 에지 디바이스에 부적합하게 만듭니다.

2. 방법론: Flux-GS

저자들은 높은 충실도의 렌더링을 달 수 있도록 설계된 실시간 가우시안 스플래팅 방식인 Flux-GS를 제안합니다. 이 프레임워크는 세 가지 핵심 기술 혁신에 기반합니다:

A. 몬테카를로 경사 에너지 집계기 (MC-SEA)

SH 저장 병목 현상을 해결하기 위해, Flux-GS는 값비싼 증류(distillation)나 사전 학습 없이 3차 휘도 정보를 압축된 1차 SH 표현으로 압축합니다.

• 메커니즘: 이 방법은 시점 의존적 에너지가 각도 영역에서 희소하다는 점에 주목합니다. 고차 잔차(high-order residuals)를 단순히 버리는 대신, 몬테카를로 투영을 사용하여 균일한 구체 상에서 3차 휘도 잔차를 샘플링합니다.
• 집계: 이 잔차들로부터 1차 방향 모멘트를 추출하여, 두 개의 압축된 잠재 기술자(latent descriptors)인 **에너지 크기($E_{mag}$)**와 **방향($E_{dir}$)**으로 집계합니다.
• 매핑: 경량 MLP는 정규화된 가우시안 위치를 조건으로 하여, 이 집계된 잠재 변수들을 매핑함으로써 1차 SH 계수를 예측합니다.
• 이점: 이를 통해 모델은 복잡한 조명 특성을 보존하면서도 중복되는 고차 SH 계수를 제거할 수 있으며, SH 저장량을 채널당 48개에서 4개로 줄입니다.

B. 속성 조건부 SH 강화 (Attribute-Conditioned SH Enhancement)

고차에서 저차 SH로의 압축 과정에서 손실된 미세한 디테일을 복구하기 위해, 저자들은 강화 모듈을 도입합니다.

• 메커니즘: 경량 MLP는 가우시안의 고유 속성(위치, 스케일, 회전, 불투명도 및 기본 SH)을 바탕으로 1차 SH 계수에 대한 잔차 오프셋($\Delta c$)을 예측합니다.
• 제로 추론 오버헤드: 결정적으로, 이러한 오프셋은 추론 전 가우시안의 명시적 파라미터에 **정적으로 베이크(statically baked)**됩니다. 렌더링 파이프라인 중에 신경망을 사용하는 기존 방식과 달리, Flux-GS는 렌더링 전 오직 한 번만 오프셋을 디코딩하므로 추론 시 추가적인 계산 비용이 발생하지 않습니다.

C. 다중 시점 알파 기반 밀집화 및 프루닝 (Multi-view Alpha-based Densification and Pruning)

단일 시점 전략의 고질적인 문제인 과도한 프리미티브 생성과 과적합을 완화하기 위해, Flux-GS는 다중 시점 가이드 최적화 전략을 도입합니다.

• 층화 카메라 샘플링: 훈련 카메라 세트를 각도 빈(bin)으로 분할하여 각도 분산이 최대화되는 대표 시점을 선택함으로써 포괄적인 기하학적 커버리지를 보장합니다.
• 알파 가중치 오차 누적: 단일 시점 그래디언트에만 의존하는 대신, 이 방법은 여러 시점에 걸쳐 알파 기여도와 광도 오차를 누적합니다.
• 밀집화 및 프루닝:
  • 밀집화(Densification): 프리미티브는 여러 시점에서 일관되게 높은 오차 영역에 기여하는 경우에만 복제되거나 분할됩니다. 이는 단일 시점의 폐쇄(occlusion) 현상에 대한 과적합을 방지합니다.
  • 프루닝(Pruning): 잘 재구성된 영역의 중복 프리미티브는 다중 시점 알파 기여도에서 유도된 프루닝 점수를 기준으로 식별되어 제거되며, 이를 통해 더 압축된 표현을 보장합니다.

3. 주요 기여

1. 몬테카를로 경사 에너지 집계기: 교사-학생 증류(teacher-student distillation) 없이도 방향 모멘트 추출을 통해 3차 SH 에너지를 저차 부분 공간으로 압축하는 새로운 방법을 제시했습니다.
2. 제로 코스트 SH 강화: 예측된 오프셋을 가우시안 파라미터에 정적으로 베이크하여 저차 SH 표현을 정교화함으로써, 추론 시 신경망 오버헤드를 피하는 속성 조건부 모듈을 개발했습니다.
3. 다중 시점 알파 기반 밀집화/프루닝: 다중 시점 일관성을 활용하여 프리미티브 예산을 정밀하게 제어함으로써, 단일 시점 그래디언트 방식보다 중복 가우시안을 줄이고 구조적 일관성을 향상시키는 전략을 제안했습니다.
4. 교차 플랫폼 렌더링: 외부 의존성 없이 웹 브라우저에서 원활한 실시간 렌더링을 가능하게 하는 WebGL 기반 렌더링 프레임워크를 구현하였으며, 비동기 깊이 정렬(asynchronous depth sorting)을 통해 120 FPS 디스플레이 제한을 돌파했습니다.

4. 실험 결과

저자들은 Snapdragon 8 Gen 3 GPU가 탑려된 모바일 기기에서 Mip-NeRF 360, Tanks & Temples, Deep Blending 데이터셋을 사용하여 Flux-GS를 평가했습니다.

• 저장 효율성: Flux-GS는 장면당 약 1.6 MB ~ 2.4 MB의 저장 용량을 달성하며, 이는 Mobile-GS(~3.5 MB) 및 3DGS(수백 MB)보다 현저히 낮습니다.
• 렌더링 속도: 모바일 하드웨어에서 Flux-GS는 137–151 FPS를 달성하여, Mobile-GS(114–131 FPS) 및 3DGS(실시간 렌더링에 실패하거나 양자화를 통해 FPS가 ~11로 떨어지는 경우가 많음)를 능가합니다.
• 시각적 품질: Flux-GS는 Mobile-GS 및 3DGS와 대등한 수준의 경쟁력 있는 PSNR(예: Mip-NeRF 360에서 30.22)을 유지하면서도, 다른 경량화 변형 모델들보다 고주파 디테일과 구조적 에지를 더 잘 보존합니다.
• 훈련 효율성: 효율적인 다중 시점 밀집화 전략 덕분에 최적화 과정 중 프리미티브 수를 최소화하여 훨씬 빠르게 수렴합니다(예: Mobile-GS의 86분 이상 대비 약 11분).
• 절제 연구(Ablation Studies): MC-SEA 또는 SH 오프셋을 제거하면 품질이 저하되는 반면, 다중 시점 전략을 제거하면 저장 용량이 급증하고 FPS가 감소하여 모든 구성 요소의 필요성을 입증했습니다.

5. 의의 및 주장

본 논문은 Flux-GS가 고충실도 3D 장면 표현과 엄격한 하드웨어 제약 사이의 간극을 성공적으로 메움으로써, 실시간 모바일 렌더링을 위한 강력하고 확장 가능한 솔루션을 제공한다고 주장합니다.

• 증류 없는 효율성: 무거운 오프라인 증류나 사전 학습에 의존하는 기존의 경량화 방식과 달리, Flux-GS는 직접적인 몬테카를로 집계를 통해 압축을 달성하여 훈련 부담을 크게 줄였습니다.
• 하드웨어 인지 설계: 강화를 정적으로 베이크하고 1차 SH를 활용함으로써, 고충실도 렌더링이 추가적인 추론 지연을 초래하지 않도록 설계되어 에지 디바이스에 적합합니다.
• 확장성: 다중 시점 일관성 전략은 프리미티브 감소가 구조적 무결성의 손실로 이어지지 않도록 보장하여, 일반적인 모바일 하드웨어에서도 고품질의 새로운 시점 합성을 가능하게 합니다.

저자들은 결론적으로 Flux-GS가 데스크톱급 3DGS와 대등한 시각적 충실도를 유지하면서도 저장 효율적이고 계산적으로 가벼운 방법을 제공함으로써, 일상적인 하드웨어에서의 공간 컴퓨팅을 진전시킨다고 밝히고 있습니다.