QIRF Quantum-Inspired Non-Orthogonal Function-Space Compression for 3D Gaussian Splatting

기술 요약: QIRF - 3D 가우시안 스플래팅을 위한 양자 영감을 받은 비직교 함수 공간 압축

문제 정의

3D 가우시안 스플래팅(3DGS)은 명시적인 이방성 가우시안 프리미티브(anisotropic Gaussian primitives)로 장면을 표현함으로써 고품질의 실시간 렌더링을 달성합니다. 그러나 적응형 밀집화(adaptive densification) 과정은 복잡한 장면에 대해 수백만 개의 프리미티브를 생성할 수 있으며, 이는 상당한 저장 공간 오버헤드(원시 PLY 형식 기준 수백 메가바이트에서 기가바이트 단위)와 증가된 렌더링 비용을 초래합니다.

기존의 압축 방식은 주로 다음을 통해 이를 해결합니다:

1. 프리미티브별 프루닝(Primitive-wise pruning): 불투명도, 가시성 또는 그래디언트에 기반하여 독립적인 중요도 점수를 할당합니다.
2. 속성 압축(Attribute compression): 가우시안 파라미터의 양자화 및 엔트로피 코딩.

본 논문은 이러한 방식들이 가우시안을 독립적인 개체로 취급하며, 서로 강력하게 중첩되는 비직교 가우시안 기저 함수(basis functions)에 의해 발생하는 **함수적 중복성(functional redundancy)**을 명시적으로 모델링하지 못한다는 핵심적인 간극을 식별합니다. 두 가우시안은 각각 높은 개별 중요도 점수를 가질 수 있음에도 불구하고, 근처의 동일한 국소 장면 함수를 거의 동일하게 점유하여 밑바탕이 되는 복사 휘도장(radiance field) 내에서 중복된 정보를 나타낼 수 있습니다.

방법론

저자들은 QIRF(Quantum-Inspired Non-Orthogonal Function-Space Compression, 양자 영감을 받은 비직교 함수 공간 압축)를 제안하며, 장면 압축을 **국소 비직교 기저 축소 문제(local non-orthogonal basis-reduction problem)**로 재정의합니다. 양자 화학(특히 Roothaan-Hall 정식화 및 자연 궤도 분석)의 비직교 기저 분석에서 영감을 얻은 이 방법은 다음과 같이 작동합니다:

1. 적응형 분할(Adaptive Partitioning):
   장면을 국소 복셀 블록으로 나눕니다. 안정적인 국소 부분 공간 추정을 보장하기 위해 초기 분할의 희소성에 따라 복셀 크기를 적응적으로 선택합니다.

2. 국소 함수 공간 모델링(Local Function-Space Modeling):
   각 블록 내에서 인접한 가우시안들을 중첩되는 비직교 기저 함수로 취급합니다. 두 가지 행렬이 구축됩니다:

   • 가우시안 중첩 행렬 ($S$): 인접한 가우시안 기저 사이의 함수적 유사성(공간적 중첩)을 측정하는 해석적 행렬입니다.
   • 복사 응답 밀도 행렬 ($P$): 렌더링 및 최적화 응답을 집계하는 행렬입니다. 이는 렌더링 기여도(가시성, 합성된 기여도 등)와 최적화 그래디언트(위치, 스케일, 불투명도, 외관)를 지수 이동 평균을 사용하여 결합합니다.

3. 일반화된 자연 장면 궤도(GNSO) 분석:
   QIRF는 다음과 같은 일반화된 고유값 문제를 해결합니다:
   $$P u_k = \lambda_k S u_k$$
   표준 PCA가 직교 기저를 가정하는 것과 달리, 이 정식화는 중첩 행렬 $S$를 국소 기저 공간의 메트릭으로 명시적으로 포함합니다. 고유벡터($u_k$)는 일반화된 자연 장면 궤도를 정의하며, 고유값($\lambda_k$)은 각 모드의 점유 강도를 나타냅니다.

   • 부분 공간 선택(Subspace Selection): 누적 에너지 임계값(예: 95%)을 보존하는 최소한의 모드 수를 유지함으로써 지배적인 국소 함수 부분 공간을 식별합니다.
   • 프리미티브 선택(Primitive Selection): 유지된 모드들에 대한 참여 점수를 기반으로 대표 가우시안을 선택합니다.

4. 세부 사항 인지 보호(Detail-Aware Safeguarding):
   공격적인 프루닝 과정에서 고주파 세부 사항(얇은 구조, 폐쇄 경계)이 손실되는 것을 방지하기 위해 보호 단계가 적용됩니다. 비활성 가우시안은 그래디언트 응답, 가시성, 스케일 및 불투명도를 기준으로 점수가 매겨집니다. 고득점을 받은 비활성 가우시안의 작은 비율(예: 상위 5%)이 GNSO 선택 세트와 함께 유지됩니다.

5. 프루닝 후 최적화(Post-Pruning Optimization):
   선택된 프리미티브는 밀집화(densification)를 비활성화한 상태로 미세 조정(fine-tuning)됩니다. 품질 저하를 보상하기 위해 추가적인 재구성 손실(reconstruction loss)이 도입되어 고정된 카디널리티 표현을 보장합니다.

주요 기여

1. 정식화: 중첩되는 프리미티브 간의 함수적 중복성을 명시적으로 모델링하여, 압축된 3DGS를 국소 비직교 기저 축소 문제로 정식화했습니다.
2. 알고리즘: 중첩 행렬과 복사 응답 밀도 행렬의 일반화된 고유값 분해를 사용하는 부분 공간 인식 선택법을 도입했습니다.
3. 전략: 공격적인 압축 하에서도 시각적으로 중요한 구조를 보존하기 위한 세부 사항 인지 보호 메커니즘을 개발했습니다.
4. 성능: 실험을 통해 재구성 품질을 유지하거나 약간 개선하면서 저장 공간 및 렌더링 비용을 크게 줄임을 입증했습니다.

실험 결과

Mip-NeRF 360, Tanks&Temples, Deep Blending의 13개 장면에 대해 평가되었습니다:

• 압축률: QIRF는 가우시안 개수와 원시 PLY 저장 공간을 평균 71.7% 감소시켜, 약 3.54배의 압축을 달ت합니다.
• 품질: 표준 3DGS와 대등한 재구성 품질을 유지하며, 평균 PSNR은 0.10 dB 소폭 향상되었습니다.
• 렌더링 속도: 프리미티브 수를 줄임으로써 QIRF는 바닐라 3DGS 대비 평균 렌더링 속도를 34.3% 개선했습니다(단, MaskGaussian과 같은 고도로 최적화된 렌더링 전용 방식보다는 느린 것으로 언급됨).
• 저장 공간: 비교된 방법들 중 가장 작은 원시 PLY 크기를 달성했습니다(예: Mip-NeRF 360에서 MaskGaussian의 287.38 MB 대비 224.96 MB).
• 절제 연구(Ablation): 연구를 통해 일반화된 고유 공간 정식화가 일반적인 고유 공간 선택보다 우수하며, 세부 사항 인지 보호가 최소한의 저장 공간 오버헤드로 SSIM 및 LPIPS 지표를 크게 개선함을 확인했습니다.

의의 및 주장

본 논문은 비직교 함수 공간 중복성이 명시적 가우시안 복사 휘도장에서 발생하는 중요하면서도 아직 충분히 탐구되지 않은 표현 중복의 원천이라고 주장합니다. 관점을 독립적인 프리미티브 점수 산정에서 함수 공간 축소 문제로 전환함으로써, QIRF는 속성 최적화 전에 중복된 기저 함수를 제거하는 원칙적인 방법을 제공합니다.

저자들은 QIRF를 기존의 프루닝 및 속성 압축 방법과 상호 보완적인 관계로 위치시킵니다. 또한 현재 프레임워크가 프리미티브 수준의 중복성에 집중하고 있으며, 효율성을 더욱 높이기 위해 속성 양자화나 특화된 희소 래스터화 커널을 통합하는 것은 향후 과제로 남겨두었다는 한계점을 인정합니다.