기술 요약: 적응형 잔차 양자화 및 오차 보상을 통한 3D 가우시안 스플래팅 데이터 압축

1. 문제 정의

3D 가우시안 스플래팅(3DGS)은 고충실도의 실시간 신규 뷰 합성(novel-view synthesis)을 가능하게 하지만, 종종 수백만 개의 가우시안 프리미티브를 필요로 하여 상당한 저장 공간 오버헤드를 발생시킨다. 앵커 기반 표현 방식(예: Scaffold-GS)은 인근 가우시안들을 그룹화하고 앵커 특징으로부터 속성을 예측함으로써 저장 용량을 줄이지만, 고차원 앵커 특징이 여전히 병목 현상으로 남는다.

기존의 압축 방식들은 세 가지 주요 한계점에 직면해 있다:

1. 고정 깊이 양자화(Fixed-Depth Quantization): 모든 앵커에 동일한 잔차 벡터 양자화(RVQ) 깊이를 할당하는 것은 서로 다른 앵커들이 가진 다양한 왜곡 감소 잠재력을 무시하며, 이는 불필요한 코딩 비용을 초래한다.
2. 비효적인 인덱스 할당: 유클리드 거리에만 기반한 최근접 이웃 인덱스 할당은 문맥 의존적(context-dependent) 코딩 비용을 고려하지 못한다.
3. 양자화 오차 전파: 고차원 앵커 특징이 오프셋 및 스케일링과 별도로 양자화됨에 따라, 복구된 특징의 오류는 독립적으로 양자화된 속성(색상, 불투명도, 스케일, 회전)과 불일치하여 렌더링 품질을 저하시킬 수 있다. 또한, 특징 공간(feature-space)의 재구성 오차가 가시성 및 알파 합성 효과로 인해 최종 이미지 도메인의 렌더링 왜곡과 항상 상관관계를 갖는 것은 아니다.

2. 방법론: ARQEC 프레임워크

저자들은 앵커 기반 3DGS를 위한 사후 학습(post-training) 압축 프레임워크인 ARQEC(Adaptive Residual Quantization and Error Compensation)를 제안한다. 이 방법은 세 단계로 작동한다:

A. 적응형 잔차 벡터 양자화 (Adaptive Residual Vector Quantization, RVQ)

고정된 깊이 방식 대신, ARQEC는 각 앵커에 대해 양자화 깊이($d_i \in \{1, 2, 3\}$)를 적응적으로 선택하는 3단계 RVQ 프로세스를 채택한다.

• 프로세스: 앵커 특징은 세 단계의 잔차 과정을 통해 양자화된다. 각 단계의 활성화 여부는 이진 마스크(binary mask)에 의해 결정된다.
• 적응성: 시스템은 각 앵커에 대해 왜곡 감소와 코딩 비용 사이의 절충안을 평가하여, 추가 단계가 미미한 이득만을 제공할 경우 일부 앵커는 더 적은 단계를 사용하도록 허용한다.

B. 문맥 가이드 특징 복구 및 속성 적응

양자화 오차와 불일치 문제를 완화하기 위해 두 가지 모듈이 도입된다:

1. 문맥 정제기(Context Refiner): 모든 앵커가 공유하는 공간 해시 그리드(spatial hash-grid)를 활용하여 공간적 문맥을 보간한다. 이 문맥은 RVQ 이후에 남은 특징 잔차를 보상하는 데 사용된다. 정제 과정은 선택된 RVQ 깊이와 공간적 문맥에 따라 조건화되며, 이를 통해 동적인 오차 교정이 가능하다.
2. 속성 어댑터(Attribute Adapter): 오프셋과 스케일링은 HAC 스타일의 경로를 통해 독립적으로 양자화되므로, 복구된 앵커 특징이 이들과 완벽하게 일치하지 않을 수 있다. 속성 어댑터는 복구된 특징을 바탕으로 양자화된 오프셋과 스케일링을 정제하여, 속성 예측 전의 일관성을 보장한다.

C. 엔트로피 가이드 선택 및 렌더링 캘리브레이션

프레임워크는 다음과 같은 레이트-왜곡(rate-distortion) 전략을 사용하여 이산 표현(깊이 및 RV-인덱스)을 최적화한다:

1. 문맥적 엔트로피 모델: 공간적 문맥과 이전에 디코딩된 심볼을 기반으로 깊이 심볼 및 RV-인덱스의 조건부 코드 길이를 추정한다.
2. 국소 레이트-왜곡 탐색: 추정된 코딩 비용과 국소 대리 왜곡(특징, 오프셋 및 스케일링 오차) 사이의 균형을 맞추어 후보 인덱스 및 깊이 할당을 생성한다.
3. 렌더링 기반 캘리브레이션: 특징 공간의 오차가 이미지 품질을 완벽하게 예측하지 못한다는 점을 인식하여, 본 방법은 홀드아웃 캘리브레이션 뷰(held-out calibration views)에서 후보 깊이 변경 사항을 평가한다. 가시성 및 알파 합성 상호작용을 고려하여, 렌더링 레이트-왜곡 트레이드오프를 개선하는 경우에만 업데이트를 수용한다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명한다:

1. 앵커별 적응형 RVQ: 특정 왜곡 감소 및 코딩 비용에 따라 서로 다른 양자화 깊이를 활용할 수 있는 메커니즘을 도입하여 불필요한 인덱스 오버헤드를 방지한다.
2. 양자화 오차 보상: 공간적 문맥을 사용하여 특징 잔차를 복구하고, 속성 어댑터를 통해 오프셋과 스케일링을 재정렬하는 이중 메커니즘을 제안하여 렌더링에 미치는 영향을 줄인다.
3. 렌더링 캘리브레이션된 레이트-왜곡 최적화: 코딩 비용을 고려한 후보 선택과 직접적인 이미지 도메인 렌더링 캘리브레이션을 결리한 인덱스 및 깊이 선택 전략을 정립한다.
4. 성능 검증: 다양한 데이터셋에서 상당한 압축 이득을 달면서 높은 렌더링 충실도를 유지함을 입증한다.

4. 실험 결과

실험은 Mip-NeRF 360, Tanks and Temples, Deep Blending 데이터셋을 대상으로 수행되었다.

• 압축률: 바닐라 3DGS와 비교했을 때, ARQEC는 47배에서 157배에 달하는 전체 모델 압축을 달성했다.
• 베이스라인과의 비교:
  • 공간 해시 그리드 문맥을 사용하는 직접적인 베이스라인인 HAC와 비교했을 때, ARQEC는 전체 모델 크기에서 추가로 1.22배에서 1.53배의 압축을 달성했다.
  • Mip-NeRF 360의 경우, 모델 크기가 HAC의 21.34 MB에서 ARQEC의 15.32 MB로 줄어들었으며, PSNR 저하는 0.25 dB로 미미했다.
  • Deep Blending의 경우, 크기가 6.45 MB에서 4.22 MB로 감소했으며 PSNR은 0.29 dB 하락했다.
• 절제 연구(Ablation Studies):
  • **문맥 정제기(Context Refiner)**는 특징 NMAE를 크게 줄이고 PSNR을 향상시킨다.
  • **속성 어댑터(Attribute Adapter)**는 복구된 특징과 오프셋/스케일링을 정렬함으로써 공동 NMAE를 더욱 감소시킨다.
  • 적응형 깊이(Adaptive Depth) 선택은 고정 깊이 전략보다 우수함을 입증하였으며, 고정 깊이 3을 사용할 때보다 최소한의 PSNR 손실로 모델 크기를 약 0.31 MB 줄였다.
  • **렌더링 캘리브레이션(Rendering Calibration)**은 최적의 깊이를 선택하는 데 결정적인 역할을 하며, 왜곡만을 고려한 선택 전략보다 뛰어난 성능을 보였다.

5. 의의 및 주장

저자들은 ARQEC가 고차원 앵커 특징의 저장 용량 병목 현상을 효과적으로 해결한다고 주장한다. 고정 깊이 양자화를 넘어서고 특징 공간의 오차와 이미지 공간의 왜곡 사이의 단절을 무시하는 기존 방식과 달리, 이 방법은 모델의 콤팩트함과 렌더링 충실도 사이의 경쟁력 있는 트레이드오프를 달성한다.

본 논문은 기존 방식(HAC 등)이 엔트로피 코딩을 위해 공간적 문맥을 활용하는 반면, ARQEC는 특징 재구성과 속성 정제를 위해 공간적 문맥을 독특하게 활용하며, 또한 렌더링 캘리브레이션된 최적화 루프를 도입한다는 점을 강조한다. 이를 통해 장면 표현을 처음부터 다시 학습하지 않고도 현재의 최첨단 방식들보다 앵커 기반 표현을 훨씬 더 많이 압축할 수 있는 프레임워크를 구축하였다. 저자들은 이를 디지털 트윈, VR, 몰입형 미디어 등의 응용 분야를 위한 보다 효율적인 저장 및 전송을 향한 단계로 제시한다.