Clustered Codebook Quantization for 2D Gaussian-based Image Compression

기술 요약: 2D 가우시안 기반 이미지 압축을 위한 클러스터형 코드북 양자화

문제 정의

Zhang 등[2025a]이 제안한 가우시안 기반 이미지 표현 방식은 고도의 시각적 충실도와 해상도 독립적 렌더링을 달로하기 위해 압축된 파라미터 프리미티브(2D 가우시안)를 사용하여 이미지 콘텐츠를 모델링합니다. 그러나 각 프리미티브에 필요한 방대한 양의 비제한적 부동 소수점 파라미터(위치, 회전-스케일, 색상)를 저장하는 것은 특히 고충실도 목표에서 속도-왜곡 효율성을 크게 저하시킵니다.

이전 연구(GI)는 이러한 속성들을 이산적 코드북으로 압축하기 위해 전역 벡터 양자화(VQ) 및 잔차 벡터 양자화(RQ)를 사용하는 방식으로 이를 해결하려 시도했으나, 단일 전역 코드북은 자연 이미지 파라미터의 거대한 분산을 매핑하는 데 어려움을 겪습니다. 이러한 용량 제한은 필연적으로 양자화 오류와 시각적 아티팩트를 초래합니다. 핵심 과제는 가우시안 재구성을 정확하게 유지하면서 코드북 효율성을 높이기 위해 파라미터 엔트로피를 제한하는 것입니다.

방법론: 클러스터 가이드 벡터 양자화 (CGVQ)

저자들은 CGVQ를 제안하며, 이는 양자화 전에 2D 가우시안 프리미티브를 균질한 그룹으로 분할하는 방법입니다. 기본 원리는 고정된 코드북 용량에 대해, 파라미터 분포가 좁을수록 더 나은 양자화 결과를 얻을 수 있다는 것입니다.

1. 클러스터링 전략

코드북 학습 전, 본 방법은 특징 유사성을 기반으로 2D 가우시안 프리미티브를 그룹화합니다:

• 특징 벡터: 각 프리미티브 $G_i$에 대해 회전($r_i$), 스케일($s_i$), RGB 색상($c_i$) 속성을 결합하여 특징 벡터 $f_i$를 구성합니다.
• 위치 제외: 2D 위치($\mu_i$)는 클러스터링 특징에서 의도적으로 제외됩니다. 이는 위치에 기반한 그룹화가 기하학적 충실도를 저해할 수 있고, 공간적 정확도에 매우 민감하기 때문입니다.
• 프로세스: 정규화된 특징들은 내부 클러스터 분산을 최소화하도록 $K$개의 서로 소인 클러스터로 분할됩니다. 클러스터 수 $K$는 재구성 충실도와 압축 효율성 사이의 균형을 맞추기 위해 수동으로 선택됩니다(통상 4에서 16 사이).
• 일관성: 클러스터링은 초기 학습이 수렴한 후 한 번 수행되며, 결과적인 클러스터 할당은 모든 파라미터별 양자화기에 공유됩니다.

2. 클러스터별 코드북 학습

단일 전역 코드북 대신, CGVQ는 각 속성 유형의 뚜렷한 통계적 특성을 활용하기 위해 클러스터당 세 개의 독립적인 코드북을 학습합니다:

1. 위치 ($\mu$): "Straight-Through" FakeVQ 추정자를 사용하는 16비트 부동 소수점 양자화 인식 학습(QAT)으로 모델링됩니다.
2. 회전-스케일 (RS): 균등 벡터 양자화(UQ) 코드북을 사용하여 모델링됩니다.
3. 색상 ($c$): 미세한 잔차 정밀도를 위해 잔차 벡터 양자화(RQ) 코드북으로 모델링됩니다.

이 코드북들은 공동 손실 함수 $L = L_{recon} + L_{vq}$를 최소화함으로써 엔드 투 엔드로 학습됩니다. 재구성 손실($L_{recon}$)은 픽셀 단위 $L_1$ 손실과 특징 공간에서의 지각적 $L_1$ 손실을 결합하며, $L_{vq}$는 인코더 출력을 할당된 코드북 항목으로 정규화하는 커밋먼트(commitment) 손실 역할을 합니다.

3. 디코딩 파이프라인

디코딩 중에 각 압축된 클러스터는 독립적으로 처리됩니다:

• 양자화 인덱스는 세 가지 전용 코드북(위치를 위한 FP16, RS를 위한 UQ, 색상을 위한 RQ)에서 값을 조회하는 데 사용됩니다.
• 모든 $K$개 클러스터에서 디코딩된 프리미티브는 렌더링을 위해 하나의 가우시안 집합으로 구성됩니다.
• 비트레이트 감소: 최종 비트레이트를 더욱 줄이기 위해 양자화 인덱스 테이블에 부분 비트 백 인코딩(Partial Bits Back Encoding)이 적용됩니다.

주요 기여

1. 분할 양자화: 전역 양자화 전략을 적용하는 대신, 양자화 전에 2D 가우시안 프리미티브를 저분산 그룹으로 분할하는 CGVQ를 제안했습니다.
2. 국소적 코드북: 국소화된 클러스터별 코드북이 전역 코드북 베이스라인보다 우수한 압축-충실도 트레이드오프를 제공하여, 동일한 비트레이트에서 PSNR과 SSIM을 개선함을 입증했습니다.
3. 클러스터링 최적화: 가우시안 표현의 향후 코드북 양자화를 최적화하기 위한 방향으로서 K-Means 클러스터링의 잠재력을 강조했습니다.

실험 결과

Kodak 데이터셋을 대상으로 10K에서 25K 범위의 가우시안 프리미티브를 사용하여 실험을 진행했습니다.

• 속도-왜곡 성능: CGVQ는 GI 베이스라인을 일관되게 능가합니다. 유사한 재구성 충실도(약 31.0 dB)에서, CGVQ는 GI(2.40 bpp) 대비 20% 감소된 bpp(1.92 bpp)를 달성합니다.
• 고충실도 영역: CGVQ의 이점은 고품질 영역(30 dB 이상)에서 가장 두드러지며, 이 영역에서 더 높은 PSNR과 강력한 구조적 유사도(SSIM)를 유지합니다.
• 파라미터 효율성: 15K 프리미티브를 고정했을 때, CGVQ는 GI 대비 1.68 dB 향상된 PSNR을 보여줍니다. 또한, 15K 프리미티브를 가진 CGVQ는 19K 프리미티브를 가진 GI와 대등한 시각적 품질을 달성하며, 이는 필요한 프리미티브 수를 21% 감소시킨 결과입니다.
• 계산적 트레이드오프: 클러스터 수($K$)를 늘리면 압축 품질은 향상되지만 실행 시간 오버헤드가 발생합니다. $K$가 1에서 16으로 증가함에 따라 인코딩 FPS는 $2.91 \times 10^{-2}$에서 $1.9 \times 10^{-3}$으로, 디코딩 FPS는 133.3에서 33.3으로 떨어집니다.

의의 및 주장

본 논문은 CG-VQ가 좁은 파라미터 분포가 더 정확하게 양자화되기 쉽다는 원리를 활용하여 2D 가우시안 프리미티브의 저장 비용 문제를 효과적으로 해결한다고 주장합니다. 외관과 이방성(anisotropy)을 기준으로 프리미티브를 균질한 클러스터로 분할함으로써, 이 방법은 국소화된 멀티 코드북 설계가 전역적 접근 방식보다 고주파 세부 사항을 더 정밀하게 포착할 수 있도록 파라미터 분산을 제한합니다.

저자들은 본 연구를 GI 프레임워크의 확장으로 규정하며, 속도-왜곡 성능을 개선하는 더 효율적인 양자화 전략을 제공합니다. 그러나 이들은 명시적으로 트레이드오프를 인정합니다: 클러스터링이 정교해질수록 압축 품질은 향상되지만, 이는 인코딩 및 디코딩 속도의 저하를 수반합니다. 이 방법은 시각적 충실도와 계산 효율성 사이의 균형을 맞추며 가우시안 기반 이미지 압축을 위한 코드북 양자화를 최적화하는 단계로 제시됩니다.