💻 computer science

Clustered Codebook Quantization for 2D Gaussian-based Image Compression

本文引入了聚类引导的向量量化（Cluster-Guided Vector Quantization, CGVQ），该方法在量化之前将高斯参数划分为同质组，从而在保持与基准方案相当的 2D 高斯基础图像压缩视觉质量的同时，实现了每像素比特数 20% 的降低。

原作者： Runze Cheng, Yicheng Zhan, Josef Spjut, Kaan Akşit

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Runze Cheng, Yicheng Zhan, Josef Spjut, Kaan Akşit

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一幅由数百万个微小的、发光的椭圆形贴纸（称为“2D 高斯原语”）组成的海量、高分辨率数字绘画。每个贴纸都有特定的指令，规定了它们应该坐在哪里、有多大、如何旋转以及发出什么颜色的光。这种方法在制作看起来锐利且逼真的图像时表现出色，但有一个问题：存储每一个贴纸的确切指令需要占用巨大的数字空间，就像试图把一座图书馆装进你的背包一样。

这篇论文介绍了一个被称为 CGVQ（聚类码本量化）的新技巧，旨在在不损失图像质量的前提下缩小这个背包。以下是它的工作原理，使用简单的类比：

问题：一种规格并不适合所有人

此前，为了节省空间，研究人员尝试将所有贴纸都强行塞进一个单一的、巨大的“指令字典”（全局码本）中。想象一下，如果你试图用仅仅 1,000 个词汇来描述城市里的每一种物体——从一只小蚂蚁到一座摩天大楼——你只能使用非常模糊的词汇，比如“大东西”或“小东西”。这会导致描述不准确，从而导致图像变得模糊或出现“伪影”（奇怪的故障），因为字典不够具体。

解决方案：按风格分类

作者的新想法是在尝试压缩之前，先将贴纸进行分组。

分类（K-Means 聚类）： 想象你有一盒混杂在一起的乐高积木。与其试图一次性描述所有的积木，不如先把它们分成堆：一堆是红色积木，一堆是蓝色积木，一堆是微小的 1x1 积木，还有一堆是巨大的 4x4 积木。在论文中，他们根据贴纸的“个性”——即它们如何旋转、有多大以及是什么颜色——对图像贴纸进行分类。
专门的字典（集群特定码本）： 一旦贴纸被分成了这些整齐的堆，系统就会为每一堆创建一个小型、专门的字典。
- “红色积木”堆会得到一个充满各种精确红色色调的字典。
- “微小积木”堆会得到一个包含精确微小尺寸的字典。
- 因为每个字典只需要描述一种类型的贴纸，所以它可以更加精确，并且可以使用更少的词汇（比特）来完成工作。

结果：更小的背包，同样的画面

通过使用这些专门的字典，系统可以更高效地描述图像。

结论： 论文指出，与之前的最佳方法 (GI) 相比，该方法将文件大小缩减了约 20%，同时保持图像同样清晰。
权衡： 这也存在一个小小的代价。对贴纸进行分组并管理多个字典需要多花一点时间来处理。论文提到，随着他们使用的分组越多（为了获得更好的质量），保存和加载图像的速度就会变慢。这是一个在你想让文件多小与你想多快打开它之间的权衡。

简而言之

把它想象成在为旅行打包。

旧方法： 你把所有东西扔进一个巨大的手提箱，然后试图给它贴上“物品”的标签。它既重又乱。
新方法 (CGVQ)： 你把衣服分成“衬衫”、“裤子”和“鞋子”，然后把它们分别装进大小合适的袋子里。你可以用更小的总空间装下同样多的东西，而且你能更快地找到所需物品（尽管开始时的分类需要一点时间）。

论文证明了，通过先将图像数据组织成相似的组，可以在不使图像看起来模糊的情况下，显著压缩图像。

技术摘要：用于基于 2D 高斯图像压缩的聚类码本量化

问题陈述

基于高斯的图像表示（如 Zhang 等人 [2025a] 所提出的）使用紧凑的参数化原语（2D 高斯）对图像内容进行建模，以实现高视觉保真度和分辨率无关的渲染。然而，为每个原语存储大量无约束浮点参数（位置、旋转-缩放以及颜色）会显著降低率失真效率，尤其是在高保真目标下。

以往的工作（GI）尝试使用全局向量量化（VQ）和残差向量量化（RQ）将这些属性压缩进离散码本，以解决这一问题；然而，单一的全局码本难以映射自然图像参数中巨大的方差。这种容量限制不可避免地会导致量化误差和视觉伪影。核心挑战在于如何在提高码本效率的同时，保持精确的高斯重建。

方法论：聚类引导的向量量化 (CGVQ)

作者提出了 CGVQ，该方法在量化之前将 2D 高斯原语划分为同质组。其基本原理是：对于固定的码本容量，更窄的参数分布可以产生更好的量化结果。

1. 聚类策略

在码本训练之前，该方法利用 K-Means 聚类根据特征相似性对 2D 高斯原语进行分组：

特征向量： 对于每个原语 $G_i$ ，通过拼接旋转 ( $r_i$ )、缩放 ( $s_i$ ) 和 RGB 颜色 ( $c_i$ ) 属性来构建特征向量 $f_i$ 。
排除位置： 2D 位置 ( $\mu_i$ ) 被刻意排除在聚类特征之外，因为压缩质量对空间精度高度敏感；基于位置进行分组可能会降低几何保真度。
过程： 将归一化后的特征划分为 $K$ 个不相交的簇，以最小化簇内方差。簇的数量 $K$ 是手动选择的（通常在 4 到 16 之间），以平衡重建保真度和压缩效率。
一致性： 聚类在初始训练收敛后执行一次，生成的簇分配将在所有特定参数的量化器之间共享。

2. 每簇码本训练

CGVQ 没有使用单一的全局码本，而是为每个簇训练了三个独立的码本，以利用每种属性类型的不同统计特性：

位置 ( $\mu$ )： 使用带有“直通”伪 VQ 估计器的 16 位浮点量化感知训练 (QAT) 进行建模。
旋转-缩放 (RS)： 使用均匀向量量化 (UQ) 码本进行建模。
颜色 ( $c$ )： 使用残差向量量化 (RQ) 码本进行建模，以实现细粒度的残差精化。

这些码本通过最小化联合损失函数 $L = L_{recon} + L_{vq}$ 进行端到端训练。重建损失 ( $L_{recon}$ ) 结合了像素级 $L_1$ 损失和特征空间中的感知 $L_1$ 损失，而 $L_{vq}$ 作为承诺损失，将编码器输出正则化到其分配的码本条目。

3. 解码流水线

在解码期间，每个压缩的簇被独立处理：

量化索引用于在三个专用码本（位置使用 FP16，RS 使用 UQ，颜色使用 RQ）中查找数值。
来自所有 $K$ 个簇的解码原语被组合成一个单一的高斯集合进行渲染。
比特率降低： 量化索引表经过部分比特回传编码 (Partial Bits Back Encoding)，以进一步降低最终比特率。

核心贡献

划分量化： 提出了 CGVQ，该方法在量化前将 2D 高斯原语划分为低方差组，而非应用全局量化策略。
局部化码本： 证明了与全局码本基准相比，局部化的、特定于簇的码本能提供更优的压缩-保真度权衡，在同等比特率下提高了 PSNR 和 SSIM。
聚类优化： 强调了将 K-Means 聚类作为优化未来高斯表示中码本量化方向的潜力。

实验结果

实验在包含 10K 到 25K 个高斯原语的 Kodak 数据集上进行。

率失真性能： CGVQ 始终优于 GI 基准。在相似的重建保真度（约 31.0 dB）下，CGVQ 实现了 20% 的每像素比特数 (bpp) 降低（CGVQ 为 1.92 bpp，而 GI 为 2.40 bpp）。
高保真度阶段： 这种优势在高质场景（30 dB 以上）中最为显著，其中 CGVQ 保持了更高的 PSNR 和更强的结构相似性 (SSIM)。
参数效率： 在固定 15K 个原语的情况下，CGVQ 比 GI 提升了 1.68 dB 的 PSNR。此外，拥有 15K 原语的 CGVQ 达到了与拥有 19K 原语的 GI 相当的视觉质量，这意味着原语数量减少了 21%。
计算权衡： 增加簇的数量 ( $K$ ) 会提高压缩质量，但会引入运行时开销。随着 $K$ 从 1 增加到 16，编码 FPS 从 $2.91 \times 10^{-2}$ 降至 $1.9 \times 10^{-3}$ ，解码 FPS 从 133.3 降至 33.3。

重要性与主张

本文声称，CGVQ 通过利用“较窄的参数分布更容易被精确量化”这一原则，有效地解决了 2D 高斯原语的存储成本问题。通过基于外观和各向异性将原语划分为同质簇，该方法约束了组内的参数方差，使得局部化的多码本设计能够比全局方法更精确地捕捉高频细节。

作者将这项工作定位为 GI 框架的扩展，提供了一种更高效的量化策略，提升了率失真性能。然而，他们也明确承认了一个权衡：虽然更精细的聚类可以提高压缩质量，但这以降低编码和解码速度为代价。该方法被呈现为优化基于高斯的图像压缩中码本量化的一步，旨在平衡视觉保真度与计算效率。