🤖 AI

FibQuant: Universal Vector Quantization for Random-Access KV-Cache Compression

本文介绍了 FibQuant，这是一种通用的向量量化方法，它用专为旋转 KV 缓存向量的球面 -Beta 分布定制的共享径向 - 角向码本取代了标量编解码器，与现有的标量方法相比，在最小化困惑度退化的同时实现了显著更高的压缩率。

原作者： Namyoon Lee, Yongjune Kim

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Namyoon Lee, Yongjune Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在运营一个庞大且高速的图书馆，一位机器人图书管理员（即人工智能）正试图创作一个故事。为了保持故事的连贯性，管理员必须记住它迄今为止写下的每一个字。这种“记忆”被称为KV 缓存。

随着故事变长，管理员的记忆书架变得巨大无比。事实上，对于非常长的故事，记忆书架变得如此之大，以至于占用的空间超过了管理员实际规则手册（即模型权重）所占的空间。这造成了交通堵塞：管理员将所有时间都花在从书架上取书，而没有时间真正去写故事。

问题：“一刀切”的收缩包装

为了解决这个问题，工程师们尝试缩小书架上的书籍。他们开发了一种名为TURBOQUANT的方法（这是之前的最佳方案）。

可以将 TURBOQUANT 理解为：

测量书籍：他们测量书籍的“厚度”（即其范数）。
旋转它：他们随机旋转书籍，使文本朝向新的方向。
收缩它：他们尝试通过一次查看一页并压缩该单页来缩小书籍。

缺陷：这种方法将书籍视为每一页都是独立的。但事实上，页面是相互连接的。当你旋转一本书时，页面会形成一个特定的三维形状（像一个球体）。通过逐页查看，TURBOQUANT 忽略了整本书的优美几何结构。这就像试图通过将球体的宽度单独考虑而忽略其高度和深度，从而将一个圆形的沙滩球塞进一个方形盒子里。

解决方案：FIBQUANT（“智能包装”方法）

本文的作者FIBQUANT意识到，由于管理员随机旋转书籍，数据的“形状”始终相同：一个球形。

FIBQUANT 不是逐页收缩书籍，而是一次性查看成组的页面（块）。它将数据视为一个需要高效打包的三维物体。

以下是 FIBQUANT 的工作原理，使用一个简单的类比：

1. “向日葵”图案（几何学）

想象你在一个圆形的向日葵花盘上播种。如果你将种子种成直行的行列，你会在角落浪费空间。但如果你按照螺旋形（就像向日葵的自然图案）种植，你可以在没有浪费空间的情况下容纳最大数量的种子。

FIBQUANT使用一种数学上的“向日葵螺旋”（称为斐波那契螺旋）来排列其数据点。这使得它能够比旧的“直排行列”方法更紧密地打包“书籍”。

2. “通用地图”（无需校准）

通常，为了完美地收缩数据，你需要先研究你要收缩的特定书籍（校准）。

FIBQUANT的特殊之处在于，它知道任何书籍一旦被随机旋转，看起来都像是一个球体。因此，它对每本书、每一层和每一个故事都使用单一、通用的地图（代码本）。你不需要为每一个新故事重新学习地图。

3. “分数位”魔法（突破极限）

旧方法只能按整数收缩数据（例如 1 位、2 位、3 位）。如果你需要再稍微收缩一点，你就束手无策了。

FIBQUANT可以按分数收缩数据（例如 1.5 位、0.5 位）。这就像拥有一把可以测量毫米而不仅仅是英寸的尺子。这使得系统能够适应其他方法根本无法进入的非常狭窄的内存空间。

结果：发生了什么？

作者在两个著名的人工智能模型（GPT-2 和 TinyLlama）上测试了这种方法。

“内存与质量”的权衡：他们发现，FIBQUANT 可以将内存压缩到原始大小的34 分之一，而人工智能仍然几乎完美地理解故事（与原始版本 95% 相似）。
超越竞争：在极端压缩水平下（内存极小），旧方法（如 TURBOQUANT）开始让人工智能听起来困惑或胡言乱语。FIBQUANT 则保持了人工智能的聪明才智。
“亚一位”区域：最令人印象深刻的是，FIBQUANT 即使在数据被压缩到每条信息少于 1 位时也能工作。旧方法甚至无法在这个区域运作；它们直接放弃了。FIBQUANT 继续前进，在不破坏人工智能“大脑”的情况下挤出更多内存。

总结

FIBQUANT是一种压缩人工智能内存的新方法。

旧方法：一次查看一块数据，忽略其形状。
FIBQUANT：查看数据块，识别它们形成球体，并使用完美的“向日葵”图案进行打包。

它使人工智能能够在不耗尽内存的情况下记住更长的故事，并且即使在内存极小的情况下也能工作，同时无需为每个新任务重新训练。

技术摘要：FibQuant：用于随机访问 KV 缓存压缩的通用矢量量化

1. 问题陈述

自回归 Transformer 中的长上下文推理日益受到内存带宽和容量的限制，这主要归因于键值（KV）缓存。缓存大小随上下文长度、批次大小、层数和头数线性增长，并且必须在每个解码步骤中进行访问。

现有的压缩方法面临一个关键的系统约束：随机访问。一个可部署的缓存编解码器必须将表示存储在固定地址，以便通过简单的地址算术独立解码任何 token 的键或值。这一约束排除了变长编码和依赖上下文的表示，迫使使用固定速率量化器。

当前最先进的随机访问编解码器（如TURBOQUANT）采用“归一化–旋转–量化”的方法：

存储向量范数。
应用共享的随机正交（Haar）旋转。
使用标量 Lloyd–Max 表独立量化每个旋转后的坐标。

虽然这种接口具有通用性和随机访问性，但论文指出其在几何上并非最优。一旦向量被归一化并经过 Haar 旋转， $k$ 个连续坐标的块并不构成标量边缘分布的独立乘积。相反，它在单位球上形成一个球面 Beta 源。标量编解码器将坐标视为独立的，丢弃了旋转块中固有的几何结构（径向和角度相关性）。此外，标量方法在每坐标低于 1 比特时难以有效运行，造成了一个“亚 1 比特差距”，在此区间内当前的通用、无校准编解码器无法发挥作用。

2. 方法论：FibQuant

FibQuant 提出了一种通用固定速率矢量量化器，它保持与标量方法相同的“归一化–旋转”接口，但用共享的径向–角度矢量码本取代了标量坐标表。

2.1 规范源

作者证明，归一化–Haar 旋转接口无论原始 KV 数据分布如何，都会产生一个通用的源分布。

归一化：去除尺度。
Haar 旋转：去除方向。
结果：旋转后的单位向量在球面 $S^{d-1}$ 上服从 Haar 均匀分布。因此，任何 $k$ 个连续坐标的块在单位球 $B^k$ 上遵循特定的球面 Beta 密度 $f_{d,k}$ 。
推论：单个离线码本可以服务于所有层、头、提示词和模型，因为源分布与特定输入无关。

2.2 码本构建

FibQuant 码本旨在匹配球面 Beta 源，结合了三个组件：

半径（ $r_n$ ）：利用 Bennett–Gersho 压缩扩展规则匹配球面 Beta 源的径向密度。对于 $k=2$ ，这产生了一个涉及 Beta 分位数半径的闭式解。
方向（ $u_n$ ）：使用准均匀球面点集进行近似，以确保均匀的角度堆积：
- $k=2$ ：平面斐波那契螺旋（黄金量化器）。
- $k=3$ ：斐波那契球面。
- $k \ge 4$ ：Roberts–Kronecker 低差异序列。
细化：多重启Lloyd–Max算法对确定性初始化进行细化，以针对特定的有限码本大小 $N$ 最小化均方误差（MSE）。

2.3 编码与解码

编码器：计算范数 $\nu = \|x\|_2$ ，旋转单位向量 $\Pi x / \nu$ ，将其分割为 $d/k$ 个大小为 $k$ 的块，并对共享码本执行最近邻码字查找。
解码器：检索码字，重建块，拼接块，应用逆旋转，并按范数缩放。
速率：比特率为 $b = (\log_2 N) / k$ 比特/坐标。通过改变 $N$ 和 $k$ ，FibQuant 实现了密集速率轴，从而在不使用变长寻址的情况下实现分数比特和亚 1 比特的操作点。

3. 主要贡献

3.1 规范源的识别

论文证明（定理 1），范数后接 Haar 旋转的接口将任何非零输入分布映射到相同的球面 Beta 边缘分布 $f_{d,k}$ 。这确立了共享离线码本是 KV 缓存压缩在理论上正确的通用对象。

3.2 矢量量化相对于标量专用化的优势

作者证明（定理 2），在匹配速率下，最优的 $k$ 矢量码严格优于标量乘积专用化（其中 $k=1$ ）。高增益被分解为两个组件：

单元整形因子（ $\gamma_{cell}$ ）：矢量量化单元（例如 2D 中的六边形）比矩形标量单元更高效。
密度匹配因子（ $\gamma_{dens}$ ）：匹配联合球面 Beta 密度优于仅匹配标量边缘分布。

3.3 密集速率轴

与仅限于整数比特速率的标量 Lloyd–Max 表不同，FibQuant 实现了密集的速率集合 $b \in (0, \infty)$ 。这允许在亚 1 比特区域（例如 $b \approx 0.19$ ）进行操作，而当前的通用随机访问编解码器在此区域会失效。

4. 实验结果

4.1 信源编码性能

在规范球面 Beta 源上，FibQuant 在所有整数速率下均表现出对标量 TURBOQUANT 的严格优势。它还填补了整数速率之间的空白，提供了标量方法无法达到的操作点。

4.2 KV 缓存压缩（GPT-2 Small）

在 GPT-2 Small KV 缓存上进行了评估，以注意力输出余弦相似度为指标：

FibQuant 描绘了一条从5 倍压缩（相似度 0.99）到34.1 倍压缩（相似度 0.946）的内存–保真度前沿。
在高压缩比（>10 倍）下，FibQuant 是唯一一种保持保真度的通用、无校准方法，优于需要每层校准的低秩投影方法。
论文指出，全矢量码（ $k=d$ ）在极端压缩下比半矢量码（ $k=d/2$ ）表现更好，因为它们将所有比特都用于角度堆积，这与注意力内积直接相关。

4.3 端到端语言模型性能（TinyLlama-1.1B）

在 WikiText-103 困惑度和 HellaSwag 准确率上进行了评估：

在 $b=4$ （4 倍压缩）时：FibQuant 的困惑度与 fp16 基线相差 0.10，且优于标量 TURBOQUANT。
在 $b=2$ （8 倍压缩）时：FibQuant 达到 15.88 的困惑度，显著优于标量 TURBOQUANT（56.72）和每 token INT 量化（后者崩溃至 4450.5）。
分数速率：FibQuant 提供了标量编解码器无法获得的中间操作点（例如 $b=2.5, 3.5$ ），允许首先选择缓存预算，然后调整编解码器以适应。

5. 意义与主张

论文主张，通常被视为工程限制的随机访问约束，具有深远的数学后果：它将数据强制推入特定的球面 Beta 几何结构中。通过识别这一规范源，FibQuant 恢复了标量量化所遗留的“整形和密度匹配增益”。

其意义在于：

通用性：单个码本适用于所有模型配置，无需校准。
亚 1 比特操作：它使得在标量方法失效的区域实现高保真度压缩成为可能，有效地扩展了长上下文推理的可用内存预算。
系统兼容性：它保留了将解压缩与注意力内核融合所需的固定地址、随机访问接口，使其能够立即部署在现有的服务框架中。

作者得出结论：随机访问并不排除良好的信源编码；相反，它确切地规定了必须对哪种源进行编码。