🤖 machine learning

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

OSCAR 是一种可部署的 2 比特键值缓存量化方法，它利用离线谱协方差估计来推导与注意力对齐的旋转和截断阈值，从而在现代大语言模型服务框架中，在显著降低内存占用并提升推理吞吐量的同时，实现长上下文推理任务上的近乎无损精度。

原作者： Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是OSCAR论文的解释，已用通俗易懂的语言和富有创意的类比进行翻译。

核心难题：“记忆囤积者”

想象大型语言模型（LLM）是一位才华横溢但容易健忘的图书管理员。当你向它提出一个长问题时，它必须维护一份你迄今为止所说内容的清单（即"KV 缓存”），以便理解上下文。

随着对话变长（达到 32,000 个单词或更多），这份清单变得极其庞大。为了存储它，图书管理员需要海量的昂贵内存（就像一个巨大且高速的仓库）。如果仓库满了，图书管理员就不得不停止工作，或者速度大幅减慢。

这篇论文的目标是在不丢失任何重要信息的前提下，将该仓库缩小 8 倍。他们希望将笔记从“高清”（BF16）压缩至“微型草图”（2 位）的大小。

旧方法：“哈达玛洗牌”

此前，研究人员试图通过简单地打乱这些笔记来缩小它们。他们使用了一种称为哈达玛旋转的数学技巧。

类比：想象你有一个凌乱的房间，里面有几张巨大且笨拙的沙发（异常值）和许多小椅子。你无法将它们全部塞进一个小盒子里。旧的方法是拿一台巨大的搅拌机把房间旋转起来。这会将巨大的沙发分散开，使它们看起来像几把稍大一点的椅子，从而更容易打包。
缺陷：这种混合是“盲目”的。它不知道房间的哪些部分对图书管理员的工作实际上至关重要。当你将所有内容压缩成微小的 2 位草图时，这种盲目的混合会意外地模糊最关键细节，导致图书管理员开始产生幻觉或给出错误答案。这就像试图将一只精致的花瓶和一块岩石一起打包；如果你只是摇晃盒子，花瓶就会破碎。

新方案：OSCAR（“智能建筑师”）

作者提出了OSCAR（离线谱协方差感知旋转）。OSCAR 不像旧方法那样盲目地摇晃房间，而是像一位智能建筑师，在打包开始之前就仔细研究图书管理员的具体工作方式。

1. “离线校准”（研究阶段）

在图书管理员开始服务客户之前，OSCAR 会抽取一小部分对话样本，并询问：“图书管理员实际上利用记忆的哪些部分来做决策？”

类比：想象图书管理员必须根据特定问题挑选一本书。OSCAR 意识到，图书管理员非常在意书封面的颜色（即“查询”Query），但对页面的厚度（即“值”Value）不太在意。
结果：OSCAR 创建了一张定制地图（旋转矩阵），使内存存储与这些特定需求对齐。它确保图书管理员最关心的部分以高精度保留，而不太重要的部分则被更激进地压缩。

2. “智能打包”（旋转）

OSCAR 利用这张地图将数据旋转成最适合压缩的形状。

类比：OSCAR 不是随机旋转房间，而是重新排列家具，使所有易碎物品以完美契合小盒子的方式排列。它将“重要方向”与“噪声”分离开来。
神奇之处：通过这样做，他们可以将数据压缩至2 位（极小），同时仍保持图书管理员的准确度几乎与原始高清版本相同。

3. “混合仓库”（系统）

OSCAR 并非一次性压缩所有内容。它使用了一个巧妙的混合系统：

“汇”与“近期”令牌：最开始的几个词（故事的开头）和最后几个词（你刚刚说的话）以高清格式保留。这些是最关键的锚点。
“历史”令牌：对话的中间部分（漫长的历史）是使用智能 OSCAR 旋转压缩成微型 2 位草图的部分。

为何重要（结果）

该论文在一些最先进的人工智能模型（如 Qwen 和 GLM）上进行了测试，这些模型具有非常长的上下文。

准确度：当其他方法尝试压缩至 2 位时，模型基本上忘记了如何思考（准确度降至接近零）。OSCAR 使模型保持了几乎与原始高清版本相当的智能水平。
速度与内存：由于数据缩小了 8 倍，仓库可以容纳 8 倍多的对话。这意味着该系统可以在不耗尽内存的情况下，同时处理7 倍多的用户。
现实就绪：作者不仅写了理论，还构建了一个可运行的系统，能够适配现代 AI 服务器（SGLang 和 vLLM）。这就像他们不仅设计了一个更好的盒子，还制造了一辆使用这种盒子且行驶更快的新卡车。

总结

OSCAR是一种防止 AI 模型在尝试节省内存时“遗忘”的方法。它不是盲目地挤压数据，而是先研究 AI 实际关心什么，根据这些需求重新排列数据，然后再进行压缩。这使得 AI 能够使用极少量的内存记住海量信息（如整本书），而不会丧失其智能。

技术摘要：OSCAR - 面向 2 比特 KV 缓存量化的离线谱协方差感知旋转

1. 问题陈述

大语言模型（LLM）的长上下文推理日益受到 Key-Value（KV）缓存内存占用的瓶颈限制。随着上下文长度、批次大小和模型深度的增长，缓存消耗了大量 GPU 显存，限制了吞吐量和可扩展性。虽然将 KV 缓存压缩至极低精度（例如 INT2）可提供 8 倍的内存缩减，但它面临一个关键的精度挑战：KV 激活值包含严重的通道级异常值。

在低比特量化下，这些异常值主导了量化尺度，迫使大多数“正常”值落入少数几个有效的量化级别中，严重降低了注意力质量。现有的基于旋转的方法（例如 Hadamard 变换）试图通过在通道间重新分布能量来平滑这些异常值。然而，这些方法是数据无关的；它们平滑了原始缓存分布，但未能与下游注意力机制实际消耗的具体方向对齐。在仅有四个量化级别的 INT2 设置下，这种错位导致朴素的旋转方法失效，在推理任务上产生接近零的精度。

2. 方法论：OSCAR

作者提出了OSCAR（离线谱协方差感知旋转），该方法离线估计注意力感知的协方差结构，以推导固定的旋转和截断阈值。与先前旨在最小化原始欧几里得重构误差（ $\|K - \hat{K}\|_F$ ）的工作不同，OSCAR 旨在最小化下游注意力分数和输出的失真。

2.1 理论动机

论文认为，最优的旋转目标应源自注意力计算本身的统计特性：

对于 Keys（ $K$ ）： 注意力 logits 的失真由查询协方差 $Q^\top Q$ 控制，而不仅仅是键协方差 $K^\top K$ 。
对于 Values（ $V$ ）： 注意力输出的失真由注意力分数 $S$ 加权，导致目标协方差为 $V^\top S^\top S V$ 。

2.2 算法设计

OSCAR 分为两个阶段运行：

A. 离线校准阶段：

协方差估计： 使用小型校准数据集，该方法计算经验目标协方差：
- $C_Q = \frac{1}{N} \sum q_n^\top q_n$ （查询感知的键目标）。
- $C_S = \frac{1}{N} V^\top S^\top S V$ （分数感知的值目标）。
旋转推导： 该方法对这些矩阵执行特征分解，以找到最优特征基（ $U_Q$ 和 $U_S$ ）。
复合旋转构建： 最终的旋转矩阵（ $R_K, R_V$ $R_{K}, R_{V}$ ）构建为三个组件的乘积：
- $U_Q/U_S$ ： 注意力感知的特征基，将通道与重要性方向对齐。
- $H_{Had}$ ： 一个 Hadamard 变换，均衡通道间的重要性度量并分散异常值能量。
- $P_{br}$ ： 一个位反转置换，交错高方差和低方差通道，以确保量化组内的动态范围平衡。
- 公式： $R_K = U_Q H_{Had} P_{br}$ 和 $R_V = U_S H_{Had} P_{br}$ 。
截断阈值： 从旋转后的校准激活值中估计每层的截断阈值，以控制异常值。

B. 在线服务阶段：

混合精度布局： 系统维护一个分页 KV 缓存，其中“汇点”（初始）和“最近”的 token 保持完整的 BF16 精度。历史中间上下文在应用固定的 OSCAR 旋转和截断后，以 INT2 格式存储。
内核集成： 作者为 SGLang 服务框架开发了一个自定义的融合 Triton 内核。该内核处理 INT2 历史的解包、去量化、逆旋转和注意力计算，确保与分页注意力和前缀缓存的兼容性，同时不引入额外的内存流量。

3. 主要贡献

识别缺失的目标： 论文指出，通用旋转虽然能分散异常值，但在 INT2 下会失效，因为它们未能与下游注意力对齐。旋转目标必须由注意力统计量（ $Q^\top Q$ 和 $V^\top S^\top S V$ ）诱导，而非原始缓存重构。
OSCAR 框架： 一个完全可部署的 INT2 KV 缓存量化系统，利用离线校准推导注意力感知的旋转。理论分析表明，在冻结误差代理假设下，这些目标是优化的。
生产就绪系统： 一个集成到 SGLang 中的自定义 INT2 注意力内核，支持分页 KV 缓存布局和前缀缓存。它实现了与现代服务框架（SGLang、vLLM）的无缝集成，同时保持了高吞吐量。

4. 实验结果

作者在推理模型（Qwen3-4B、Qwen3-8B、Qwen3-32B）和一个前沿模型（GLM-4.7，3580 亿参数）上评估了 OSCAR，涵盖了五个基准测试（AIME25、GPQA、HumanEval、LiveCodeBench、MATH500）以及长上下文检索（RULER-NIAH，高达 128k）。

精度保持：
- 在 Qwen3-4B-Thinking 和 Qwen3-8B 上，OSCAR 将相对于 BF16 的精度差距缩小至 3.78 和 1.42 个点。相比之下，朴素的旋转 INT2 精度崩溃至接近零。
- 在 Qwen3-32B 和 GLM-4.7 上，OSCAR 保持与 BF16 基本持平（差距在 0.02–0.27 个点之间），而其他 INT2 基线则遭受显著退化。
- 在长上下文检索（RULER-NIAH）中，OSCAR 在高达 128k token 时仍保持稳健性能，而朴素 INT2 和仅使用 Hadamard 的方法在更短的序列长度（例如 16k）下即发生崩溃。
系统性能：
- 内存： 与 BF16 相比，KV 缓存内存占用减少了约 8 倍。
- 吞吐量： 在相同内存预算下，大批次大小时的吞吐量提升了高达 7 倍。
- 延迟： 由于降低了内存带宽开销，批次大小为 1 的解码速度比 BF16 提升了高达 3 倍。
- 可扩展性： 展示了在单个 H100 上处理高达 28 个并发请求（输入为 100k token）的能力，而在此场景下 BF16 和 INT4 基线会耗尽显存。

5. 意义与主张

论文声称，OSCAR 成功弥合了超低比特（INT2）KV 缓存的理论潜力与实际可部署性之间的差距。通过将旋转目标从原始数据重构转变为注意力感知协方差，OSCAR 恢复了朴素量化所损失的精度，同时保留了 2 比特存储带来的巨大内存和吞吐量优势。

作者强调，他们的方法不仅仅是一个算法改进，而是一个系统级解决方案。通过提供与分页注意力和前缀缓存集成的自定义内核，他们证明了 INT2 量化可以在生产服务框架（如 SGLang）中使用，而不会牺牲现代 LLM 服务所依赖的效率特性（如前缀重用）。这项工作表明，对于长上下文推理，成功量化的关键在于使压缩策略与注意力机制的具体统计需求相一致。