🤖 machine learning

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

NSNQuant 是一种用于大语言模型（LLM）KV 缓存的无校准向量量化方法，它采用了一种独特的“归一化-平移-归一化”变换，并结合哈达玛变换（Hadamard transform）将标记分布与标准正态分布对齐，从而在不依赖校准数据集的情况下实现鲁棒的低比特压缩和高达 3 倍的吞吐量提升。

原作者： Donghyun Son, Euntae Choi, Sungjoo Yoo

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Donghyun Son, Euntae Choi, Sungjoo Yoo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图背着一个装满海量记忆的背包，走在一条漫长的路上。这就是大型语言模型（LLM）——一种能写故事、解数学题并与你聊天的超聪明计算机大脑——在处理长对话时发生的情况。每当它读到一个词，它都必须记住之前出现过的所有内容，才能理解上下文。这种“记忆”被称为 KV 缓存（KV Cache）。问题在于，随着对话变得越来越长，这个背包会变得越来越重，最终因为空间不足导致计算机运行缓慢甚至停滞。

为了解决这个问题，科学家们尝试通过压缩记忆来缩小背包，就像把衣服抽真空压缩进真空袋一样。一种流行的方法是 向量量化（Vector Quantization, VQ）。你可以把它想象成将相似的物品归为一类，并用一个来自“字典”或“码本”的单一标签来代替。与其记住每一只袜子具体的蓝色色调，你只需要记住“蓝色组 4”。然而，这里有一个陷阱：大多数现有方法需要先研究一组特定的衣服（校准数据集）来构建那个字典。如果你随后尝试打包一套完全不同的衣服（一种新型的对话），这个字典就不适用了，压缩也会失败。本文正是针对这一问题：如何在不需要预先研究这些“衣服”的情况下缩小记忆。

问题所在：只适用于一种衣橱的字典

来自首尔大学的论文作者们注意到，在当前最先进的 LLM 记忆压缩方法——耦合量化（Coupled Quantization, CQ） 中存在一个令人沮闹的缺陷。你可以把 CQ 想象成一个裁缝，根据一个人的尺寸量身定制了一套西装。如果这个人走进一个身材各异的人群中，这套西装在第一个人身上完美契合，但在其他人身上看起来却极其滑稽。

在 AI 世界中，这个“人”就是模型进行校准时使用的数据（例如名为 WikiText-2 的特定文本数据集）。当模型尝试处理不同类型的文本（如 C4 数据集，这是一个庞大的网页集合）时，“西装”就不合身了。作者发现，这种不匹配会导致模型犯一些愚蠢的错误，尤其是在标点符号方面。例如，模型可能会对逗号感到困惑，因为它从训练数据中学到的“字典”并没有为新文本中出现的逗号形式提供正确的标签。这非常严重，因为这意味着模型在走出其舒适区时会变得不可靠。

解决方案：NSNQuant —— 通用收纳盒

为了解决这个问题，团队推出了 NSNQuant，这是一种聪明的全新记忆压缩方式，它不需要预先研究任何特定数据。NSNQuant 不再试图为每一套新衣橱学习定制化的字典，而是强制让所有的衣服都适配到一个标准的、预制好的收纳盒中。

他们通过一个被称为 归一化-偏移-归一化（Normalize-Shift-Normalize, NSN） 的三步“魔术技巧”来实现这一点：

归一化（第一步）： 想象你有一堆袜子，其中有些很小，有些很大。第一步是将每只袜子拉伸或收缩到同样的大小。这可以防止大袜子占用过多空间并破坏整体打包效果。
偏移（中间步骤）： 现在，假设所有的袜子大小一致，但它们都向左倾斜。通过“偏移”步骤，将它们全部推回中心，使它们达到完美的平衡。
归一化（最后一步）： 为了保险起见，他们最后一次检查尺寸，以确保一切依然统一。

完成这三步舞步后，作者还加入了一个最后的转折：哈达玛变换（Hadamard Transform）。你可以将其理解为以一种特定的数学方式旋转整堆袜子。神奇之处在于，经过这次旋转，原本杂乱无章、形状难以预测的袜子（数据）突然看起来像一个完美的、平滑的钟形曲线（标准正态分布）。

因为无论原始文本是什么，数据现在看起来都像这种可预测的钟形曲线，所以作者可以使用一个专门为这种曲线设计的单一预制“字典”（码本）。他们不需要先观察数据；他们只需知道数据一定会适配这个字典，因为他们已经强制让数据呈现出这种形态。

他们的发现：一把万能钥匙

团队在包括 LLaMA 和 Mistral 系列在内的多个著名 AI 模型上测试了这个想法。他们将 NSNQuant 与旧方法（如 CQ 和 KIVI）进行了对比，测试涵盖了从简单故事到复杂代码和数学问题的各种文本类型。

结果令人印象深刻：

更好的泛化能力： 当在不同数据集之间切换时，旧方法（CQ）会陷入困境，而 NSNQuant 始终保持强劲的表现。这就像拥有一把能打开所有门的万能钥匙，而旧钥匙只能打开它们制造时对应的门。
低比特成功率： 团队测试了将记忆压缩至仅 1 位（1-bit） 和 2 位（2-bit） 的情况。在 1 位设置下（即记忆被压缩到极致微小时），NSNQuant 碾压了竞争对手。例如，在一项名为 GSM8K 的数学推理任务中，旧的 1 位方法得分约为 24，而 NSNQuant-1b 得分为 53.45。这比之前的表现提升了一倍多！
速度与空间： 由于记忆变得如此之小，计算机可以同时处理更多的对话。作者展示了由于使用了更少的内存，该方法可以处理比标准未压缩版本高出 3 倍 的数据吞吐量。

细节说明

作者谨慎地指出，虽然这种方法是一个巨大的进步，但它并非完美的魔法。他们发现，在 AI 模型的最初几层中，有时仍会有一些不完全符合钟形曲线的“离群值（outliers）”。然而，即便存在这些微小的瑕疵，整体性能依然保持得非常高。

他们还强调，这种方法是“无需校准”的。与那些需要花费数小时研究特定数据来构建字典的旧方法不同，NSNQuant 的字典可以在单张显卡上不到 5 分钟 内构建完成，并可重复用于任何模型。这使得它在实际应用中极具实用价值。

简而言之，NSNQuant 就像一个通用的收纳系统，它能将任何杂乱的记忆堆强行转化为一种整齐、可预测的形状，从而让 AI 模型能够在不丧失思考能力的前提下，在更小的背包里携带更长期的记忆。这表明，通过在压缩之前对数据进行标准化处理，我们可以让 AI 变得更快、更便宜、更可靠，即使是在处理完全陌生且不熟悉的领域时也是如此。

技术摘要：NSNQuant

问题陈述

大语言模型（LLM）的推理正日益受到内存带宽的限制，尤其是在处理长序列和大批量（batch size）时。主要的瓶颈在于键值（KV）缓存，其大小随序列长度线性增长。虽然向量量化（Vector Quantization, VQ）已成为一种极具前景的压缩技术，但现有的方法（如耦合量化 CQ）依赖于校准数据集来学习质心（codebooks）。作者观察到，这些基于校准的方法在分布外（OOD）场景下会出现严重的性能退化。具体而言，当输入分布与校准集不同时（例如使用 WikiText-2 进行校准但在 C4 数据集上进行测试），学习到的质心无法准确表示关键标记（如标点符号），从而导致注意力权重出现显著误差并降低模型性能（例如导致更高的困惑度/perplexity）。

方法论：NSNQuant

为了解决对校准数据的依赖以及由此产生的分布偏移问题，作者提出了 NSNQuant，一种无需校准的 VQ 技术。其核心创新是一个转换流水线，该流水线将 KV 缓存分布与标准正态分布对齐，从而允许使用单一且可复用的码本，而无需外部数据。

1. 归一化-偏移-归一化 (NSN)

该方法对 KV 张量 ( $v \in \mathbb{R}^{l \times d}$ ) 应用三步转换过程：

归一化（Token 维度）： 每个 token 被归一化为具有 $\sqrt{d}$ 的范数。这可以防止异常 token 在后续步骤中占据主导地位，并确保模长较小的 token 不会产生过大的相对误差。
偏移（通道维度）： 计算通道维度的均值并将其减去，使分布以零为中心。
归一化（Token 维度）： 应用第二次归一化以恢复 token 的范数为 $\sqrt{d}$ 。

这一过程产生了用于重建原始张量的副产物（ $s_1, o, s_2$ ）。从理论上讲，当结合哈达玛变换（Hadamard transform）时，该过程可以将通道分布与标准正态分布对齐，这得到了引理 1 中推导出的中心极限定理和方差界的支持。

2. 哈达玛变换

NSN 过程与哈达玛变换（具体为随机哈达玛变换 RHT）相匹配。虽然在最终实现中使用了朴素的哈达玛变换以提高效率，但 RHT 提供了理论保证，即生成的通道方差接近 1。

3. 向量量化与码本

转换完成后，数据使用针对标准正态分布定制的单一全局码本进行量化。

码本构建： 码本不是通过从校准集中学习质心来构建的，而是通过在合成的标准正态数据（ $\text{torch.randn}$ ）上进行 K-Means 聚类进行初始化，并经过微调以最小化原始向量与量化向量之间的余弦距离。此过程非常快速（仅需数分钟），且不需要对模型权重进行反向传播。
尺度调整： 采用自适应缩放策略，将量化后的向量进行缩放，以保留与原始向量平行的分量，从而最小化正交误差。
双重量化 (DQ)： 为了进一步减少开销，用于 NSN 过程的参数（均值 $o$ 和尺度 $s_1$ ）以及码本条目本身都进行了量化（4-bit），这增加了极小的内存开销（平均约为 0.23 bits）。

4. 实现细节

残差 (Residuals)： 遵循 KIVI 的做法，KV 缓存被分为量化部分和全精度残差部分。当残差填满时，它会被刷新、量化并追加。
注意力计算： 对于 Key，NSN 在旋转位置嵌入（RoPE）之前应用。作者发现这种顺序能产生更好的质量。注意力分数计算经过修改，直接在自定义 CUDA 内核中纳入 NSN 副产物（ $s_1, s_2, o$ ）。
效率： 实现中使用了用于哈达玛变换、向量量化和去量化的自定义 CUDA 内核，利用共享内存（shared memory）来最小化对 DRAM 的访问。

核心贡献

经验观察： 作者证明了 KV 分布对输入数据集的强烈依赖会导致现有 VQ 方法（如 CQ）失效，特别是在 LLaMA3 等模型的标点符号处理方面。
无需校准的 VQ： NSNQuant 引入了一种方法，通过 NSN 过程和哈达玛变换将 KV 分布对齐到一个已知的先验分布（标准正态分布），从而消除了对校准数据集的需求。
性能与泛化能力： 大量实验表明，在 1-bit 和 2-bit 设置下，NSNQuant 在多种数据集（WikiText-2, C4, LongBench, GSM8K, MMLU）上始终优于基准方法（KIVI, KVQuant, CQ）。在现有方法发生退化的场景下，它展现出了卓越的泛化能力。
效率： 该实现实现了相比全精度基准高达 3 倍的吞吐量增益，并且由于减少了内存占用，支持更大的批量大小（高达 4 倍）。

结果

困惑度 (PPL)： 在 C4 数据集上，NSNQuant 显著优于 CQ。例如，对于 LLaMA3-8B，CQ-4c9b 的 PPL 为 13.97，而 NSNQuant-2b 的 PPL 为 9.08。在 1-bit 设置下，NSNQuant-1b (PPL 16.69) 远优于 CQ-8c10b (PPL 43.78)。
LongBench： NSNQuant-1b 大幅领先于其他 1-bit 基准方法。在 2-bit 设置下，它达到或略微超过了其他方法，尽管作者指出某些任务存在指标噪声。
推理与生成： 在 GSM8K（数学推理）和 MMLU（多任务理解）上，NSNQuant 表现出色，特别是在需要严格推理路径的少样本思维链（CoT）设置中。
延迟： 虽然预填充（prefill）阶段由于 NSN 和哈达玛变换的开销而导致较高的延迟，但解码阶段比全精度基准更快，因为它缓解了内存受限的注意力计算问题。

意义与主张

本文声称 NSNQuant 代表了从数据依赖型校准向分布对齐型量化的转变。通过利用“哈达玛变换结合 NSN 可产生标准正态分布”这一特性，该方法能够使用通用的、与模型无关的码本。这使得该方法对分布偏移具有鲁棒性，并消除了校准的计算成本和数据需求。作者将 NSNQuant 定位为在内存受限硬件上实现长上下文 LLM 推理的实用解决方案，在高度压缩（1-bit/2-bit）、强泛化能力和高效运行时性能之间取得了平衡。

作者也谦逊地承认了局限性，指出由于存在高方差的异常通道，标准化在早期层中并不完美，且该方法不像 CQ 那样显式地建模通道间的相关性。然而，他们认为这种权衡有利于提升鲁棒性和泛化能力，而非过度拟合特定的校准分布。