🤖 machine learning

Massive Spikes in LLMs are Bias Vectors: Mechanistic Uncovering and Spike-Free Quantization

本文揭示了大语言模型中大规模的激活峰值是结构性向量偏差而非简单的标量异常，并利用这一机制性的见解提出了 INSERTQUANT，这是一个通过使用模板向量来消除这些峰值的后训练量化框架，从而在文本和视觉模态中实现鲁棒、高保真低比特量化。

原作者： Yung-Chin Chen, Chung Peng Lee, Ze-Wei Liou, Naveen Verma

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yung-Chin Chen, Chung Peng Lee, Ze-Wei Liou, Naveen Verma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：图书馆里的“大嗓门邻居”

想象一下，大型语言模型（LLM）就像一座巨大的、高速运转的图书馆，书本（Token/词元）在其中不断地被阅读和处理。为了让这座图书馆运行得更快、更省电，工程师们想要把书本缩小成极小的、高效的尺寸（这个过程被称为量化/Quantization）。

然而，问题出现了。在每一座图书馆里，都有几个特定的“大嗓门邻居”（比如换行符或特殊的起始符号），它们叫得声嘶力竭，甚至盖过了其他所有人的声音。在 AI 的数学运算中，这些尖叫就是大规模尖峰（Massive Spikes）——它们的数值比正常值大出几千倍。

因为这些尖峰实在太巨大了，图书馆不得不建造一个极其庞大且昂贵的存储系统来容纳它们。这破坏了效率。如果你试图在不解决噪音的情况下缩小书本（进行量化），整个图书馆就会崩溃成一堆乱码。

旧理论 vs. 新发现

旧理论： 科学家们此前认为，这些“大嗓门邻居”只是随机的故障，或者是 AI 不小心调高了音量的简单“音量旋钮”（标量偏差/Scalar Biases）。

新发现（偏差向量假设）： 本文的作者认为，这些尖峰并非意外。它们实际上是构建在 AI 设计中的刚性结构支柱。

类比： 想象一场舞台剧。大多数演员（语义 Token）都在台上移动、更换服装、说着不同的台词来讲述故事。但有一个特定的演员（“汇聚 Token/Sink Token”）站在舞台中央纹丝不动，戴着完全相同的面具，说着完全相同的台词，无论剧情如何演变，他都绝不动弹。
论文证明了，这个“静止的演员”并非随机产生的。它是一个固定向量（数学空间中的一个特定方向），它是 AI 正常运行所必需的。它充当了一个“不做任何事”的按钮，帮助 AI 忽略干扰并保持专注。

AI 如何使用这个“静止的演员”

论文深入研究了这一机制是如何运作的，揭示了一个三步走的舞蹈过程：

吸引子（磁铁）： AI 的“键（Key）”和“查询（Query）”机制就像磁铁一样。它们将所有其他演员向这个“静止的演员”拉拢。这创造了一个注意力汇聚点（Attention Sink），使 AI 的注意力集中在这个点上，以保持数学计算的稳定性。
寂静的虚空（排水口）： 尽管所有人都在注视着这个“静止的演员”，但 AI 的“值（Value）”机制却像一个黑洞。它接收了“静止的演员”的信息，并将其转化为零。这确保了虽然 AI 看向这个位置以获取稳定性，但并不会改变故事的内容。这是一个“无操作（No-Op）”。
护盾（安全区）： AI 知道“舞台”（输入序列）会不断旋转和变化。为了防止这个“静止的演员”发生晃动，AI 将其隐藏在一个安全区（低频通道）内，在那里旋转不会对其产生影响。这就像是在支柱周围建造了一座堡垒，以免风力将其吹倒。

解决方案：INSERTQUANT

既然作者现在知道这些“大嗓门邻居”实际上是静态的、预设的支柱而非随机噪声，他们开发了一种名为 INSERTQUANT 的新工具。

以下是它的工作原理，使用“替换”作为类比：

识别支柱： 系统扫描图书馆并找到那些“大嗓门邻居”Token。
消除噪音（钳制/Clamp）： 系统不再让这些 Token 歇斯底里地尖叫并占用所有存储空间，而是直接将它们静音（将其钳制为零）后再进入主处理室。这能瞬间移除“尖峰”，使数据变得易于缩小（量化）。
植入蓝图（插入/Insert）： 由于 AI 需要这个“静止的演员”来维持功能，系统并不会直接删除它。相反，系统会在该演员本该出现的位置插入一份预制的蓝图（模板向量）。
- 类比： 想象你在拍电影。与其雇佣一个真实的演员在那里站立 10 个小时（既昂贵又难以管理），你只需在布景上贴一个该演员的纸板人。摄像机看到了演员，灯光效果也达标了，但你节省了大量的成本和精力。

结果

通过使用这种“纸板人”方法（INSERTQUANT）：

不再有尖峰： 数据变得非常平滑，使得 AI 可以被缩小到极小的尺寸（4-bit 量化）而不会丧失智能。
适用范围广： 之前的方法仅适用于文本（因为它们依赖于识别特定的词汇，如“换行符”）。而这种新方法作用于数据的结构，因此它不仅适用于文本，也适用于视觉 Transformer (ViT)（即观察图像的 AI）。
高保真度： 即使使用了这些“纸板人”，AI 的表现也与原始未缩小的版本一样出色。

总结

论文指出：“不要把这些巨大的尖峰视为错误。它们实际上是 AI 用来保持稳定的刚性结构工具。如果我们认识到它们是固定的工具，我们就可以移除计算中的嘈杂部分，并用预制的模板来替换它们。这让我们能够在不破坏 AI 的情况下，将其缩小到极小的尺寸。”

技术摘要：LLM 中的大规模尖峰是偏差向量

问题陈述

大语言模型（LLMs）面临严重的计算和内存约束，这使得高效量化变得至关重要。然而，激活值量化的有效性受到**大规模尖峰（Massive Spikes）**的严重阻碍：这些尖峰是局部于特定通道和特定 Token 语义（通常是低语义“汇点” Token）的极端激活值。这些尖峰的量级比典型值高出数个数量级，拉大了动态范围，并导致灾难性的量化误差，尤其是在静态逐张量（per-tensor）方案中。

尽管此前已有研究将这些尖峰表征为高层标量偏差或“离群值”（Sun et al., 2024; An et al., 2025），但现有的缓解策略通常将其视为数值异常，或依赖于局限于离散文本模态的启发式方法（例如为特定 Token 添加前缀）。这些尖峰的根本几何机制及其对模型行为的作用仍未得到充分探索，这限制了通用、鲁棒量化框架的发展。

方法论：偏差向量假设

本研究通过提出偏差向量假设（Bias Vector Hypothesis）来深化对大规模尖峰的理解。作者认为，尖峰不仅是标量偏差，更是其架构中固有的刚性、结构化向量偏差的标量中间体。

1. 几何特征表征

通过机制分析，本文确定在 RMSNorm 之后，携带尖峰的 Token（汇点 Token）会收敛到恒定的、刚性的向量（ $\hat{x}_{sink} \to b$ ），在不同样本间具有极小的方差，这与高方差的语义 Token 有显著区别。

注意力汇点机制（Attention Sink Mechanism）： 投影权重（ $W^K$ 和 $W^Q$ ）相互作用以隔离该偏差向量。 $W^K$ 起到对比放大器的作用，将汇点 Key 与语义 Key 分离开；而 $W^Q$ 则将所有语义 Query 对齐到这个被隔离的汇点 Key 上，从而创建一个全局吸引子。
数值状态排空（Value-State Drain）： 数值投影矩阵（ $W^V$ ）将偏差向量投影到谱零空间（spectral null-space）。因此，生成的数值向量接近于零（ $v_{sink} \approx 0$ ），确保汇点 Token 对残差流不产生语义更新，从而有效地实现了一种“无操作”（no-op）功能。
旋转稳定性（Rotational Stability）： 模型主动保持这些刚性结构不受旋转位置编码（RoPE）扰动的影响。这是通过将偏差定位在“旋转稳定性区域”来实现的：具体而言，利用低频带（旋转角度衰减的高通道索引）和相干通道对（索引 $i$ 和 $i + d/2$ ）来保持量级的鲁棒性，尽管存在旋转。

2. INSERTQUANT 框架

基于“汇点 Token 是静态结构偏差而非动态语义内容”这一见解，作者提出了 INSERTQUANT，一种训练后量化（PTQ）框架。

钳制（Clamp）： 在轻量化校准阶段识别汇点 Token，并在进入矩阵乘法之前将其手术式地钳制为零。这消除了激活流中的大规模尖峰，使剩余激活值严格处于无尖峰且量化友好的状态。
插入（Insert）： 为了恢复模型的“无操作”机制，通过将预计算的模板向量（源自校准的平均 $K$ 向量和 $V$ 向量）直接注入注意力机制输入中，在后续层中恢复被钳制 Token 的功能角色。
泛化性： 与依赖特定 Token 身份（如 <BOS>）的前缀方法不同，INSERTQUANT 在嵌入空间（embedding space）上运行，使其能够泛化到没有离散 Token 定义的模态，如视觉 Transformer（ViTs）。

核心贡献

偏差向量假设： 本文确立了大规模尖峰是刚性偏差向量的标量中间体。研究表明，虽然尖峰幅度会波动，但其归一化方向是不变的，充当了模型的结构性组件。
机制分析： 作者提供了定量的几何分析，展示了偏差向量如何驱动注意力汇点和数值状态排空。他们详细阐述了偏差向量与投影权重（ $W^K, W^Q, W^V$ ）的交互作用，并指出这些向量定位在旋转稳定性区域（低频带和相干对）是实现主动结构保护的证据。
INSERTQUANT 框架： 该工作引入了第一个利用尖峰系统性特征的 PTQ 框架。通过将结构偏差与内容 Token 解耦，它实现了高保真度的低比特量化，涵盖了 LLM 和 ViT，且无需微调。

实验结果

作者在多个 LLM（LLaMA-3.2-3B, LLaMA-2-7B/70B, Mistral-7B-v0.3）和视觉 Transformer（CLIP ViT-L, DINOv2 ViT-L/B）上评估了 INSERTQUANT。

语言模型： 在 4-bit 权重/激活/KV-cache 静态设置（$W4A4sKV4$）下，INSERTQUANT 的性能达到了与 PrefixQuant 等先进方法的同等水平。例如，在 LLaMA-2-7B 上，它实现了 60.26% 的常识推理（CSR）准确率和 6.31 的 WikiText-2 困惑度，非常接近基准线 PrefixQuant（60.17% / 6.21），并显著优于 RTN 和基于旋转的基准方法。
视觉 Transformer： INSERTQUANT 成功泛化到了 ViT。在 $W8A8sKV8$ 设置下，当 RTN 基准在 DINOv2 ViT-B 上崩溃至 6.00% 准确率时，INSERTQUANT 保留了 74.10% 的准确率。
系统开销： 由于存储的模板向量规模极小，该框架引入的延迟开销可以忽略不计（4.69%），内存开销也极低（对于 13.5GB 的模型仅增加 0.007%）。

意义与主张

论文声称，有效的量化需要对 LLM 如何利用尖峰来实现“无操作”功能的机制性理解。通过将大规模尖峰重新定义为结构化向量特征而非数值离群值，作者证明了这些人工痕迹可以被手术式地移除并进行功能性恢复。

这项工作的意义在于：

深化模型理解： 它揭示了注意力汇点的刚性、确定性本质，以及它们与 RoPE 的几何协同作用，超越了单纯的标量解释。
统一的量化解决方案： 它建立了一个超越文本模态的框架，为量化多样化架构（LLMs 和 ViTs）提供了鲁棒方案，而不依赖于启发式的 Token 身份。
硬件效率： 通过实现严格无尖峰的激活空间，INSERTQUANT 促进了稳健的低比特推理（例如 4-bit），这在以往使用静态逐张量量化方案时是无法实现的。

作者对理论保证保持谦逊，指出虽然他们提供了机制性解释和经验证据，但并未提供关于为什么训练过程天生会收敛到这种特定几何解的理论证明。他们也承认，对于那些在预训练阶段就采用了旨在原生抑制这些尖峰的架构修改的模型，其方法并非必要。