🤖 machine learning

Do Transformers Need Three Projections? Systematic Study of QKV Variants

本文系统地论证了在 Transformer 中共享查询（query）、键（key）和值（value）投影——特别是 Q-K=V 变体——能够显著降低推理内存和 KV 缓存需求，同时在视觉和语言任务中保持具有竞争力的性能，从而实现高效的端侧部署。

原作者： Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，Transformer 模型（现代 AI 背后的“大脑”）就像一个极其高效的图书管理员，正试图根据一本巨著来回答问题。为了完成这项工作，他会对书中的每一个词使用三种特定的工具：

查询 (Query, Q)： 一张提问卡，上面写着：“我在寻找什么？”
键 (Key, K)： 书脊上的标签，用来查看是否与问题匹配。
值 (Value, V)： 如果匹配成功，则阅读实际的页面内容。

传统上，图书管理员会为每一个词的这三个步骤都创建一个全新的、独特的工具。这就是标准的“QKV”设置。它效果很好，但很沉重。图书管理员必须为每个词背负三个沉重的工具包，这占用了大量的空间（内存）并降低了速度。

这篇论文提出了一个简单而大胆的问题：“我们真的需要三种独立的工具吗，还是可以将它们合并？”

研究人员测试了三种简化图书管理员工具箱的方法：

三个实验

1. “相同问题，相同标签”法 (Q = K - V)

核心思想： 图书管理员使用相同的工具来进行提问和检查标签。他们仍然保留一个独立的工具来阅读页面。
结果： 这是大赢家。事实证明，“问题”工具和“标签”工具如此相似，以至于它们可以作为同一个对象存在，而不会损害性能。
益处： 图书管理员现在只需要携带两个工具，而不是三个。这使得存储“标签”和“页面”所需的内存减少了一半。这就像是意识到你可以用左手既拿着地图又指向目的地，从而省去了再拿一张地图的麻烦。

2. “相同问题，相同页面”法 (Q - K = V)

核心思想： 图书管理员使用相同的工具作为标签和页面内容，但保留一个独立的工具用于提问。
结果： 这也表现得不错，但在语言任务方面的效率略低于第一种方案。这就像是用同一把钥匙既开门又开保险箱，虽然聪明，但“问题”工具仍需保持独特，以维持搜索的方向性。

3. “一个工具搞定一切”法 (Q = K = V)

核心思想： 图书管理员试图只用一个单一的工具来提问、检查标签并阅读页面。
结果： 这对语言任务来说是一场灾难。这就像试图用一把锤子同时完成提问、检查标签和阅读书籍的工作。AI 会感到困惑，因为它失去了区分“我在找什么”和“我找到了什么”的能力。性能显著下降。

为什么这很重要：“背包”问题

这篇论文最令人兴奋的部分不仅在于让 AI 变得更聪明，还在于让它变得更轻盈。

当 AI 生成文本（比如写故事或回答聊天）时，它必须记住它目前为止写下的所有内容。这种记忆被称为 KV 缓存 (KV Cache)。

标准 AI： 背着一个带有“标签”和“页面”独立隔层的沉重背包。
新 AI (Q-K=V)： 背着一个“标签”和“页面”已合并为一个隔层的背包。

现实世界的冲击力：

双倍内存： 因为背包变轻了，你可以在不耗尽空间的情况下，在 AI 的内存中放入两倍数量的单词。
更便宜的服务器： 如果你经营着一家使用 AI 的公司，你可以在相同数量的计算机上服务两倍数量的客户。论文计算出，这可以为公司每月节省数千美元。
在手机上运行： 这种效率使得在你的手机或小型边缘设备上直接运行强大的 AI 模型变得更加现实，而无需依赖数据中心里的巨大超级计算机。

“双重获益”奖励

论文还发现，这种新的“轻量化背包”技巧可以与另一种现有的技巧——多头共享 (Head Sharing)（被 Llama 2 和 Mistral 等模型使用）完美配合。

多头共享 像是减少了图书管理员的人数，但让他们干更多的活。
投影共享 (Projection Sharing)（本文的想法）则是让每位图书管理员的工具箱变得更小。

当你将两者结合时，你会获得巨大的胜利。研究人员展示了通过结合这两种方法，你可以将所需的内存缩减 97%。这是在小型设备上运行 AI 的“圣杯”。

总结

这篇论文证明了标准的 AI 设计有些过度设计了。通过将“问题”和“标签”工具合并为一个，我们可以在几乎不损失智能的情况下，将内存成本减半。这是一个简单的微调，它让 AI 更快、更便宜，并准备好在你的口袋设备上运行。

技术摘要：Transformer 是否需要三种投影？

问题陈述

自 Transformer 架构问世以来，查询（Query）、键（Key）和值（Value）（即 QKV）注意力机制一直是聚合序列信息的标准方式。然而，维持这三个独立且不同的线性投影是否真的必要，仍然是一个悬而未决的问题。虽然其他架构（如 CNN 和状态空间模型 SSM）通常使用更统一的内部表示，但 Transformer 仍坚持采用这种三部分结构。随着上下文窗口的扩大和对实时推理需求的增长，研究界一直致力于通过架构效率来缓解自注意力的二次方瓶颈。本文研究了这三种投影是否确实必要，或者它们是否代表了一种可以被削减的冗余，从而在不显著降低性能的前提下，降低参数量，更关键的是降低推理内存开销。

研究方法

作者提出了并系统地评估了三种“投影共享”（Projection-Sharing）约束，这些约束逐步减少了注意力机制中学习变换的数量：

Q=K-V（统一查询-键）： 查询和键的投影是统一的（ $Q=K$ ），而值投影保持独立。这会导致对称的注意力矩阵（ $KK^T$ ）。为了解决顺序任务中对称性的局限性，作者引入了一个变体 $(Q=K-V)^+$ ，通过注入二维位置编码来引入非对称性。
Q-K=V（统一键-值）： 键和值的投影是统一的（ $K=V$ ），而查询保持独立。这保留了非对称的注意力图（ $QK^T$ ），并实施了一种键与值之间的权重绑定形式。
Q=K=V（单一投影）： 所有三个角色共享单个投影矩阵。这结合了第一种变体的对称性和第二种变体的表示瓶颈。

本研究还探讨了这些投影共享策略与现有的“头共享”（Head-Sharing）技术（如分组查询注意力 GQA 和多查询注意力 MQA）的正交性。作者假设，将投影共享（约束 $K=V$ ）与头共享（减少 KV 头数量）相结合，可以产生复合的内存效率收益。

实验在 12 个不同的任务上进行：

合成推理： 五个涉及列表操作的任务（反转、排序、子集、交换、复制）。
计算机视觉： 在 MNIST、FashionMNIST、CIFAR-10、CIFAR-100 和 TinyImageNet 上的图像分类，以及集合异常检测和语义分割。
语言建模： 在 100 亿个来自 SlimPajama 数据集的 token 上对 300M 和 1.2B 参数的 GPT 式模型进行预训练。

核心结果

1. 性能与效率的权衡

Q-K=V（最优平衡）： 该变体脱颖而出，成为明显的胜出者。在语言建模中，它实现了 50% 的 KV 缓存大小缩减，而困惑度（perplexity）仅下降了 3.1%（对于 300M 模型）和 2.48%（对于 1.2B 模型）。它在视觉和合成任务上也保持了竞争力的性能。
Q=K-V（对称性限制）： 虽然该变体达到了与基准线相当的训练质量，但它并未提供 零推理内存收益，因为它仍需要缓存独立的 K 和 V 张量。此外，对称的注意力图限制了它在因果语言建模中的有效性，导致 4.9% 的困惑度下降。
Q=K=V（过度约束）： 这种激进的简化导致了灾难性的性能损失（语言建模中困惑度下降 25.4%），表明强制所有三个角色使用单一投影对于复杂任务来说过于苛刻。

2. 与头共享的协同作用

研究表明，投影共享和头共享是严格互补的。

将 Q-K=V 与 GQA-4（4 个组）结合，实现了 87.5% 的缓存缩减，同时困惑度下降 3.9%。
将 Q-K=V 与 MQA（1 个组）结合，实现了 96.9% 的缓存缩减，同时困惑度下降 4.8%。
在 1.2B 规模下，Q-MQA 配置将 KV 缓存减少了 67 倍（对于 32k 上下文，从每位用户 5.9 GB 降至 88 MB），同时在下游任务准确性方面保持了与基准线近乎持平的表现。

3. 缩放行为

这些变体的相对排名在模型规模从 300M 增加到 1.2B 参数时保持稳定。值得注意的是，较大的模型在面对投影约束时表现出更强的鲁棒性，Q-K=V 的困惑度下降从 300M 时的 3.1% 降至 1.2B 时的 2.48%。

重要性与主张

论文声称，投影共享是权重绑定的一种尚未被充分探索的实例，它提供了直接且可量化的推理内存收益，这对于边缘部署和长上下文应用尤为重要。

为什么 Q-K=V 有效： 作者认为，键和值可以占据相似的表示空间，且注意力在低秩机制下运行非常有效，在这种情况下，K 和 V 之间的区别不如 Q 与共享的 K-V 表示之间的非对称性那么关键。实证分析显示，标准 K 和 V 投影矩阵之间的余弦相似度很高（0.73），这表明存在内在的冗余。
为什么 Q=K-V 失效： 强制 $Q=K$ 会创建对称的注意力图，这破坏了因果依赖关系所需的方向性。
实际影响： 主要贡献不仅在于参数减少（总模型大小减少约 7-14%，较为温和），而是在于 50% 的 KV 缓存内存减少。这使得：
- 在相同的内存预算下实现 2 倍长的上下文窗口。
- 实现 2 倍的吞吐量（每个 GPU 的并发用户数）。
- 显著降低成本（例如，预计代码补全模型的服务成本降低 43%）。

作者总结道，虽然没有单一架构能在所有领域都取得领先，但 Q-K=V 配置为顺序任务提供了最佳的质量-效率权衡，并且将其与头共享技术结合使用，能够实现十亿级参数模型的实用化端侧推理。代码已公开，以促进进一步研究。