💬 NLP

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

该论文提出了“价值库”（Bank of Values, BoV），这是一种用于深度 Transformer 层的新型注意力机制，它利用存储在查找表中的无上下文、特定于 Token 的价值向量，证明了其在多种模型规模和基准测试中相比标准上下文相关价值向量具有更高的性能和效率。

原作者： Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一座巨大的图书馆，其中的每一本书（一个词或“Token”）都有一套特定的指令，规定了在故事中应如何被理解。在现代人工智能（大语言模型）中，这些书由一群图书管理员（“注意力层”）来阅读，他们会根据目前为止的故事语境，决定对每本书投入多少注意力。

通常情况下，这些图书管理员会拿起书，观察当前的故事情节，然后为这本书写下一套新的笔记（称为“数值向量”/“Value Vector”），之后再将其传递下去。这个过程就像是图书管理员每读一次书，都要根据前几页发生的事情，重新改写一遍这本书的摘要。

重大发现
研究人员在这篇论文中发现了一个令人惊讶的现象：对于在图书馆“后排房间”（即更深层网络）工作的图书管理员来说，他们实际上并不需要根据故事情节来重写笔记。

相反，这些深层图书管理员如果直接使用一份预先写好的、完美的摘要，且这份摘要不随故事改变，效果反而最好。事实证明，对于这些特定的层级而言，“原始的、脱离语境的”信息，比他们通常创建的“依赖于语境的”笔记更有价值。

解决方案：“数值银行”（Bank of Values）
基于此，作者创建了一个名为“数值银行”（BoV）的新系统。

旧方法（标准注意力机制）： 每当 AI 阅读一个词时，它都会结合整个故事背景，为这个词计算出一套全新的、复杂的笔记。这在计算上非常昂贵，并且需要消耗大量内存来存储这些临时笔记。
新方法（BoV）： 对于深层网络，AI 停止了即时计算这些笔记。取而代之的是，它拥有一个巨大的、静态的“银行”（一个查找表），其中存储着每一个可能出现的词汇所对应的完美、预先计算好的笔记。
- 当 AI 需要某个词的笔记时，它只需从银行中查阅即可。
- 这就像是拥有一本定义已经写好并印刷出来的字典，而不是每当你询问一个词时，都要派出一组作家坐下来构思一个新的定义。

为什么这种方法更好？

更快、更便宜： 因为 AI 不需要进行“重写”笔记的繁重数学运算，它节省了大量的计算量（FLOPs）。
节省内存： 在旧方法中，AI 必须为当前故事中写下的所有笔记维护一个“缓存”（一个临时存放区域）。而在新方法中，由于笔记永久存储在“银行”中，AI 不再需要携带那个沉重的缓存，它只需从书架上取用所需即可。
效果更好： 研究人员在不同规模的 AI 模型上进行了测试。他们发现，使用这种“银行”方法实际上让 AI 变得更聪明（错误率更低）且更高效，尽管它所做的工作量更少。

代价（以及解决方法）
论文指出，你不能对图书馆里的每一位图书管理员都这样做。位于最前方的（浅层）图书管理员仍然需要观察故事语境来理解词汇。但在深层后方的图书管理员那里，“银行”方法是一个改变游戏规则的突破。

总结
本文认为，在 AI 大脑的深层部分，词汇不需要根据故事进行重新解读，它们只需要保留其原始、纯粹的身份。通过将这些身份存储在一个永久的“银行”中并进行查阅，而不是进行计算，AI 变得更快、内存占用更少，且表现更佳。

技术摘要：数值库 (Bank of Values, BoV)

问题陈述
作为现代大语言模型 (LLM) 核心的 Transformer 架构依赖于注意力层，其中查询 (Query)、键 (Key) 和值 (Value) 向量是从残差流中计算得出的。虽然残差流有效地积累了用于查询和键的上下文信息，但对于深层网络中值向量 (Value vectors) 对上下文的需求仍未得到充分研究。标准注意力机制使用残差流 ( $x_i$ ) 来计算值向量 ( $V = x_i W_V$ )，这会将原始标记信息与累积的上下文混合在一起。近期一些试图向值向量中注入无上下文标记信息的研究（例如 Value Residual Learning, SVFormer）结果褒贬不一，通常无法有效隔离无上下文成分的特定贡献，或是在应用这些成分时效率低下。本文解决的核心问题是：深层网络是否真的需要依赖上下文的值向量，或者它们是否会从保留原始、无上下文的标记信息中获益，且无需承担投影残差流的计算开销。

方法论
作者对值向量的组成进行了系统性调查，并提出了一种名为数值库 (Bank of Values, BoV) 的新型架构设计。

系统性消融研究：
作者使用一个 12 层、135M 参数的模型，通过四个维度进行了实验，以确定深层网络中值向量的最佳组成：
- 加法 vs. 替换 (Additive vs. Substitutive)： 比较完全用无上下文来源替换标准值向量，与将两者进行线性组合的效果。
- 系数 (Coefficients)： 测试可学习（无界）系数与固定系数的差异。
- 无上下文信息的来源 (Source of Context-Free Information)： 比较初始嵌入的层特定投影 ( $x_0 W_V$ ) 与第一层的共享值向量 ( $V_1$ )。
- 目标层 (Target Layers)： 评估将这些变化应用于所有层、每隔一层应用、或仅应用于最后三分之一层的效果。
消融研究的关键发现：
- 深层网络强烈倾向于无上下文成分 ( $\tilde{V}$ ) 而非上下文相关成分 ( $V$ )。在加法变体中， $\tilde{V}$ 的学习系数显著更大（通常 >10），而 $V$ 的系数则往往趋于 0。
- 将 $V$ 替换为 $\tilde{V}$ 仅在最后三分之一层能带来显著的性能提升；若将其应用于浅层则会导致性能下降。
- 一旦深层能够获取高质量的无上下文成分，添加上下文相关成分带来的收益微乎其微。
- 层特定的无上下文向量 ( $x_0 W_V$ ) 优于共享向量 ( $V_1$ )，因为前者允许每一层将标记投影到独特的子空间中。
数值库 (BoV) 架构：
基于“深层网络受益于确定性且独立于输入序列的无上下文值向量”这一发现，作者提出了 BoV。
- 机制： 在最后三分之一层中，标准的稠密值矩阵投影 ( $x_i W_V$ ) 被替换为一个稀疏查找表 ( $E_V$ )。
- 实现： 对于 ID 为 $i$ 的标记，直接检索其值向量 $v_i = \gamma_v E_V[i]$ ，其中 $E_V \in \mathbb{R}^{|V| \times d}$ 是一个可学习的参数表，存储了词表内每个标记的预计算值向量， $\gamma_v$ 是一个可学习的缩放系数。
- 推理效率： 不同于标准注意力机制需要为所有先前标记缓存值向量（每层需要 $O(Td)$ 内存），BoV 不需要缓存值。相反，它在正向传播过程中执行一次来自静态参数表 $E_V$ 的 $O(Td)$ 聚集 (gather) 操作。表 $E_V$ 可以被卸载到主机内存中，仅预取所需的条目。

核心贡献

洞察： 本文证明了 Transformer 深层中的值向量主要受益于无上下文的原始标记信息，而源自残差流的上下文相关成分在这些层中很大程度上是冗余的。
架构： 引入了 BoV (Bank of Values)，这种方法通过从特定标记的表中进行静态查找，取代了深层网络中值向量的计算。
效率： BoV 消除了为深层网络计算和缓存值向量的需求，降低了长上下文推理时的内存占用并减少了每个标记的 FLOPs。

结果
作者在 135M 和 780M 参数规模的模型上评估了 BoV，并在受控计算预算（分别为 $1.50 \times 10^{18}$ 和 $3.91 \times 10^{19}$ FLOPs）下进行训练。

验证损失： 在两个模型规模下，BoV 在 ClimbMix 数据集的留出集上均实现了比标准注意力基线更低的验证损失。
基准测试表现： 在 780M 规模下，相比于标准注意力基线，BoV 提升了 21 个 DCLM CORE 基准测试的平均得分。
对比： BoV 在使用更少内存和更少 FLOPs 的情况下，达到或超越了现有的向值向量注入标记信息的方法（如 Value Residual Learning）。具体而言，它优于那些在残速流计算之上添加标记信息的方法，因为后者仍然会产生计算和缓存上下文相关值的成本。

意义
本文声称，由于利用了“深层网络不需要上下文来计算值向量”这一洞察，BoV 为深层网络提供了一种比标准注意力更高效的替代方案。通过将值向量作为稀疏模型参数而非动态计算过程进行持久化，BoV 在不牺牲（甚至在某些情况下提高）模型性能的前提下，降低了长上下文推理的内存占用和计算成本。这挑战了“所有注意力向量都必须从残差流计算”的默认范式，并为更高效的 Transformer 架构指明了路径。

技术摘要：数值库 (Bank of Values, BoV)

类似论文