💬 NLP

CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention

CARVE 是一种内容感知循环架构，它通过将擦除操作限制在键轴（key axis）上，解决了领先的 Delta 规则模型中的关键缺陷，从而在实现高效的 WY 型块并行训练的同时，以更少的参数和内存占用量，在困惑度、推理和检索方面达到了最先进的性能。

原作者： Sayak Dutta

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sayak Dutta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人助手，它能记住你告诉它的每一件事。但问题在于：它的记忆是一个微小的、固定大小的笔记本。每当你告诉它一件新事物时，它必须决定：我是要把这个记下来吗？我是不是要擦掉一条旧笔记来腾出空间？我该擦掉哪一条旧笔记呢？

长期以来，最优秀的机器人（比如“GDN-2”家族）都有一个盲点。它们决定擦除什么仅基于你刚刚告诉它的新事物。它们无法观察自己的笔记本，看看里面已经写了什么。这就像是在蒙着眼睛清理房间，仅凭手里正拿着的东西来猜测该扔掉什么。

它们还有一个“带宽”问题。为了决定写什么，它们需要为每一条信息使用一套庞大且复杂的指令，这让它们变慢了，也浪费了空间。

最后，它们遇到了“交通堵塞”问题。当试图快速学习时，它们必须一件接一件地处理，就像单行道一样，而不是使用多车道高速公路。

CARVE 登场了。

这篇论文介绍了一种名为 CARVE（内容感知循环与价值效率）的新型机器人架构。它通过一个巧妙的技巧和两个聪明的升级解决了所有这些问题。

1. “盲点”修复：在擦除前先看一眼

问题： 旧的机器人会在不知道存储了什么的情况下进行擦除。
CARVE 的解决方案： CARVE 在决定删除什么之前，可以窥视一下自己的记忆。
神奇的技巧： 通常情况下，窥视记忆需要进行一次缓慢的硬盘访问（就像为了查一本书而步行去图书馆）。但 CARVE 非常聪明。它意识到，当它在写日报时，它手里其实已经握着了它所需要的信息。它只需重新利用这些信息来决定擦除什么。

类比： 想象你在收拾行李箱。旧的方法是根据你手里拿的新衬衫来猜测该扔掉什么。CARV 的方法是，当你拿着衬衫时，快速瞥一眼行李箱，看看里面已经装了什么，然后说：“噢，我已经有三个这样的了，我扔掉一个来腾出空间吧。”
结果： 它实现这一点的额外成本为零。它不会变慢，因为它只是使用了已经在处理的信息。

2. “沉重背包”修复：减轻负担

问题： 旧的机器人背着一个沉重的背包（巨大的参数量）仅仅是为了决定写多少内容。这就像是用大锤去砸坚果。
CARVE 的解决方案： CARVE 意识到它不需要为每一件物品都准备一张复杂的地图。它只需要一个针对整个群体的简单“音量旋钮”。

类比： 与其为笔记本的每一页都准备一个不同的橡皮擦（这会占用大量空间），CARVE 只有一个主开关，可以控制整页纸的写入量。
结果： 这将机器人的“大脑容量”缩小了约 19%，使其更快速、更便宜，且没有损失任何智能。

3. “交通堵塞”修复：开启高速公路

问题： 旧的机器人必须逐行处理它们的记忆，这非常缓慢。
CARVE 的解决方案： 通过将它的“擦除”规则限制在特定的方向（“键”轴/key axis），CARVE 解锁了一个特殊的数学捷径。

类比： 旧的机器人就像是一条单行道，汽车必须互相等待。CARVE 将其变成了多车道高速公路，所有的车都可以并排全速行驶。
结果： 它的学习速度与最快的现有模型一样快，同时还具备更聪明、更轻量化的优势。

事实胜于雄辩

作者在大规模规模（13 亿参数）上使用真实世界的数据测试了这个新机器人。结果如下：

更聪明： 在语言任务中，它的错误更少（更低的“困惑度”），优于之前的最佳模型。
更好的记忆力： 它在长篇故事中寻找特定事实（如大海捞针）的能力要强得多，尤其是在存在许多干扰项的情况下。
更快、更轻： 它并没有变慢；实际上，它使用了 13% 更少的计算内存，并且运行速度与之前的冠军模型几乎完全一致。

核心结论

CARVE 的突破在于它解决了一个 AI 领域的主要矛盾：它创造了一个既更聪明（它知道自己存储了什么）、更小（它使用的资源更少）、又更快（它不会陷入交通拥堵）的记忆系统。它证明了你不需要为了智能而牺牲速度；你只需要让机器人在开始擦除之前，先看看自己的笔记本。

技术摘要：CARVE (内容感知循环与价值效率模型)

1. 问题陈述

基于增量规则（delta-rule）家族的循环序列模型（如 GDN-2）将过去的内容压缩进一个固定大小的状态矩阵 $S_t \in \mathbb{R}^{d_v \times d_k}$ 中。虽然最先进的 GDN-2 采用了全元素级矩阵门控来进行擦除和写入，但作者指出其存在三个限制效率和能力的内在结构性缺陷：

记忆盲目门控（Memory-Blind Gating）： 擦除门（ $B_t$ ）和写入门（ $W_t$ ）都仅由输入的当前标记 $x_t$ 计算得出。模型在决定遗忘什么之前无法观察当前的 $S_{t-1}$ 状态，这使得模型无法进行依赖内容的选择性遗忘（例如：在清除陈旧噪声的同时保护高价值关联）。
写入门带宽瓶颈（Write-Gate Bandwidth Bottleneck）： GDN-2 中的写入门投影将输入映射为一个完整的 $d_v \times d_k$ 矩阵。这产生的参数量和内存占用与值投影本身相当，然而作者认为，这种针对每个值的选择性对于核心的关联召回任务而言，其带来的表达能力提升微乎其微。
破坏块并行性（Destruction of Chunk-Parallelism）： 高效训练增量规则模型依赖于 WY 型三角块求解器（WY-form triangular chunk solver），该求解器将标记分块处理为单个线性系统。然而，GDN-2 的擦除门作用于值（value）和键（key）两个轴。这种耦合迫使块内系统分解为 $d_v$ 个独立的求解过程（每个值行一个），从而将训练吞吐量从并行的 $O(\log T)$ 降级为串行的递归成本。

2. 方法论：CARVE 架构

CARVE 通过一个单一的架构约束同时解决了上述三个问题：将所有门控限制在仅有的键轴（key axis）上。 该约束被证明是使 WY 型块求解器保持有效的必要且充分条件。

2.1 通过输出复用实现内容感知擦除

为了实现无需通过高带宽内存（HBM）读取状态矩阵 $S_{t-1}$ 即可进行记忆感知门控，CARVE 引入了一种新颖的读出机制：

机制： 循环输出张量 $o_t = S_{t-1}q_t$ 已经由内核计算并写入 HBM。CARVE 复用该张量来计算块均值 $m_c = \frac{1}{L}\sum o_t$ 。
门控： 该块均值作为一个内容信号，通过一个零初始化的低秩投影 $U_b$ 进行调制，以控制擦除门： $b_{c,t} = \sigma(b_{x,t} + U_b m_c)$ 。
效率： 这增加了零额外的 HBM 流量。该信号滞后一个块（chunk），但理论分析表明，由此产生的门控扰动随 $O(1/\sqrt{L})$ 衰减，在块长度高达 $L=128$ 的情况下，实测偏差仅为平坦的 0.18%。

2.2 标量值写入门

CARVE 将 $d_v$ 维度的每值写入门投影替换为每个注意力头的一个标量 $w_{h,t}$ ，该标量均匀广播至所有值通道。

影响： 这将写入门的参数量减少了 $d_v$ 倍（例如，在 $H=12, d_v=768$ 时，从 589,824 降至 9,216 每层）。
理论保证： 作者证明（定理 15），对于单插槽关联召回任务，标量是足够的，因此这种简化对于核心任务而言是无损的。

2.3 键轴衰减与融合

该架构在严格的键轴上采用指数衰减门。衰减激活直接在 Triton 内核中进行融合（"gate-in-kernel"），消除了存储完整序列激活张量的需求，从而节省了内存并提高了吞吐量。

3. 核心贡献与理论保证

论文提供了六项支撑设计的形式化理论结果：

可分块边界（定理 11）： 证明了仅限键轴的擦除是 WY 型三角块求解器在不进行分解的情况下正常运行的必要且充分条件。
包含层级（定理 1）： 确立了 CARVE 严格泛化了记忆盲目型键轴架构、标量门控网络以及原始的增量规则（delta rule）。
不可比性（命题 2）： 表明 CARVE 与 GDN-2 在结构上处于不同的子空间；两者互不包含，但 CARVE 提供了更优的记忆调节能力。
李雅普诺夫稳定性（定理 4）： 表明 CARVE 的双轴门控（衰减 + 擦除）提供了比 GDN-2 更严格的收缩比，确保状态范数保持有界。
梯度流（定理 5）： 限制了梯度范数，表明 CARVE 不会引入新的梯度消失病态问题。
表达能力分离（定理 7）： 证明了 CARVE 可以用 $O(d_v + d_k)$ 个参数解决“选择性键覆盖”（SKO）任务，而任何记忆盲目型门控无论宽度如何都会失败。

4. 实验结果

在 NVIDIA H100 GPU 上使用 100B token 的 FineWeb-Edu 数据集，在 1.3B 参数规模下进行评估（取三个种子的平均值）：

语言建模： 在 WikiText 上，CARVE 的困惑度为 15.72，相比 GDN-2 的 15.90（降低了 $-0.18 $，即 4.5$ \sigma$ 效应）。混合变体（CARVE + 滑动窗口注意力）达到 15.41，对比 GDN-2 的 15.62。
推理基准测试： 在九个常见的常识推理任务中，CARVE 平均领先所有循环基准模型 +0.63 个百分点。
上下文检索（RULER）： 在所有单针（S-NIAH）和多键（MK-NIAH）上下文长度下均创下新高，超越了 Mamba-3 和 GDN-2。
真实世界检索： 在循环和混合配置下，均在六个真实世界召回基准（SWDE, SQuAD, FDA 等）中排名第一。
硬件效率：
- 吞吐量： 93.36K tokens/sec，与 GDN-2 基准线仅差 0.4%（统计学上可以忽略不计）。
- 内存： 峰值内存使用量降低了 13%（6.54 GB 对比 7.50 GB）。
- 参数量： 由于标量写入门，混合器（Mixer）参数减少了 19%。

5. 重要性与主张

论文声称 CARVE 是第一个在以下方面同时实现突破的门控增量类架构：

内容感知门控（在遗忘前观察记忆）且实现零额外内存成本。
全 WY 型块并行训练（保持高吞吐量）。
减少参数量（通过标量写入门）。

作者强调，这些改进并非近似，而是有着形式化证明和硬件测量支持的。该设计解决了此前限制 GDN-2 等模型的“三方张力”问题，即：更丰富的门控能力、更低的带宽需求与并行训练之间的矛盾。论文总结道，通过复用输出张量，实现“在决定遗忘什么之前先观察自身记忆”的能力是可以在零额外成本下实现的，这从根本上提升了循环语言模型的效率与能力。

承认局限性： 内容信号依赖于前一个块的均值；因此，少于两个块的序列无法获得内容信号。目前的评估仅限于预训练阶段，其在微调或指令遵循场景下的表现仍是一个开放性问题。