🤖 machine learning

Raven: High-Recall Sequence Modeling with Sparse Memory Routing

Raven 是一种线性时间序列模型，它通过采用稀疏且依赖输入的记忆路由技术，仅更新固定记忆槽中的一个子集，从而改善了长上下文召回能力，有效地平衡了稠密状态空间模型的干扰问题与滑动窗口注意力的硬性驱逐限制。

原作者： Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图回忆刚才听到的一个故事，但你的大脑有一个奇怪的规则：每当你听到一个新词，你就必须从头开始重写整个故事，并将这个新词融入到你写过的每一句话中。这就是一些被称为“状态空间模型”（State-Space Models）的计算机程序的工作方式。它们擅长在很长一段时间内保持故事的大致氛围，但因为它们把一切都融合得太彻底了，以至于想要找到某个特定的细节（比如一个名字或一个日期）变得极其困难。另一方面，想象另一种不同类型的记忆，它就像一本拥有固定页数的笔记本。当你填满最后一页时，你就把它撕下来扔掉，然后换上一本新的。这就是“滑动窗口”（Sliding Window）模型的工作方式。它们擅长完美地记住最后几页的内容，但一旦某条信息被挤出了边缘，它就会永远消失。

这就是人工智能领域的科学家们试图解决的大问题：我们如何构建一个能够记住一个故事很长时间，既不会混淆细节，又不会仅仅因为信息太旧就忘记开头的计算机大脑？我们需要一个系统，能够长期保留特定的、重要的事实，同时又能高效地处理新信息。这对于随着 AI 模型变得越来越聪明，需要阅读更长的书籍、分析巨大的文档，并在经过数千个单词后仍能记住对话开始时给出的指令，这一点至关重要。

由此诞生了 Raven，一种由研究人员设计的新型 AI 模型，旨在解决这个精确的记忆难题。把 Raven 的记忆想象成不是一个混乱的重写过程，也不是一个简单的垃圾桶笔记本，而是一个拥有数百个储物柜的高科技更衣室。在旧系统中，每当有新物品到达时，它都会被强行放入每一个储物柜中；或者它会根据到达顺序被塞进储物柜，无论该物品是否重要，都会踢走最旧的物品。Raven 改变了规则。它使用一个聪明的“路由”（router）作为“保安”。当新的信息到达时，保安会观察这条信息是什么，然后决定：“这是一个无聊的事实吗？把它放进一个经常清理的共享储物柜里。这是一个超级重要的秘密吗？把它放进一个特殊的、专门的、谁也不准碰的储物柜里。”

该论文介绍了一个名为 路由槽位记忆（Routing Slot Memories, RSMs） 的框架，它是 Raven 的蓝图。其核心创新在于，Raven 将信息的“写入位置”与“停留时长”分离开来。在之前的模型中，这两者是纠缠在一起的。Raven 使用了一种“稀疏”路由系统，这意味着它每次只更新一小部分选定的储物柜（记忆槽位），而让其余部分完全保持不变。这意义重大，因为它防止了试图同时更新所有内容时产生的“干扰”。如果某个特定的储物柜里存着一个关键密码，Raven 的路由可以选择忽略那个储物柜数百步，让密码安全地待在那里，同时让其余的记忆继续履行职责。

研究人员在一些非常困难的记忆游戏中测试了 Raven。其中之一是“大海捞针”（Needle in a Haystack）测试，即 AI 必须在一个巨大的文档中找到一个特定的句子。在这些测试中，Raven 展示了即使在文档长度是其训练长度的 16 倍 时，它也能找到那根“针”。当 Mamba-2 或滑动窗口注意力（Sliding Window Attention）等其他模型开始失效并遗忘信息时，Raven 仍能保持近乎完美的准确度。例如，在 32,000 个 token 的测试中，Raven 保持了超过 91% 的准确率，而其他模型的表现则显著下降。

真正酷的是，Raven 不需要任何花哨的额外技巧来实现这一点。它不依赖于复杂的卷积（这是其他模型使用的类似于短期记忆过滤器）或特殊的位次标记。它仅仅使用了这种聪明的路由系统。论文指出，通过让模型学会基于“内容”（单词是什么）而非仅仅基于“位置”（单词在句子中的位置）来分配记忆，它创造了一种自然的“专业化”。一些记忆槽位成为了持有检索关键细节的专家，而另一些则负责处理故事的整体流向。

作者发现，这种方法不仅可以独立运作，还可以与其它类型的 AI 架构混合使用。当他们将 Raven 与标准的注意力机制（即目前最流行的 AI 模型所使用的机制）结合时，这种混合系统在长上下文任务上的表现甚至更好，超越了使用滑动窗口注意力的模型或其他线性模型。论文总结道，Raven 成功地弥合了擅长长期持久性的模型与擅长精确召回的模型之间的差距，这表明将记忆分配视为一种刻意的、可学习的选择，是构建更聪明、更高效的 AI 的一条强大路径。

技术摘要：Raven —— 基于稀疏记忆路由的高召回率序列模型

1. 问题陈述

线性时间序列模型（如状态空间模型 SSMs 和线性 Transformer）在如何管理长上下文召回的内存管理方面面临着根本性的权衡。现有的架构通常处于两个极端，两者都存在特定的局限性，导致难以检索特定的过去 Token：

密集状态更新 (SSMs)： 像 Mamba-2、GLA 和 GDN 这样的模型维持一个固定大小的状态，并在每一步进行密集更新。每个内存槽位在每个新 Token 到来时都会被更新，依赖于学习到的衰减机制来进行遗忘。虽然这在理论上允许无限期的持久性，但密集的更新会导致干扰，使得保留特定单个 Token 变得困难，因为它们容易被后续信息覆盖或稀释。
稀疏、基于位置的写入 (滑动窗口注意力机制 - SWA)： SWA 通过存储显式的 Token 表示来进行稀疏写入，但将其限制在一个固定的近期窗口内。它使用一种先进先出 (FIFO) 的策略，根据位置进行硬性驱逐。虽然这允许在窗口内实现可靠的检索，但一旦相关 Token 被驱逐，其召回率就会降至接近于零，无论该 Token 的重要性如何。

核心问题在于，现有模型将信息写入的位置与信息的持久时长混为一谈。SSMs 在处处写入并依赖衰减来遗忘；SWA 则在窗口外不进行任何写入（除了当前窗口）并依赖位置来遗忘。两者都未能有效地将基于内容的稀疏写入与显式的、可控的衰减结合起来。

2. 方法论：路由槽位记忆 (Routing Slot Memories, RSMs)

作者提出了路由槽位记忆 (RSMs)，这是一个统一的框架，它将写入的位置与持久的时长解耦。RSMs 维持一组固定数量的 $M$ 个记忆槽位，并在每个时间步 $t$ ，使用一个路由器来确定哪些子集槽位接收新信息并应用衰减。

2.1 RSM 框架

RSM 的一般递推公式定义为：
$S_t = (1 - r_t) \odot S_{t-1} + r_t \odot (D_t S_{t-1} A_t + U_t)$
其中：

$S_t \in \mathbb{R}^{M \times d}$ 是具有 $M$ 个独立槽位的记忆状态。
$r_t \in \mathbb{R}^M$ 是决定每个槽位写入强度的路由向量。
$D_t$ 和 $A_t$ 控制衰减和特征混合。
$U_t$ 是由输入 $x_t$ 衍生的写入内容。

该框架将现有模型定位在一条光谱上：

SSMs： 使用密集路由器 ( $r_t = \mathbf{1}_M$ )，通过逐渐衰减来更新所有槽位。
SWA： 使用基于时间的单热（one-hot）路由器 ( $r_t = e_t$ )，精确更新一个槽位并进行硬性驱逐（无衰减）。
GSA/ABC： 使用输入依赖型路由器，但通常更新所有槽位（密集写入），这限制了它们隔离记忆的能力。

2.2 Raven 架构

Raven 是 RSMs 的一个特定实例化版本，旨在通过结合稀疏、输入依赖型路由与显式衰减来占据“中间地带”。

双状态结构： 与 SWA 类似，Raven 维护独立的键 ( $S^k_t$ ) 和值 ( $S^v_t$ ) 状态。
稀疏、输入依赖型路由： Raven 不使用固定窗口或密集更新，而是使用源自输入 $x_t$ $x_{t}$ 的路由器 $g_t$ $g_{t}$ 。它采用一种 Top-K 选择策略（改编自 DeepSeek MoE 路由）来选择一小部分 $K$ $K$ 个槽位进行更新。
- 通过 Sigmoid 函数计算得分： $m_t = \sigma(W x_t)$ 。
- 仅保留前 $K$ 个条目；其他条目设为零。
- 对路由器进行归一化，以确保选中的槽位获得适当的写入强度。
选择性衰减： 衰减仅应用于选中的槽位。递推公式为：
$S^k_t = \exp(a_t r_t) \odot S^k_{t-1} + (1 - \exp(a_t r_t)) \odot k^\top_t$
这里， $a_t$ 是输入依赖的标量衰减（类似于 Mamba-2）。如果一个槽位未被选中（ $r_t[i] \approx 0$ ），则项 $\exp(a_t r_t[i]) \approx 1$ ，这意味着该槽位被冻结，在再次被选中之前会完美地保留其内容。
简化的块设计： 与许多线性模型（如 Mamba, GLA）不同，Raven 省略了短程卷积。它完全依靠路由和衰减机制来进行局部和远程上下文整合，从而实现了更简单的块结构。

3. 核心贡献

路由槽位记忆 (RSMs)： 一个统一了 SSMs 和 SWA 的形式化框架，明确地将“写入位置”（路由）与“遗忘机制”（衰减）分开。
Raven 模型： 一种线性时间序列模型，通过使用稀疏、输入依赖型路由来更新一部分记忆槽位，同时仅对这些被更新的槽位应用衰减。
长程召回机制： 通过将检索关键的 Token（例如 passkeys）路由到专用槽位并将其冻结，Raven 防止了密集 SSMs 中常见的破坏性干扰以及 SWA 的硬性驱逐。
长度泛化能力： 由于不同槽位之间多变的有效序列长度自然地使模型接触到多样化的时间动态，Raven 在无需显式长度课程学习或位置插值技术（如 RoPE）的情况下，在高达训练长度 16 倍 的上下文下实现了强大的性能。

4. 实验结果

作者在检索密集型基准测试和通用语言建模任务上评估了 Raven，并将其与包括 Mamba-2、GLA、GDN、SWA 和 Transformer 变体 (FoX) 在内的强基准模型进行了对比。

大海捞针 (Needle-in-a-Haystack, NIAH)：
- 400M 规模： Raven 在高达 16K token 时保持了近乎完美的准确率 ( $\ge 99\%$ )，并在 32K token（16 倍训练长度）时依然表现强劲 ( $>91\%$ )。相比之下，Mamba-2 和 GDN 在超过 8K 后性能显著下降。
- 800M 规模： Raven 在 64K token 的 NIAH-1 任务中达到了 91.0% 的准确率，显著优于次优基准模型（GDN 为 45.2%）。
真实世界召回任务：
- 在 SWDE（网页提取）、FDA（文档提取）和 SQuAD 上，Raven 一致优于线性基准模型。例如，在 FDA 上，它是唯一一个准确率超过 22% 的线性模型，比表现最好的 SSM 基准模型高出约 8 个百分点。
语言建模：
- 在标准零样本基准测试（Lambada, PIQA, HellaSwag 等）中，Raven 匹配或超过了密集 SSMs（Mamba-2, GLA）的表现，证明了稀疏路由不会损害通用的语言建模能力。
混合架构：
- 当集成到混合模型中（与全注意力层配对）时，Raven 在长上下文检索任务（特别是 16K–64K 范围）中明显优于使用 Mamba-2、GDN 或 SWA-RoPE 的混合模型。

5. 意义与主张

本文声称 Raven 解决了线性序列建模中的一个根本性架构差距。通过显式地分离在哪里写入信息与信息持续多久，Raven 实现了一种线性模型此前无法达到的长程召回水平，而无需诉诸二次方注意力或复杂的混合设置。

主要主张包括：

优于 SWA： Raven 用基于内容的路由和选择性衰减取代了基于位置的驱逐，从而在 SWA 完全失效的任务中实现了完美的召回。
优于密集 SSMs： 通过选择性写入，Raven 避免了密集状态更新带来的干扰，允许特定的 Token 在专用槽位中永久保留。
简洁性： 该模型在实现这些增益的同时无需短程卷积，使得架构比之前的线性模型更加简单。
涌现的专业化： 分析表明，Raven 自然地学会了为检索关键的 Token（如密码）分配特定的记忆槽位，同时利用其他槽位处理通用内容，从而在没有显式监督的情况下创建了结构化的、内容感知的记忆分配。

作者总结道，RSM 框架表明，路由和遗忘是正交的设计轴，应当作为一等公民的设计选择，而非仅仅是衰减机制的副产品。