🤖 machine learning

PRISM: Parallel Residual Iterative Sequence Model

PRISM 是一种可并行化的序列模型，它通过解耦非线性并使用两阶段代理架构将迭代细化蒸馏为前馈算子，解决了 Transformer 表达能力与线性效率之间的张力，在实现理论上的 Rank- $L$ 累积并比显式优化方法高出 174 倍吞吐量的同时，保持了相当的性能。

原作者： Jie Jiang, Ke Cheng, Xin Xu, Mengyang Pang, Tianhao Lu, Jiaheng Li, Yue Liu, Yuan Wang, Jun Zhang, Huan Yu, Zhouchen Lin

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jie Jiang, Ke Cheng, Xin Xu, Mengyang Pang, Tianhao Lu, Jiaheng Li, Yue Liu, Yuan Wang, Jun Zhang, Huan Yu, Zhouchen Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“速度 vs. 智力”的困境

想象一下，你正试图记住一个非常长的故事（比如一个用户的整个购物历史，或者你正在读的一本书），以便预测接下来的情节。

“聪明”的方式 (Transformer)： 这就像有一位超级聪明的图书管理员，每当你提问时，他都会把整个故事重新读一遍。因为他看到了全局，所以极其准确，但速度很慢。如果故事变得太长，管理员就会感到应接不暇，寻找答案需要耗费大量时间。
“快速”的方式 (线性模型)： 这就像一位只记录简短摘要笔记的图书管理员。随着新词汇的到来，他会立即更新这些笔记。他们速度极快，但由于笔记过于简单，往往会错过故事中微妙的细节或复杂的联系。他们虽然“笨”，但效率很高。

长期以来，研究人员认为你必须做出选择：要么变聪明但变慢，要么变快但变笨。

旧有的“聪明”方案：串行瓶颈

一些研究人员试图通过一种“测试时训练”（Test-Time Training, TTT）方法让这些快速的图书管理员变得更聪明。这就像是告诉那位快速的管理员：“在你回答之前，先深入思考一下，检查你的笔记，纠正你的错误，然后再思考一次。”

这让他们变得聪明得多（能够处理复杂的模式），但也破坏了速度。为什么？因为他们必须循序渐进地思考。在完成第 1 步之前，他们无法思考第 2 步。这就像是一个人在试图同时解决一个拼图，必须一个零件一个零件地处理，而周围有一群人在等待。这很准确，但它扼杀了速度优势。

新的解决方案：PRISM

该论文的作者们提出了一个大胆的问题：“我们能否让图书管理员既能进行深度思考（像聪明的那样），又能同时进行（像快速的那样）？”

他们的答案是：可以。他们构建了一个系统，模仿深度思考的过程，但对其进行了重新排列，使其能够并行执行。

PRISM 的工作原理（类比）

想象一下，图书管理员需要更新他的记忆笔记。

“写与忘”的技巧：
论文意识到，“忘记”旧信息是容易且稳定的（就像让一杯咖啡冷却下来）。你不需要一个超级复杂的脑子来做这件事。然而，“写入”新信息才是魔力所在。PRISM 将这两个任务分开了：它使用一种简单、快速的方法来“忘记”，并将所有的脑力都留给“写入”部分。
“输入锚点”（小抄）：
旧有的“深度思考”方法之所以慢，是因为图书管理员必须查看他们当前的笔记，才能决定下一步要写什么。这产生了一种连锁反应（第 1 步依赖于第 1 步的结果，而第 1 步又依赖于第 1 步的结果……）。
PRISM 打破了这种链条。与其观察当前的笔记，图书管理员转而观察从输入（刚刚到达的新词汇）中提取出的**“小抄”**。这份小抄会预测笔记在更新后可能呈现的样子。
- 类比： 与其等到天气变化后再决定穿什么，不如直接看天气预报（输入），然后立即决定你的着装。你不需要等到雨真的落下来才决定。
“并行循环”（专家团队）：
通常，深度思考是在一个循环中进行的：思考、检查、再思考、再检查。这是串行的。
PRISM 将这个循环展开了。想象一下，不再是一个人循序渐进地思考，而是你拥有一个由 L 个专家组成的团队在同时工作。
- 专家 1 查看小抄并提出一项修正建议。
- 专家 2 查看同一个小抄并提出另一种不同的修正建议。
- 专家 3 也做同样的事情。
  因为他们都在观察小抄（输入）而不是互相等待，所以他们可以同时开展工作。最终的记忆笔记是所有这些建议的结合体。

结果：两全其美

论文声称 PRISM 实现了“Rank-L”更新。用通俗的话说，这意味着图书管理员现在可以同时向多个方向更新他的记忆，从而捕捉到旧有的“快速”模型所错过的复杂细节。

速度： 因为所有人都在并行工作，PRISM 和旧有的“笨模型”一样快。它比旧有的“聪明但慢”的方法快了 174 倍。
智力： 它的表现与那些缓慢的深度思考方法一样出色。在推荐系统（如推荐电影或书籍）的测试中，它比快速模型更准确，并且达到了缓慢模型的水平。

总结

PRISM 是一种构建 AI 记忆的新方式。它通过以下方式解决了速度与智能之间的矛盾：

解耦了容易的部分（忘记）和困难的部分（写入）。
基于输入（小抄）而非等待当前状态来预测必要的修正。
以并行（专家团队）而非串行链条（一个人循序渐进地思考）的方式运行“思考”过程。

其结果是，诞生了一个既拥有短跑运动员的速度，又拥有马拉松选手智慧的 AI。

技术摘要：PRISM (并行残差迭代序列模型)

1. 问题陈述

生成式序列建模面临着基于 Transformer 架构的**表达能力（Expressivity）与线性序列模型的效率（Efficiency）**之间的根本性张力。

效率瓶颈： 现有的高效架构（例如 Linear Attention、如 Mamba 等 SSM）依赖于对在线凸优化（Online Convex Programming, OCP）目标的线性化、单次求解方案。虽然这些方法支持硬件高效的并行扫描，但在理论上受限于 Rank-1 瓶颈。每个 token 对记忆状态的贡献在结构上被限制在单个外积（ $v_t k_t^\top$ ）内，这限制了模型捕捉高阶特征交互或在单步内迭代最小化重构误差的能力。
表达能力瓶颈： 像测试时训练（Test-Time Training, TTT）这样强大的迭代方法通过执行多步非线性梯度下降解决了 Rank-1 的局限性，实现了 Rank-L 更新。然而，这引入了串行依赖瓶颈（Serial Dependency Bottleneck）：每个梯度步骤都依赖于前一步更新后的状态，从而破坏了硬件并行性，导致 $O(NL)$ 的顺序计算。这使得 TTT 比线性递归慢得多（高达 174 倍）。

核心问题在于：能否在实现 Rank-L 更新（高表达能力）的同时，保持并行扫描的兼容性（高效率）？

2. 方法论：PRISM 架构

PRISM 通过将 TTT 的“门控 $\times$ 残差 $\times$ 方向”迭代模式显式地重构为可并行形式来解决这一张力。该架构建立在两个核心机制之上：

2.1. 写-忘解耦 (Write-Forget Decoupling)

PRISM 根据谱扰动分析将状态更新 $S_t = S_{t-1} A_t + B_t$ 分解为两条不同的路径：

遗忘（Forgetting, $A_t$ ）： 遗忘算子对近似误差具有鲁棒性。PRISM 将其固定为一种结构化的、高效的 Rank-1 形式（与 Gated DeltaNet 一致），确保长时记忆的稳定性，而无需复杂的非线性。
写入（Writing, $B_t$ ）： 注入算子对秩保真度（Rank-fidelity）高度敏感。PRISM 将表达能力分配在此处，通过迭代求解器构建 Rank-L 注入。

2.2. 输入锚定循环展开 (Input-Anchored Loop Unrolling)

为了绕过显式求解器的串行依赖（其中残差和梯度方向取决于演化的隐藏状态 $S_{t-1}$ ），PRISM 引入了一种两阶段代理机制，将多步解“摊销”到单次并行传递中：

阶段 1：锚点构建： 通过对输入序列进行短卷积（ShortConv），计算一个无状态的代理值 $u_t \approx S_{t-1} k_t$ 。它捕捉了局部历史能量，并作为后续所有计算的锚点，从而消除了对实际隐藏状态的依赖。
阶段 2：并行精炼循环： 使用锚点 $u_t$ $u_{t}$ ，模型并行地展开 $L$ $L$ 个精炼步骤。对于每个步骤 $l \in \{1, \dots, L\}$ $l \in {1, \dots, L}$ ：
- 方向（Direction）： 一个学习到的投影 $k_t^{(l)} = W_k^{(l)} u_t$ 为 Rank- $l$ 更新提供基底。
- 增益（Gain）： 一个学习到的预测器 $p_t^{(l)} = W_p^{(l)} u_t$ 近似上下文增益 $\sigma'(S_{t-1} k_t)$ 。
- 残差更新（Residual Update）： 贪婪地进行减法： $r_t^{(l+1)} = r_t^{(l)} - \delta_t^{(l)}$ ，其中 $\delta_t^{(l)} = \text{GELU}(p_t^{(l)} \odot r_t^{(l)})$ 。
- 置信度（Confidence）： 一个步长门控 $\beta_t^{(l)}$ 调节更新。

最终的注入矩阵累加为 $B_t = \sum_{l=1}^L \beta_t^{(l)} \delta_t^{(l)} (k_t^{(l)})^\top$ 。由于所有组件仅依赖于输入（通过锚点），整个更新满足了**并行前缀扫描（Parallel Prefix Scanning）**所需的“状态无关性”条件。

3. 核心贡献

统一的 OCP 视角与分类法： 本文将现有方法置于一个共同的优化框架内，并将 Rank-1/并行权衡 识别为核心瓶颈。它确立了 PRISM 是第一个同时实现 Rank-L 表达能力和并行扫描兼容性的方法。
PRISM 架构： 一种利用 写-忘解耦 和 输入锚定循环展开 的硬件感知实现。这种设计在保留迭代求解器表达能力的同时，规避了其串行计算问题。
理论表达能力保证： 作者正式证明了输入锚定公式会产生 秩累积（Rank Accumulation）。PRISM 的注入算子在每个 token 产生 Rank-L 的状态修改，渐进地接近理想非线性 Delta 规则的解质量。此外，当 $L=0$ 时，PRISM 在结构上退化为 Gated DeltaNet，建立了向后兼容性。

4. 实验结果

实验在四个推荐系统基准测试（Amazon Books, Movies, Electronics, Yelp）和语言建模任务（SlimPajama）上进行。

性能（Rank-L 有效性）： PRISM 的性能与显式串行求解器（如 TTT 和 Titans）持平，在某些情况下甚至超越了后者。在 Amazon Movies 上，PRISM 取得了所有线性模型中的最高 AUC，超过了 Titans。它还缩小了与全注意力 Transformer（如 SASRec）之间的差距，表明线性化的“表达能力税”随着 Rank-L 追踪变得微乎其微。
效率（并行扫描）： PRISM 在不同序列长度下保持了稳定的训练吞吐量（~57K–61K tokens/s），其表现与 Rank-1 基线（Gated DeltaNet, Mamba-2）相当。相比之下，由于其顺序特性，TTT 比 PRISM 慢 174 倍，而 Transformer++ 随序列长度呈二次方衰减。
消融实验：
- 迭代深度： 去除迭代精炼过程（ $L=0$ ）会导致最大的性能下降，验证了多步精炼的重要性。
- 非线性： 去除精炼循环中的 GELU 激活函数会降低性能，证实了非线性整形对于优化质量更新的必要性。
- 机制探测： 在 Rank-1 模型失效的逻辑任务（XOR, Parity）上，PRISM 达到了 100% 的准确率，证明其收益来自于迭代非线性计算而非仅仅是空间秩的扩张。

5. 重要性与主张

本文声称 PRISM 成功弥合了优化保真度与硬件高效并行训练之间的鸿沟。通过将迭代修正的结构模式蒸馏到可并行的前馈算子中，PRISM 解决了 Rank-Parallel 权衡问题。

作者断言，这种设计允许高效的序列模型在不牺牲线性递归吞吐量优势的情况下，捕捉复杂的、多模态的用户兴趣和长程依赖。PRISM 不仅仅是一个理论上的改进，它被呈现为超越 Rank-1 障碍的一条实用路径，提供了显式优化的高表达能力以及线性模型的高效率。这项工作表明，对于生成式建模，局部上下文为预测优化轨迹提供了一个极其高效的结构先验，使得脱离精确状态依赖的权衡成为一种可行的扩展策略。