🤖 machine learning

CART: Context-Anchored Recurrent Transformer -- A Parameter-Efficient Architecture with Learned Stability

该论文介绍了 CART，一种通过学习稳定性机制来复用单个核心块的参数高效型语言模型，但发现尽管前序深度在性能中占据主导地位，该架构最终表现仍逊于参数量相当的稠密基准模型，且无法支持有效的测试时深度缩放。

原作者： Chad A. Capps

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Chad A. Capps

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 CART 论文的解释，已将其转化为通俗易懂的语言并辅以类比。

核心理念：一种“循环”语言模型

想象你正在尝试写一个故事。AI 实现这一目标的标准方式（称为 Transformer）就像雇佣了一个由 12 名不同编辑组成的团队。编辑 1 阅读第一句话，编辑 2 阅读编辑 1 写的内容，编辑 3 阅读编辑 2 写的内容，依此类推。每位编辑都有自己独特的风格和笔记。这种方式效果很好，但很昂贵，因为你必须为 12 个人付钱。

CART（上下文锚定循环 Transformer） 尝试了一种不同的方法。它只雇佣了 一名编辑，并要求他们将这个故事阅读六次（或更多）。

目标： 以更小的团队（更少的参数）实现同等的写作质量，从而节省资金和内存。
难点： 如果你让同一个人反复阅读同样的内容，他们可能会感到厌倦并重复同样的错误。挑战在于如何让这位单一的编辑在不增加新人的情况下，通过每一次阅读变得更加聪明。

CART 是如何工作的：“锚点”与“门控”

CART 有三个特殊的技巧来让这种循环运作起来：

“锚点”（冻结的地图）：
- 标准的循环： 在其他循环模型中，每当编辑阅读故事时，他们都会重新绘制一张关于重要词汇位置的地图。这既慢又冗余。
- CART 的做法： 在循环开始之前，一小组“预备编辑”（称为 Prelude）会先阅读故事一次，并绘制出一张完美、详细的重要词汇地图。这张地图是 冻结的。
- 循环过程： 随后，这位循环编辑在每次阅读故事时，都会查看这张 相同的、冻结的地图。他们不会重新绘图，而是将其作为稳定的锚点来深化理解。这节省了大量的计算能力。
“门控”（稳定性开关）：
- 问题： 如果你让一个人反复思考某件事，他们可能会感到困惑或开始产生幻觉（发疯）。
- CART 的解决方案： 有一个“门控”来控制编辑保留多少之前的想法。它就像一个音量旋钮。如果编辑的想法变得过于混乱，门控就会稍微调低音量。
- 发现： 论文发现，这个门控学会了稳定在一个非常特定的“甜点区”（一个 0.79 到 0.83 之间的数值）。这并不是由工程师强加的；AI 是通过学习自行掌握了这个特定设置，以保持稳定。
“循环索引”（步数计数器）：
- 编辑被赋予了一个计数器（1, 2, 3...），以便知道自己正处于第几次阅读。这有助于他们判断自己是在思考的早期阶段还是在进行最后的润色。

实验过程：发生了什么？

研究人员在一块消费级显卡（如高端游戏 PC）上进行了测试，采用了两个阶段的训练。

阶段 1：快速测试（“直觉”）

他们快速训练了许多小型版本的 CART。
直觉： 他们认为对于更大、更复杂的模型，循环更多次（例如 8 次而不是 6 次）会更好。看起来像是“循环越多 = AI 越聪明”。

阶段 2：完整训练（“现实检验”）

他们对模型进行了更长时间的训练（使用了约 10 亿个单词的文本）。
惊喜（反转）： 他们的直觉错了。在完整训练后，循环更多次实际上让模型的表现略微变差，或者没有带来任何提升。
类比： 想象你让一名学生把一本教科书章节读 10 遍。在快速测试中，读 10 遍看起来效果极佳。但经过整个学期的学习后，你会发现读 6 遍就足够了。读 8 遍或 10 遍只会导致收益递减甚至产生混乱。模型学到了在这种特定设置下，“循环次数多”并不等于“更聪明”。

最终结论：它赢了吗？

研究人员将他们的“一名编辑，六次循环”模型与一个具有相同内存容量的标准“六名不同编辑”模型（密集型 Transformer）进行了对比。

结果： 标准模型（6 名不同的编辑）击败了 CART 模型。
- 标准模型的语言理解能力高出约 10%。
- 即使给标准模型提供相同的“有效”能力（通过将其变为 12 名编辑的长），它依然碾压了 CART。

为什么 CART 输了？
研究人员进行了“尸检”（诊断性消融实验）来找出原因：

“冻结地图”不是问题所在： 即使让他们允许编辑每次都重新绘图，也没有带来太大帮助。
“机械装置”是无用的： 他们添加的那些特殊小工具（稳定性门控、步数计数器、过去想法的融合）最终被证明大多是装饰性的。移除它们并不会显著影响性能。
真正的核心问题： 主要问题在于 权重共享。即“一个编辑做六次循环”等同于“六个不同编辑”的想法，在实践中并不成立。共享权重成为了瓶颈。这种“异构”设计（结合预备编辑、冻结锚点和循环编辑）过于复杂，且效率不如一个简单的、统一的编辑堆叠。

一句话总结

CART 是一个聪明的、节省内存的想法，它试图通过使用一个冻结的参考地图，让单个 AI 模块进行重复性的“思考”，但最终事实证明，拥有一支由独特专家组成的团队（标准模型）仍然比一个不断循环的单一专家效果更好，而且为了让循环保持稳定而添加的那些额外装置大多是不必要的。

对未来的关键启示：
论文得出结论，虽然“冻结锚点”节省了一些计算能力，但在这种规模下，仅仅通过循环共享的代码块来获得巨大的智能提升这一承诺并未实现。该架构是稳定且有趣的，但在单位成本的原始性能表现上，它并没有击败标准方法。

技术摘要：CART (Context-Anchored Recurrent Transformer，上下文锚定循环 Transformer)

问题陈述

语言模型的主流范式——堆叠式 Transformer——其参数量随深度（ $L$ 个唯一层）线性增长，这为在受限硬件上的部署造成了内存瓶颈。深度循环（或循环）Transformer 试图通过在共享块中多次复用同一组参数（ $R$ 次）来解决这一问题。然而，朴素的权重共享往往表现不如具有相同深度的唯一参数模型，因为一个被同一方式应用的单一模块无法在循环迭代过程中调整其行为。先前的解决方案（如超连接、循环索引嵌入和显式稳定性约束）试图缓解这一问题，但仍存在一个关键的架构差距：大多数并发的循环架构（如 Hyperloop、Parcae、OpenMythos）在每次迭代时都会从演化的隐藏状态中重新计算键值（K, V）表示，未能将上下文编码与迭代细化过程分离。

方法论：CART 架构

CART 引入了一种参数高效的架构，通过在深度方向上复用一个共享核心块 $R$ 次，并具备三个特定的架构贡献：

一次性计算的 KV 锚点： 与以往在每个循环步骤中重新计算 K 和 V 的工作不同，CART 从一个多层“序幕”（由一组唯一的 $P$ 个 Transformer 层组成）中一次性计算出 K 和 V 并将其固定。循环核心随后针对这些冻结的张量进行交叉注意力计算。这实现了上下文编码（序幕）与迭代细化（核心）的分离，通过消除冗余的 KV 投影减少了单次循环的 FLOPs。
通过 Sigmoid 门控 LTI 实现的学习稳定性： 为了确保循环计算收敛，CART 采用了一个学习型的线性时不变（LTI）门控： $h_{\ell} = \sigma(a) \odot h_{in} + f_{transformer}(h)$ 。不同于其他工作中使用的架构约束（如零阶保持离散化），该门控直接从数据中学习其收敛速率（谱半径 $\varrho$ ），从而在无需结构刚性的情况下保证 $\varrho < 1$ 。
因果交叉注意力约束： 论文指出了一个对于自回归循环模型的关键约束：从核心到序幕的交叉注意力必须是因果的。非因果注意力会将未来的 Token（来自序幕的上下文）泄露到循环状态中，导致损失崩溃。

该架构遵循“序幕 $\to$ 锚点 $\to$ 核心 $\to$ 尾声”的拓扑结构。序幕（ $P$ 个唯一层）生成上下文锚点 $e$ 。核心（共享权重，进行 $R$ 次迭代）利用来自 $e$ 的冻结 K, V 来细化状态。单个唯一的“尾声”层产生最终的 Logits。

实验设置

作者在消费级 GPU（RTX 3050 和 RTX 3090）上，使用单次通过约 1B 个 Token 的语料库（TinyStories, Wikipedia, FineWeb-Edu）对 CART 进行了两个阶段的评估。

阶段 1： 对 64 种配置进行超参数筛选（ $d \in \{256, 512, 768, 1024\}$ , $R \in \{2, 4, 6, 8\}$ , $P \in \{2, 3, 4, 6\}$ ），训练 3,000 步（约 49M 个 Token）。
阶段 2： 对 36 种配置进行全量训练（ $P=6$ , $R \in \{6, 8, 10\}$ , 每个种子 3 个），训练 30,500 步（约 1B 个 Token）。
基线模型： 在绑定规模下（ $d=1024$ ），将 CART 与在存储参数（7 层）和有效参数（12 层）上均匹配的 Dense Transformer 进行对比。

关键结果

1. 稳定性与谱半径

在所有 36 种阶段 2 配置中，学习到的 LTI 门控的谱半径 $\varrho$ 稳定在 $[0.79, 0.83]$ 的窄带内。这个值不是一个固定的设计目标，而是从训练中涌现出来的。 $\varrho$ 随模型宽度（ $d$ ）单调上升，并随循环次数（ $R$ ）弱相关上升。在阶段 1 中观察到的“通用” $\varrho \approx 0.893$ 被确定为全量训练期间的一个中期过渡现象，在全量训练期间会发生衰减。

2. 循环收益的反转 ( $R$ )

一个关键发现是阶段 1 和阶段 2 之间趋势的反转：

阶段 1 (3k 步)： 表明随着模型宽度（ $d$ ）的增加，循环深度（ $R$ ）变得更有价值，在 $d=1024$ 时， $R=8$ 的表现显著优于 $R=2$ 。
阶段 2 (30.5k 步)： 这一趋势发生了反转。在全量训练时， $R=6$ 是所有规模 $d \ge 512$ 下的最佳配置。将 $R$ 增加到 8 或 10 会导致性能退化（困惑度下降高达 1%）。
推理缩放： 在表现最好的 $d=1024$ 模型（在 $R=6$ 下训练）上进行可变 $R$ 推理显示，运行比训练时更多的迭代次数会持续降低在 HellaSwag、LAMBADA 和 PIQA 上的表现。这表明在当前的训练方案下，测试时计算量缩放（test-time compute scaling）存在明确的负面结果。

3. 参数效率主张

在绑定测试（ $d=1024$ , $\sim$ 1B tokens）中：

存储参数等效性： 一个 Dense 7 层模型（匹配 CART 的存储参数）在困惑度指标上优于 CART ( $P=6, R=6$ ) 1–2%。
有效参数等效性： 一个 Dense 12 层模型（匹配 CART 的有效参数）在自然语言集合上优于 CART 约 10%。
结论： 在此规模和训练预算下，认为共享权重循环能提供 $R$ 倍有效容量的假设并未成立。

4. 诊断性消融实验

作者分解了 CART 与 Dense 基线之间的性能差距：

冻结 K, V： 解冻 K, V（在每一步重新计算它们）并未显著提高性能，排除了冻结锚点是主要瓶颈的可能性。
循环深度： 将 $R$ 减少到 1（移除循环）仅导致了约 1% 的下降，表明循环核心在第一次迭代之后贡献微乎其微。
共享权重： 取消核心权重的共享（使每次迭代拥有唯一参数）使性能提升了约 5%，证实了权重共享是一个显著的容量瓶颈。
机制组件： 对 HyperConnection、LTI 门控和循环索引嵌入（LIE）的消融实验表明，在共享权重配置下，这些组件是残留的（vestigial）；单独移除它们对困惑度没有产生可测量的影响。
残差差距： 剩余的约 5% 与 Dense 基线的差距归因于“序幕 $\to$ 锚点 $\to$ 核心 $\to$ 尾声”这种异构框架本身，而非任何单一机制。

意义与主张

本文声称 CART 是对深度循环 Transformer 的一次严谨的实证研究，其主要贡献有三点：

架构区分度： CART 是其家族中第一个通过从序幕计算一次 K, V 并将其作为冻结锚点重复使用的架构，实现了上下文编码与细化的分离。
学习稳定性： 它证明了 sigmoid 门控 LTI 滤波器可以在没有结构约束的情况下学习稳定的收敛速率（ $\varrho \in [0.79, 0.83]$ ），并能适应模型宽度和循环次数。
实证现实检查： 论文提供了一个关于共享权重循环参数效率的“清晰负面结果”。它证明了：
- 循环深度（ $R$ ）的收益并不一定会随着模型宽度的增加而增长；事实上，它可能会发生反转。
- 测试时计算缩放（在推理时增加 $R$ ）如果与训练不匹配，是有害的。
- “共享权重杠杆”论点（即 $R$ 次迭代的共享块等于 $R$ 个唯一层）在 $d=1024$ 且训练量为 $\sim$ 1B tokens 时失效，该架构的表现逊于参数匹配的 Dense 模型。

作者总结道，虽然 CART 提供了确定性的延迟和固定的内存占用（有利于部署），但其目前的公式形式并未能提供在测试规模下超越标准 Dense Transformer 所需的参数效率。研究结果表明，异构架构框架和权重共享是主要的瓶颈，而非特定的循环机制（HyperConnection, LTI, LIE）。