🤖 AI

Pretraining Recurrent Networks without Recurrence

本文介绍了监督记忆训练（Supervised Memory Training, SMT），这是一种通过基于 Transformer 的预测状态目标将记忆更新与梯度传播解耦，从而实现循环神经网络并行且稳定预训练的方法，进而克服了传统随时间反向传播（backpropagation through time）的局限性。

原作者： Akarsh Kumar, Phillip Isola

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Akarsh Kumar, Phillip Isola

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文《Pretraining Recurrent Networks without Recurrence》（无需循环的循环网络预训练）进行的解释。

核心问题：记忆的“传声筒游戏”

想象一下，你正在试图教一个机器人记住一个长篇故事。机器人需要记住故事开头发生的事情，才能理解结尾。

旧的方法（称为 BPTT）就像是在玩一个“传声筒”游戏，信息由一个人接一个人地传递。

问题所在： 如果故事很长，信息就会失真。当信息到达结尾时，它可能会变得模糊不清（梯度消失），或者变成毫无意义的乱码（梯度爆炸）。
瓶颈： 你无法加速这个过程。你必须等待 A 告诉 B，B 再告诉 C，以此类推。你不能同时进行。这使得训练速度缓慢，并且让机器人很难学习起发生在很久以前的事情之间的联系。

新的解决方案：SMT（监督记忆训练）

作者提出了一种名为 SMT 的新方法。他们不是教机器人如何沿着线路传递信息，而是给了机器人一份“小抄”和一位“教练”。

以下是其工作原理，分步骤进行：

1. 教练（Transformer 编码器）

首先，他们聘请了一位超级聪明的“教练”（一个 Transformer 模型）。这位教练被允许一次性观察整个故事。它同时阅读开头、中间和结尾。

任务： 教练弄清楚为了预测接下来的发展，哪些信息是必须记住的。它为故事中的每一个时刻都创建了一个完美的“总结笔记”（记忆状态）。
类比： 想象教练是一位图书管理员，他瞬间读完了一整本书，并为每一页都写下了一个完美的单句总结。

2. 学生（RNN）

现在，他们请来了“学生”（循环神经网络或 RNN）。学生才是那个必须逐一经历故事时刻的人。

任务： 学生不需要靠自己去摸索该记住什么。相反，它只需要学习模仿教练的笔记。
过程： 学生看到当前的时刻以及教练针对该时刻的笔记。然后它被问到：“基于这个笔记和下一个词，下一个笔记应该长什么样？”
神奇之处： 因为学生只是在模仿教练的笔记，它不需要沿着长长的线路传递信息。它只需要一次只走一小步。这就像是一个学生在做题时，通过看老师提供的答案解析来逐题模仿，而不是试图从头开始独立解出整张试卷。

3. 结果：并行训练

因为学生只是在学习如何完成一次“小跳跃”（从笔记 A 到笔记 B），所以计算机可以同时对所有步骤进行训练。

类比： 与其进行一场接力赛（跑步者必须等待接力棒），不如想象每个人都在同时进行自己的短跑冲刺，所有人都在努力匹配教练设定的完美路径。
优势： 这使得训练速度极快（并行化）且非常稳定。由于信号不需要长距离传输，它不会丢失；它只需从一步跳到下一步即可。

“漂移”问题及其解决方法 (DMT)

这里有一个变数。在训练期间，学生是在“作弊”——它在看着教练完美的笔记。但在现实世界中，学生必须在没有教练的情况下生成自己的笔记。

问题： 如果学生在第 1 步犯了一个微小的错误，这个错误会在第 2 步变大，到第 100 步时就会变得巨大。这就是“漂移”。学生的记忆会变得与教练的笔记完全不同。
解决方法 (DMT)： 作者增加了一个第二个阶段，称为 DMT。在这个阶段，学生被允许制作自己的笔记，而教练会进行温柔的纠正。这就像是一场最后的彩排，学生在独自练习整场比赛，而教练站在一旁，如果学生踉跄了一下，就轻轻地把他推回正轨。

为什么这很重要（根据论文观点）

论文声称，这种方法可以让“非线性”RNN（它们非常强大且灵活）像现代 Transformer 一样易于训练，但同时拥有一个巨大的优势：固定内存。

Transformer 就像是一个试图通过把听到的每一个单词都记在脑子里来记住故事的人。随着故事变长，他们的脑容量会变得越来越大，反应也越来越慢。
经过 SMT 训练的 RNN 就像是一个随身带着一本固定大小笔记本的人。他们写下最重要的总结，擦掉旧的内容，再写下新的总结。他们可以在不增加大脑负担的情况下，记住长达一生的故事。

类比总结

旧方法 (BPTT)： 通过从头到尾一遍又一遍地练习整套舞蹈动作来学习，并希望在练到结尾时还没忘记第一个动作。
新方法 (SMT)： 一位大师级的编舞师（教练）观察整场舞蹈，并为每一秒钟写下完美的动作。舞者（学生）随后只练习一个动作到下一个动作之间的过渡。因为他们只专注于每一步，所以可以瞬间练习完整个流程，并完美地掌握它。

论文表明，这种方法在处理需要长期记忆的任务（如预测绘画中的下一个像素或完成一个故事）时，比旧方法表现更好，并且在处理这些任务时，计算机不会陷入缓慢的顺序处理之中。

技术摘要：无需递归的预训练循环网络

问题陈述

训练循环神经网络（RNN）从根本上需要解决跨长序列的信用分配问题（credit assignment problem）：即在许多中间计算过程介入的情况下，确定早期输入如何影响未来的输出。标准的解决方案——随时间反向传播（BPTT）——通过在时间上展开 RNN 并将梯度向后传播整个计算图来解决该问题。这种方法存在两个关键局限性：

序列瓶颈： BPTT 在时间上本质上是串行的，这阻碍了并行化，并限制了其在现代硬件上的可扩展性。
梯度不稳定： 梯度路径长度为 $O(T)$ （其中 $T$ 是序列长度）。这导致了梯度消失或梯度爆炸问题，使得模型难以学习长程依赖，并导致“近因偏差（recency bias）”，即模型会遗忘早期信息。

虽然 Transformer 解决了并行化问题，但它们缺乏对过去信息的压缩且固定大小的记忆，而是存储了所有历史 token。线性 RNN 提供了固定记忆和并行性，但受限于线性转换函数，限制了其在复杂序列任务（如状态追踪）中的表达能力。

方法论：监督记忆训练 (SMT)

本文提出了监督记忆训练（Supervised Memory Training, SMT），这是一种训练非线性 RNN 的方法，它完全绕过了递归性的信用传播。SMT 将 RNN 训练简化为针对单步记忆转换标签的监督学习。

核心机制

SMT 将记住什么（记忆表示）与如何更新记忆（记忆动力学）解耦：

教师模型（预测性状态学习）： 一个基于时间并行的 Transformer 编码器-解码器对被训练用于将过去上下文压缩为记忆状态 $m_t$ ，该状态是一个预测性状态（predictive state）。该状态仅保留预测未来输出所必需的信息，丢弃无关细节。编码器将上下文 $x_{\le t}$ 映射到 $m_t$ ，解码器根据 $m_t$ 和未来输入预测未来输出 $y_{\ge t}$ 。
学生模型（RNN 动力学）： RNN $f_\theta$ 被训练来模仿教师的记忆转换。它不是通过展开 RNN，而是学习单步更新函数： $(m_t, x_{t+1}) \to \hat{m}_{t+1}$ 。
损失函数：
- 解码损失 ( $L_{dec}$ )： 训练教师模型根据压缩后的记忆预测未来。
- 动力学损失 ( $L_{dyn}$ )： 训练 RNN 在给定当前记忆 $m_t$ 和输入 $x_{t+1}$ 的情况下预测下一个记忆状态 $\hat{m}_{t+1}$ ，其监督信号来自教师的地面真值（ground truth） $m_{t+1}$ 。
- 均匀性损失 ( $L_{unif}$ )： 防止记忆空间坍缩为一个点。

训练流水线

预训练 (SMT)： 教师编码器-解码器和 RNN 使用上述损失进行联合（或顺序）训练。至关重要的是，在此阶段 RNN 从未被展开。由于信用是通过教师的预测性状态目标而非通过回传至 RNN 递归步骤来分配的，因此任意两个 token 之间的梯度路径为 $O(1)$ 。
微调 (DMT - DAgger 记忆训练)： 为了解决训练-测试不匹配问题（即 RNN 使用其预测的记忆，而非教师的地面真值记忆，从而可能产生漂移），引入了一个轻量级的 DAgger 阶段。在此阶段，RNN 使用其预测的状态进行展开，并通过计算动力学损失来进行在线策略（on-policy）模仿学习，以纠正这种漂移。

核心贡献

非线性 RNN 的时间并行训练： SMT 实现了无需序列展开即可训练具有表达能力的非线性 RNN，使 token 间的梯度路径达到 $O(1)$ 。
稳定的长程信用分配： 通过将问题简化为针对预测性状态的监督学习，SMT 消除了与 $O(T)$ 路径相关的梯度消失/爆炸问题，从而能够稳定地学习长程依赖。
固定记忆推理： 与 Transformer 不同，经过 SMT 训练的 RNN 在推理期间保持固定的记忆大小（ $O(M)$ ），使其适用于无界序列（例如终身学习）。
解耦表示与动力学： 该方法将记忆压缩的学习（由并行教师处理）与记忆动力学的学习（由 RNN 处理）分离，简化了 RNN 的优化格局。

实验结果

作者在合成任务和真实世界数据集上将 SMT 与 BPTT 基准线和 Transformer 进行了对比评估：

合成任务： 在测试梯度稳定性（检索）、记忆容量（字符串复制）、状态追踪（栈操作）、关联回忆和上下文学习的任务中，SMT→DMT 始终优于 BPTT。随着序列长度增加，BPTT 表现出明显的困难，而 SMT 的性能保持稳定。
像素序列建模（Attneave 任务）： 在 MNIST 和 Sketchy 数据集（建模为 1D 像素序列）上，经 BPTT 训练的 RNN 无法捕捉长程结构依赖（例如笔画连续性）。而 SMT→DMT 训练的 RNN 能够生成连贯的图像，展示了在数百个时间步长内整合信息的卓越能力。
效率： 在达到相当或更好的性能（特别是在需要长程记忆的任务上）时，SMT 和 SMT→DMT 所需的串行 FLOPs（衡量串行计算的指标）显著低于 BPTT。在语言建模方面，其数据效率与 BPTT 相当，但在像素建模方面表现更优。
缩放法则（Scaling Laws）： SMT→DMT 随着上下文长度、记忆大小和模型参数的增加表现出平滑的性能提升。值得注意的是，在更大规模下，RNN 的性能趋近于其教师 Transformer 的性能。
泛化能力： SMT 训练的 RNN 比其 Transformer 教师更好地泛化到了比训练时更长的序列长度，这表明其具有更鲁棒的时间抽象归纳偏置。

意义与主张

本文声称 SMT 提供了一条解锁构建过去经验时间抽象模型的路径。通过使非线性 RNN 能够在稳定的梯度和固定记忆下学习长程依赖，SMT 解决了 BPTT（不稳定、串行性）和 Transformer（记忆增长无界）的局限性。

作者将 SMT 主要定位为一种预训练算法。他们承认，虽然 SMT 有效地学习了记忆表示，但仍需要一个轻量级的后训练阶段（如 DMT）来减轻漂移并使模型适应特定的下游任务，这可能使模型超越教师编码器的表达能力极限。这项工作表明，结合时间并行训练、固定记忆推理以及最大化表达能力，是未来序列模型的一个可行方向，可能使智能体能够像人类一样从无限长的时间跨度中学习经验。