🤖 machine learning

Length Generalization with Log-Depth Recurrent Units

本文介绍了 MLP-LDRU，这是一种对数深度循环单元，它通过并行归约来近似循环，从而在正则语言任务上实现近乎完美的长度泛化，并在更广泛的基准测试中取得具有竞争力的性能，有效解决了循环模型的位置偏差和 Transformer 的深度限制问题。

原作者： Charles Pert, Dalal Alrajeh, Alessandra Russo

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Charles Pert, Dalal Alrajeh, Alessandra Russo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《使用对数深度循环单元实现长度泛化》的通俗解释，辅以生动的类比。

核心难题：AI 的“短视记忆”

想象你在教一个孩子数数。如果你只练习数到 10，当孩子被要求数到 100 时，他可能会感到困惑。因为他并没有学会计数的规则，只是死记硬背了前十个数字。

在人工智能（神经网络）的世界里，这被称为长度泛化问题。

RNN（老派选手）： 把它们想象成一场接力赛，接力棒一次只传给一个人。如果赛程很长，第一棒选手就得等很久才能把棒传回来。等到比赛结束时，他们已经筋疲力尽（遗忘了信息）。
Transformer（现代巨人）： 把它们想象成一群人围成一圈，同时大声喊叫。他们能立刻听到每个人的声音，但如果圈子变得太大，噪音就会变得混乱，一旦群体规模与他们练习时的大小不同，他们就难以理解其中的模式。

当被要求处理比训练时所见长得多的序列（如句子或代码）时，这两者都会陷入困境。

解决方案：“平衡树”（MLP-LDRU）

作者提出了一种名为MLP-LDRU的新模型。要理解它的工作原理，想象你有一摞 8 本书，想要找出它们的总重量。

老方法（RNN）： 你拿起第 1 本书，然后加上第 2 本，接着加上第 3 本，以此类推，一本接一本地加。这很耗时，而且当你加到最后一本时，第 1 本书的信息已经被“遗忘”了。
新方法（MLP-LDRU）： 你将书两两配对。
1. 配对（书 1 + 书 2）、（书 3 + 书 4）、（书 5 + 书 6）和（书 7 + 书 8）。
2. 现在你有 4 对。再次配对：（第 1 对 + 第 2 对）和（第 3 对 + 第 4 对）。
3. 现在你有 2 组。最后一次配对，得到最终答案。

这被称为对数深度归约。它就像一棵平衡树。无论你有多少本书，每个人都能在大致相同的时间内到达终点。第 1 本书不会“疲惫”，因为它不必等待最后一本书被处理完。

关键秘诀：“魔法胶水”

论文引入了一种特殊的“胶水”（一种数学算子）来组合这些配对。作者设计这种胶水使其表现为结合性数学。

结合性意味着分组的顺序无关紧要。 $(A + B) + C$ 与 $A + (B + C)$ 是相同的。
作者强制他们的“胶水”表现出这种特性。通过教导 AI“分组顺序不重要”，AI 就能学会序列的底层规则，而不仅仅是死记硬背特定的位置。

实验：“语法测试”

为了测试这一点，作者没有使用难以衡量的杂乱现实语言，而是使用了正则语言。

类比： 想象一个严格的机器人，只接受遵循完美、简单语法规则的句子（例如“每个'A'后面必须跟一个'B'"）。
他们创建了21 种不同的语法谜题。有些很简单（比如检查一个数字是否为偶数），有些很难（比如跟踪嵌套的括号，类似于平衡账本）。
他们还发明了一种新的谜题，称为前缀语言。这就像一场游戏，前几个词决定了整个结果，但句子的其余部分只是噪音。它测试 AI 能否记住开头而忽略中间部分。

实验结果：“满分成绩”

结果令人印象深刻：

冠军： MLP-LDRU 模型在 21 个谜题中的 18 个上取得了100% 的准确率，即使测试句子比训练句子长 10 到 12 倍。
超越巨人： 它的表现优于标准的 Transformer 和旧式 RNN，后者在句子过长时往往完全失败。
“原因”： 作者发现，模型在剩余的几个谜题上失败，并不是因为“树”结构有误，而是因为训练数据没有向 AI 展示足够多的组合类型。这就像只用偶数练习数学；当你最终遇到奇数时，你就卡住了。模型需要看到更多样化的“组合”才能掌握规则。

超越语法：“列表”测试

他们还在ListOps任务上测试了该模型，该任务涉及嵌套列表（就像食谱里套着食谱，再套着食谱）。

虽然专门的“树结构”模型在这方面略胜一筹，但 MLP-LDRU 的表现依然非常出色，击败了标准的 Transformer 和 LSTM。
他们还在标准文本分类任务（如新闻文章分类）上测试了它，其表现具有竞争力，表明这种“平衡树”理念即使在严格的语法规则之外也行之有效。

核心启示

这篇论文认为，要制造出能可靠处理长序列的 AI，我们不应该仅仅把模型做得更大。相反，我们应该改变其处理信息的方式。通过使用平衡树结构并强制模型学习结合性规则（即分组顺序无关紧要），AI 就能泛化到它从未见过的长度，就像一个理解了计数概念的孩子，即使只练习到 10，也能数到一百万。

技术摘要：基于对数深度循环单元的长度泛化

问题陈述

泛化到分布外（OOD）序列长度仍然是神经建模中的核心挑战。现有架构在该领域表现出明显的局限性：

循环神经网络（RNN）： 虽然提供了长度自适应的计算能力，但它们存在位置偏差，即较早的标记经历的循环步数多于较晚的标记，导致长程记忆问题，并难以对扩展序列中的依赖关系进行建模。
Transformer： 这些模型应用固定层数的堆叠，独立于序列长度。虽然它们支持并行计算，但在泛化到 OOD 长度方面往往不够可靠，且受限于固定的计算深度。

本文提出，正则语言提供了一个严格的测试平台，用于评估长度泛化能力，因为它们允许精确的数学表述，并能在任意序列长度下验证正确性，从而直接与自动机理论相联系。

方法论：MLP-LDRU

作者提出了MLP-LDRU（对数深度循环单元），这是一种特定的二元算子，旨在通过并行归约来近似循环。核心假设是：学习具有明确偏向结合律和单位元行为的算子，可以改善长度外推能力。

架构与机制

对数深度归约： 与以 $O(n)$ 深度顺序处理序列的标准 RNN 不同，MLP-LDRU 使用平衡二叉树结构处理序列。给定长度为 $n$ 的序列，模型并行地对相邻对应用二元算子 $\odot_\theta$ ，共执行 $\lceil \log_2 n \rceil$ 步。这使得所有标记的计算深度统一为 $O(\log n)$ ，在缓解位置偏差的同时实现了并行计算。
算子（ $\odot_\theta$ ）： 核心算子是一个基于 MLP 的函数，旨在诱导近似的结合律行为。
- 它接收两个输入嵌入 $h_i, h_j$ 并将它们拼接。
- 一个 MLP 生成门控向量 $g_i, g_j$ 。
- 这些门控通过逐元素乘法调制输入，随后经过学习的线性投影和偏置。
- 最终输出是投影输入的加权和。
- 初始化偏差： 该算子的初始化方式使得投影矩阵为单位矩阵，偏置为零。结合逐元素求和结构，这种初始化使算子在初始阶段表现为简单的求和，从而近似一种结合律操作。
填充处理： 如果在归约过程中序列长度为奇数，则用零嵌入进行填充。该算子的设计使得如果任一输入为零，输出即为另一个输入，将零视为中性元素（单位元），从而避免从零开始学习单位元映射。
复杂度： MLP-LDRU 实现了 $O(nd^2)$ 的工作复杂度（与序列长度线性相关）和 $O(\log n)$ 的计算深度，这与 RNN 的 $O(n)$ 深度以及标准 Transformer 的 $O(n^2)$ 工作复杂度形成对比。

实验设置

作者在以下任务上评估了 MLP-LDRU：

21 项正则语言任务： 包括标准基准测试（例如奇偶校验、模运算、Tomita 语言、Dyck 语言 $D_n$ ）以及一类新的前缀语言（ $P_{p,q}$ ），旨在测试长度外推下的长程依赖处理能力。
ListOps： 一项用于组合外推（超出正则语言范围）的层次化任务。
NLP 分类： 包括 GLUE、AG's News 和 DBPedia 在内的基准测试，用于探测模型在非正则数据上的行为。

主要贡献

提出 MLP-LDRU： 一种特定的对数深度循环单元，利用偏向近似结合律和单位元处理的二元算子，通过并行归约诱导顺序循环。
引入前缀语言： 一类新的正则任务（ $P_{p,q}$ ），专门设计用于隔离并测试长度外推下的长程依赖处理能力。
实证评估： 在 21 项正则任务、ListOps 和 NLP 基准测试上进行了全面测试，证明了其性能优于或与 RNN、Transformer 及其他递归神经网络相当。
训练需求分析： 分析了泛化失败与训练数据中等价类（EC）组合覆盖不足之间的联系，表明有限的训练长度阻碍了模型观察到完美泛化所需的稀有幺半群组合。

结果

正则语言任务

性能： 当在长度为 1–40 的序列上进行训练时，MLP-LDRU 在 21 项任务中的 18 项上实现了100% 的 OOD 准确率（在长度 41–500 上评估），并在增加最大训练长度后，其余 3 项任务的准确率至少达到 99.9%。
对比： MLP-LDRU 在大多数任务上优于所有 Transformer 变体（包括带有 ALiBi、NoPE 和随机化 RoPE 的模型）、Gated DeltaNet 及其他基线模型。它达到或超过了 RNN 和 LSTM 的能力，而后者在这些任务中往往难以处理长程依赖。
算子敏感性： 消融研究表明，归约算子的选择至关重要。虽然简单的逐元素求和或线性投影在模运算等复杂任务上表现失败，但带有门控的基于 MLP 的算子实现了完美的泛化。这表明，虽然结合律是必要的，但学习复杂组合的具体能力也是必需的。

ListOps 与 NLP

ListOps： 在层次化任务上，基于树的基线模型（BBT-GRC, RIR-GRC）通常取得了最高准确率。然而，MLP-LDRU 仍具有竞争力，在较大数据集规模（50 万和 100 万样本）下超越了 LSTM 和 Transformer 基线。添加显式的结合律正则化项进一步提高了性能，表明即使在非正则语言中，鼓励近似结合律也是有益的。
NLP 分类： MLP-LDRU 在 GLUE、AG's News 和 DBPedia 上与同样训练的 Transformer 基线表现相当，并在 DBPedia 上取得了最高准确率（98.6%）。

可解释性与幺半群分析

等价类： 对 D6 任务的分析显示，MLP-LDRU 学会了根据句法幺半群中对应的等价类（EC）对序列嵌入进行聚类。
覆盖差距： EC 组合的热图显示，在短序列（长度 10–40）上训练会导致幺半群空间的覆盖稀疏，遗漏了长序列（长度 480–500）中发现的稀有组合。这种稀疏性差距解释了为何在短序列上训练的模型无法完美泛化到更长的序列：它们未接触到所有必要的组合规则。

意义与主张

本文声称，MLP-LDRU 通过利用幺半群的数学性质，为正则任务上的长度泛化提供了一个稳健的解决方案。通过诱导一个近似结合律的算子，该模型可以通过并行归约近似顺序循环，有效地结合了 RNN 的长度自适应特性与基于树结构的并行效率。

作者强调，最大训练长度是 OOD 性能的主要驱动因素。他们的分析表明，对于复杂语言，要实现 100% 的泛化，需要充分接触所有可能的等价类组合，这可能需要在比目标测试长度更长的序列上进行训练。

虽然该模型在正则语言上表现出强劲性能，并在 NLP 任务上取得了有竞争力的结果，但作者对其适用范围保持谦逊。他们指出，虽然正则语言提供了精确的验证，但这些思想在自然语言分布偏移下扩展到更丰富的组合问题的程度，仍需进一步研究。此外，他们指出需要理论界限来确定实现幺半群组合完全覆盖所需的最小训练长度或样本复杂度。