💬 NLP

On the "Induction Bias" in Sequence Models

本文表明，与能够有效地在不同序列长度间共享状态追踪机制的循环神经网络不同，Transformer 随着状态空间和长度的增加而需要显著更多的训练数据，并且由于缺乏权重共享，其无法实现跨长度的泛化，从而揭示了其在状态追踪能力方面存在的根本性的分布内局限性。

原作者： M. Reza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： M. Reza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《论序列模型中的“归纳偏置”（Induction Bias）》的解释，通过简单的概念和日常类比进行了拆解。

大局观：两种不同的思维方式

想象你正在教两个不同的学生如何解决一个长数学题：计算一长串数字的总和。

学生 A（循环模型/RNN）： 这个学生就像一个在走廊里行走的人。他拿起一个数字，将其加入到脑中的当前总数里，然后走到下一个房间，拿起下一个数字，将其加入到当前的数字总数中，以此类推。他不能回到起点；他只能在脑海中携带那个“当前的累积总数”。
学生 B（Transformer）： 这个学生就像一个站在一个巨大的房间里、面前有一块巨大白板的人。他可以同时看到白板上的每一个数字。为了解决问题，他可以先看第一个数字，再看最后一个，然后看中间的一个，同时观察全局来试图得出答案。

这篇论文探讨的是：哪个学生学习这项任务更快，以及他们学到的是一个通用的规则，还是仅仅记住了特定的答案？

核心发现：“归纳偏置”

作者引入了**“归纳偏置”（Induction Bias）**的概念。你可以把它理解为学生的自然“学习风格”或“习惯”。

学生 A（RNN）具有很强的归纳偏置： 因为他必须逐步更新他的总数，所以他自然而然地学会了一个可复用的规则：“要得到新的总数，就取旧的总数并加上新数字。”这个规则适用于长度为 5、50 或 500 的列表。他学到的是加法的“机制”。
学生 B（Transformer）缺乏这种偏置： 因为他能看到整块白板，所以他不需要去学习那种步进式的规则。相反，他往往会尝试去记忆针对特定列表长度的特定模式。

实验过程：发生了什么？

研究人员在合成任务（如模运算加法和物品洗牌）上测试了这些学生，以观察他们需要多少训练数据才能胜任工作。

1. “数据饥渴”问题

发现： 当数字列表变长时，学生 A（RNN）只需要极少的额外练习。而学生 B（Transformer）则需要海量的额外练习。
类比： 如果学生 A 学会了处理 5 个项目的列表，他可以轻松应对 10 个项目的列表，因为他只需重复同样的步骤。然而，学生 B 似乎把 5 个项目的列表和 10 个项目的列表视为完全不同的学科。为了学习 10 个项目的列表，他几乎需要从头开始重新学习，需要多出数百万个例子。

2. “监督”风格（如何教导他们）

研究人员尝试了三种教学方式：

仅结果（Outcome Only）： “这是列表。告诉我最终的总和。”（不给提示）。
思维链（Chain of Thought, CoT）： “这是列表。请写下每一个数字之后的运行总数，最后再给我最终的总和。”
对齐思维链（Aligned CoT）： “这是列表。对于每一个数字，请在它旁边直接写下当前的运行总数。”

结果如下：

学生 A（RNN）： 非常喜欢“对齐思维链”这种方法。因为老师把运行总数直接放在数字旁边，这完美契合了他步进式行走的风格。他学得非常快。
学生 B（Transformer）： 非常讨厌“对齐思维链”。这强迫他停下来为每一个数字都写下一个总数，这让他的“一次看全貌”风格感到很不自然。实际上，他在“思维链”方法下表现更好，即在序列末尾写下所有的总数，从而允许他利用自己的“白板”去回顾之前的答案。

3. “专业化”陷阱

这是最关键的发现。研究人员问道：这些学生学到的是通用规则，还是仅仅记住了特定的长度？

学生 A（RNN）： 他们学到的是通用规则。如果你把长度为 5、10 和 20 的列表混合在一起训练他们，他们会对所有长度都变得更好。短列表的数据有助于他们解决长列表的问题。他们在不同长度之间共享了“脑力”。
学生 B（Transformer）： 他们学到的是特定长度的技巧。如果你将长度为 5、10 和 20 的列表混合在一起训练，他们实际上会变得更差或者原地踏步。这就像是他们试图同时学习三种不同的语言，结果搞混了。他们并不共享知识；而是为每个列表长度构建了一个独立的、孤立的“电路”。
- “破坏性干涉”（Destructive Interference）： 在某些情况下，试图同时学习多种长度反而会损害 Transformer 的表现。与其训练一个试图处理三种长度的大型 Transformer，不如分别为长度 5、10 和 20 训练三个独立的 Transformer，这样效率更高。

这为什么重要？

论文指出，**状态追踪（State Tracking，即随着时间推移记录变化情况的能力）**是 Transformer 的一个根本弱点，即使测试数据看起来与训练数据完全一致也是如此。

“上下文腐烂”（Context Rot）： 由于 Transformer 不擅长自然地学习步进式规则，随着上下文（对话或故事的长度）变长，他们会面临困难。他们需要呈指数级增长的数据量来处理更长的故事。
“智能体”（Agentic）问题： 作者认为，如果我们希望 AI 智能体（如机器人或软件助手）能随时间与世界互动，Transformer 可能会非常低效，因为它们无法轻易地在不同的时间跨度内实现学习的“摊销”（Amortize，即分摊学习成本）。

一句话总结

虽然 Transformer 擅长于一次观察全局，但它们在学习随时间追踪变化的简单步进式规则方面表现糟糕，这迫使它们去记忆特定的场景而非学习通用技能，导致与传统的步进式模型相比，它们对数据的需求量极大。

技术摘要：论序列模型中的“归纳偏置” (Induction Bias)

问题陈述

尽管基于 Transformer 的语言模型已取得了显著的实践成功，但近期的文献强调了它们在状态追踪 (state tracking) 方面的根本局限性，特别是在分布外（OOD）泛化（如长度外推）方面。然而，这些局限性在分布内 (in-distribution) —— 特别是在数据效率以及在不同训练序列长度内进行泛化的能力方面 —— 如何体现，目前仍缺乏深入了解。

本研究认为，核心问题在于架构的归纳偏置 (inductive bias)。Transformer 通过关注上下文窗口内之前所有的输入和输出来计算输出，理论上允许对状态进行全局重新计算。相比之下，循环神经网络（RNN）必须在每个时间步将所有相关的过去信息编码进一个单一的隐藏状态向量中。作者认为，这种约束促使 RNN 形成了一种“步进式”的状态更新机制（类似于数学证明中的归纳步骤），他们将其称为**“归纳偏置”**。这种偏置促进了解决方案机制在不同序列长度之间的共享，而 Transformer 则可能孤立地学习特定长度的解决方案。

研究方法

作者进行了一项大规模、系统的实证研究，旨在量化 Transformer 与循环模型在合成状态追踪任务上的数据效率。

任务

研究将状态追踪形式化为在群论框架下，在序列更新过程中维护一个潜在状态的任务。使用了两个典型的任务：

模加法 (Modular Addition)： 在循环群 $\mathbb{Z}_m$ 上的交换运算。
置换复合 (Permutation Composition)： 在对称群 $S_5$ 上的非交换运算。

这些合成任务允许独立控制序列长度 ( $n$ ) 和状态空间大小（模数 $m$ ），从而将状态追踪计算与语言理解或记忆伪影隔离开来。

监督机制

研究评估了三种不同的任务格式，以改变监督信号的密度：

结果监督 (Outcome Supervision)： 模型仅预测最终的和或状态。
思维链 (Chain-of-Thought, CoT)： 模型自回归地生成一系列中间部分和。
对齐思维链 (Aligned Chain-of-Thought, ACoT)： 模型针对每个输入 token 输出对应的部分和（逐 token 监督）。

模型

研究对比了：

Transformers： 多层仅解码器架构（GPT-2 风格，6 层）。
循环模型 (Recurrent Models)： 长短期记忆网络 (LSTM) 和稠密状态空间模型 (Dense-SSMs)，后者利用输入依赖的稠密转移矩阵。
选择性 SSMs： 将 Mamba 纳入其中以进行权重共享分析。

指标

主要指标是样本效率 (sample efficiency)，定义为模型达到收敛阈值所需的最小数据集大小 ( $N^*$ )。此外，作者引入了一个共享因子 ( $\kappa$ ) 来量化跨长度的机制共享：
$\kappa = \frac{\sum_{n=2}^{L} N^*_n}{N^*_{joint}}$
其中 $N^*_n$ 是学习固定长度 $n$ 所需的样本， $N^*_{joint}$ 是同时学习所有长度所需的样本。

$\kappa > 1$ ：表示摊销学习（共享机制）。
$\kappa \approx 1$ ：表示孤立的、特定长度的学习。
$\kappa < 1$ ：表示破坏性干扰。

关键结果

1. 对监督机制的差异化偏好

Transformers 在使用 思维链 (CoT) 监督时效率最高。它们在 ACoT 和结果监督下表现极差，通常无法在非平凡配置上收敛。
循环模型 (LSTM/Dense-SSM) 在使用 对齐思维链 (ACoT) 和结果监督时表现出更优的样本效率。它们在 CoT 模式下表现挣扎，这可能是由于“召回瓶颈”导致的，即它们必须在处理完完整输入后才能展开中间计算。

2. 数据效率与序列长度

Transformers： 训练数据量随序列长度和状态空间大小迅速增长。至关重要的是，Transformer 无法利用 CoT 格式中由更长序列提供的额外监督信号；样本复杂度并未如预期随序列变长而降低。
循环模型： 在 ACoT 机制下，循环模型随着最大序列长度的增加展现出更高的数据效率，表明它们有效地利用了增加的监督信号密度。在结果监督机制下，较短的序列比较长的序列能为 RNN 提供更强的学习信号。

3. 权重共享与归纳偏置

Transformers 在所有任务格式中都表现出较低的共享因子 ( $\kappa \approx 1$ 或 $\kappa < 1$ )。这表明它们是在孤立地学习特定长度的解决方案。在 CoT 机制中，Transformer 表现出破坏性干扰 ( $\kappa \ll 1$ )，即混合长度训练的效率低于为每个长度分别训练模型。
循环模型 在其偏好的机制（结果监督和 ACoT）中表现出高共享因子 ( $\kappa \gg 1$ )。这证实了它们内化了一个可重用的转移算子，使得来自一个序列长度的数据可以摊销其他长度的学习成本。
与 OOD 的相关性： 论文发现高共享因子与模型对未见序列长度（OOD）的泛化能力之间存在强相关性。具有低共享因子的模型无法进行外推。

意义与主张

作者声称，即使在训练与评估分布匹配的情况下，状态追踪仍然是 Transformer 面临的一个基本挑战。 该研究证明了：

即使在分布内，Transformer 在简单的状态追踪任务上也需要极其庞大的训练数据。
Transformer 缺乏“归纳偏置”，这阻碍了有效的跨序列长度权重共享，导致其只能学习孤立的、特定长度的启发式算法。
Transformer 的数据效率随序列长度扩展的能力较差，这可能解释了大规模上下文窗口中的“上下文腐烂 (context rot)”现象。
虽然 Transformer 可以通过特定的监督（CoT）学习这些任务，但它们是通过学习针对每个长度的独特机制，而非学习一种通用的算法来实现的。

论文结论指出，这些发现表明，在涉及长程状态追踪的“智能体 (agentic)”场景（如机器人、GUI 控制）中，端到端学习对于 Transformer 而言可能比此前预想的要困难得多，因为它们缺乏高效共享状态更新机制的内在归纳偏置。

局限性

作者承认，本研究受限于一组具有代表性的合成任务和模型。虽然这些任务隔离了状态追踪，但它们并未捕捉到现实世界序列预测的所有复杂性。此外，实验所需的广泛搜索空间限制了可以直接评估的架构和任务族数量。将这些数据效率模式迁移到现实领域（如代码执行、具身控制）仍是未来的研究方向。