🤖 machine learning

Learning through Internalization

本文研究了神经网络（特别是 Transformer）如何将显式计算过程（如思维链）内化到其权重中，以促进对奇偶校验和半自动机模拟等复杂任务的学习，同时也揭示了一个权衡关系，即这一过程会导致分布外性能的下降。

原作者： Nikolaos Tsilivis, Nirmit Joshi, Marko Medvedev, Julia Kempe, Nati Srebro

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikolaos Tsilivis, Nirmit Joshi, Marko Medvedev, Julia Kempe, Nati Srebro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《通过内化学习》（Learning through Internalization）的解释，采用了通俗易懂的语言和富有创意的类比。

核心思想：从“循序渐进”到“直觉反应”

想象你正在学习开车。起初，老师会告诉你每一个步骤的具体操作：“踩下离合器，挂入一档，同时缓慢松开离合器并踩下油门。”你必须费力地思考每一个中间动作。这很慢，但它能帮你学会这项复杂的任务。

最终，经过大量的练习，你不再需要思考这些步骤了。你只是“知道”如何开车。你已经将这个过程**内化（internalized）**了。复杂的动作序列被压缩成了一个单一的、自动化的直觉。

这篇论文研究了人工智能（具体来说是一种被称为 Transformer 的 AI 类型）是如何实现这一过程的。它提出了一个问题：我们能否通过先教 AI 写出所有的解题步骤（就像学生展示数学作业的过程），然后再训练它“忘掉”这些步骤并直接给出答案，从而教会它解决难题？

研究发现，这种方法确实有效，并且可以帮助 AI 学会原本无法学会的东西。然而，这里有一个代价：当 AI 变得“自动化”时，它在处理新的、奇怪的情况时有时表现得更差。

1. 两种学习方式

研究人员对比了 AI 学习任务的两种方式：

直接学习（“难路”）： 你向 AI 展示一个问题和最终答案，并要求它立即找出其中的联系。对于一些非常复杂的逻辑谜题（例如计算一种叫做“奇偶校验/parity”的特定数学问题），AI 通常会失败。这就像是在从未教过驾驶步骤的情况下，就要求一个初学者去开车。
通过内化学习（“巧路”）：
1. 阶段 1（教师阶段）： 你通过强制 AI 写出每一个步骤（称为“思维链”或 CoT）来教它解决问题。它会在得出最终答案之前生成一长串中间结果。有了这些提示，它很容易学会这项任务。
2. 阶段 2（内化阶段）： 你开始慢慢移除这些提示。首先移除最后一步，然后是倒数第二步，以此类推。AI 被迫重构其“大脑”（即它的“权重”），以学会如何在没有辅助工具的情况下得到答案。
3. 结果： 最终，AI 可以通过一个单一的步骤解决问题，而无需写下任何内容。它已经将逻辑“内化”了。

论文的观点： 这种两步走的过程可以让 AI 学会那些如果直接从头开始教，它根本无法学会的困难任务。

2. “硬币的反面”：速度 vs. 安全性

论文发现这种“自动化”模式有一个令人惊讶的副作用。

类比： 想象一个记住了特定上学路线的学生。如果他们每天都练习那条确定的路线，他们会变得非常快速且高效。但如果你让他们开车去一个从未见过的新社区，他们可能会迷路，因为他们只学会了特定的路径，而不是通用的驾驶规则。
发现： 当 AI 内化一项任务（变得快速且自动化）时，它在处理**分布外（Out-of-Distribution, OOD）**数据时往往表现得更差。这意味着，如果给它一个看起来与它练习过的题目略有不同的问题，它犯错的概率会比它还在写步骤时更高。
原因： 论文指出，当 AI 学习如何变快时，它可能会找到一些“捷径”或“技巧”，这些技巧在练习数据上有效，但在面对新情况时不够稳健。

3. 什么决定了任务内化的难易程度？

研究人员在不同类型的逻辑谜题（称为“半自动机/semiautomata”）上进行了测试。他们发现，并非所有任务都同样容易转化为直觉。

宽度 vs. 深度： 他们发现，增加 AI 的“宽度”（给予更多并行处理能力）比增加“深度”（增加更多的思考层数）更能有效地帮助它内化任务。这就像比起增加收费站，拓宽高速公路对缓解交通拥堵更有用。
质数很棘手： 他们发现，涉及“质数”的任务（比如以 7 或 13 为一组进行计数）比涉及具有许多因数的数字（如 12 或 16）的任务更难让 AI 内化。
- 隐喻： 想象你在打包行李。如果你有的物品可以完美契合（像一套 12 件套的组合），那么打包起来就很高效。如果你的物品无法整除（像一个质数），那么就会显得杂乱且难以压缩进一个小空间。AI 很难将质数任务的逻辑“压缩”进其内部记忆中。

4. 数学证明：奇偶校验（Parity）

为了证明这不仅仅是运气，作者使用了一个名为“稀疏奇偶校验/Sparse Parity”的特定数学问题进行了严谨的数学证明。

问题： 假设你有一长串由 0 和 1 组成的列表，你需要判断其中 1 的总数是奇数还是偶数。但你不知道列表中哪些数字是重要的，你还得把这一点也找出来。这在计算机学习中被认为是极其困难的。
证明： 他们展示了，如果先教 AI 逐步写出答案（计算第一个数字的奇偶性，然后是前两个数字，然后是前三个数字，依此类推），然后再慢慢移除这些步骤，AI 在数学上可以保证它能够学会这个解法。
启示： 这证明了“通过内化学习”是一种有效的策略，可以解决那些在理论上无法直接学习的问题。

5. 一个新的捷径：“混合”方法

最后，论文提出了一种跳过漫长、缓慢训练过程的方法。

旧方法： 你必须先用完整的步骤训练 AI，然后移除一个步骤，再训练一次，再移除另一个步骤，如此循环。这就像是一个严格的课程表。
新想法（混合）： 与其采用严格的顺序，不如直接把所有不同版本的题目同时交给 AI。有些例子有完整的步骤，有些只有一半步骤，有些则没有任何步骤。
结果： 论文表明，在这样的“混合包”数据上进行训练，效果与严格的逐步移除训练一样好。这就像给学生一份包含了一些简单题、中等题和难题的综合练习卷，而不是从易到难循序渐进地教学。这使得 AI 既能直接回答问题，也能通过写步骤来回答，取决于你对它的要求。

总结

内化（Internalization） 是教 AI 先进行慢速思考（带步骤），以便最终实现快速思考（直觉反应）。
它是有效的： 它让 AI 能够学会原本无法学会的复杂逻辑谜题。
代价： 当 AI 变得“快”时，它有时会变得“脆弱”，意味着在面对新的、奇特的例子时更容易出错。
秘诀： 让 AI 变得更“宽”比变得更“深”更有帮助，而且使用不同类型的训练数据进行“混合”是实现这种学习的一种简单且有效的方法。

技术摘要：通过内化进行学习

问题陈述

本文研究了神经网络系统中**内化（internalization）**的现象，特别关注这些系统如何将显式的计算过程（如思维链，CoT）吸收进其权重中，从而更高效地执行任务。虽然神经网络通常受益于逐步监督来学习复杂任务（例如模拟半自动机或计算奇偶校验），但对于标准架构而言，直接学习这些任务往往在计算上是困难甚至是不可能的。

核心问题有两个层面：

机制： Transformer 如何从生成显式的中间推理步骤（CoT）过渡到通过更少的步骤（理想情况下为一次前向传播）直接计算出最终输出，同时保持准确性？
泛化权衡： 这种内化过程是否保留了原始推理的鲁棒性，还是会导致“捷径”解，从而降低分布外（OOD）性能？
理论难度： 内化是否可以作为一种可行的策略，来绕过某些难以学习的函数（如奇偶校验）已知的计算下界？

研究方法

作者结合了对自回归 Transformer 的实证研究和对简化 Transformer 架构的严谨理论分析。

1. 实证框架：半自动机模拟

作者研究了在 $T$ 个时间步内模拟半自动机（特别是模计数器半自动机 $C_n$ 和置换群 $S_3$ ）。他们比较了三种训练机制：

端到端（E2E）： 仅针对最终状态进行训练。
思维链（CoT）： 在训练时显式提供所有中间状态。
通过课程学习进行内化： 一个两阶段过程，模型首先在具有完整 CoT 监督的情况下进行训练，随后通过一个课程逐渐移除中间 token（通过从左侧、右侧或归纳式地进行截断），以迫使模型实现计算的内化。

他们分析了架构选择（深度 vs. 宽度）以及特定半自动机属性（例如群的阶数）对内化成功率的影响。

2. 理论框架：稀疏奇偶校验

为了提供可证明的保证，作者分析了一个具有线性注意力机制和固定非线性 MLP 的简化单层 Transformer。他们研究了在未知支撑集上学习隐藏奇偶校验函数的任务。

课程： 模型在输入序列上进行训练，其中 CoT token（部分奇偶校验结果）从左侧开始被逐步移除。
算法： 他们定义了一个特定的训练算法（算法 2），该算法涉及带有特定初始化和舍入步骤的梯度下降，用以证明模型可以先学习显式的 CoT，然后通过内化计算来直接输出奇偶校验结果。

3. 与正向分布偏移（PDS）的联系

论文将内化置于 正向分布偏移（Positive Distribution Shift, PDS） 框架（Medvedev 等人，2026）内进行讨论。他们认为，在一个包含提示信息的分布上学习一个“慢速”系统（带有 CoT），然后再将其内化，构成了一种 PDS。这使得模型能够通过首先学习一个“较容易”的偏移分布，来学习一个“困难”的目标分布。他们进一步探讨了顺序课程是否可以被包含不同 CoT 长度示例的单一**混合分布（mixture distribution）**所取代。

核心贡献

1. 关于半自动机的实证发现

宽度 vs. 深度： 成功的内化与模型宽度的相关性比深度更强。在固定参数预算下，宽而浅的架构（例如深度为 4）优于深而窄的架构（例如深度为 25）。这表明内化是在模型的宽度方向上“水平”发生的，而非在层与层之间“垂直”发生。
素数阶难度： 素数阶（如 $C_{13}, C_{17}$ ）的半自动机比复合阶（如 $C_{14}, C_{15}$ ）的半自动机更难内化。作者推测这与 Transformer 能够紧凑表示具有小素数幂因子的计数器半自动机有关（定理 1）。
OOD 权衡： 内化通常会导致 分布外（OOD） 性能的下降。虽然经过 CoT 训练的模型在偏置输入分布上表现出良好的泛化能力，但内化后的模型倾向于学习“捷径”解，从而在 OOD 条件下失效（图 1，右侧）。
课程方向： 左侧课程（从起始处移除 token）在内化方面通常比右侧课程更有效，这可能是由于 Transformer 中位置嵌入（positional embeddings）的稳定性所致。

2. 奇偶校验的理论证明

可证明的内化： 作者提供了首个可证明的分析，展示了一个简化的单层 Transformer 可以学习隐藏的奇偶校验，并在 CoT token 被移除后可证明地内化该计算（定理 2）。
计算难度： 他们证明了在没有 CoT 内化的情况下，直接从数据中学习奇偶校验表示在计算上是困难的（在统计查询模型中），而内化路径则是可行的。

3. 混合分布作为替代方案

论文表明，对于 MLP 和自回归 Transformer，用于内化的顺序课程可以被训练在包含不同 CoT 长度（及长度提示）示例的单一混合分布上所取代。这种混合方法在学习困难任务方面取得了类似的成功，并且值得注意的是，在允许使用完整 CoT 时，它在 OOD 鲁棒性方面通常优于课程训练的模型。

结果

半自动机： 使用 CoT 训练的 Transformer 在分布内（ID）和分布外（OOD）均能达到近乎完美的准确率。然而，在通过左侧课程进行内化后，ID 准确率保持在高位，但 OOD 准确率显著下降（对于素数阶自动机，通常降至随机水平）。
奇偶校验任务： 理论模型成功学习了奇偶校验函数。在课程结束后，模型通过一次前向传播即可输出正确的奇偶校验，完成了多步逻辑的内化。
混合学习： 实验表明，在具有 CoT 长度（及长度提示）的混合分布上进行训练，可以让单个模型既能直接回答，也能生成完整的 CoT，并且在允许使用完整 CoT 时，其 OOD 鲁棒性通常优于课程训练的模型。

意义与主张

本文声称，通过内化进行学习是一种强大的策略，它使神经网络能够解决那些对于直接学习而言在计算上难以实现的任务。通过首先学习一个带有显式推理的“慢速”系统，然后将其压缩进权重中，模型可以绕过硬度障碍（如奇偶校验任务所示）。

然而，作者也强调了一个关键的警告：内化并非万灵药。 该过程往往会导致鲁棒性的丧失，即模型学习到了在分布偏移下会失效的脆弱捷径。这表明，虽然内化降低了推理成本并实现了学习，但它可能会损害显式推理所提供的泛化能力。

最后，这项工作将这些实证观察与 正向分布偏移（PDS） 框架联系起来，表明基于课程的学习和内化的成功，可以理解为利用一系列较容易的分布来学习一个困难的目标分布。关于单一混合分布可以取代复杂课程的发现，为在困难推理任务上训练模型提供了一条更实用且更稳健的路径。