🤖 machine learning

Transformers Provably Learn to Internalize Chain-of-Thought

本文首次提供了理论证明，表明采用新颖的 Log-ICoT 课程训练的多层 Transformer 能够以多项式样本效率和的对数训练阶段可证明地学习 $k$ -奇偶性问题，从而在实现显式思维链推理的样本效率的同时，通过内化的中间步骤消除了其推理开销。

原作者： Yixiao Huang, Hanlin Zhu, Zixuan Wang, Jiantao Jiao, Stuart Russell, Somayeh Sojoudi, Song Mei

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yixiao Huang, Hanlin Zhu, Zixuan Wang, Jiantao Jiao, Stuart Russell, Somayeh Sojoudi, Song Mei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Transformer 可证明地学会内化思维链》的通俗解释，辅以类比说明。

核心难题：大声思考太慢

想象你正在尝试解决一个极其棘手的数学谜题。

旧方法（显式思维链）： 你在纸上写下每一个步骤以得出答案。这有助于你得到正确答案（非常准确），但耗时很长，因为你必须在说出最终结果之前写下每一步。在人工智能术语中，这被称为“显式推理”，它导致计算机运行缓慢且成本高昂。
目标： 我们希望人工智能在“脑海”（即其隐藏状态）中进行思考，从而能够瞬间直接输出答案，而无需写下步骤。这被称为隐式思维链（ICoT）。

挑战：如何教会人工智能“静默思考”

研究人员试图通过逐步从训练数据中移除“思考步骤”来教会人工智能这样做。

标准方法： 想象你在教一名学生解谜题。你首先向他们展示完整的解决方案。然后，你隐藏一个步骤。接着隐藏两个步骤。然后隐藏三个。你持续这样做，一次隐藏一步，直到他们必须在脑海中解决整个问题。
问题： 如果谜题有 1,000 个步骤，这种方法需要 1,000 次训练会话。这太慢且效率太低。

解决方案：Log-ICoT（“几何”捷径）

本文作者提出了一种更聪明的训练人工智能的方法，称为Log-ICoT。

他们不是逐个隐藏步骤，而是以几何块的方式隐藏（每次隐藏的数量翻倍）。

类比： 想象你在教一名学生攀登一个 16 级的梯子。
- 标准方法： 你遮住第 1 级，然后第 2 级，然后第 3 级……一直遮到第 16 级。（需要 16 次训练会话）。
- Log-ICoT 方法：
  - 第 1 次会话：展示全部 16 级。
  - 第 2 次会话：遮住底部 8 级。（学生必须在脑海中推算出下半部分）。
  - 第 3 次会话：遮住底部 12 级。
  - 第 4 次会话：遮住底部 14 级。
  - 第 5 次会话：遮住底部 15 级。
- 结果： 你只需要5 次会话（因为 $2^5 = 32$ ，足以覆盖 16），而不是 16 次。论文从数学上证明，这种“几何”方法既快又同样有效。

实验：“奇偶性”游戏

为了证明这行之有效，研究人员使用了一个经典的逻辑游戏，称为k-奇偶性（k-Parity）。

游戏： 你得到一串数字（1 和 -1）。你需要找出其中的一组秘密数字并将它们相乘。如果结果是 1，答案为“是”；如果是 -1，答案为“否”。
为何困难： 在没有帮助的情况下，这对计算机来说极难快速学习。这就像试图在一堆不断改变形状的干草堆中寻找一根针。
树状结构： 研究人员意识到这个问题看起来像一棵家谱树。要解决大问题，你首先解决两个小问题，然后将它们的答案结合起来解决下一级，依此类推。

人工智能如何学习（“门控”架构）

本文介绍了一种构建人工智能（Transformer）的具体方式，以使这种学习成为可能。他们使用了三个关键技巧：

“门控”门： 想象人工智能有许多层房间。通常，信息自由流动，但有时会变得浑浊或混乱（这被称为“表示崩溃”）。作者在房间之间的门上安装了“门”。这些门被预设为仅在特定时间允许特定信息通过。这就像一名保安，只允许谜题的“下半部分”进入第一个房间，而将“上半部分”送入第二个房间，防止房间之间产生混淆。
“因果”掩码： 这是一条规则，规定“你只能查看过去的信息，不能查看未来的信息”。在他们的特定设置中，他们调整了这条规则，使人工智能只查看解决当前谜题所需的特定“子”节点，而忽略其他所有内容。
整数舍入： 在每个训练步骤之后，他们强制人工智能的内部数字变为整数（舍去小数）。这就像一个“冻结”按钮。一旦人工智能的某一层学会了谜题的一部分，舍入就会将该知识锁定，防止其在人工智能学习下一个更难的部分时受到干扰。

结果

论文从数学上证明：

速度： 使用他们新的Log-ICoT方法，人工智能学习复杂谜题所需的步数随谜题规模的增长非常缓慢（呈对数级增长）。
效率： 人工智能的学习效果与在纸上展示所有步骤（显式 CoT）时一样好，但它学会了在“脑海”（隐藏状态）中完成这一过程。
推理： 一旦训练完成，人工智能可以在单次前向传递中瞬间解决谜题，而无需生成长长的思考令牌列表。

总结

该论文表明，我们不必在“聪明但缓慢”（写出思考过程）和“快速但愚蠢”（猜测）之间做出选择。通过以特定的结构化方式训练人工智能（按大块而非逐个隐藏步骤），并使用特殊的“门控”架构，我们可以教会人工智能内化复杂的推理。它在其层深处习得逻辑，使其能够快速解决难题，而无需承担生成长思维链的沉重代价。

技术摘要：Transformer 可证明地学会内化思维链

问题陈述

思维链（CoT）提示显著提升了 Transformer 在处理 $k$ -奇偶性学习等复杂任务时的样本效率，将复杂度从输入长度的指数级降低至多项式级。然而，显式生成 CoT 会因中间推理 token 的序列生成而产生巨大的推理延迟和计算开销。隐式思维链（ICoT）作为一种实证解决方案应运而生，通过在微调过程中逐步移除中间 token，训练模型将推理步骤内化至隐藏状态中。尽管 ICoT 在实证上取得了成功，但其理论基础尚不明确：具体而言，模型能否在消除推理成本的同时达到显式 CoT 的样本效率，以及多层架构如何促进这种内化过程。

方法论

任务设定

作者分析了 $k$ -奇偶性学习问题，这是中间监督的一个标准测试平台。给定一个秘密索引集 $S \subset [n]$ 和输入位 $b \in \{\pm 1\}^n$ ，目标是预测奇偶性 $y = \prod_{j \in S} b_j$ 。在没有中间监督的情况下，对于使用多项式样本的有限精度基于梯度的方法，该任务被证明是困难的。该任务被分解为一个深度为 $L = \log_2 k$ 的具有两层奇偶性计算的分层二叉树。

模型架构

本研究采用简化的 $L$ 层 Transformer，并做出了特定的设计选择以确保理论上的可处理性：

注意力机制：单头注意力机制，采用重参数化的键 - 查询矩阵 $W^{KQ}$ ，其中仅上部的 $T \times T$ 块是可训练的。
因果掩码：定制的层级受限因果掩码确保层级 $\ell$ 的中间状态仅依赖于奇偶性树中严格较低层级的 token。
链接函数：一个平滑、对称的函数 $\phi$ （例如 $-\cos(\pi t)$ ），满足 $\phi(0)=-1, \phi(\pm 1)=1$ ，且在这些点处的导数为零，从而支持局部泰勒展开。
门控连接：模型不使用标准的残差连接，而是使用门控连接，其中门向量 $g^{(\ell)}$ 由奇偶性树结构规定。这将梯度信号隔离到特定的树层级，防止表示崩溃（即输入状态收敛为均匀值）。
量化：在每次梯度更新后，将注意力权重量化为最接近的整数，以控制误差传播并“冻结”先前训练过的层。

训练课程：Log-ICoT

本文提出了Log-ICoT，这是一种课程策略，它按照奇偶性树的层级，以几何块的形式移除中间 CoT 步骤，而不是像标准 ICoT 那样一次移除一个 token。

阶段 1：完整的 CoT 监督（所有中间节点可见）。
阶段 $t$ （ $2 \le t \le L$ ）：前 $k(1 - 2^{-(t-1)})$ 个中间 token 被替换为填充（零），而更高层级的节点保持可见。
阶段 $L$ ：所有中间 token 均被填充；模型必须仅利用输入位和内化的隐藏状态来预测最终输出。
这将训练阶段的数量从标准 ICoT 中关于 $k$ 的线性关系减少为对数关系，即 $L = \log_2 k$ 。

主要贡献

ICoT 的首次理论分析：本文提供了第一个严格的证明，表明 ICoT 保留了显式 CoT 的样本效率。它证明了在 Log-ICoT 课程下训练的 $L$ 层 Transformer 可以使用 $\text{poly}(n)$ 个样本和 $\log_2 k$ 个训练阶段解决 $k$ -奇偶性问题。
Log-ICoT 课程：作者提出了一种以几何增量移除推理 token 的课程。这种课程与奇偶性树的递归结构相匹配，将训练阶段从 $O(k)$ 减少到 $O(\log k)$ ，同时保持了推理效率（单次前向传播）。
多层收敛保证：定理 1 证明了多层 Transformer 可以高效地学习奇偶性，扩展了先前单层模型的保证。证明依赖于：
- 门控连接：防止表示崩溃，并将梯度信号隔离到特定的树层级。
- 整数量化：锁定已训练层的权重，通过将先前层视为固定值来进行分阶段分析。
- 定制因果掩码：确保梯度信号仅依赖于正确的子节点。
误差传播控制：分析表明，隐藏状态中的近似误差呈指数级衰减，确保尽管训练阶段具有序列性质，最终预测误差仍可忽略不计（ $\exp(-\Omega(n^{\epsilon/16}))$ ）。

结果

理论方面：主定理表明，在每阶段批量大小 $B = \Omega(n^{2+\epsilon})$ 的条件下，训练后的模型以高概率在测试集上实现近乎完美的准确率。样本复杂度关于 $n$ 是多项式级的，与显式 CoT 相当，而推理仅需单次前向传播（相比之下，自回归 CoT 需要 $O(k)$ 个序列步骤）。
实证方面：在 $n=30$ $n = 30$ 且 $k=16$ $k = 16$ （ $L=4$ $L = 4$ ）的 4 层 Transformer 上的实验证实了该理论。
- 验证损失：损失在每个阶段转换时迅速下降，随着模型内化新层级会出现短暂的尖峰，最终在所有 CoT token 被填充的情况下达到 100% 的准确率。
- 注意力图：可视化显示，在最终阶段，每一层的注意力精确地集中在两个关键位置（被查询的奇偶性节点的子节点），证实了关于 softmax 集中的理论预测。

意义与主张

本文声称提供了隐式思维链的严格理论基础，弥合了显式推理的表达力与内化推理的可学习性之间的差距。通过证明多层 Transformer 可以在不牺牲样本效率的情况下内化复杂的推理过程，该工作解决了与显式 CoT 相关的高推理成本问题。

作者强调，他们的分析依赖于特定的架构简化（规定的门控、固定的值矩阵、整数量化），以使多层训练动态具有可处理性。他们承认，将 Log-ICoT 应用于缺乏奇偶性任务那种显式层级结构的实际大型语言模型（LLM）仍然是一个挑战，这需要启发式方法来进行课程阶段划分。该工作将自己定位为理解深度架构中自蒸馏和推理内化机制的一步。