🤖 machine learning

Induction Heads Interpolate N-Grams

本文证明了 Transformer 中的归纳头实现了一种复杂的上下文学习机制，该机制结合了软上下文匹配插值与加性伪计数平滑，有效地正则化了估计过程，从而超越了经典的基于计数的基准方法。

原作者： Francesco D'Angelo, Oguz Kaan Yuksel, Swathi Shree Narashiman, Nicolas Flammarion

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Francesco D'Angelo, Oguz Kaan Yuksel, Swathi Shree Narashiman, Nicolas Flammarion

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试猜测故事中的下一个词。你会观察已经读过的词来寻找模式。这就是像 Transformer 这样的 AI 模型在不改变其内部大脑（这个过程被称为“上下文学习”）时进行“学习”的方式。

长期以来，科学家们认为这些模型的工作方式就像一个严格的图书管理员：它们只会寻找最后几个词的精确匹配。如果故事说“那只猫坐在……”（The cat sat on the...），模型只会寻找其他也说过“那只猫坐在……”的地方并猜测接下来是什么。如果这个精确的短语从未出现过，模型就会陷入困境，要么随机猜测，要么放弃。

这篇新论文指出，这些模型实际上比这聪明得多，也灵活得多。它们不仅仅是在进行精确计数；它们还使用了两个聪明的技巧来填补记忆中的空白，类似于人类如何使用上下文线索。

以下是论文中发现的两个主要技巧，通过简单的类比进行了解释：

1. “软匹配”（Jelinek-Mercer 平滑法）

旧方法（硬计数）： 想象你正在尝试猜测一个句子的下一个词。你只寻找与你现在正在阅读的句子完全相同的句子。如果你以前从未见过那个完全相同的句子，你就不知道接下来会发生什么。

新方法（软匹配）： 论文显示，模型的“归纳头”（Induction Heads，即执行此项工作的特定大脑部分）实际上也会寻找部分匹配。

类比： 想象你正在尝试猜测一个句子的结尾：“那只红色的猫坐在……”（The red cat sat on the...）
- 你发现了一个句子说：“那只红色的猫坐在……”（完美匹配）。
- 你发现另一个句子说：“那只黑色的猫坐在……”（只有“猫”的部分匹配）。
- 你还发现第三个句子说：“那只红色的狗坐在……”（只有“红色”的部分匹配）。

模型并不会忽略这些部分匹配，而是给予它们投票权。匹配的部分越多，投票声就越大。如果精确匹配很罕见，模型就会更多地听取部分匹配的声音。它将这些投票融合在一起进行预测。

论文称之为插值（Interpolation）。这就像一位厨师在品尝汤品。如果他们没有完全一致的食谱，他们不会直接瞎猜；相反，他们会寻找自己熟悉的相似食谱，并融合这些风味来创造出一个合理的新猜测。模型在数学上执行此操作，即权衡它对“完全匹配”与“部分匹配”的信任程度。

2. 作为“安全网”的 BOS Token（Add-α 平滑法）

问题： 如果模型从未见过当前句子的任何版本怎么办？甚至连部分匹配可能都缺失了。

解决方案： 论文强调了名为 BOS（序列开始）的特殊 Token 的作用。可以将它看作是每个故事开头的“启动按钮”。

类比： 想象模型是一名侦探。通常，它会在犯罪现场（文本）寻找线索。但有时，犯罪现场太新或太混乱，无法找到线索。BOS Token 充当了一个默认的安全网。
当模型看到 BOS Token 时，它知道：“好吧，我没见过这种特定的情况。让我们退回到所有词语的平均行为上。”
这为每一个可能的猜测都增加了一点点“虚假数据”（称为伪计数/pseudo-count）。这防止了模型说：“我没有任何证据，所以我无法猜测。”相反，它会说：“我没有具体的证据，所以我会根据普遍常见的情况来进行猜测。”

论文表明，当存在 BOS Token 时，模型会自动学习在预测中加入这种“安全网”，这在数学上等同于一种经典的统计技巧，称为 Add-α 平滑法。

他们证明了什么？

研究人员不仅仅是靠猜测，他们构建了一个简化的 AI 版本（一个“解耦 Transformer”），并从数学上证明了，如果你把旋钮调到恰当的位置，它确实会执行这两件事：

它融合了精确匹配和部分匹配的信息（软匹配）。
它利用 BOS Token 来添加安全网（Add-α 平滑法）。

然后，他们在简单的模式游戏（马尔可夫链）上训练了真实的 AI 模型。他们发现：

当模型接受训练时，它们自然地学会了使用这些精确的技巧。
它们不仅仅是在计数精确匹配；它们学会了对自己的猜测进行正则化（平滑处理）。
在部分匹配很有用的情况下（例如当相似的词拥有共同的父级时），这些模型的表现优于旧有的“严格计数”方法。

核心结论

论文得出结论，这些 AI 模型不仅仅是记忆精确短语的简单“计数机器”。它们是复杂的统计正则化器。它们已经学会了：

融合来自精确匹配和相似部分匹配的信息。
在缺乏具体证据时，退回到一般平均水平。

这解释了为什么大语言模型在处理未见过的场景时表现得如此出色：它们不仅仅是在历史记录中寻找完美的匹配；它们使用一种智能的、加权的融合方式，将所见的一切结合起来，做出最好的猜测。

技术摘要：归纳头实现 N-Gram 插值

问题陈述
归纳头（Induction heads）被认为是 Transformer 实现上下文学习（ICL）的核心电路，传统上在“硬注意力”（hard-attention）极限下进行表征。在这种机制下，电路执行精确的模式匹配和极大似然（ML）计数。虽然这种观点在机制上具有吸引力，但在处理高阶依赖时，其统计学解释是不完整的：在有限样本中，精确的 $k$ -gram 匹配往往过于稀少，不足以支持可靠预测，且极大似然估计量会对未见过的后续序列分配零概率。经典语言模型通过平滑和回退（back-off）机制（如 Jelinek–Mercer、Katz back-off）来解决这一问题，这些机制将概率质量重新分配给未见事件，并在不同上下文长度之间进行插值。本研究旨在探讨的核心问题是：归纳头是否实现了一类比严格计数更丰富的估计器，特别是能够执行此类平滑处理的估计器。

方法论
作者分析了在 $k$ 阶马尔可夫链上训练的 Transformer，这一设定在保证分析易处理性的同时，兼顾了基于上下文预测中固有的有限样本权衡。

理论框架： 研究采用了一种“解耦”（disentangled）Transformer 架构（移除 MLP 并使用拼接实现残差流）以促进精确分析。作者构建了一个特定的具有相对位置编码（RPE）的两层 Transformer，并证明其实现了软上下文匹配估计器。
机制构建：
- 第一层（复制头）： 使用 $k$ 个注意力头从特定的相对滞后（lag）位置（ $t-1, \dots, t-k$ ）复制 Token，从而构建当前上下文的表示。
- 第二层（上下文匹配）： 使用单个注意力头将查询上下文与历史中的所有候选上下文进行比较。注意力分数被设计为计算偏移对齐的内积，根据重叠程度（汉明重叠，Hamming overlap）而非仅要求精确匹配来对匹配项进行加权。
- BOS Token： 作者引入了序列开始（BOS）Token 作为序列无关的注意力目标，以引入加性伪计数（additive pseudo-counts）。
统计分析： 作者推导出了该电路实现的闭式估计器，并将其与两种任务先验下的贝叶斯最优预测器进行对比：
- 独立狄利克雷先验（Independent Dirichlet Prior）： 上下文之间互不相关。
- 层级狄利克雷先验（Hierarchical Dirichlet Prior）： 高阶转移以其低阶后缀为中心，使得共享相同后缀的上下文之间存在相关性。

核心贡献
本文确立了归纳头在有限注意力权重规模下实现了两种互补的平滑机制：

软上下文匹配（插值）：
- 该电路聚合了来自精确匹配和部分匹配的贡献。
- 匹配项根据其重叠大小（ $|M|$ ）进行指数级加权。
- 这诱导了跨上下文阶数的动态数据依赖型插值，类似于 Jelinek–Mercer 平滑。与使用固定全局权重的经典 JM 平滑不同，Transformer 的权重取决于特定序列中实现的实际计数。
- 该估计器统一了混合模型（如 JM）和回退策略（如 Katz）：当精确匹配稀缺时，模型会自动“回退”到低阶的部分匹配，而无需显式规则。
BOS 作为加性伪计数：
- BOS Token 作为一个固定的、序列无关的注意力汇（sink）。
- 该机制允许模型为特定上下文的转移计数添加常数项伪计数。
- 理论上，在注意力权重趋于无穷大的极限下，这恢复了 add- $\alpha$ 平滑（例如拉普拉斯平滑），为架构惯例如何实现类似先验的正则化提供了电路级的解释。
实证验证：
- 作者在马尔可夫链任务上训练了解耦和标准（全参数化）Transformer。
- 结果表明，训练后的模型恢复了预测的注意力模式：
  - 在没有 BOS 的情况下，它们依赖软上下文匹配来进行跨阶数插值。
  - 在有 BOS 的情况下，它们利用伪计数在独立先验下达到接近贝叶斯最优的性能。
  - 在存在结构化证据的层级先验下，通过利用插值机制，Transformer 的表现优于固定的 add- $\alpha$ 基准模型。
- 机制分析确认，训练后的标准 Transformer 学习到了理论所预测的特定权重结构（例如块偏移矩阵）。

结果

KL 散度： 在 add- $\alpha$ 平滑为贝叶斯最优（独立狄利克雷）的设置中，带有 BOS 的训练 Transformer 与贝叶斯最优预测器相匹配。在存在结构化证据的层级设置中，插值机制使 Transformer 能够超越固定的平滑基准。
注意力模式： 训练模型的可视化证实了这两阶段电路：第一层执行特定滞后的复制，第二层执行软匹配，根据重叠情况在完整匹配和部分匹配之间分配注意力质量。
非对称滞后权重： 在层级任务中，训练后的模型学会了为最近的 Token（滞后 1）分配比较旧 Token（滞后 2）更高的权重，这与先验结构一致，即最近的 Token 是下一状态更好的预测器。

意义
本文架起了归纳头机制可解释性与经典统计平滑之间的桥梁。它证明了 Transformer 不仅仅是在进行无正则化的计数，而是学会了 在上下文中进行估计正则化。通过在不同上下文阶数之间进行动态插值，并利用架构 Token（BOS）进行加性平滑，归纳头实现了一套复杂的统计程序，这些程序能够适应数据分布，从而解释了它们在上下文学习任务中的鲁棒性。

1. “软匹配”（Jelinek-Mercer 平滑法）

2. 作为“安全网”的 BOS Token（Add-α 平滑法）

他们证明了什么？

核心结论

技术摘要：归纳头实现 N-Gram 插值

类似论文