🤖 machine learning

Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors

该论文提出了一种通过分析梯度信号来解释 Transformer 中看似冗余的抽象特征（如世界模型和语法特征）如何从下一词预测目标中涌现的方法，并发现这些特征在预训练大语言模型中往往与代码等正式推理领域密切相关。

原作者： Mark Rofin, Jalal Naghiyev, Michael Hahn

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Mark Rofin, Jalal Naghiyev, Michael Hahn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：为什么那些为了“预测下一个词”而训练的人工智能（大语言模型），会学会一些看起来对预测下一个词完全没用的“奇怪技能”？

想象一下，你正在教一个学生（AI 模型）做填空题。规则很简单：老师给出一句话的前半部分，学生必须猜出下一个字是什么。

1. 核心谜题：为什么学生要学“无用”的东西？

按理说，为了猜对下一个字，学生只需要记住“刚才说了什么”和“接下来最可能说什么”就够了。

但研究人员发现，这些学生（AI）不仅学会了猜字，还学会了：

下棋的局势（比如 Othello 棋盘的完整状态，哪怕有些棋子位置根本不影响下一步怎么走）。
语法的深层结构（比如句子的主谓宾关系）。
代码的逻辑（比如编程语言的缩进和结构）。

有些东西明明对“猜下一个字”毫无帮助，为什么模型还要费劲去学？这就好比一个为了猜谜而训练的学生，突然开始背诵整本字典的索引，或者在脑海里构建整个城市的地图，尽管猜谜只需要知道下一个词。

2. 揭秘：三种“学习动力”

论文提出，模型之所以学会这些“无用”的技能，是因为在训练过程中，有三种不同的“老师”在通过不同的方式给学生打分（梯度信号）：

🟢 第一种动力：直接老师（Direct Learning）

比喻：这是最严格的老师。他只看你当下猜得对不对。
作用：如果你猜对了下一个字，他就给你加分。这是模型学习的基础。
局限：如果某个信息对猜下一个字没用，这位老师就不会给你任何反馈，模型也就学不到它。

🔵 第二种动力：预缓存老师（Pre-caching）

比喻：这位老师很有远见，他不仅看你现在，还看未来。
作用：想象你在写故事。虽然第 10 个字还没写，但如果你在第 2 个字时就埋下了伏笔（比如“他手里拿着一把红色的钥匙”），第 50 个字时就能顺利写出“他打开了红色的门”。
原理：为了把信息传递到未来（比如第 50 个字），模型必须在第 2 个字时就“预存”（Pre-cache）这个信息。哪怕第 3 个字不需要它，但为了第 50 个字，模型被迫在第 2 个字时就学会它。
结论：这就是模型学会“无用”技能的主要原因之一。它为了未来的任务，提前把信息存好了。

🟠 第三种动力：共享电路（Circuit Sharing）

比喻：这就像是一个共用的大脑皮层。
作用：模型的所有位置（第 1 个字、第 2 个字……）都使用同一套参数（大脑神经元）。如果模型在第 50 个字时学会了“红色钥匙”很重要，那么这套“大脑”在第 2 个字时也会顺便学会它，因为大家用的是同一套脑子。
结论：即使第 2 个字本身不需要这个知识，但因为第 50 个字需要，整个模型就“顺带”学会了。

3. 实验验证：把“老师”关掉

为了证明这一点，研究人员做了一些有趣的实验：

实验一：切断“预缓存”
他们训练了一个“短视”的模型，禁止它把信息传给未来的位置。
- 结果：模型变得很笨，不仅猜字不准，而且完全学不会那些“无用”的技能（比如 Othello 棋盘的全局状态）。这证明了预缓存是模型学会复杂世界模型的关键。
实验二：切断“共享”
他们让模型的前半部分和后半部分使用不同的参数（就像把大脑分成两半，互不干扰）。
- 结果：模型依然能学会一些技能，但那些需要跨位置协作的复杂技能（比如长距离的依赖关系）就学不好了。

4. 大模型的发现：代码是“预缓存”的产物

研究人员把这套理论应用到了真正的大模型（Gemma 2）上。他们发现了一个惊人的规律：

高“预缓存”度的特征：那些对“未来”影响很大的特征，往往与编程、数学、逻辑结构有关。
- 比喻：写代码就像下棋，每一步都严格依赖前一步，并且必须为后面的步骤做准备。模型为了处理代码，必须学会“预存”大量的逻辑结构。
低“预缓存”度的特征：那些只影响“当下”的特征，通常是简单的语法或日常词汇。

结论：大模型之所以能写代码、做逻辑推理，很大程度上是因为它在训练过程中，为了预测未来的词，被迫学会了“预存”复杂的逻辑结构。

总结

这篇论文告诉我们，大模型并不是一个只会机械预测下一个词的机器。

它像一个为了长远目标而提前布局的棋手。
它学会的那些看似“无用”的复杂技能（如世界模型、代码逻辑），其实是为了把信息传递给未来，或者是因为大脑的共享机制而顺带学会的。

这就解释了为什么 AI 有时候会表现出惊人的推理能力——因为它在训练时，为了“走得更远”，不得不先学会“看得更远”。

这是一篇发表于 ICLR 2026 的会议论文，题为《理解 Next-Token Predictors 中看似无用特征的涌现》（Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors）。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

大型语言模型（LLM）通常通过**下一个词预测（Next-Token Prediction, NTP）进行预训练。理论上，模型应仅学习对预测下一个词（ $x_{t+1}$ ）有用的特征。然而，现有研究表明，Transformer 模型往往会学习许多“看似无用”（NTP-useless）**的抽象特征，例如：

重构输入文本的抽象特征。
推断生成训练数据的高层结构（形成“世界模型”）。
隐式地预测未来多个 token。

核心问题： 既然训练目标仅关注下一个词，Transformer 是如何学会这些对预测当前下一个词没有直接帮助的特征的？现有的机制解释（Teleological perspective）主要关注特征在最终算法中的作用，但缺乏对训练过程中梯度信号如何驱动这些特征涌现的深入理解。

2. 方法论 (Methodology)

作者提出了一种基于信息流分解的新视角，将 NTP 目标产生的梯度信号分解为三个部分，并提出了相应的实验方法来量化它们对特征形成的贡献。

2.1 梯度信号分解 (Gradient Decomposition)

对于模型中位置 $i$ 和层 $k$ 的残差流 $r^k_{\theta, i}$ ，作者将反向传播的梯度信号分解为三种路径（如图 1 所示）：

直接学习 (Direct Learning, $\nabla L_{direct}$ )：
- 信号直接来自位置 $i$ 的下一个词预测损失（ $x_{i+1}$ ）。
- 这是预测 $x_{i+1}$ 的主要驱动力。
预缓存 (Pre-caching, $\nabla L_{pre-cached}$ )：
- 信号来自未来位置 $j > i+1$ 的预测损失。
- 由于注意力机制（Attention），位置 $i$ 的表示会影响未来位置的预测。因此，为了优化未来的损失，模型会在当前位置“预缓存”信息。
电路共享 (Circuit Sharing, $\nabla L_{shared}$ )：
- 信号来自不经过位置 $i$ 的路径。
- 由于 Transformer 块在不同位置共享参数，其他位置的梯度更新也会间接影响位置 $i$ 的参数更新。

理论贡献： 证明了总梯度是这三部分的和（命题 3.1）。其中，“预缓存”和“电路共享”是模型学习“无用”特征的关键机制。

2.2 实验验证方法

为了验证这些机制，作者设计了两种主要方法：

消融实验 (Ablation)：
- Myopic Training (短视训练)：阻断位置 $i$ 与 $j$ ( $j \neq i$ ) 之间的梯度流，从而消除“预缓存”。
- m-untied Training (解耦训练)：使用两组不同的参数处理不同位置的输入，从而消除“电路共享”（参数不共享），但保留注意力机制。
归因分析 (Attribution)：
- 定义特征失配 (Feature Mismatch)：衡量模型参数变化对特定特征表示的影响。
- 定义影响力 (Influence)：量化每个梯度分量（直接、预缓存、共享）在每一步训练中推动参数向特定特征方向发展的程度。
- 通过积分整个训练过程的影响力，确定哪些梯度分量主导了特定特征的涌现。

3. 主要贡献 (Key Contributions)

理论解释：从梯度信号的角度解释了为什么 NTP 训练的 Transformer 会学习复杂的、非即时有用的特征。
归因方法：提出了一种追踪 NTP 目标中具体梯度分量如何导致特定特征发展的实验方法。
新发现：
- 揭示了 OthelloGPT 中“世界模型”脆弱性的原因。
- 阐明了预缓存（Pre-caching）在文本生成中的作用。
- 在大型语言模型（LLM）中识别并解释了预缓存特征。

4. 实验结果 (Results)

4.1 玩具任务 (Toy Tasks)

在 "Majority"（多数投票）和 "Conditioned Majority"（条件多数）任务中：

发现：当移除“预缓存”或“电路共享”时（即 Myopic 或 Untied 模型），模型无法学习在输入阶段对预测下一个词无用、但在后续阶段有用的特征（如“之前的 token 是 A"）。
结论：NTP 无用特征的涌现完全依赖于预缓存和电路共享机制。

4.2 OthelloGPT (世界模型)

背景：OthelloGPT 被观察到能隐式学习棋盘状态（世界模型），但近期研究表明这种模型很脆弱，特别是在面对具有相同合法下一步移动的棋盘时。
分析：
- NTP 有用特征（影响下一步合法移动的格子）：主要由直接梯度驱动，表示稳健。
- NTP 无用特征（不影响下一步的格子）：主要由预缓存和共享梯度驱动。
结论：由于缺乏直接梯度信号，NTP 无用特征的表示较弱且不稳定，这解释了 OthelloGPT 世界模型的脆弱性。

4.3 小型语言模型 (TinyStories)

发现：
- 预缓存是连贯文本生成的必要条件：Myopic 模型的损失显著高于非 Myopic 模型。
- 语法特征：词性（POS）和依存关系标签主要由直接梯度学习，预缓存对其影响很小。
- 高层属性：如“位置特征”（在原始故事中的绝对位置），主要由预缓存梯度驱动。
结论：简单的语法结构不需要预缓存，但理解文本的高层结构和连贯性需要预缓存。

4.4 大型语言模型 (Gemma 2)

由于无法重新训练 LLM，作者提出了一种基于干预的近似方法（Proposition 5.1），利用 $Q(w)$ 指标（干预对即时预测与未来预测影响的比率）来区分特征类型：

高 $Q(w)$ 特征：主要受预缓存影响。分析发现，这些特征高度集中在形式推理领域，如代码（HTML/CSS、编程结构）、数学符号和正式语法。
低 $Q(w)$ 特征：主要受直接梯度影响，通常涉及常规文本内容。
导向实验 (Steering)：增加高 $Q(w)$ 特征的激活会导致模型生成更多代码和标点符号。
Look-ahead 假说验证：作者发现，高预缓存度的特征并不是未来 token 预测（Look-ahead）的主要贡献者。相反，Look-ahead 更多源于不同位置预测所需特征的相似性（Breadcrumbs hypothesis），而非显式的未来规划。

5. 意义与结论 (Significance & Conclusion)

视角转变：本文从静态的“目的论”（特征在算法中的作用）转向了“发育性”（特征如何通过梯度信号在训练中涌现）的视角。
机制澄清：明确了“预缓存”和“电路共享”是 Transformer 能够超越即时预测、构建复杂内部表示（如世界模型、代码理解）的数学基础。
实际影响：
- 解释了为什么某些模型（如 OthelloGPT）在特定任务上表现脆弱。
- 指出形式推理任务（如代码）在 LLM 中可能依赖于特殊的预缓存机制。
- 挑战了关于 LLM 具有“未来规划”能力的简单解释，提出了基于特征相似性的替代解释。

这项工作为理解 Transformer 内部特征的发育过程提供了新的理论框架和实用工具，特别是对于解释那些在传统 NTP 目标下看似“多余”但实际至关重要的特征。