🤖 machine learning

Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

本文研究了语言模型在规划过程中何时以及如何形成对未来约束的内部表征，揭示出尽管未来押韵信息在多个模型系列和规模上均可线性解码，但仅 Gemma-3-27B 因果性地依赖特定的晚期层传递机制来利用该信息，而其他模型尽管显示出强烈的探针信号，却直接以押韵词本身为条件。

原作者： Nicole Ma, Nick Rui

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nicole Ma, Nick Rui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一位魔术师表演戏法。你看见他从帽子里变出一只兔子，却不知道他是怎么做到的。他是整只手都袖子里藏着兔子，还是在他伸手进帽子的瞬间才魔法般地变出它？

这篇论文就像是为 AI 模型配备的一副 X 光眼镜。研究人员想知道：当 AI 写诗时，它是否在写下下一行之前，就秘密地“规划”好了结尾？

以下是他们发现的故事，拆解为简单的部分。

测试：押韵挑战

为了测试这一点，研究人员给 AI 模型布置了一个简单任务：完成一个押韵的对句。

提示： “她突然感到一阵恐惧，”
目标： AI 需要写出第二行，该行结尾的单词必须与“恐惧”（fright）押韵（例如“夜晚”night 或“光明”light）。

问题是：AI 是否在开始输入第二行之前，就有一个秘密的内部笔记写着“我需要与‘恐惧’押韵”？还是说它只是随着书写，逐字逐句地 figuring it out（ figuring it out 意为“弄清楚”）？

两种工具：“间谍”与“时间旅行者”

研究人员使用了两种不同的方法来窥探 AI 的大脑（即其“隐藏状态”）。

间谍（线性探测）：
想象一个间谍，可以偷看 AI 的笔记并问道：“嘿，你知道下一个词是什么吗？”
- 发现： 在他们测试的几乎每一个 AI 模型（Qwen、Llama 和 Gemma）中，间谍都找到了答案！就在 AI 完成第一行（换行符）的那一刻，AI 的内部笔记中确实包含了关于押韵的信息。
- 关键点： 仅仅因为间谍“找到”了笔记，并不意味着 AI 实际上正在“使用”它。这就像你口袋里有一张地图，却无视它，只是漫无目的地乱走。
时间旅行者（激活修补）：
这才是真正的测试。想象你就是那个 AI。你正准备写第二行。研究人员进行“时间旅行”，将你当前的脑状态与另一个 AI 的脑状态互换，那个 AI 当时正试图与一个“不同”的单词押韵（例如，试图与“恐惧”fear 押韵，而不是与“惊吓”fright 押韵）。
- 问题： 如果你交换了脑状态，AI 是否会突然开始写与“恐惧”押韵的词？
- 如果是： 说明 AI 实际上正在“规划”并使用该信息。
- 如果否： 说明 AI 只是在假装有计划，或者它是后来才想出来的。

大惊喜：只有一个模型真正进行了规划

故事到这里变得有趣起来。不同模型的结果截然不同：

“虚假规划者”（Qwen 和 Llama）：
这些模型在“间谍”测试中表现优异。在第一行结束时，它们的脑中确实存储了押韵信息。但是，当研究人员尝试“时间旅行者”测试时，什么也没发生。交换脑状态并没有改变输出。
- 类比： 这就像一位厨师，台面上放着食谱卡片（信息就在那里），但他却无视它，仅凭嗅觉和直觉烹饪。他们实际上并没有“使用”计划来指导烹饪；他们只是不断盯着自己写出的最后一个词（“惊吓”fright），以此来确定下一个词。
“真实规划者”（Gemma-3-27B）：
这个特定模型与众不同。
- 早期层： 在第二行的开头，它依赖于最后一个词（“惊吓”fright）。
- 交接： 在第 30 层左右（AI 大脑中的特定深度），发生了一些神奇的事情。“规划职责”从最后一个词转移到了换行符（第一行之后的空白处）。
- 结果： 当研究人员在换行符处交换脑状态时，AI 立即开始尝试与新单词押韵。
- 类比： 这个模型就像一位指挥家。在歌曲开始时，他看着乐谱（最后一个词）。但在中途，他放下乐谱，开始根据他在休息时构建的心理地图来指挥乐队。他实际上使用了计划来指导音乐。

“谁干的？”调查

对于 Gemma 模型，研究人员想要确切知道大脑的哪些部分在进行这种规划。他们将范围缩小到一个微小而特定的团队：五个注意力头（可以将这些视为 AI 大脑中的五个特定神经元或“工人”）。

当他们干扰这五个工人时，AI 就失去了规划能力。当他们不干扰它们时，AI 就能完美地规划。这并非一个混乱、通用的过程，而是由一个小团队执行的精确、外科手术般的操作。

主要结论

该论文得出结论：仅仅因为 AI“拥有”信息，并不意味着它正在“规划”。

许多模型可以存储未来押韵的想法（它们拥有地图）。
但只有一个模型（Gemma-3-27B）实际上使用了那张存储的地图来指导其未来的行动（它遵循地图）。
对于其他模型而言，它们只是在反应当下的过去，而非规划未来，尽管未来的信息在技术上确实存在于它们的大脑中。

这很重要，因为它表明“智能”或“规划”不仅仅关乎拥有数据；更关乎如何主动利用这些数据来塑造接下来发生的事。令人惊讶的是，这种“规划”能力并非所有大型 AI 的通用特征；它只是某些模型发展出的特定怪癖。

技术摘要：计划何在？通过轻量级机制干预定位语言模型中的潜在规划

问题陈述
自回归语言模型逐词生成文本，却频繁产生需要长程结构连贯性的输出，例如押韵的对句。这引发了一个关于潜在规划的根本性问题：模型是否会形成未来输出的内部表征，并因果性地驱动生成过程，即使这些过程对外部行为评估而言是不可见的？虽然先前的工作已证实某些模型中存在与规划兼容的信息，但尚不清楚这些信息在正向传播过程中确切位于何处，以及它们是否会发生迁移（作者将这一现象称为规划位点形成）。此外，区分仅被编码（被动）的信息与被因果性使用（主动）的信息，对于准确的机制理解和安全性评估至关重要。

方法论
作者采用了一个清晰的测试案例：押韵对句补全。给定以押韵词 $r_1$ 结尾的第一行，模型必须生成以押韵词 $r_2$ 结尾的第二行。该研究在三个开源模型家族（Qwen3、Gemma-3、Llama-3）的不同规模（最高达 700 亿参数）上，运用了两种轻量级机制干预方法：

线性探测（编码证据）：训练线性分类器，从不同层 $\ell$ 和位置 $i$ 的隐藏状态 $h_{\ell,i}$ 中预测未来的押韵词 $r_2$ 。这用于确定与规划兼容的信息是否能在特定位置（例如最后一个词元与换行符词元）被解码。
激活修补（因果证据）：将来自“损坏”运行（针对不同的押韵族）的特定位置和层的隐藏状态，替换到“干净”运行中。如果该干预将生成方向重定向至损坏的押韵，则该位置被识别为因果性活跃的规划位点。

该研究特别比较了最后一个词元（位置 $i \approx -1$ 或 $-2 $）与**换行符词元**（位置$ i = 0$），以追踪因果影响的迁移。

主要结果

编码与因果性的解耦：
- 探测：在所有三个模型家族中，线性探测在换行符词元处成功解码了未来押韵信息。这种信号的强度通常随模型规模增加而增强，表明与规划兼容的表征是更大模型的涌现属性。
- 激活修补：尽管探测信号很强，但仅 Gemma-3-27B 在换行符处表现出因果性活跃的规划位点。在该模型中，生成的因果驱动源在第 30 层左右从最后一个词元迁移至换行符词元。
- 其他模型：Qwen3（最高 320 亿参数）和 Llama-3（最高 700 亿参数）在整个生成过程中均基于最后一个词元进行条件生成。尽管探测显示它们在换行符处编码了押韵信息，但修补这些模型中的换行符对输出产生的因果影响几乎为零。
交接的局部化（Gemma-3-27B）：
- 因果影响从最后一个词元到换行符的“交接”由第 28 层和第 30 层中五个稀疏的注意力头介导。
- 利用两阶段路径修补，作者证明同时修补这五个特定的头，可以恢复通常通过覆盖换行符处整个残差流所实现的约**90%**的押韵路由能力。
- 该机制具有注意力特异性；修补相应的 MLP 则无效。

主要贡献

规划位点形成的定义：本文形式化了与规划兼容的表征（可通过探测检测）与因果性活跃的规划位点（通过干预确立）之间的区别，强调前者并不保证后者。
可扩展的机制框架：作者提出了一个结合线性探测和激活修补的框架，无需训练转码器，且所需数据量远少于控制向量方法，使其适用于大型开源架构。
分歧的经验发现：研究揭示，不同的模型架构（即使在同一规模范围内）通过根本不同的机制解决结构约束：有些依赖静态的“末词”条件，而另一些（如 Gemma-3-27B）则实施向换行符的动态“交接”。
稀疏电路的识别：该工作成功将 Gemma-3-27B 中复杂的规划行为定位到一组特定的、少量的注意力头，表明此类涌现现象可以是结构化的而非弥散的。

意义与主张
本文认为，仅凭探测信号不足以作为规划位点的证据。如果标准的行为评估或简单的探测未能区分被动编码与主动因果性使用，可能会系统地低估或错误描述模型的规划能力。

作者主张，规划位点形成是一个独特的涌现现象，与特定的模型规模和架构相关，而非强规划兼容表征的普遍后果。对稀疏因果电路（五个注意力头）的识别表明，潜在规划可以是一个高度结构化的计算过程。

该研究的结论附带了适度的局限性：目前的发现仅限于三个模型家族和单个结构化任务（押韵）。作者指出，这种“交接”机制是通用的规划原语还是特定于语音约束，以及 Qwen 和 Llama 模型中缺乏这种交接是由于架构差异还是训练数据所致，目前仍是一个开放性问题。