💻 computer science

Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models

这项跨架构的机制研究表明，用于识别任务电路的统一“筛选与消融”方案在不同的 1B 级语言模型中产生了不一致的因果主张，揭示了相同的行为能力是通过截然不同的注意力模式结构实现的，并提出混合专家（MoE）模型在执行复合任务时专门依赖于一个基础的前文标记位置基质。

原作者： Yongzhong Xu

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yongzhong Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有三位不同的厨师（AI 模型），他们都学会了烹饪一道完全相同的菜肴：一道名为“间接宾语识别”（IOI）的复杂食谱。你想知道他们是如何烹饪这道菜的。他们使用的是相同的工具吗？他们遵循相同的步骤吗？

这篇论文就像一位美食评论家，走进三间不同的厨房去探寻真相。评论家使用了一种标准的测试方法：他们识别出一个特定的工具（比如搅拌器或菜刀），将其移除，然后观察这道菜是否会崩塌。

以下是该论文的研究结果，用通俗易懂的方式进行了解释：

1. 同样的菜肴，不同的食谱

令人惊讶的大发现是：虽然三位厨师都能完美地做出这道菜，但他们使用的工具却完全不同。

厨师 A (Pythia)： 使用“前一个 Token”工具。这就像一位厨师通过观察自己刚刚拿起的食材，来决定下一步该做什么。
厨师 B (OLMo)： 使用“S-抑制”工具。这就像一位厨师专门压制主料，好让配菜能够脱颖而出。
厨师 C (OLMoE)： 使用“名称移动器”工具。这就像一位厨师物理性地抓取配菜的名字，并将其移动到盘子的最前端。

教训： 仅仅因为两个模型以相同的方式解决了一个问题（得到了正确的答案），并不意味着它们使用的是相同的内部“电路”或机制。你不能假设适用于一个 AI 的方法也适用于另一个 AI。

2. “钓鱼执法”问题

研究人员担心，如果他们尝试足够多的不同工具，可能会只是碰巧找到了一个看起来有效的工具。为了证明自己不是在“钓鱼”（即并非偶然发现），他们使用了“匹配随机”（Matched Random）对照实验。

可以这样理解：如果你移除了厨师真正的搅拌器，蛋糕塌陷了，那是好事。但如果你移除了抽屉里一个随机的勺子，蛋糕也塌陷了，那么搅拌器就显得并不特殊；而是整个厨房本身就很脆弱。

论文显示，对于大多数任务，移除研究人员发现的特定工具会导致大规模的崩溃，而移除随机工具则毫无影响。这证明了他们找到的是每个特定模型的真正“秘方”。

3. 五种类型的“工具”

论文创建了一种新的方式来对移除工具后的情况进行分类。它不仅仅是“有效”或“无效”，研究人员发现了五种截然不同的结果：

主要原因 (The Primary Cause)： 主引擎。如果移除它，汽车就会停止运行。（例如：厨师 A 中的“前一个 Token”工具）。
次要原因 (The Secondary Cause)： 后备引擎。即使移除它，车仍能运行，但会变得颠簸。（注：原文意指运行不畅）。
相关物 (The Correlate)： 闪亮的装饰品。它看起来属于发动机室，但如果移除它，车仍能正常运行。它只是随行而已。
干扰者 (The Interferer)： 破坏者。如果移除这个工具，汽车反而运行得更好。在一种情况下，研究人员发现有些工具实际上在损害 AI 的性能，移除它们反而解决了问题。
无效项 (The Null)： 对什么都不起作用的工具。移除它不会改变任何事情。

4. “MoE”之谜（特例）

其中一位厨师（OLMoE）是一个“混合专家模型”（Mixture of Experts, MoE）。想象这位厨师拥有一支由 64 名专家组成的团队，但每次只能有 8 人参与烹饪。

研究人员发现了这个厨师的一个奇怪模式：

对于四种不同食谱中的三种，这位厨师高度依赖“前一个 Token”工具作为基础。这就像这位厨师的整个厨房都是建立在一个不断将上一件物品向前传递的传送带之上的。
然而，对于“间接宾语”这道菜，这位厨师切换到了“名称移动器”工具。

假设： 论文指出，对于这种特定类型的 AI（MoE），“前一个 Token”工具是默认的“骨架”或“脊梁”，支撑着一切。AI 在这个简单的骨架之上构建复杂的任务，除非该任务特别需要另一种类型的注意力（比如在最后一步复制一个名字）。

5. 为什么“Top-1”准确率是不够的

论文还警告说，仅仅观察 AI 是否得到了“正确答案”（Top-1 准确率）可能会具有误导性。

有时，移除一个工具虽然不会改变最终答案，但会让 AI 变得缺乏信心。这就像一个学生虽然仍然做对了数学题，但字迹变得潦草，且犹豫时间变长了。如果只检查答案，你就会错过“学生正在挣扎”这一事实。研究人员发现，对于某些模型，即使答案没变，其“边际”（即正确答案与错误答案之间的差距）也会缩小。

总结

食谱有效，工具不同： 你不能直接“复制粘贴”一个 AI 的机制到另一个 AI 上。它们通过不同的内部齿轮来解决相同的问题。
小心“破坏者”： 有时，你认为正在提供帮助的部分实际上是在阻碍 AI。
MoE 模型是独特的： 拥有“专家”的模型（MoE）似乎对于大多数任务都依赖于一个特定的“前一个 Token”骨架，这是一个新的发现。
看得更深： 不要只检查 AI 是否正确；还要检查它的“信心”，因为“信心”可能才是故事的核心所在。

论文得出结论，虽然我们有一种很好的方法来寻找这些“电路”（食谱），但我们不能假设不同模型之间的电路是相同的。每个模型都是一台独特的机器，拥有其自身的内部逻辑。

技术摘要：模式选择性并非任务因果结构

问题陈述
本文研究了既定的机械解释性“筛选与消融”（screen-and-ablate）方案——即通过任务模式选择性识别注意力头电路，随后进行因果消融——是否能在不同的模型家族间产生一致的机械论主张。尽管先前的研究（如 Wang et al., 2023）已确立了 GPT-2 small 在间接宾语识别（IOI）等任务中的经典电路，但目前尚不清楚这些特定电路是否能泛化到在不同语料库和不同架构上训练的其他 1B 级语言模型中。核心问题在于：单一的任务模式筛选是否能在不同模型中识别出相同的因果电路，还是说复合任务的机械实现是具有模型特异性的。

方法论
作者在一个 $4 \times 3$ 的经验网格中应用了统一的筛选与消融协议：

任务： 四个复合任务：间接宾客识别（IOI）、大于（Greater-Than）、后继序列（Successor Sequences）以及变量绑定（Variable Binding）。
模型： 三个来自不同流水线的 1B 级模型：
- Pythia 1B： 稠密架构，在 The Pile 上训练。
- OLMo 1B： 稠密架构，在 DCLM 上训练。
- OLMoE 1B-7B： 混合专家（MoE）架构（64 个专家，top-8 路由），在 DCLM 上训练。
流程：
1. 谱信号（Spectral Signal）： 使用参与度比率（PR）积分对注意力头进行预筛选，以识别专门化的计算。
2. 任务模式筛选（Task-Pattern Screen）： 根据对特定注意力模式（如前一 token、归纳、名称移动者、S-抑制）的选择性对候选注意力头进行过滤。
3. 因果验证： 对候选电路进行组消融（将注意力头输出替换为批次均值激活）。
4. 对照组： 为每个单元格生成一个匹配随机零假设（matched-random null），使用 10 个独立的种子，从相同层中抽取具有相同数量且与被选头无重叠的随机注意力头。
指标： 性能通过 $\Delta$ top-1 准确率和 $\Delta$ logit-diff（正确 logit 与干扰项 logit 之差）进行衡量。

核心贡献

经验网格： 在 1B 级前沿领域进行全面的 12（任务，模型）单元分析，证明了虽然该方法论可以移植，但特定的因果电路却不能。
五类分类法： 一个用于对筛选结果进行定量分类的框架：
- 主要原因（Primary Cause）： 具有高特异性（ $\ge 3\times$ 于匹配随机对照）的最大非饱和效应。
- 次要原因（Secondary Cause）： 有意义的效应但小于主要筛选结果；通常是冗余路径。
- 相关物（Correlate）： 注意力头表现出预期的模式，但消融几乎没有或没有因果影响（答案已在更上游编码）。
- 干扰者（Interferer）： 消融提高了任务性能；通常由 BOS 类（首 token）注意力汇（attention sinks）与任务竞争引起。
- 无效（Null）： 无因果作用；效应大小与随机噪声无法区分。
OLMoE 前一 Token 原初性假设（Prev-Token-Primacy Hypothesis）： 一个可证伪的假设，即在 1B 活跃规模下的 MoE 模型会在一个基础的**前一 token 位置基质（prev-token positional substrate）**之上构建复合任务电路。任务特定的计算层叠于此基质之上，除非任务结构直接探测了不同的模式（例如 IOI 的末尾位置名称复制）。
方法论改进：
- 证明了匹配随机对照对于区分真正的因果关系与“钓鱼式”筛选至关重要，特别是揭示了 L0 集中型的筛选具有高方差的零假设。
- 识别了**边际而非最大值（margin-not-argmax）**特征：在某些模型中，消融压缩了 logit 边际（降低了置信度）但并未改变 top-1 预测，这表明能力是以分布偏置而非门控决策的形式实现的。

关键结果

无跨架构电路迁移： 在 $4 \times 3$ $4 \times 3$ 网格中，没有任何两个单元格共享具有相当效应大小的相同主要因果筛选结果。
- IOI： Pythia 是前一 token 主要驱动；OLMo 是 S-抑制 主要驱动；OLMoE 是 名称移动者 主要驱动。
- Greater-Than： Pythia 是 GT 特有 主要驱动；OLMo 显示出仅限边际效应；OLMoE 是 前一 token 主要驱动。
- Successor： Pythia 是混合型；OLMo 是 L0 集中型（不可靠的零假设）；OLMoE 是 前一 token 主要驱动。
- Variable Binding： Pythia 的天真筛选识别出了干扰者（BOS 混淆项）；OLMo 和 OLMoE 是 前一 token 主要驱动。
OLMoE 模式： 在 OLMoE 中，前一 token 电路是 Greater-Than、Successor 和 Variable Binding 的主要因果驱动因素。例外是 IOI，其任务结构（末尾位置名称复制）直接触发了名称移动者电路。
BOS 类混淆： 在 Pythia 的 Variable Binding 任务中，顶层筛选候选是作为干扰者的 BOS 类注意力头。需要进行单个注意力头消融才能将它们与真正的支持者区分开来，这一诊断方法在 BOS 主导的机制中具有普适性。
指标敏感性： 仅依赖 top-1 准确率会忽略显著的机械效应。例如，在 OLMo 的 Greater-Than 任务中，消融 GT 特有筛选显著压缩了 logit 边际 ( $\Delta$ -1.98)，而 top-1 变化极小 ( $\Delta$ -0.6)。

意义与主张
本文认为，在 1B 级前沿领域，“实现能力 X 的电路是什么？”这一问题本身就是错误的，因为它预设了一个单一且可迁移的解决方案。相反，作者提出：

机械解耦（Mechanistic Decoupling）： 不同的模型通过完全不同的机械实现来实现相同的行为能力。该“方案”（筛选与消融）是一个有效的生成程序，但特定的电路必须针对每个模型重新推导。
模型类别规律性： 虽然特定电路不同，但结构模式可能在架构家族内持续存在。OLMoE 前一 token 原初性假设表明，MoE 架构依赖于一个稳定的位置基质进行路由，在此之上构建任务特定的逻辑。
方法论诚实： 本文强调，仅凭谱信号是不够的；需要任务模式筛选和因果验证（特别是针对 BOS 主导机制中的单个注意力头消融）来区分支持者、相关物与干扰者。

作者将这些发现视为更广泛经验计划的起点，指出 OLMoE 假设需要在其他 MoE 模型（如 Mixtral, DBRX）上进行验证，并且 12 个单元格的网格足以提供动机，但不足以完全确立跨任务的泛化性。

1. 同样的菜肴，不同的食谱

2. “钓鱼执法”问题

3. 五种类型的“工具”

4. “MoE”之谜（特例）

5. 为什么“Top-1”准确率是不够的

总结

类似论文