🤖 machine learning

Closure-Validated Circuit Discovery in Attention Heads: Co-activation Proposes, Ablation Disposes

本文表明，虽然基于共激活统计数据对注意力头进行聚类可以生成看似合理的电路提议，但只有通过因果消融测试才能验证其功能的必要性，这揭示了此类廉价信号往往无法在混合专家模型（Mixture-of-Experts models）等复杂架构中识别出真实的电路。

原作者： Yongzhong Xu

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yongzhong Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂版解释，使用了日常类比。

核心理念：“提议”与“证明”一个团队

想象你正在试图弄清楚一台复杂机器（比如一个巨大的机器人大脑）是如何运作的。你怀疑某些齿轮组（称为注意力头/attention heads）正在作为一个团队协作，执行特定任务，比如“记住前一个词”或“寻找某种模式”。

长期以来，研究人员通过观察**协同激活（co-activation）**来寻找这些团队。这就像是在观察齿轮，然后说：“嘿，齿轮 A 和齿轮 B 总是同时旋转。它们一定是一个团队！”

这篇论文提出了一个关键问题：仅仅因为齿轮一起旋转，就意味着它们真的是在执行重要工作的功能性团队吗？ 还是说它们只是因为连接在同一个电源开关上才一起旋转，即便它们并没有做任何有用的事情？

作者将这种区别称为**“提议”（Proposal，基于观察的猜测）与“发现”（Discovery，基于证据的证实）**之间的区别。

实验方法：“沉默测试”

为了证明一个团队是真实存在的，作者不仅仅是观察它们的旋转；他们进行了一项**“沉默测试”（他们称之为闭合/Closure**）。

提议： 他们使用了一种数学配方（聚类/clustering）来寻找一起旋转的齿轮组。
测试： 他们关掉（消融/ablated）了那个特定的齿轮组。
判定：
- 真实的电路： 如果机器开始出错或停止工作，说明该组是一个真实的、必不可少的团队。
- 虚假的电路： 如果机器保持完美运行（甚至运行得更好），说明该组并不是真正的团队。它们只是“噪声”或冗余部件，并不重要。

实验结果：两个不同的故事

作者在三种不同类型的机器人大脑（AI 模型）上测试了这一点。

1. 稠密模型（Dense Models，即“标准型”大脑）

模型： Pythia 1B 和 OLMo 1B。
故事： 在这些模型中，“沉默测试”完美奏效。当他们关掉数学算法认为属于“团队”的齿轮组时，机器人大脑处理任务的能力确实变差了。
类比： 这就像是在管弦乐队中发现了一组总是演奏相同音符的音乐家。当你屏蔽掉他们时，音乐就会崩溃。结论： 在这些模型中，“协同旋转”的猜测通常是对真实电路的一个正确提议。

2. MoE 模型（“专家混合型”大脑）

模型： OLMoE-1B-7B（Mixture of Experts）。这个模型不同，它有一个“经理”来决定哪些专家负责哪些任务。
故事： 这里情况变得复杂了。
- 首先，如果观察整个大脑，数学方法根本无法找到任何团队。
- 于是，研究人员尝试了一个更聪明的技巧：他们根据哪个“经理”处于活跃状态对输入进行分组，并在这些组内寻找团队。这一次，数学方法找到了一个非常强的信号。看起来像是一个真实的团队！
- 反转： 当他们对这个“完美”团队进行沉默测试时，机器人大脑并没有变差。反而变好了。
类比： 想象办公室里有一群人，他们总是站在同一个角落大声聊天。你以为他们是一个“项目小组”。但当你要求他们离开时，办公室运行得反而更顺畅了，因为他们其实只是在分散大家的注意力。
结论： 在这个模型中，数学方法找到了一个看起来像团队的群体，但它实际上只是“噪声”。沉默测试证明了：仅仅看起来像一个团队是不够的。

训练时间线：“形式”与“功能”

作者还观察了这些大脑从婴儿期成长到成年期（在训练过程中）的过程。他们观察了两点：

形式（Form）： 齿轮看起来是否在关注正确的目标？（例如：它看起来是在关注前一个词吗？）
功能（Function）： 齿轮是否真的在做功？（即：关掉它会破坏机器人吗？）

他们发现了一个令人惊讶的错位：

有功能无形式： 有时，一组齿轮在还没开始表现出专注的“形式”之前，就已经在承担重任（必要的“功能”）了。它们在还在“游荡”时就已经在努力工作了。
有形式无功能： 有时，一组齿轮看起来非常专注且精准（完美的“形式”），但如果你关掉它们，什么也不会发生。它们看起来像个团队，但其实只是装饰品。

“冗余”带来的惊喜

在其中一个特定测试中（Pythia 1B 处理自然文本时），他们发现了一个奇怪的现象。

当他们关闭“团队”时，机器人在给出确切正确答案方面的信心崩溃了（它确定自己错了）。
但是，整体得分（平均损失/average loss）几乎没有变化。
类比： 想象一个备用发电机。如果你切断了主电源线，灯光会剧烈闪烁（特定信号崩溃），但由于备用发电机能极快地介入，房子并不会陷入黑暗（整体得分保持不变）。该模型拥有如此多的备份路径，以至于它掩盖了受损情况，使得这个“团队”看起来并不像它实际那么重要。

核心总结

论文最后给出了一个简单的规则，送给 AI 研究人员：

“协同激活是提议；闭合才是证明。”

仅仅因为 AI 大脑的部分组件一起激活、看起来很专注、或者在统计学上聚集成簇，并不意味着它们就是一个功能性电路。 你必须进行“沉默测试”（消融实验）来观察它们是否真的重要。

在标准模型中，这种猜测通常是正确的。
在复杂的“专家混合”（Mixture of Experts）模型中，这种猜测可能完全错误，导致你误以为找到了一个团队，而实际上你只是找到了一个干扰项群体。

本文并未声称：

它并未声称此方法适用于所有 AI 模型（仅限于他们测试的模型）。
它并未声称这适用于其他类型的 AI 特征（如使用不同数学原理的“稀疏自编码器/Sparse Autoencoders”）。
它不提供医疗或临床建议。这纯粹是关于这些特定计算机大脑如何运作的研究。

技术摘要：基于闭包验证的注意力头电路发现

问题陈述
机械解释性（Mechanistic interpretability）的研究重心已从单个单元转向研究组件组（子空间、流形、头部集合）这一基本对象。一种盛行的研究方法提议通过聚类共激活统计量（例如，使用稀疏自编码器特征或注意力头的二值化 Ising 模型）来寻找这些组。然而，一个关键的差距仍然存在：统计上连贯的共激活社区是否真的构成了一个具有“负载能力”（load-bearing）意义上的“电路”？真正的电路是一组在特定输入下，其移除会导致模型性能发生因果性退化的组件组。

本文研究了“廉价信号”——具体指共激活聚类成员身份、注意力目标选择性（attention-target selectivity）和参与度比例（participation ratio）——是否可以作为电路发现的充分证据，或者它们仅仅是需要因果验证的候选对象。作者探讨了聚类本身是否能区分以下三种情况：

真实电路（True Circuits）： 共同实现某种功能且具有负载能力的组。
共激活社区（Co-active Communities）： 由于共享上游驱动因素而同时激活，但贡献是冗余或微不足道的组。
可消除社区（Cancellable Communities）： 增加偏差信号的组，网络会对其进行补偿，因此移除它们甚至可能提高性能。

方法论
本研究采用“提议与验证”框架，在三个 1B 规模的语言模型（Pythia 1B、OLMo 1B 和混合专家模型 OLMoE-1B-7B）以及两种输入分布（合成归纳任务和自然文本）上进行实验。

提议（聚类）：
- 信号提取： 为每个注意力头提取一种无模板信号：分配给任何键（key）位置的最大注意力权重。
- 二值化： 在每个头的中位数处进行二值化，通过构造确保每个头在 50% 的样本上触发，从而消除激活率偏差。
- Ising 拟合： 使用伪似然估计法（pseudolikelihood）对二值化信号进行成对 Ising 模型拟合，以估计头之间的耦合强度。
- 社区恢复： 对绝对耦合矩阵应用谱聚类。通过最大化相对于监督分类头能力（如前一标记、归纳）的调整兰德指数（ARI）来选择聚类数量 ( $k$ )。
- 候选选择： 根据纯度、隔离度（内部耦合与外部耦合之比）以及规模限制选择特定的子簇。
验证（闭包测试）：
- 消融： 通过将识别出的头在进入残差流之前的输出切片置零来进行消融。
- 比较： 将每个样本的损伤（交叉熵损失的变化、Top-1 准确率和目标标记对数概率的变化）与五个同规模的随机对照消融进行比较。
- 判定标准： 如果候选对象的损伤方向符合预期（损失增加，准确率/对数概率降低）且相对于随机对照分布具有统计显著性（z-score > 1.8），则视为通过闭包验证。
扩展代理指标：
- 研究还追踪了跨训练检查点的注意力-目标选择性和参与度比例 (PR)，以观察这些“廉价”信号随时间推移是否与负载功能相关。

核心结果

稠密模型（Pythia 1B, OLMo 1B）：
- 在合成和自然文本分布上识别出的共激活社区均通过了闭包验证。
- 消融这些社区一致导致损失增加以及准确率/目标对数概率下降。
- OLMo 1B (自然文本)： 产生了最强的信号，其损失的 z-score 为 +36.4 $\sigma$ ，目标对数概率的 z-score 为 -50.9 $\sigma$ 。
- Pythia 1B (自然文本)： 显示出“下游冗余特征”。虽然目标对数概率显著下降（-52.5 $\sigma$ ），但总体的损失变化很小（+1.95 $\sigma$ ）。这表明模型拥有冗余的下游路径来重建被消融的输出，从而在维持交叉熵损失的同时，使特定的预测置信度崩溃。
混合专家模型 (OLMoE-1B-7B)：
- 边际失败： 在自然文本上，边际 Ising 模型发生坍缩（ARI $\approx$ 0.006），未能恢复任何结构。
- 路径条件下的恢复： 通过按路由模式对样本进行分层（使用路由权重的 k-means 聚类）并拟合独立的 Ising 模型，恢复了具有统计显著性的信号（ARI 0.191，高于随机划分零假设 +3.05 $\sigma$ ）。
- 闭包失败： 尽管实现了统计学上的恢复，但发现的社区在错误的方向上失败了。消融该社区反而改善了损失（在发现的特定层级内 z = -5.64 $\sigma$ ，在层级外 z = -12.94 $\sigma$ ）。这些头充当了受路由调制的噪声；移除它们有助于模型，尤其是在处理该特定路由层级之外的输入时。
训练轴代理指标：
- 有功能无形式（Function without Form）： 在 OLMo 1B 中，BOS（序列开始）头在 2B token 时就已经具备负载能力（通过了闭包），但在此时其注意力-BOS 选择性模式尚未形成（选择性接近于零）。
- 有形式无功能（Form without Function）： 在 Pythia 1B 中，前一标记（previous-token）头在 1B token 时表现出高选择性和高参与度比例，但未能通过闭包（消融并未损害性能，甚至在某些情况下有所帮助）。
- 这种双向解耦证明了注意力模式与功能是不同的构建块，而非同一现象的不同敏感度表现。

多指标报告
论文认为仅用交叉熵损失来衡量闭包是不够可靠的。损失可能会受到控制方差坍缩的影响（如 OLMo 自然文本所示），也可能被下游冗余所掩盖（如 Pythia 自然文本所示）。作者建议采用多指标标准：

方向： 所有指标必须朝着损伤的方向移动。
目标对数概率 (Target-Logit)： 因果影响的主要指标。
准确率： 辅助证据。
损失 (Loss)： 一个保守的底线，易受聚合松弛的影响。

主张与意义
论文总结了四个具体主张：

提议 vs. 发现： 无监督的共激活聚类是一种电路提议方法，而非发现方法。它识别的是候选社区，只有通过因果消融（闭包）才能验证它们是否具有负载能力。
稠密模型成功： 在 1B 规模的稠密模型中，基于合成和自然文本的共激活社区可以成功提议能通过闭包验证的负载电路。
MoE 失败： 在 MoE 架构中，即使是经过路径条件处理的统计恢复（通过了严格的零假设检验）也不足以证明其为电路。恢复的社区可能会在错误的方向上失败（即移除后反而提升性能）。
指标分歧： 注意力模式（选择性/PR）与功能之间的差距是双向的：一个头可以拥有尖锐的模式却无功能，也可以拥有功能却无模式。

范围与局限性
作者明确表示，他们并不声称这些结果可以推广到 SAE 特征流形（使用不同的验证标准）、更大的模型、其他架构（如 LLaMA, Mistral）或其他输入分布（如代码）。他们还指出，MoE 中的“错误方向”失败是针对所测试的架构和路由协议而言的，并且所使用的 Ising 亲和力是一种为了可比性而做的选择，而非最优的离散电路亲和力。该研究强调，MoE 的负面结果是至关重要的，因为它证明了统计连贯性并不保证因果负载能力，尤其是在复杂的架构中。