🤖 machine learning

Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits

本文介绍了条件共消融（Conditional Co-Ablation, CoAx），这是一种无需标签的方法，通过衡量主要组件被移除后其重要性如何增加，来揭示 Transformer 电路中处于休眠状态的备份组件，从而克服了由自我修复机制导致的误导性归因，并实现更有效的模型剪枝与能力消除。

原作者： Zhiren Gong, Zihao Zeng, Chau Yuen, Wei Yang Bryan Lim

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhiren Gong, Zihao Zeng, Chau Yuen, Wei Yang Bryan Lim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：“幽灵”备份

想象你拥有一辆高科技汽车，它有一个主发动机和一个隐藏的备用发动机。备用发动机的设计初衷是：只要主发动机在运转，它就必须保持完全静默且不做任何事。只有当主发动机失效时，它才会启动。

现在，想象你是一名正在研究哪些汽车零件很重要的机械师。你决定通过移除主发动机来测试它的重要性。

旧方法（一阶评分）： 你拆掉了主发动机。汽车依然完美运行，因为隐藏的备用发动机瞬间接管了工作。你看着这辆车说：“哇，主发动机其实没那么重要；车甚至都没熄火！”
错误之处： 你同时也观察了备用发动机在汽车正常行驶时的状态。由于它当时处于静默且无所作为的状态，你便断定：“这个备用发动机毫无用处；它只是个累赘。”

结果： 你错过了一个最关键的部分。你认为主发动机很弱，又认为备用发动机是垃圾。实际上，备用发动机是一个“幽灵”，只有当主发动机消失时，它才会显现出来。

在 AI（特别是像 GPT 这样的语言大模型）的世界里，这种情况经常发生。AI 模型拥有“自我修复”机制。如果你移除 AI 大脑中的一个关键部分（一个“主要”组件），一个处于休眠状态的“备份”组件就会苏醒并修复错误。标准的测试方法会错过这些备份，因为它们只观察当 AI 正常工作时各部分的表现。

解决方案：COAX（条件协同消融）

作者引入了一种名为 COAX 的新方法。你可以把 COAX 想象成机械师的“如果……会怎样”模拟器。

COAX 不仅仅是在问：“这个零件有多重要？”它在问一个不同的问题：“在我们已经移除了主发动机之后，这个零件变得有多重要？”

第一步：主要移除。 首先，研究人员识别出主发动机（主要组件）并将其移除。AI 的性能略有下降，但隐藏的备份组件苏醒并修复了大部分损伤。
第二步：条件测试。 现在，在主发动机已经消失的情况下，研究人员开始测试其他部分。他们问道：“如果我们现在移除这个特定的备份零件，车最终会停下来吗？”
发现： 突然间，那些曾经“无用”的备份零件看起来变得极其重要。COAX 测量这种“重要性的增长”。它找到了那些在之前完全隐形的隐藏英雄。

现实世界的案例：“名称移动者”

论文在名为“间接宾语识别”（IOI）的特定 AI 任务上测试了这一点。

任务： AI 阅读句子如 “John and Mary went to the store. John gave a drink to...” 并必须猜出下一个词是 “Mary”。
主要部分： AI 中有一些特定的部分（称为“名称移动者头”）通常负责这项工作。
备份： 如果你删除这些主要部分，AI 并不会失败。其他的部分（“备份名称移动者”）会苏醒并接管这项工作。
旧方法： 它将备份部分的排名定为几乎毫无用处（在寻找它们方面的准确度仅为 0.33/1.0）。
COAX 方法： 它将备份部分排名为最重要的寻找目标（准确度为 0.91/1.0）。它成功找到了旧方法错过的隐藏助手。

为什么这很重要（“下游”影响）

论文表明，找到这些“幽灵备份”可以解决 AI 分析中的三个主要问题：

更好的归因（给予功劳）：
- 类比： 如果你解雇了主厨，副厨会接手，饭菜味道依然很好。如果你只把功劳归于主厨，你就忽略了副厨其实也是不可或缺的这一事实。
- 结果： COAX 帮助我们即使在某些部分平时处于静默状态时，也能将功劳归于正确的 AI 部件。
真正的“击穿”（禁用 AI）：
- 类比： 如果你想让一辆车停止移动，仅仅移除主发动机是不够的，因为备用发动机还在。你必须同时移除两者。
- 结果： 如果你想禁用某种特定的 AI 行为（比如让它停止撒谎或停止解决数学题），你也必须移除备份。COAX 明确告诉你应该移除哪些备份才能真正“破坏”该行为。
更智能的剪枝（让 AI 更小）：
- 类比： 想象你试图通过拆除零件来减轻汽车重量。如果你因为认为主发动机是唯一重要的而拆掉它，汽车可能仍靠备份运行。但如果你在主发动机之前拆除备份，车就会停下。
- 结果： COAX 帮助工程师在不意外破坏模型的前提下缩小 AI 模型（剪枝）的规模。它确保了如果你移除一个主要部分，你会保留其备份的安全；或者如果你移除备份，你知道主要部分仍然存在。

总结

论文认为，重要性并不是一个固定的属性。 AI 的一个部件不仅仅是单纯的“重要”或“不重要”。它的重要性取决于系统中还有什么。

旧观点： “这个部件很安静，所以它没用。”
COAX 观点： “这个部件之所以安静，仅仅是因为主要部件正在工作。如果主要部件损坏，这个部件就会成为英雄。”

通过使用这种“条件性”方法，研究人员能够找到让 AI 模型具有鲁棒性和可靠性的隐藏备份，从而修复了以往方法的盲点。

技术摘要：条件协同消融 (Conditional Co-Ablation, COAX)

1. 问题陈述

机械解释性（Mechanistic interpretability）依赖于为单个模型组件（如注意力头）分配重要性得分，以理解模型如何产生特定行为。标准方法使用一阶评分（first-order scoring）：在隔离状态下消融一个单元，测量输出变化，并聚合这些效应。这假设组件的重要性是加性的（additive）。

然而，这种假设在存在自我修复（self-repair）（即“九头蛇效应”）的情况下会失效，即模型拥有仅在主要组件被移除时才会激活的休眠备份组件。

盲点： 在一个完整的模型中，备份组件看起来是无关紧要的（重要性低），因为它是沉默的。当一个主要组件被消融时，备份组件会接管，修复受损部分并掩盖主要组件产生的效应。
后果： 一阶得分会误读冗余的两面性：它们低估了主要组件（因为备份修复了错误），并且完全忽略了备份组件（因为它是休眠的）。这会导致归因错误、失效的能力消除（capability knockout）以及次优的模型剪枝。

2. 方法论：条件协同消融 (COAX)

作者将该问题重新定义为条件电路补全（conditional circuit completion）：给定一组主要组件 $S$ ，识别出一旦 $S$ 被移除后，重要性显著增长的剩余单元。

COAX 得分

COAX 是一种无标签、基于输出的得分，用于衡量单元消融效应的条件增长（conditional growth）。

费舍尔几何（Fisher Geometry）： 该方法在由输出分布诱导的度量（费舍尔信息）下测量消融效应。对于一个单元 $u$ ，消融效应为对数几率扰动 $\delta z_u = z_0 - z_{\{u\}}$ 。该效应的能量是平均 KL 代价，由中心化特征 $\tilde{\delta z}_u$ 的费舍尔加权范数近似。
条件增长：
- 令 $S$ 为一组种子主要组件（例如，通过一阶方法识别出的组件）。
- 计算在隔离状态下消融候选单元 $u$ 的能量： $E(\delta z_u | \emptyset)$ 。
- 计算在 $S$ 已被消融后消融 $u$ 的能量： $E(\delta z_u | S)$ 。
- COAX 得分为两者的差值：
  $\text{comp}_u(S) = E(\delta z_u | S) - E(\delta z_u | \emptyset)$
理论基础：
- 命题 1： 建立了费舍尔恒等式（Fisher identity），将中心化特征的内积与费舍尔格拉姆矩阵（Fisher Gram matrix）联系起来。
- 命题 2（加性盲点）： 证明了任何仅基于干净状态统计量（如干净激活或干净梯度）的得分，都无法区分纯粹的备份（在干净模型上处于休眠状态）与无效单元。
- 命题 3（条件增长即协同作用）： 表明对于一个休眠单元，条件增长得分近似于其与种子集 $S$ 的**成对协同作用（pairwise synergy）**的能量。因此，COAX 恢复了第一阶得分所丢弃的二阶交互作用。
效率：
与需要 $O(|U|^2)$ 次前向传播的显式成对协同作用计算不同，COAX 仅需 $O(|U|)$ 次前向传播（每个种子进行一次单消融扫描和一个条件扫描）。它是仅前向的，不需要反向传播或任务标签。

3. 核心贡献

形式化自我修复： 本文将自我修复形式化为组件重要性的非加性失效，并引入“条件电路补全”作为恢复休眠补偿器的任务。
COAX 得分： 引入了一种无标签、基于费舍尔几何的得分，通过测量在以主要集合为条件时消融能量的增长，来揭示休眠备份。
因果验证： 通过机制检查（唤醒曲线、直接对数几率归因移交）和反事实补丁（冻结备份会移除自我修复）证明了被找回的头部是真实的备份。
下游效用： 展示了恢复这些备份可以修正掩盖的归因、实现完整的能力消除，并改进结构化剪枝。

4. 实验结果

备份发现 (GPT-2-small IOI 电路)

任务： 在已知的 3 个主要名称移动器（name-mover）头之外，识别 8 个记录在案的备份名称移动器头。
性能：
- 一阶基准： 单消融显著性 (0.33 AUC)、AtP (0.60)、EAP-IG (0.70) 以及具有自我修复感知能力的 AtP*GradDrop (0.82)。
- COAX： 达到 0.91 ROC-AUC。
- 显著性： COAX 将 8 个记录在案的备份中的 6 个放入了前 20 名候选名单中。与最佳梯度基准 (AtP*) 相比，在控制种子集的情况下，其提升在统计学上是显著的 ( $p < 0.05$ )。
合成基准测试： 在一个植入 100 个备份的合成基准上，干净状态得分的表现处于随机水平或更低 (0.42–0.51)，而 COAX 达到了 0.90，证实了理论上的盲点。

泛化性

规模： “唤醒”现象（在主要组件消融后输出范数增加）在 GPT-2-small、medium 和 large 模型中均有观察到。
架构： 应用于 8 个模型（Pythia, GPT-Neo, Gemma, Llama, Qwen, OLMo）的感应电路（induction circuit）。COAX 找回的补偿集合能显著降低感应对数概率（比随机选择高出 2.1 到 12 倍），展示了无标签的可迁移性。

下游应用

归因恢复： 仅消融主要组件仅会导致 IOI 对数几率差下降 0.22（被自我修复掩盖）。加入 COAX 恢复的备份后，下降幅度恢复至 1.76，揭示了真实的因果效应。
能力消除： 要禁用 IOI 行为，必须移除备份。
- 仅移除主要组件：准确率仍保持在 ~0.97（自我修复活跃）。
- 移除主要组件 + COAX 备份：准确率降至 0.70，与记录的 Oracle 结果 (0.72) 相匹配。
- 移除主要组件 + “自身”排名靠前的头部（一阶 top-up）：准确率降至 0.24，表明过度消融到了核心组件中。
结构化剪枝： 一种在每次移除后重新测量 COMAX 得分的顺序剪枝策略，在 124M 到 7B 参数规模下均优于所有基准（Random, Magnitude, Wanda, Taylor）。在 50% 稀疏度下，COAX 维持的困惑度（perplexity）显著比任何竞争对手都接近密集模型。

5. 意义与主张

本文认为，组件重要性并非单元的固有属性，而是取决于其余电路状态的条件属性。

动机： 在鲁棒电路中，最重要的组件往往是那些在主要组件失效时才保持沉默的组件。一阶方法通过孤立地对单元进行评分，系统性地错过了这些“隐藏英雄”。
操作转变： COAX 将范式从“孤立地对单元评分”转向“相对于已移除部分进行评分”。
局限性与范围：
- COAX 是一个补全工具，而非独立的发现工具；它需要一个主要种子集（可以通过一阶方法找到）。
- 它在休眠替代机制（如 IOI 备份）中最为有效。在冗余由共同触发的同质头部共享的机制中（如感应电路），COAX 能找到承载负载的集合，但不能唯一识别出一个独特的“备份类”。
- 该方法目前实例化在注意力头粒度；它无法在 MLP 主导的电路（如“大于”电路）中恢复强信号，这表明电路的机制（MLP 与 Attention）决定了自我修复的可恢复性。

论文总结道，对鲁棒模型的忠实解释必须是条件的：冗余不是需要被平均掉的噪声，而是必须通过条件化处理才能揭示的结构。