🤖 machine learning

When Attribution Patching Lies: Diagnosis and a Second-Order Correction

本文将下游网络中的非线性特征确定为归因补丁（attribution patching）误差的主要来源，并引入了一种计算高效的 Hessian 向量积修正方法，该方法显著提高了各种模型规模下机械可解释性电路的准确性与可靠性。

原作者： Luyang Zhang, Jialu Wang

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Luyang Zhang, Jialu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心背景：试图寻找 AI 的“脑细胞”

想象你拥有一台巨大且复杂的机器（大型语言模型），它能够写故事、解数学题并与你聊天。科学家们想要确切地知道这台机器中哪些特定的部分负责特定的行为。例如，哪个“神经元”决定使用“苹果”而不是“香蕉”这个词？

为了找到这些部分，研究人员使用了一种叫做**激活补丁（Activation Patching）**的技术。你可以把它想象成对这台机器进行“手术”：

你用一个正常的句子运行机器（例如：“猫坐在垫子上”）。
你用一个被破坏的句子再次运行（例如：“狗坐在垫子上”）。
你将第一次运行时的内部“大脑活动”替换到第二次运行中。
如果机器突然开始表现得好像又在讨论“猫”一样，你就知道那个特定的部分至关重要。

问题在于： 对现代 AI 的每一个部分都进行这种手术，就像试图测试摩天大楼里的每一块砖头来观察哪一块支撑着屋顶一样。这太耗费时间和计算资源了。

捷径：“归因补丁”（Attribution Patching）

因为完整的“手术”太慢，研究人员使用了一种名为归因补丁的捷径。他们不是真的去替换零件，而是使用一种数学上的猜测（“一阶近似”）来预测哪些部分可能会产生影响。

可以这样理解：

真实手术（激活补丁）： 你真的更换汽车的发动机，然后看它是否能正常运行。这很准确，但需要耗费数小时。
捷径（归因补丁）： 你观察发动机，做一个快速计算，然后猜想：“没错，这个发动机可能就是问题所在。”这很快，但有时猜错了。

发现：为什么捷径会撒谎

论文作者提出了一个问题：“这个捷径在什么时候会失效，以及为什么会失效？”

他们发现，捷径之所以失效，并不是因为零件本身的问题，而是因为该零件之后发生的事情。

多米诺骨牌的比喻：
想象一排多米诺骨牌。

捷径的错误： 捷径观察你推的第一块骨牌，并假设：“如果我推这块，整排都会倒下。”它假设推力会沿着一条直线、可预测的路径传播。
现实情况： 在复杂的 AI 中，“推力”会通过其他骨牌经过一条弯曲的路径。有时，路径会发生弯曲，或者力量会被放大，或者被其他力量抵消。捷径看不见这些弯曲；它只能看到眼前的这一推。

论文证明，最大的误差源于捷径忽略了信号通过网络其余部分时所经历路径的曲率（Curvature）。这就像仅仅通过观察方向盘来驾驶汽车，却忽略了前方的道路充满了急转弯。

解决方案：“筛选-标记-修复”流水线

作者提出了一个三步工作流来解决这个问题，且不会降低速度。他们称之为 Screen-Flag-Fix（筛选-标记-修复）。

1. 筛选 (Screen) —— 快速猜测

首先，对 AI 的每个部分运行快速、廉价的捷径（归因补丁）。这会给你一个谁比较重要的粗略名单。

比喻： 你快速扫描人群，试图猜出谁是 VIP。你得到了 100 个嫌疑人的名单。

2. 标记 (Flag) —— 可靠性检查

接下来，使用一个新的“可靠性评分”来检查你的名单。这个评分会询问：“前方的路是否可能很弯曲？”

如果分数低，说明捷径很可能是正确的。
如果分数高，说明由于路径太复杂，捷径很可能在撒谎。
比喻： 你看着你的 100 个嫌疑人名单。你意识到对于其中 90 个人来说，路径是直的，所以你的猜测没问题。但对于另外 10 个人，路径充满了急转弯。你将这 10 个人**标记（Flag）**为“不可靠”。

3. 修复 (Fix) —— 有针对性的手术

最后，你只对被标记出的项目进行昂贵且精确的“手术”（使用海森矩阵-向量积或 HVP）。

比喻： 你不需要重新检查整个人群。你只对那 10 个被标记出的可疑人员进行深度背景调查。这节省了 90% 的时间，但依然能抓到真正的 VIP。

为什么这很重要

论文表明，这种方法效果极佳：

它很准确： 它修复了由 AI 大脑中“弯曲道路”引起的错误。在某些测试中，它将误差降低了 80% 以上。
它很快： 因为它只修复那些真正出错的部分，所以比对所有部分进行完整手术要便宜得多。
它具有可扩展性： 其他试图修复这些错误的方法（如“积分梯度”）在面对巨大的 AI 模型（如 80 亿参数的模型）时会变得无法使用。而这种新方法即使在这些庞大的模型上也能运行。

总结

这篇论文告诉我们，用于理解 AI 大脑的常见捷径往往是不可靠的，因为它忽略了信号在网络后续阶段所经历的复杂路径。通过使用一种聪明的“清单”来找出那些不可靠的猜测，并仅修复这些特定的部分，我们可以获得完整手术的准确性，同时拥有快速猜测的速度。这有助于科学家们更准确地绘制出 AI 模型实际思考方式的地图。

技术摘要：当归因补丁失效时

问题陈述

机械解释性（Mechanistic Interpretability）依赖于因果定位（Causal Localization）来识别驱动特定模型行为的内部组件（如神经元、注意力头）。该领域的金标准是激活补丁（Activation Patching），它通过测量将受损输入下的组件激活值替换为来自干净输入的激活值所产生的因果效应来进行评估。然而，由于其成本随组件数量线性增长，在大规模应用时，激活补丁在计算上是难以承受的。

因此，从业者依赖于归因补丁（Attribution Patching），这是一种一阶、基于梯度的近似方法，它在受损激活值附近对干预进行线性化处理。尽管这种方法效率很高，但其可靠性尚不明确。系统性的误差可能导致对底层电路的误判。前人的研究已经识别了特定的失效模式（例如，激活区域不匹配、Softmax 再分配），并提出了部分补救措施，但一个根本性的问题仍然存在：归因补丁何时是可靠的？其误差能有多大？以及应该如何对其进行修正？

方法论与核心洞察

作者利用二阶泰勒展开式分析了归因补丁误差的结构。他们将真实因果效应（ $\Delta$ ）与一阶估计值（ $\hat{\Delta}$ ）之间的误差 $E$ 分解为两个部分：
$E = \underbrace{\frac{1}{2} \delta^\top H \delta}_{\text{主导二次项}} + \underbrace{\Phi(\delta)}_{\text{三次余项}}$
其中 $\delta$ 是扰动方向， $H$ 是标量输出度量对激活值的海森矩阵（Hessian）。

核心洞察：下游 vs. 局部曲率

一个关键发现是，主要的误差项源于网络级响应（即干预如何在模型的其余部分中传播），而非补丁组件本身的局部曲率。

先前修复方法的失效： 先前的研究方法（如 AtP*、GIM）试图利用局部激活曲率（例如激活函数的二阶导数）来修正误差。作者证明，局部曲率无法很好地预测真实的误差，其相关性极低（ $r=0.04$ ），并且对真实误差来源的低估达到了 2–66 倍。
网络级修正： 真实的误差取决于整个计算图的海森矩阵-向量积（HVP）。

提出的解决方案：筛选–标记–修复（Screen–Flag–Flag）

基于此分解，作者提出了一个可扩展的工作流：

筛选 (Screen)： 计算所有组件的标准归因补丁（一次反向传播）。
标记 (Flag)： 计算一个可靠性评分（Reliability Score, $\tilde{R}$ ），定义为二次项相对于一阶估计值的量级：
$\tilde{R} = \frac{|\delta^\top H \delta|}{2 |\hat{\Delta}|}$
较高的 $\tilde{R}$ 表示被忽略的二次项非常显著，从而标记该估计值为不可靠。
修复 (Fix)： 仅对被标记的组件应用基于 HVP 的二阶修正。
- 标准 HVP： 将 $\frac{1}{2} \delta^\top H \delta$ 项添加到估计值中。这需要两次反向传播（一次用于计算梯度，一次用于计算 HVP）。
- 多步 HVP (MS-HVP)： 对于较大的扰动，由于单步泰勒展开可能会出现过冲（违反局部平滑假设），修正过程被拆分为 $K$ 个子步骤。这能将残差误差从 $O(\|\delta\|^2)$ 降低到 $O(\|\delta\|^3/K^2)$ 。

核心贡献

重新定义归因可靠性： 作者将主要的误差来源追溯到下游网络响应而非局部非线性，解释了为什么先前的局部修复方法在结构上是不完整的。
可扩展的二阶修正： 他们引入了 HVP 和 MS-HVP，这是第一个在大型规模（高达 9B 参数）下仍具可行性的二阶修正方法。与集成梯度（Integrated Gradients, IG）相比，IG 在此规模下的计算成本极高（每个任务需要约 25 GPU-天），而 HVP 仍保持在可控范围内。
设计空间与工作流： 他们根据目标对现有的精细化方法进行了分类，并提出了一个“筛选-标记-修复”流水线，旨在仅针对不可靠的组件投入计算资源，从而平衡准确性与效率。

实验结果

作者在五个模型家族（124M–9B 参数）和多个任务（IOI、Greater-Than、事实补全）上评估了其方法。

误差降低： 在低到中等曲率机制下，标准 HVP 修正将注意力头的前 5 名相对误差降低了 72–90%，将预激活 MLP 神经元的误差降低了 56–67%。在病态的高曲率机制下（例如 Pythia-410M IOI），单步 HVP 会出现过冲，但 MS-HVP (K=5) 恢复了稳定性，误差降低幅度高达 82%。
基准测试对比：
- 对比集成梯度 (IG)： 在匹配计算成本的情况下，MS-HVP 的准确性达到或超过了 IG。在 GPT-2 IOI 任务上，MS-HVP（成本为 10）显著优于 IG（成本为 35），实现了 3.5 倍的效率提升。
- 对比集成海森矩阵 (IH)： IH 的表现始终逊于 MS-HVP，因为其权重方案（旨在处理特征交互）会系统性地低估与归因补丁相关的特定误差项。
- 对比 GIM/AtP：* 这些方法提供的增益较小，甚至在大型模型中性能会下降，因为此时高阶网络曲率占据主导地位。
电路恢复： 每组件准确性的提升转化为了更优的电路恢复效果。在 GPT-2 Greater-Than 基准测试中，MS-HVP (K=5) 将注意力头的前 5 名与真实值的重合度从 70.1% 提升至 83.2%，超越了 IG 和 GIM。
可扩展性： 在 8B+ 参数规模下，IG 变得不可行，而 HVP 仍具实用性。MS-HVP 是目前唯一展示出在这一规模下仍可行的二阶修正方法。

重要性与主张

本文的主张是：归因补丁并非本质上不可靠，而是受到一个特定的、可修正的误差源的影响：即忽视了下游网络的曲率。通过将关注点从局部激活属性转向网络级海森矩阵-向量积，作者提供了一个关于归因补丁何时失效以及如何修正的通用解释。

其重要性在于，它使得在以往难以进行严谨因果测试的大规模模型上实现高保真电路恢复成为可能。所提出的 “筛选-标记-修复” 工作流允许从业者对可靠组件保留一阶近似的速度，同时仅在必要时对不可靠组件应用针对性的、计算高效的二阶修正。这种方法支持在无需承担全量激活补丁或集成梯度等路径积分方法所带来的高昂成本的情况下，发现现代大语言模型中的机械电路。