💬 NLP

Mechanistic Interpretability as Statistical Estimation: A Variance Analysis

本文认为，机械解释性本质上是一个统计估计问题，受困于因果中介得分极高的内在方差，这导致电路发现流水线产生不稳定且脆弱的结果，从而使得转向严谨的统计稳健性和稳定性报告成为必要。

原作者： Maxime Méloux, François Portet, Maxime Peyrard

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Maxime Méloux, François Portet, Maxime Peyrard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心大意：试图用一个摇晃的指南针绘制城市地图

想象一下，你正试图绘制一张复杂的城市（神经网络）地图，以了解它是如何从 A 点到达 B 点的（如何解决问题）。机械解释性（Mechanistic Interpretability）领域的科学家就像是城市探险家。他们想要找到这个城市在做决策时所使用的特定“道路”和“交叉口”（神经元和连接）。他们将这些特殊的路线称为“电路”（circuits）。

本文指出，目前的探险家们使用的指南针正在疯狂旋转。他们认为自己正在寻找唯一真实的地图，但实际上，由于天气微小的随机变化或持握指南针的方式不同，他们每次观察时画出的都是不同的地图。

核心问题：“旋转的指南针”（方差）

研究人员发现，用于寻找这些电路的工具在本质上是不稳定的。他们将这个问题分解为三个层面的不稳定性：

1. 原始信号具有噪声（内在变异性）

类比： 想象你在测量一场风暴中特定气流的强度。如果你在某一秒钟精确测量，你会得到一个数值。如果你一秒钟后再次测量，风速可能会因为随机的湍流而变得稍强或稍弱。
论文观点： AI 特定部分的“重要性”并不是像石头重量那样固定的数值。它更像是风速。它会根据你观察的具体输入（即“风暴”）而剧烈变化。论文表明，即使你完美地计算出这个分数，单个连接的分数也会产生巨大的波动，以至于很难判断它究竟是真的重要，还是仅仅是一个随机的阵风。

2. 工具增加了额外的噪声（近似误差）

类比： 因为完美测量风速太耗时，探险家们使用廉价、快速的传感器（近似方法，如 EAP）来猜测风速。但这种廉价传感器本身也是抖动的。它在原本就多变的风速之上，又叠加了自身的静态噪声和误差。
论文观点： 科学家为了节省时间而使用的快速方法（如边缘归因修补法/Edge Attribution Patching）引入了更多的噪声。这些方法往往会让得分看起来比原本就更不稳定。其“信噪比”如此之低，以至于这些工具往往只是在捕捉静态噪声，而非真实的信号。

3. 地图随每一步而改变（聚合不稳定性）

类比： 为了绘制最终的地图，探险家会对 100 次不同的测量结果进行平均。但由于测量值非常不稳定，如果仅仅稍微改变这 100 次测量的列表（比如用一个替换掉另一个），最终的地图就会完全不同。今天，地图显示的是一条高速公路；明天，它显示的可能是一条土路。
论文观点： 当科学家结合这些不稳定的得分来构建“电路”时，结果是极其脆弱的。

数据变化： 如果他们使用一套略有不同的示例来训练他们的地图，他们会发现一个完全不同的电路。
方法变化： 如果他们微调了一个设置（例如改变他们对数字取平均值的方式），他们会发现另一个电路。
扰动变化： 如果他们改变了“破坏”AI 以进行测试的方式（即反事实测试），所发现的电路也会随之偏移。

“死鱼效应”（The "Dead Salmon" Effect）

论文提到了当前方法容易产生“死鱼效应”伪影。
类比： 在神经科学领域，研究人员曾发现即便是在一只死鱼（文中为死鲑鱼）身上也能检测到“大脑活动”，仅仅是因为他们没有对统计噪声进行修正。论文暗示，AI 研究者可能也在做同样的事情：发现了一些看起来很真实的“电路”，但它们实际上只是偶然凑巧排列在一起的随机噪声。

研究人员的发现（证据）

他们在不同的 AI 模型（如 GPT-2 和 Llama）以及不同的任务（如数学或语法）上进行了实验。

结果： 当他们使用略微不同的数据将同一实验重复运行 100 次时，他们发现的“电路”几乎没有重叠。有时，重叠率甚至不到 10%。
结论： 并不存在一个等待被发现的单一“真实电路”。相反，存在着一团可能的电路云，而目前的方法只是从这团云中随机选取了一个点，并将其称之为真相。

提出的解决方案：停止猜测，开始测量不确定性

作者并不是说要放弃对 AI 的解释，而是说：“停止假装我们比实际掌握的更多。”

新的规则手册：

报告方差： 不要只展示一张地图。展示 100 张地图，并说明：“这是平均值，而这是它们的差异程度。”
检查稳定性： 在声称发现了一个电路之前，先检查当数据发生轻微变化时，该电路是否保持不变。如果一个电路会随着微小的变化而消失，那么它就是不可靠的。
拥抱不确定性： 将这些发现视为天气预报（例如，“降水概率 70%”）而非绝对的事实（例如，“一定会下雨”）。

总结

论文认为，机械解释性目前正试图在不承认自己在处理统计学问题的情况下进行科学研究。这就像是在蹦床上测量一座山的高度。作者希望该领域停止寻找单一、完美的“地面真相”（ground truth）电路，转而开始报告他们的发现实际上有多么摇摆不定和多变。只有通过承认这种不稳定性，我们才能信任我们正在绘制的 AI 心智地图。

技术摘要：作为统计估计的机械解释性：方差分析

问题陈述

机械解释性（Mechanistic Interpretability, MI）旨在通过识别“电路”（负责特定模型行为的功能性子网络）来对深度神经网络进行逆向工程。这些电路通常使用因果中介分析（Causal Mediation Analysis, CMA）来发现，该方法通过对计算图中的特定组件（节点或边）进行干预，以测量其对模型输出的因果效应。

然而，由于缺乏稳定性，这些研究结果的科学有效性日益受到质疑。目前的 MI 实践往往产生“点估计”（单一的结构摘要），而没有量化不确定性。本文认为，电路发现不是一个独立的任务，而是一个建立在 CMA 之上的统计估计问题。其核心问题在于根本性的不稳定性：组件的因果效应不是一个固定的属性，而是一个波动的随机变量。因此，输入数据、超参数或干预定义的微小扰动都会导致截然不同的电路，从而削弱了 MI 发现结果的可靠性和泛化能力。

方法论

作者将电路发现框架化为一个由 CMA 驱动的下游流水线，并通过统计视角分析其稳定性，将不稳定性分解为两个主要来源：

方差（采样敏感性）： 由于依赖有限数据集来近似总体期望而产生的波动。
鲁棒性（方法论敏感性）： 对反事实设定（干预策略）和超参数的敏感性。

本研究采用了以下实验设置：

任务： 三个标准的解释性任务：间接宾语识别（IOI）、主谓一致（SVA）和大于（Greater-Than）。
模型： GPT-2-small、Llama-3.2-1B 和 Llama-3.2-1B-Instruct。
估计器： 研究重点关注边归因修补（Edge Attribution Patching, EAP）家族，包括精确 CMA（在计算可行的情况下）、EAP 以及带有输入和激活集成梯度（IG）的 EAP-IG。
稳定性指标：
- 结构稳定性： 通过发现的边集合的成对 Jaccard 指数来衡量。
- 功能稳定性： 通过电路误差（Circuit Error, CE）以及完整模型与隔离电路之间的 KL 散度来衡量。
扰动机制：
- 数据重采样： 使用 Bootstrap 重采样来模拟有限的样本量。
- 分布偏移： 使用元数据集和提示词改写（Prompt Paraphrasing）。
- 干预定义： 改变反事实生成中的噪声幅度（在 Token 嵌入上添加高斯噪声）。
- 方法论扰动： 改变聚合函数（均值 vs 中位数）、修补类型以及估计器选择。

核心贡献与结果

1. CMA 分数的内在变异性

作者证明，即使是精确的 CMA 分数也表现出高度的内在变异性。对于单个边，其因果效应在来自同一分布的输入之间并不恒定。

发现： 精确边分数的变异系数（CV）通常接近 0.5。
启示： 因果效应是一个依赖于特定“输入-反事实”对的随机变量，而非组件的固定属性。

2. 估计方法的放大效应

EAP 和 EAP-IG 等近似方法在内在方差之上引入了额外的估计噪声。

发现： 近似估计器的 CV 经常 $> 1$ ，这意味着分数的标准差超过了其均值。这导致信噪比极低，使得从有限样本中识别稳定电路在统计上变得非常危险。

3. 流水线中的电路不稳定性

边分数的这种不稳定性会传播到最终的电路结构，导致在微小变化下产生高度分歧的结果：

数据重采样： Bootstrap 重采样产生的结构一致性最低（GPT-2-small 的平均 Jaccard 指数 $\approx 0.56$ ）且变异性最高。从重采样数据中发现的电路通常在结构上是不相交的，且对原始模型的忠实度较低。
模型规模： 与 GPT-2-small 相比，稳定性在更大的模型（Llama-3.2-1B）中显著下降，这表明在更强大的模型中识别可靠电路并非易事。
方法论敏感性： 改变超参数（例如，将聚合方式从求和改为中位数，或改变修补类型）会导致 Jaccard 相似度降至接近于零（例如 0.086），实际上返回了一个不相交的子图。不同的 EAP 变体往往只是隔离了高方差分布的不同人工制品，而非收敛于同一个电路。
干预敏感性： 所识别的电路对于扰动幅度并不具有不变性。改变反事实生成的噪声幅度会改变被识别为重要的组件集合，其中关键的机制区间（如噪声幅度 $\approx 0.2$ ）表现出峰值不稳定性。

4. 不可识别性 vs 估计器不稳定性

本文区分了不可识别性（即使拥有无限数据也无法恢复唯一电路的理论可能性）与估计器不稳定性（对有限采样和近似的经验敏感性）。虽然高不稳定性与不可识别性是一致的，但作者指出，观察到的变异性之大，足以无论其根源为何，都足以破坏目前的报告实践。

意义与建议

本文认为，机械解释性若要演变为一门严谨的科学，必须采用自然科学中所使用的统计推断标准。目前仅报告单一“点”电路发现而不提供不确定性估计的做法是不充分的。

提出的最佳实践：

报告稳定性指标： 研究人员应在展示电路发现结果的同时，常规地报告稳定性指标。具体而言，应报告在 Bootstrap 重采样（ $n \ge 100$ $n \geq 100$ ）下的电路结构方差（如平均成对 Jaccard 指数）和性能（电路误差的 CV）。
- 建议阈值： 在 Bootstrap 重采样下，平均成对 Jaccard 指数高于 0.8 可作为将电路报告为“稳定”的初步标准。
量化估计器不确定性： 应针对超参数和聚合方法进行敏感性分析并予以报告。如果一个机制仅在特定的超参数下可见，则必须披露这种脆弱性。
表征干预敏感性： 研究人员不应依赖单一的固定干预，而应分析电路如何随反事实定义（例如噪声幅度）的变化而变化，以区分核心机制与局部的人工制品。

结论：
作者总结道，该领域应从寻求单一的“真实”电路转向构建一个关于可能电路的分布（概率电路发现），并开发显式惩罚方差的优化目标，优先考虑那些在不同数据集和扰动下都能作为可靠中介组件的部分。这种统计学框架被视为构建可信 AI 系统、确保解释性工具能为安全和政策决策提供坚实基础的必要步骤。