🤖 machine learning

Certified Interventional Fidelity: Anytime-Valid, Adaptive Evaluation of Causal Claims in Mechanistic Interpretability

本文引入了认证干预保真度（Certified Interventional Fidelity, CIF），这是一个为机械解释性中的因果主张提供随时有效（anytime-valid）置信区间与序列的统计框架，旨在实现对模型干预的自适应评估，同时严谨地将稳定效应与采样伪影区分开来。

原作者： Amir Asiaee

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amir Asiaee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名侦探，正试图弄清楚一个超级智能的机器人大脑是如何运作的。你不想仅仅是猜测；你想去戳刺它、更换它的内部齿轮，看看它是否仍以同样的方式解决谜题。这被称为“机械解释性”（mechanistic interpretability）。但问题在于，大多数侦探只是做几次测试，得到一个数字（比如“准确率 95%！”），然后就宣布破案了。问题是，如果你在工作时不断窥视你的结果，或者只寻找那些看起来似乎坏掉的齿轮，那么这个单一的数字可能只是一个幸运的巧合，而不是一个稳定的事实。

认证干预保真度（Certified Interventional Fidelity, CIF） 应运而生。你可以把 CIF 想象成一个你可以带入侦探游戏的“诚实裁判”。它不仅给你一个分数，还给你一个置信网（confidence net），无论你查看结果多少次或中途改变策略多少次，这个网都能保持稳固。

“幸运猜想”陷阱

通常，当科学家测试机器人大脑时，他们可能会运行 1,000 次测试，看到一个结果，再运行 500 次，看到一个更好的结果，然后在看起来不错的时候立即停止。或者，他们可能会只关注大脑中看起来出问题的部分。论文指出，这是危险的。这就像一个正在考试的学生，不断看着答案解析并擦掉错误的答案，直到得到一个完美的分数。论文明确指出，如果没有安全网，很难判断报告的分数是一个稳定的因果性主张，还是仅仅是有限采样和评估选择的结果。一个单一的“点估计值”（一个单一的数字）不足以证明机器人的大脑确实如我们所想的那样工作，除非有不确定性保证。

裁判的工具箱：“随时有效”之网

CIF 引入了一种称为**置信序列（Confidence Sequences）**的新方法来衡量事物。想象一下你正在尝试猜测一袋弹珠的平均重量。

旧方法： 你称量 100 颗弹珠，计算平均值，然后说：“它是 5 克。”如果你再称量 10 颗，平均值发生了变化，你最初的主张可能就是错的。
CIF 方法： 你从一个宽广的网开始，说：“重量在 1 到 10 克之间。”随着你称量越来越多的弹珠，这个网会慢慢缩小。CIF 的魔力在于这个网是**“随时有效”（anytime-valid）*的。这意味着你可以在称量了 10 颗、100 颗或 1,000 颗弹珠后进行检查，而且这个网始终*是正确的。你可以随时停止，且网内的主张仍然成立。

在不作弊的情况下寻找漏洞

有时，你想快速找到机器人的弱点。你可能会决定只测试那些看起来可疑的齿轮。这被称为“自适应采样”（adaptive sampling）。

风险： 如果你只测试损坏的齿轮，你的平均得分看起来会非常糟糕，你会认为整个机器人坏掉了。
CIF 的修复方案： CIF 使用了一种巧妙的技巧，叫做重要性加权（importance weighting）。想象你是一名才艺秀的评委。如果你决定只观看那些看起来可能失败的表演，你必须在最终得分中给这些表演额外的“权重”，以平衡你忽略了优秀表演这一事实。CIF 在数学上实现了这一点。它让你能够积极地寻找故障，同时保持你的最终报告诚实且无偏见。

通过“投注”来节省时间

论文测试了两种构建这些置信网的方法：

“霍夫丁”（Hoeffding）网： 这是一个安全、标准的网。它缩小得缓慢且稳定，像乌龟走路一样。它非常可靠，但可能需要很长时间才能得到一个精确的答案。
“投注”（Betting）网： 这是一个聪明的网，它会对数据进行“投注”。如果结果是一致的（低方差），它会收缩得超级快。

在论文的实验中，“投注”网成为了游戏规则的改变者。

在一个简单的图像测试（MNIST）中，它将证明一个主张所需的测试次数减少了 10 到 30 倍。
在一个复杂的语言模型（GPT-2 Small）上，这意味着从需要 1,875 次前向传播过程，减少到只需 102 次即可证明一个电路运作良好。
作者在模拟中测量了这一点，发现“投注”方法在不损失准确性的情况下，节省了大量的计算时间。

CIF 做不到的事情

了解这个裁判不会做什么很重要。CIF 不会告诉你哪种机器人大脑设计是最好的。它并不证明关于机器人如何思考的特定解释就是“真实”的真理。它只提供不确定性保证，即一个特定的主张（例如“在此类特定测试下，这个机器人的行为方式如下”）在统计学上是稳固的，而非偶然现象。它是一个验证工具，而不是一个发现的魔杖。

底线

论文表明，通过使用 CIF，研究人员可以停止猜测，开始进行认证。他们可以说：“我们 95% 确定这个机器人的大脑是以这种方式工作的”，并且即使他们在运行测试期间不断检查结果，他们也可以这样说。它将一个摇摆不定、非正式的猜测变成了一个坚实的、经过认证的事实，帮助研究人员避免在错误的方向上浪费时间，并帮助他们找到 AI 如何思考的真正秘密。

技术摘要：认证干预保真度 (Certified Interventional Fidelity, CIF)

问题陈述

机械解释性（Mechanistic Interpretability）日益依赖于干预评估（interventional evaluations）来验证关于神经网络的因果主张。这些实验涉及修改内部状态（例如，激活补丁、消融、隐藏状态交换），以测试所提出的解释（如压缩模型、电路或一组神经元）是否忠实地重现了原始模型的行为。

目前的评估实践存在缺乏统计严谨性的问题。通常，研究人员采样固定数量的输入和干预，计算一个点估计值（例如，交换干预准确率或补丁恢复率），并将其作为确定性的结论进行报告。然而，解释性工作流本质上是序列化且自适应的：研究人员会监测结果、调整评估集、寻找反例，并在证据看起来足够强时停止。由于缺乏能够处理这种自适应性的不确定性量化，报告的保真度可能是有限采样的伪影或“P值操纵”（数据依赖型停止）的结果，从而导致夸大主张或误判方法优劣。

方法论：认证干预保真度 (CIF)

作者提出了认证干解保真度 (CIF)，这是一个统计框架，旨在将干预解释性评估转化为具有**随时有效（anytime-valid）**保证的形式化因果推理问题。CIF 被设计为一个可以封装在现有评估流水线之上的“统计层”。

1. 将其形式化为因果估计量

CIF 要求每个报告的指标都必须被明确定义为一个有界的因果估计量。

目标： 一个期望值 $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$ $θ = E_{(X, I) \sim D \times Π} [Y (X, I)]$ ，其中：
- $\mathcal{D}$ 是声明的输入分布。
- $\Pi$ 是声明的干预分布。
- $Y$ 是一个有界的得分（通常 $Y \in [0, 1]$ ），例如不一致指示器或归一化的恢复得分。
主张类别：
- 抽象/简化保真度（Abstraction/Reduction Fidelity）： 衡量高层模型 $M_H$ 与原始模型 $M_L$ 在相应干预下的差异。
- 组件效应/恢复（Component-Effect/Recovery）： 衡量通过恢复特定组件（例如通过补丁）在多大程度上恢复了原始行为。

2. 随时有效的置信序列 (Confidence Sequences, CS)

为了解决监控和自适应停止的问题，CIF 使用置信序列而非固定样本量的置信区间。如果一个序列 $(C_n)_{n \ge 1}$ 满足 $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$ ，则称其是有效的。这允许评估者在任何时间检查结果并提前停止，而不会导致第一类错误率膨胀。

Hoeffding 型 CS： 基于得分范围和样本量 $n$ ，提供简单透明的界限。
基于博弈（Betting-based）的 CS： 使用资本过程（鞅）方法（具体为在线牛顿步策略，Online Newton Step），该方法能根据观察到的得分的经验方差进行自适应。与 Hoeffding 界限相比，这种方法显著减少了认证所需的样本量。

3. 带有限制重要性加权的自适应采样

CIF 支持自适应失败导向采样，即随着时间的推移修改干预分布 $\Pi$ ，以专注于可能的失败点或高影响组件。

机制： 为了在改变采样分布的情况下保持目标估计量 $\theta$ 的有效性，CIF 采用了混合重要性加权。在每一步 $t$ ，采样器从混合分布 $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$ 中抽取样本，其中 $\tilde{q}_t$ 是基于历史记录的自适应提议分布。
保证： 重要性权重 $w_t = \Pi(I_t)/q_t(I_t)$ 被限制在 $W_{max} = 1/(1-\alpha)$ 以内。该框架使用类似 Horvitz-Thompson 的估计器和基于鞅的界限，以确保即使在自适应采样时，置信序列对原始目标 $\Pi$ 仍然有效。

4. 多重比较与选择

在扫描多个组件或电路时，针对选择偏差问题，CIF 建议采用以下方法：

Bonferroni 校正（为每个组件分配 $\delta/K$ ）。
序列化“剥离”（对于明显次优的候选对象停止采样）。
随时有效的错误发现率（FDR）控制方法。

核心贡献

重新表述： 本文将干预解释性指标重新定义为序列化因果推理问题，将科学问题（估计量）与采样程序分离。
统计保证： 它为这些估计量提供了有限样本、随时有效的置信序列，且在任意监控和数据依赖型停止条件下依然有效。
自适应效率： 它引入了使用有限混合重要性加权的自适应 CIF，允许在维持统计有效性的同时进行高效的失败挖掘。
方差自适应博弈： 它证明了通过利用经验方差，基于博弈的置信序列可以将认证成本降低 10–30 倍（相对于标准 Hoeffding 界限）。
实用工具： 作者提供了用于认证、配对比较和自适应采样的算法，以及用于将 CIF 应用于新评估的报告清单。

实验结果

作者在两个主要基准测试上评估了 CIF：

MNIST 神经抽象：
- 设置： 在 3 层 MLP 上评估各种剪枝和压缩方法的抽象保真度（交换干预准确率）。
- 发现： 在激进干预（ $p=0.5$ ）下，没有任何方法能被认证为高保真度（ $F \ge 0.90$ ），这是一个点估计值可能会掩盖的负面结果。在较温和的干预（ $p=0.1$ ）下，基于博弈的 CS 以极少的向前传播次数（例如 64 个样本对比 1,141 个样本）成功认证了高保真度主张。研究发现，自适应采样在寻找失败方面比在认证已有的高保真度方面更有效。
GPT-2 Small IOI 电路：
- 设置： 在间接宾语识别（IOI）任务上，评估通过 ACDC、归因补丁（attribution patching）和人工识别方法发现的电路的补丁恢复得分。
- 发现： 所有电路都显示出较高的点估计值（ $\hat{\mu} \in [0.959, 0.972]$ ）。然而，Hoeffding 界限太宽，无法在 2,000 个样本的预算内完成认证。基于博弈的 CS 仅用 357 个样本就成功认证了包含 13 个 Head 的完整电路的 $\mu \ge 0.95$ ，而 Hoeffding 则需要超过 2,000 个样本。
敏感性与覆盖率：
- 敏感性分析表明，在高扰动水平下，差异度量（例如 0-1 损失与 KL 散度）的选择可能导致置信区间不重叠，使得度量选择成为影响定性结论的关键因素。
- 覆盖率验证确认，即使在激进的窥探协议（peeking protocols）下，Hoeffding 和基于博弈的 CS 也达到了或超过了标称水平（例如 95%）的经验覆盖率。

意义与主张

本文将 CIF 定位为不是一种新的发现电路或抽象的方法，而是作为机械解释性的验证层。

解决“缺失环节”： 作者认为，虽然因果框架的解释性已经建立，但统计实践往往是不够严谨的。CIF 通过提供能够承受自适应研究性质的严格不确定性量化，填补了这一空白。
降低成本： 一个关键的实际主张是，统计构建的选择（Hoeffding vs. Betting）可以改变认证成本的数量级，使得对像 GPT-2 这样昂贵的模型进行严格评估变得可行。
透明度： CIF 迫使研究人员明确声明输入分布和干预分布，使得主张的范围变得明确，并暴露了这些设计选择对结果的敏感性。
局限性： 作者明确指出，CIF 并不解决识别问题（即所选抽象是否真正捕捉到了感兴趣的因果结构）；它只解决估计问题（即在特定的度量和分布下，可靠地估计拟议主张的保真度）。此外，它假设得分是有界的，尽管可以通过剪切（clipping）或亚高斯（sub-Gaussian）变体进行扩展。

总之，CIF 提供了一个框架，将“点估计”转化为“认证主张”，确保关于机械解释的结论对于有限采样、监控和自适应搜索策略是稳健的。