🤖 AI

Certified Circuits: Stability Guarantees for Mechanistic Circuits

本文介绍了“认证电路”（Certified Circuits），这是一个通过使用随机数据子采样来增强机械解释性稳定性与可靠性的框架，旨在为所发现的神经电路在面对数据集扰动时保持不变性提供可证明的保证，从而在多种架构和任务中实现更紧凑且更准确的解释。

原作者： Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图弄清楚一位才华横溢但神秘的厨师（神经网络）是如何烹饪一道特定的菜肴，比如“鳄鱼汤”。你想确切知道哪些食材和步骤是这道食谱中必不可少的。

问题所在：不稳定的食谱
过去，当科学家试图在计算机内部寻找这个“食谱”（称为电路）时，他们使用了一种非常脆弱的方法。这就像是问厨师：“是什么让这碗汤喝起来有鳄鱼味？”而你仅仅是给厨师看了一张鳄鱼在沙滩上的照片。

厨师可能会说：“啊！是牙齿和鳞片！”但如果你给厨师看一张鳄鱼在沼泽里的照片，或者一张卡通画，厨师可能会突然改口说：“不，不！其实是泥泞的水和旁边坐着的鸟！”

问题的核心在于，厨师（计算机）正在记忆针对那一张特定照片的线索（比如那只鸟或那团泥），而不是真正的“鳄鱼”概念。如果你稍微改变照片，科学家找到的“食谱”就会完全改变。这使得解释变得不可靠。

解决方案：认证电路
这篇论文介绍了一种被称为**认证电路（Certified Circuits）**的新方法。你可以把它想象成一种对食谱进行的“稳定性测试”。

他们不是只针对一张照片询问厨师，而是这样做：

洗牌（The Shuffle）： 他们拿出一大叠鳄鱼照片，随机丢弃其中的几张，交换一些，或者增加一些新的照片。他们这样做数百次，创造出数千个略有不同的“照片堆栈”。
投票（The Vote）： 对于每一个照片堆栈，他们都会问厨师：“这其中最重要的部分是什么？”
共识（The Consensus）： 他们观察这些答案。
- 如果厨师在 99% 的不同照片堆栈中都说“牙齿”，他们就会说：“认证通过！牙齿绝对是食谱的一部分。”
- 如果厨师在 50% 的堆栈中说“鸟”，而在另外 50% 的堆栈中说“牙齿”，他们就会说：“弃权。” 他们拒绝将“鸟”纳入最终食谱，因为这太不稳定了。这可能只是一个巧合。

这实现了什么
通过只保留那些无论你如何打乱照片顺序，厨师都会认同的部分，研究人员得到了更好的结果：

更精简、更纯净： 最终的食谱要短得多。他们剔除了所有的“噪声”（比如让原始方法感到困惑的鸟或泥巴）。
更准确： 因为他们移除了那些令人困惑、不稳定的线索，所以食谱的效果更好。在论文中，这在处理棘手的、未见过的示例时，将准确率提高了高达 56%。
适用性广： 如果食谱是基于“鳄鱼”的真实概念（牙齿、鳞片、吻部）构建的，那么无论你给厨师看的是真实的鳄鱼、卡通鳄鱼，还是沼泽里的鳄鱼，它都能奏效。这种“认证”后的食谱具有良好的泛化能力，因为它忽略了那些仅在原始照片中有效的脆弱线索。

底线
该论文声称，通过使用这种“投票”系统（他们称之为随机平滑/randomized smoothing），他们可以证明他们所发现的“电路”（计算机执行工作的部分）是稳定的。

他们不仅仅是在猜测；他们可以在数学上保证，如果输入数据在一定限度内发生轻微变化，他们找到的核心食谱不会改变。这把“食谱”从一个脆弱的猜测变成了一个关于计算机实际思维方式的、稳固且值得信赖的解释。

技术摘要：认证电路 (Certified Circuits)

问题陈述

机械解释性（Mechanistic interpretability）旨在识别神经网络中负责特定行为或概念的“电路”（circuits）——即最小化的子网络。然而，现有的电路发现方法存在严重的鲁棒性缺失问题。所发现的电路对用于概念数据集的具体样本高度敏感；增加、删除或替换语义等价的样本会导致电路结构发生不可预测的变化。此外，这些电路往往无法泛化到分布外（OOD）数据。这种不稳定性引发了一个根本性的问题：当前的方法捕捉的是概念的真实机械表示，还是仅仅过拟合了数据集特有的伪特征和人工痕迹？

方法论：认证电路

作者提出了认证电路（Certified Circuits），这是一个为电路发现提供可证明的、与算法无关的稳定性保证的框架。其核心思想是将电路发现视为从概念数据集到子图的映射，并证明该映射在数据集发生有界编辑时保持不变。

核心框架

随机子采样（平滑化）： 该框架封装了任何黑盒电路发现算法 $\mathcal{A}$ 。它通过应用基于删除的扰动机制来生成概念数据集 $D$ 的多个随机子样本。具体而言，它采样一个二进制掩码，其中每个样本以概率 $1 - p_{del}$ 被保留，以概率 $p_{del}$ 被删除。
聚合： 在每个子采样数据集上运行基础算法 $\mathcal{A}$ 以产生候选电路。随后，该框架聚合结果以计算每个电路组件（神经元或边）的平滑包含概率（ $p_u$ ）。该概率代表了该组件在多次随机删除实验中被选中的频率。
认证决策规则： 对 $p_u$ $p_{u}$ 应用置信阈值 $\tau$ $τ$ ，以对每个组件做出决策：
- 认证入选（Certified In）： 如果 $p_u > \tau$ ，则该组件被稳健地纳入。
- 认证排除（Certified Out）： 如果 $1 - p_u > \tau$ ，则该组件被稳健地排除。
- 弃权（Abstain）： 如果两者条件均不满足，则该组件被排除在最终电路之外。这种自适应稀疏性剔除了那些在数据集扰动下表现不稳定的组件。

理论保证

该方法利用**数据集删除平滑化（RS-Del）**来推导正式保证。定理 3.1 指出，在具有高置信度（ $1-\alpha$ ）的情况下，任何被认证为“入选”或“排除”的组件，对于原始数据集 $D$ 范围内任何编辑距离为 $r$ 的概念数据集 $D'$ 都是保持不变的。认证半径 $r$ 是删除概率 $p_{del}$ 和阈值 $\tau$ 的函数。被分配为“弃权”的组件会被排除，从而确保最终电路仅由可证明稳定的元素组成。

核心贡献

首个可证明的稳定性框架： 本文引入了第一个为电路发现提供可证明的、与算法无关的鲁棒性保证的框架，确保电路结构对于有界的数据集编辑具有不变性。
理论界限： 作者推导了关于认证半径的可证明界限，并刻画了其对概率阈值和删除概率的依赖关系。
实证验证： 该框架在三种架构（ResNet, ViT, GPT-2）、两种模态（视觉和语言）以及四种电路发现算法上进行了验证。

实验结果

作者在视觉任务（使用 ImageNet 及各类 OOD 基准测试如 ImageNet-A, ImageNet-O, ImageNet-C, OOD-CV）和语言任务（IOI/IOI-Hard/Greater-Than）上，将认证电路与标准基线（如 Top-K 相关性、EAP-IG）进行了对比评估。

充分性与紧凑性： 认证电路在实现更高准确率（充分性）的同时，使用了更少的组件（紧凑性）。
- 视觉： 在 ImageNet 上，认证电路实现了 95% 的准确率（基线为 83%），同时使用的神经元减少了 52%。在 ImageNet-A 等 OOD 数据集上，准确率提升高达 56%（达到 94%），且规模减少了 15%。
- 语言： 认证电路在匹配或超过基线峰值准确率的同时，使用的边数减少了高达 80%（例如在 Greater-Than 任务上减少了 75%）。
特征分析： 对“弃权”神经元（即被基线包含但被认证过程排除的神经元）的可视化表明，它们经常对共现但非类别特有的线索（例如“手表”类别的手部/手腕）产生反应，而“认证入选”的神经元则始终对定义类别的特征做出反应。
OOD 泛化： 在分布内数据上发现的电路在面对 OOD 偏移时，比基线保留了显著更高的准确率，这表明它们捕捉的是可迁移的机械结构而非数据集的人工痕迹。
结构稳定性： 当在偏移分布上重新发现电路时，认证电路与原始结构的交并比（IoU）更高，表明其向不变的核心收敛。

意义与主张

本文声称，认证电路通过产生可证明稳定且更符合目标概念的机械解释，将电路发现置于正式的理论基础上。通过通过自适应弃权系统地移除不稳定组件，该方法生成的电路不仅更紧凑、更准确，而且对数据集变化和分布偏移具有鲁棒性。

作者强调，这项工作解决了“解释性错觉”问题，即解释在发现分布上看起来是忠实的，但在泛化时却失效。通过提供一个基于有界数据集编辑的威胁模型，认证电路提供了一个可靠的工具，用于调试、审计和理解神经网络，弥合了可解释性与可信度之间的鸿沟。该框架旨在与底层模型架构及特定的电路发现算法无关，使其成为该领域的一个通用化解决方案。