💬 NLP

Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?

本文通过对布尔函数和小型神经网络的实验，证明了由于系统性的不可识别性，唯一的解释往往是无法实现的，从而通过研究机械可解释性的可识别性，促使人们重新评估严格的唯一性对于有效的 AI 解释是否必要。

原作者： Maxime Méloux, Silviu Maniu, François Portet, Maxime Peyrard

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Maxime Méloux, Silviu Maniu, François Portet, Maxime Peyrard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、黑盒化的机器人，它能完美地解决一个特定的谜题。你想知道它是如何做到的。你不仅想知道它能做到，还想揭开幕布，看到让这种魔力发生的微小齿轮、杠杆和开关。这就是**机械解释性（Mechanistic Interpretability）**的目标：试图对神经网络（机器人的大脑）进行逆向工程，寻找一个简单的、人类可读的故事，来描述它是如何思考的。

这篇论文提出了一个非常简单却又深奥的问题：如果我们观察这个机器人以寻找它运作的故事，我们所有人都会找到完全相同的故事吗？ 或者，两个不同的人观察同一个机器人，使用相同的规则进行调查，是否会得出两个完全不同但同样有效的故事？

作者说：不，我们无法保证有一个唯一的故事。 事实上，通常会有数十个、数百个甚至数千个不同的“故事”能完美地契合这些数据。

以下是他们研究结果的拆解，使用了简单的类比：

两种调查方式

论文研究了研究人员尝试寻找这些故事的两种主要方式：

“先找位置，再看内容”（侦探法）：
- 核心思想： 首先，你试图在机器人内部找到一小组负责所有重活的神经元（一个“电路”）。一旦找到了这组神经元，你再尝试推测它们正在使用什么样的逻辑（例如：“哦，这三个神经元就像一个‘与’门（AND gate）”）。
- 问题所在： 想象你拥有一个巨大的图书馆。你想找到讲述某个故事的特定页面。你可能会找到一组完美的页面来讲述这个故事。但随后你会发现另一组完全不同的页面，它们也同样完美地讲述了这个故事。论文发现，对于一个简单的任务，有 85 个不同的神经元组合都可以完美地胜任这项工作。并不存在唯一的“正确”齿轮组。
“先看内容，再找位置”（建筑师法）：
- 核心思想： 首先，你猜想一个简单的故事或算法（例如：“机器人一定是在使用一个‘或’门（OR gate）”）。然后，你扫描机器人的大脑，看看能否找到该故事正在上演的地方。
- 问题所在： 想象你正在一个庞大的管弦乐队中寻找一段特定的旋律。你可能会发现小提琴正在演奏这段旋律。但随后你意识到，大提琴也在同时演奏着完全相同的旋律，长笛也是如此。论文发现，对于一个单一的简单算法，机器人的大脑中有 159 个不同的地方可以完美地实现该算法。

“异或（XOR）”实验

为了证明这一点，作者训练了一个微小的、简单的机器人来解决一个经典的逻辑谜题——异或（XOR）（这就像一个灯开关，只有当两个按钮中的其中一个被按下时才会开启，但两个都按下时则不会）。

结果： 他们不仅仅找到了一个解释。他们发现了 超过 45,000 种不同的解释（电路与故事的组合），它们在数学上都是完美的。
类比： 这就像是在问：“面包师是怎么做出这个完美的蛋糕的？”
- 解释 A：“她在 X 号碗里使用了面粉、糖和鸡蛋。”
- 解释 B：“她在 Y 号碗里使用了面粉、糖和鸡蛋。”
- 解释 C：“她在 Z 号碗里使用了不同的混合材料。”
- 这些解释都是正确的。 蛋糕的味道是一样的，但你所指向的“机制”每次都是不同的。

为什么这很重要？

在统计学中，我们有一个概念叫做可识别性（identifiability）。这意味着如果你拥有数据，应该只有一组产生该数据的“真实”数值。这篇论文指出，对于 AI 的解释，可识别性失效了。

“唯一真理”的迷思： 我们通常假设，如果我们挖掘得足够深，就会找到 AI 思考的那个“唯一真实的方式”。这篇论文说，这种假设很可能是错误的。AI 可能在同时以多种方式思考，或者可能有许多种描述其思考方式的方法，而这些方法都是同样正确的。
后果： 如果你请两位专家来解释同一个 AI，他们可能会给你两个完全不同的答案，而根据目前的科学规则，这两个答案都是正确的。

结论：我们该怎么办？

作者并不是说要“放弃”。相反，他们建议我们需要改变心态：

停止寻找“唯一的真理”： 我们可能需要接受可能并不存在唯一的解释。
关注实用性： 或许解释是否唯一并不重要。也许重要的是，这个解释是否能帮助我们预测 AI 下一步会做什么，或者帮助我们操控它去做我们想要的事。
使用多重检查： 如果我们真的需要确定，我们不应该只依赖一种方法。我们应该使用许多不同的测试，来看看一个解释是否能从各个角度都站得住脚。

简而言之： 论文认为，AI 思考的“指纹”并不是唯一的。有许多把不同的钥匙可以打开同一把锁，也有许多不同的地图可以描述同一个领域。我们不应该再期待一张单一且完美的地图，而应该开始接受这样一个事实：关于 AI 如何运作的“真相”，可能是一个由许多有效且重叠的故事组成的集合。

技术摘要：“万物皆在，无处不在：机械可解释性是否具有可识别性？”

问题陈述

随着 AI 系统被部署于高风险应用中，确保其可解释性变得至关重要。机械可解释性（Mechanistic Interpretability, MI）旨在通过提取嵌入在其结构中的人类可理解算法（计算抽象），来对神经网络进行逆向工程。一个计算抽象由两个部分组成：“是什么”（解释性算法）以及**“在哪里”**（实现该算法的网络中特定的子图或电路）。

虽然 MI 方法通常在一种隐含的**解释唯一性（explanatory unicity）假设下运行——即认为对于模型的行为存在唯一的、正确的解释——但本文系统地质疑了这一前提。借鉴统计学中可识别性（identifiability）**的概念（即在特定假设下，参数可以从数据中被唯一推断），作者提出了疑问：在 MI 设定的标准下，对于一个固定的行为，其解释是否保证是唯一的？

本文研究了生成 MI 解释的两类主要策略：

先找位置，再找内容（Where-then-what）： 检测网络的一个子集（电路）以复制模型的行为，然后推导其组件的解释。
先找内容，再找位置（What-then-where）： 从候选的解释性算法出发，搜索网络中与其激活子空间在因果上一致的区域。

核心问题在于，这些策略在各自的有效性标准（电路误差和因果一致性）下，究竟是产生了一个唯一的解释，还是会产生多个互不兼容的解释。

研究方法

作者使用了一个受控的小规模设置来对 MI 的可识别性进行压力测试，这种设置允许进行穷举枚举，而这在大型模型中是无法实现的。

实验设置

任务： 训练多层感知器（MLP）来实现布尔函数，特别是 XOR（异或）函数和逻辑门的组合。
架构： 小型 MLP（例如，输入大小为 2，隐藏层大小为 $k$ ，输出大小为 $n$ ），在添加了高斯噪声的二进制输入上进行训练，直到达到低损失阈值。
穷举搜索：
- 针对“先找位置，再找内容”： 作者枚举网络中所有可能的子图（电路）。他们通过测试每个电路在验证集上的表现，来识别“完美电路”（电路误差为零）。对于每个完美电路，他们递归地搜索所有有效的映射（解释）（即将神经元激活映射到逻辑门，如 AND、OR、NOT），并满足一致性（consistency）（即该映射与计算过程是交换的）。
- 针对“先找内容，再找位置”： 作者枚举实现目标函数的候选布尔算法（解析树）。然后，他们搜索所有能够实现完美因果一致性的神经元子集和映射，通过**干预交换准确率（Intervention Interchange Accuracy, IIA）**进行衡量。若 IIA 为 1，则表示对算法进行的反事实干预产生的效果与对网络内部状态的影响完全相同。

可识别性的定义

本文将解释定义为不可识别（non-identifiable），如果当前的 MI 标准无法区分两个不兼容的解释。不兼容性产生于以下情况：

两个解释对同一行为提出了不同的算法。
同一个算法被嵌入在网络中不同的子空间内。

关键结果

实验结果显示，在 MI 处理的所有阶段都存在压倒性的不可识别性证据：

非唯一电路（位置）： 多个不同的电路可以完美复制模型的行为（电路误差为零）。在 XOR 示例中，发现了 85 个具有完美准确性的唯一电路。
非唯一解释（内容）： 对于单个有效的电路，存在多个有效的解释（将神经元映射到逻辑门的映射方式）。在 XOR 示例中，每个电路平均发现了 535.8 个解释。
非唯一算法（内容）： 几种不同的算法都可以与神经计算实现完美的因果一致性（IIA = 1）。即使仅测试 XOR 的两种候选算法，两者都被发现具有完美的实现。
非唯一定位（位置）： 对于一个因果一致的算法，网络中多个不同的子空间都可以实现同等的对齐（IIA = 1）。在 XOR 示例中，仅针对两种候选算法就识别出了 159 个完美的最小映射。

定量发现：

随着网络规模（ $k$ ）的增加，有效的计算抽象数量呈指数级增长（在“电路优先”方法中，中位数从 38 增加到 910,000）。
只有不到 2% 的训练网络包含恰好一个有效的最小映射，且没有任何网络包含恰好一个电路解释。
增加任务复杂度（同时在多个逻辑门上进行训练）减少了解释的数量，但并未消除不可识别性。

主要贡献

将可识别性形式化引入 MI： 本文将“解释的可识别性”概念引入机械可解释性领域，通过借鉴统计学概念，定义了在固定有效性标准下的解释唯一性。
系统性压力测试： 通过利用允许穷举枚举的小规模模型，作者首次严谨地通过实证证明，当前的 MI 标准（电路误差和 IIA）并不能保证唯一的解释。
策略分类： 本研究清晰地界定了并评估了“先找位置，再找内容”和“先找内容，再找位置”两种策略，表明两者都存在不可识别性的问题。
不兼容性的实证证据： 研究表明，单个训练好的模型可以支持数十万个相互不兼容的计算抽象，而这些抽象都满足标准的“良好”解释准则。

意义与主张

作者指出，这项工作旨在建设性地贡献于正在进行的 AI 解释形式化工作。本文并非声称 MI 是无效的，而是挑战了该领域中经常被假设的“唯一性直觉”。

务实立场： 作者建议，如果目标是预测或可操纵性，那么唯一性可能并非必要，人们可以采取一种接受多种有效解释的务实立场。
严格立场： 如果认为唯一性对于提供真正的“理解感”至关重要，本文则认为当前的标准是不充分的，可能需要更严格的准则（或要求多重互补验证的“内部可解释性”框架）。
未来方向： 这项工作强调了需要对什么是 AI 的解释进行严谨定义，超越“存在单一‘真实’机制且易于通过当前方法发现”的假设。

本文得出结论，当前的机械可解释性领域面临着根本性的可识别性问题：如果没有额外的约束或标准，我们无法保证所推导出的解释就是支配模型行为的唯一且正确的机制。