💬 NLP

Tracking Equivalent Mechanistic Interpretations Across Neural Networks

该论文通过定义“解释等价性”并基于模型表示相似性提出算法与理论条件，旨在解决机械可解释性难以扩展和泛化的问题，从而为更严格的评估方法和自动化的解释发现奠定基础。

原作者： Alan Sun, Mariya Toneva

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Alan Sun, Mariya Toneva

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种全新的视角来理解人工智能（AI）模型是如何“思考”的。为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“通过观察厨师的切菜习惯，来判断他们是否在做同一道菜”**，而不需要去背诵菜谱。

以下是用通俗语言和生动比喻对这篇论文的解读：

1. 核心难题：我们看不懂 AI 的“大脑”

目前的 AI 模型（比如大语言模型）非常复杂，像是一个巨大的黑盒子。

传统方法（机械可解释性）：就像试图把黑盒子拆开，找出里面哪根电线负责什么功能，然后试图用人类的语言描述它。
- 困难点：这太难了！就像试图通过观察一台超级计算机的每一个晶体管来理解它为什么能下围棋。而且，不同的人可能会给同一个功能起不同的名字（比如“这是加法器”还是“这是计数器”），导致我们很难判断两个模型是不是真的在“用同一种逻辑”工作。

2. 论文的突破：不问“是什么”，只问“像不像”

作者 Alan Sun 和 Mariya Toneva 提出了一个聪明的**“偷懒”策略**：

我们不需要知道模型具体在做什么（不需要解释菜谱），我们只需要判断两个模型是否在“做同一件事”（判断它们是不是同一种做法）。

他们把这个概念称为**“解释等价性”（Interpretive Equivalence）**。

核心比喻：厨师与菜谱

想象你有两个厨师（模型 A 和模型 B），他们都在做一道“番茄炒蛋”。

传统方法：你要问厨师 A：“你第一步是切葱还是切蒜？”然后问厨师 B：“你也是先切葱吗？”如果答案不同，你就觉得他们做的不是同一道菜。但这很麻烦，因为厨师 A 可能先切蒜，厨师 B 先切葱，但最后味道和做法逻辑其实是一样的。
这篇论文的方法：
1. 我们不去问菜谱（不直接解释模型）。
2. 我们给厨师 A 和 B 一些**“干扰”**（比如把他们的刀换成钝的，或者把他们的围裙换掉）。
3. 如果厨师 A 换了把钝刀，他的做法逻辑没变，只是动作慢了点；如果厨师 B 换了围裙，他的做法逻辑也没变。
4. 关键判断：如果无论怎么微调他们的“无关紧要”的部分（比如换刀、换围裙），他们做出来的菜（模型的内部反应）在本质上都保持相似，那么我们就认为：这两个厨师虽然名字不同，但他们遵循的是同一种“烹饪逻辑”（解释等价）。

3. 他们是怎么做的？（算法原理）

论文提出了一套算法，主要分三步走：

制造“分身”（生成实现）：
就像给厨师 A 制造 100 个“分身”，这些分身保留了厨师 A 的核心逻辑，但改变了无关紧要的细节（比如把模型中不重要的神经元“打晕”或“替换”）。这就像给厨师 A 换了一身不同的衣服，或者让他用左手切菜，但他还是那个厨师。
测量“相似度”（表示相似性）：
然后，我们观察这些“分身”在思考时的**“大脑状态”**（也就是模型内部的数学表示）。
- 如果模型 A 和模型 B 真的遵循同一种逻辑，那么无论怎么制造分身，模型 A 的分身和模型 B 的分身之间的“大脑状态”应该非常相似，就像两个同卵双胞胎，哪怕穿了不同衣服，走路的姿势（内部逻辑）也是一样的。
- 如果它们逻辑不同，那么无论怎么折腾，它们的大脑状态都会格格不入。
得出结论：
通过计算这种“大脑状态”的相似度，算法就能告诉我们：这两个模型是否在“解释等价”的层面上是同一个东西。

4. 实验结果：真的有用吗？

作者在几个场景下测试了这个方法：

玩具任务（排雷）：
他们让模型做简单的数学题（比如判断一串数字是不是 1 到 N 的排列）。他们手动设计了 6 种不同的解题思路（有的像“排序”，有的像“数数”）。
- 结果：算法能精准地分辨出哪些模型用的是“排序法”，哪些用的是“数数法”。即使模型大小不同，只要逻辑一样，算法就能认出它们是“一家人”。
大模型对比（GPT-2 vs Pythia）：
他们比较了不同公司、不同大小的语言模型。
- 结果：发现虽然 GPT-2 和 Pythia 是不同公司训练的，但在某些特定任务（比如指代消解，即知道“约翰把饮料给了谁”）上，它们内部的运作逻辑竟然惊人地相似！这意味着，我们可以用小模型来理解大模型，因为它们在逻辑上是“等价”的。这就像你不需要研究整个航母编队，只要研究清楚其中一艘驱逐舰的运作，就能理解整个编队的战术逻辑。
复杂任务简化：
他们发现，预测下一个单词（这是大模型最复杂的工作）中，有一部分其实和简单的“词性判断”（比如判断这个词是名词还是动词）在逻辑上是等价的。这就像发现“做满汉全席”和“炒个鸡蛋”在“切菜”这个步骤上，用的其实是同一套刀工。

5. 这篇论文的意义是什么？

不再需要“死记硬背”：以前我们要理解 AI，必须像背课文一样去解释它的每一个步骤。现在，我们只需要判断它是否“像”某个已知的逻辑。
以小见大：如果小模型和大模型是“解释等价”的，那我们只需要研究简单的小模型，就能知道大模型在想什么。这大大降低了研究成本。
自动化未来：这为未来开发自动化工具打下了基础。以后可能不需要人类专家去手动解释 AI，算法自己就能告诉我们：“嘿，这两个模型虽然长得不一样，但它们‘灵魂’是一样的。”

总结

这篇论文就像是在 AI 的“黑盒子”世界里，发明了一种**“灵魂探测器”。它不关心 AI 穿什么衣服（具体参数），也不关心它具体说了什么话（输出结果），而是通过观察它在面对各种小干扰时的“反应模式”，来判断它是否拥有和另一个模型相同的“思维逻辑”**。

这让理解超级复杂的 AI 变得不再那么遥不可及，就像我们不需要成为顶级大厨，也能通过观察切菜的手势，判断出两个人是不是在传承同一种烹饪技艺。

这篇论文《Tracking Equivalent Mechanistic Interpretations Across Neural Networks》（跨神经网络的追踪等效机制解释）由 Alan Sun 和 Mariya Toneva 撰写，发表于 ICLR 2026。论文针对机械可解释性（Mechanistic Interpretability, MI）中难以扩展和泛化的问题，提出了一个新的子问题：解释性等效（Interpretive Equivalence），并设计了一套基于表示相似度的算法来检测两个模型是否共享相同的底层算法解释，而无需显式地描述该解释。

以下是该论文的详细技术总结：

1. 研究背景与问题定义

背景：
机械可解释性旨在发现驱动模型行为的简洁算法过程。目前的 MI 方法主要分为两类：

自顶向下（Top-down）： 提出候选算法并尝试与模型对齐。缺点是候选算法的提出往往是临时的（ad hoc），且对齐成功并不保证模型真正实现了该算法。
自底向上（Bottom-up）： 先发现电路（Circuit），再赋予解释。缺点是电路发现本身计算困难，且为电路分配有意义的解释需要大量人工努力。
核心挑战： 现有的研究表明，高层算法与底层电路之间存在“多对多”的不可识别性（non-identifiability），即同一个电路可能对应多个解释，同一个解释也可能对应多个电路。这使得验证解释的完整性和忠实性变得非常困难。

问题定义：
论文定义并研究了**解释性等效（Interpretive Equivalence）**问题：

在不显式描述算法是什么的情况下，判断两个不同的模型是否实现了相同的高层算法（解释）。

核心原则是：如果两个解释的所有可能实现（implementations）在集合上是等效的，那么这两个解释就是等效的。

2. 方法论

论文提出了一种名为 Congruity（一致性） 的算法来近似估计解释性等效。

2.1 核心概念

实现（Implementation）： 任何可以被解释为特定算法 $A$ 的模型 $h$ 都是 $A$ 的一个实现。通过因果干预（Causal Interventions），如消融或扰动模型中不重要的组件（即不在电路中的组件），可以生成属于同一解释的不同模型变体。
表示相似度（Representation Similarity）： 使用线性表示相似度（如 CKA 或线性回归误差）来衡量两个模型隐藏层表示之间的距离。
解释性压缩（Interpretive Compression）： 衡量一个解释对应的实现集合的“直径”（即该集合中不同实现之间的最大距离）。压缩越高，意味着该解释对应的实现空间越广阔。

2.2 算法流程 (Congruity)

算法通过以下步骤判断两个模型 $h_1$ 和 $h_2$ 是否解释性等效：

生成实现集： 对 $h_1$ 和 $h_2$ 分别进行因果干预（如随机掩码不重要的注意力头或神经元），生成各自的实现集合 $\{h_1^*\}$ 和 $\{h_2^*\}$ 。这些变体保留了原始模型的核心解释。
采样与比较：
- 从 $h_1$ 的实现集中采样 $h_1^*$ ，从 $h_2$ 的实现集中采样 $h_2^*$ 。
- 计算表示距离 $d_{repr}$ 。
一致性判定：
- 如果 $h_1$ 和 $h_2$ 共享相同的解释，那么 $h_1$ 与其自身变体 $h_1^*$ 的表示距离，应该与 $h_1$ 与 $h_2$ 的变体 $h_2^*$ 的距离在统计上不可区分。
- 具体来说，算法计算 $h_1$ 与 $h_1^*$ 的距离是否小于 $h_1$ 与 $h_2^*$ 的距离（反之亦然）。如果两个模型的解释集合是“一致”的（Congruent），则这种区分能力应接近随机猜测（即概率为 0.5）。
- 最终输出一个 Congruity 分数（接近 1 表示高度等效，接近 0 表示不等效）。

3. 理论贡献

论文建立了坚实的理论基础，将电路、表示和解释联系起来：

形式化定义： 基于因果抽象（Causal Abstraction）理论，形式化定义了电路（Circuit）、表示（Representation）和解释（Interpretation）。
上下界证明：
- Main Result 1 (上界)： 证明了表示相似度是解释性等效的上界。即，如果两个模型的表示非常相似，它们的解释性距离（interpretive distance）不会太大。公式表明解释性距离受限于“解释性压缩”和“表示相似度”。
- Main Result 2 (下界)： 证明了如果两个模型的解释是等效的，那么它们的表示相似度必须足够高（受限于 Lipschitz 常数和噪声项）。
- Main Result 3： 建立了算法输出的 Congruity 分数与理论上的解释性等效及压缩之间的数学关系，证明了该算法在期望上是有效的。
解决不可识别性： 通过关注“实现集合”而非单个电路，论文巧妙地绕过了电路与解释之间多对多的不可识别性问题。

4. 实验结果

作者在三个场景下验证了算法：

校准实验（Toy Task）：
- 任务： $n$ -排列检测（判断序列是否为 $1 $到$ n$ 的排列）。
- 方法： 使用 RASP 语言硬编码了 6 种不同的算法解释（分为“排序类”和“计数类”），并为每种解释生成了 100 个不同的 Transformer 变体。
- 结果： 算法能完美区分相同解释的模型（对角线 Congruity 高）和不同解释的模型（非对角线 Congruity 低）。甚至能区分同一类算法（如排序类内部）的细微差异。
简化模型归约（Reduction to Simpler Models）：
- 任务： 间接宾语识别（IOI）。
- 对象： GPT-2 和 Pythia 系列模型（从 85M 到 2.9B 参数）。
- 结果： 发现同一模型家族（如 Pythia）在不同规模下具有高度的一致性（Congruity > 0.7），而不同家族（Pythia vs GPT-2）之间一致性较低。这支持了“可以用小模型的解释来推断大模型”的假设。
简化任务归约（Reduction to Simpler Tasks）：
- 任务： 将“下一个 token 预测”与“词性标注（POS）”进行对比。
- 结果： 发现 GPT-2 在预测某些“句法 token"（如句号、括号）时，其内部表示与 POS 任务高度一致（Congruity 显著高于随机控制组），而在预测依赖语义的 token（如冠词、介词）时则不一致。这表明模型在处理不同 token 时可能激活了不同的机制。

5. 关键贡献总结

提出了“解释性等效”的新范式： 将 MI 的焦点从“寻找唯一正确的解释”转移到“判断两个模型是否共享解释”，解决了传统方法中解释定义模糊和不可识别的问题。
设计了无需显式解释的检测算法： 提出了 Congruity 算法，仅通过测量模型变体间的表示相似度即可判断解释是否等效，无需人工定义算法。
理论保证： 首次给出了连接模型解释、电路和表示相似度的必要和充分条件，为 MI 提供了数学上的严谨性。
实际应用潜力： 展示了该方法在模型压缩（用小模型解释大模型）、任务分解（将复杂任务分解为等效的简单任务）以及分析模型内部机制异质性方面的潜力。

6. 意义与影响

评估标准的革新： 为机械可解释性提供了一种可量化、可自动化的评估标准，不再依赖主观的“人类可理解性”判断。
自动化发现： 为未来开发自动化的、可泛化的解释发现方法奠定了基础。
安全性与信任： 通过更严谨地验证模型是否真的实现了预期的安全机制（如拒绝有害指令），有助于提升 AI 系统的安全性和可信度。

总的来说，这篇论文通过引入“实现集合”和“表示相似度”的概念，成功地将机械可解释性从一个高度依赖人工直觉的领域，推向了一个更具理论严谨性和可扩展性的方向。