🤖 machine learning

Mechanistic Tomography: Designed Measurement for Control-Oriented Interpretability

本文引入了“机械论断层扫描”（mechanistic tomography），这是一个将可解释性技术建模为设计化测量的统一框架，旨在系统地恢复内部模型机制与干预效应，并通过各种实验证明，面向控制的验证和定制化的测量族可以高效地重建大型语言模型中的因果结构与交互作用。

原作者： Vijay Erramilli

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vijay Erramilli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代人工智能系统，通常被称为大语言模型，是由排列在层中的数十亿个微小的数学开关构建而成的。这些系统可以编写故事、解决问题并回答问题，但它们是以“黑盒”模式运行的：我们可以看到输入和输出，但连接两者的内部步骤仍然是隐藏的。多年来，研究人员一直试图通过开启或关闭系统的部分组件，或者通过观察当输入发生轻微变化时内部数值如何变化，来窥探这些黑盒内部。其目标是理解机器的哪些特定部分负责特定的思想或词汇。然而，这些不同的观察内部的方法往往似乎在讲述不同的故事。一种方法可能表明某个组件至关重要，而另一种方法则表明它是无关紧要的，这让科学家们无法确定他们测量的是同一样东西，还是同一个物体的不同影子。

一种被称为“机械断层扫描”（mechanistic tomography）的新方法为统一这些冲突的观点提供了一种途径。其核心思想是将寻找内部机制的过程，视为一个通过设计来解决的测量问题，而非一个靠直觉去破解的谜团。正如医生使用不同类型的扫描来构建患者健康的清晰图像一样，研究人员可以设计特定的、受控的实验，来测量人工智能内部各部分是如何协同工作的。本文提出了这些实验的一个结构化工作流：从最简单、最廉价的测量开始，只有当简单的测量无法预测机器在受到压力时实际会做什么时，才增加复杂度。研究人员发现，虽然简单的测量通常效果良好，但它们有时会忽略部分之间的关键交互作用，并且正确的测量方式完全取决于机器正在被要求执行什么任务。

这段旅程始于一个基本的认识：我们测量机器内部状态的方式会改变我们得到的结果。如果你轻微地推动系统的一部分，得到的结果与你用力推动，或者同时推动多个部分的结果是不同的。作者意识到，研究人员使用的所有不同方法——无论是每次改变一个部分，还是使用梯度来估计效应，或是共同测试一组部分——都可以被描述为同一种类型的测量问题。他将其构思为一个谜题，目标是从一系列局部观测中恢复出一张隐藏的效应图谱。每一次观测都是一次特定的干预，例如改变提示词中的几个单词或改变特定的内部信号，而结果就是一个有助于填充这张图谱的数据点。挑战在于，这台机器并非完全线性的；它的各个部分以复杂的方式相互作用，且测量的“噪声”取决于“推动”的大小。

为了测试这一框架，研究人员在一个已知确切答案的受控环境中进行了测试。他们使用一个简单的概率系统（如隐马尔可夫模型）构建了一个模拟器，作为完美的参考点。在这种设定下，他们可以为人工智能创建一个“风洞”，在那里他们完全清楚机器内部的信念状态应该是怎样的。随后，他们测试了不同的测量方法在用于控制机器时，预测机器行为的准确度。他们发现，内部测量的准确性与控制的成功之间存在直接联系。如果测量稍有偏差，控制动作就会失败。更重要的是，他们发现，某种测量可能通过改善主要目标而显得成功，但却在无意中破坏了系统中另一个不相关的部分。这证明了仅仅看到一台机器在某项任务上表现得更好是不够的；你必须验证内部解释是否真的与所采取的行动相匹配。

从模拟环境转向真实的预训练模型，研究人员应用了他们的逐步程序，以观察简单的测量能走多远。在一个训练用于识别句子中间接宾语的模型实验中，他们首先假设机器的行为是单个部分的简单加总。他们测量了移除特定内部组件组后的影响。这个简单模型起初表现良好，但当他们测试新的、未见过的组件组合时，它无法准确预测结果。这种误差并非随机的，而是具有结构性的。事实证明，机器依赖于部分之间的交互作用。例如，只有当另一组组件被削弱时，一组组件才会变得重要。通过添加专门设计用于捕捉这些交互作用的测量，研究人员能够修复预测误差。他们发现，有一对特定的组件组对最大的剩余误差负责，而仅添加这一个交互项就使模型的预测几乎达到了完美。

在第二个涉及更大规模、旨在遵循指令的现代模型的实验中，研究人员询问是否需要寻找这些复杂的交互作用。他们采用了相同的简单加法方法，并利用几次额外的测量来补偿由于推动幅度大小带来的影响进行校准。这一次，简单模型几乎完美地工作了。它能以极高的准确度预测模型在新的、未见过的提示词下的行为。当他们尝试添加复杂的交互测量时，结果并没有改善。额外的复杂度是不必要的。这个结果与第一个实验一样重要：它表明，你不应该仅仅因为一台机器规模庞大就假设它是复杂的。有时，一个简单的解释就足够了，增加更多的测量层级只会增加成本而不会带来价值。

论文最后为任何试图理解这些机器的人提供了一份实践指南。建议是：从可能解释该行为的最简单、最廉价的测量开始。如果有效，则停止。如果失败，观察失败的模式。如果误差仅仅是规模问题，一个简单的修正或许就能解决；如果误差表明各部分正以简单模型无法察觉的方式协同工作，那么请设计新的测量来捕捉这些交互作用。最后，始终在模型从未接受过训练的任务上，或是在一个引导行动的控制循环中测试该解释。其目标不仅仅是重建机器的图像，而是构建一个能够可靠预测机器在现实世界施压时会做出何种反应的观察者。这种方法将重点从寻找“真实”的内部机制，转向寻找针对特定目的而言最有用且最可靠的测量方式。

技术摘要：机械论断层扫描（Mechanistic Tomography）：面向控制导向解释性的设计化测量

问题陈述

机械论解释性（Mechanistic interpretability）旨在恢复模型未直接暴露的内部状态、组件效应及其相互作用。现有方法——如坐标补丁（coordinate patching）、归因补丁（attribution patching）、子集干预（subset interventions）以及 Hessian-向量积（HVP）——在访问假设和目标量上各不相同。然而，它们都面临一个共同的根本挑战：如何从不完整、有噪声且可能具有非线性的测量中恢复内部效应图（effect map）。

当前的方法往往缺乏一个统一的框架来描述这些测量如何与底层机制相关联，如何设计干预以最小化误差，以及如何验证估计的图是否足以支持下游控制任务。具体而言，用于指导干预的估计值充当了一个“观测器”（observer），其效用不仅取决于重构精度，还取决于其预测有限规模干预在控制循环中结果的能力。

方法论：机械论断层扫描

本文将恢复内部机制的过程公式化为一个逆问题，称之为机械论断层扫描（Mechanistic Tomography）。其核心测量模型定义为：

$\hat{y} = Ax + w$

其中：

$\hat{y}$ 代表对一组设计好的干预所观察到的响应。
$A$ 是设计矩阵，每一行描述了应用于模型组件的一个特定干预（掩码/mask）。
$x$ 是未知的效应图（待恢复的目标），它可以是组件效应的向量，也可以是包含相互作用的矩阵。
$w$ 是捕捉非线性响应、采样误差和基准错配（basis misspecification）的残差项。

核心理论组成部分

测量缩减（引理 1）： 本文推导出，对非线性模型进行有限干预会产生局部一阶效应（ $a^T x$ ）的加权和加上一个残差 $w$ 。该残差由三个可识别的来源组成：
- 曲率误差（Curvature error）： 随干预规模 $\varepsilon$ 缩放。
- 分子误差（Numerator error）： 与 $\varepsilon$ 成反比缩放（当干预过小时会被放大）。
- 采样误差（Sampling error）： 在批处理后剩余的归一化噪声。
  这确立了在选择干预规模 ( $\varepsilon$ ) 和掩码密度 ( $\rho$ ) 之间的权衡。
校准维度（命题 1）： 为了确定简单的修正（例如标量增益）是否可以修复有限干预下的一阶图，本文定义了“校准维度”。这是指为了在噪声水平内预测留置（held-out）干预所需的修正族（correction family）的最小维度 $r$ 。如果残差位于当前族之外（例如需要相互作用项），则必须扩展测量族。
相互作用恢复： 本文证明了一阶图（梯度或单体补丁）对纯相互作用项是盲目的（命题 2）。为了恢复这些项，必须使用“提升”（lifted）测量（在设计矩阵中包含乘积项 $a_i a_j$ ）或者在白盒设置下利用 Hessian-向量积（HVP）。
通过控制进行验证： 本文认为，观测器的质量必须在控制循环中进行验证。它区分了重构（对内部状态的忠实度）与控制效用（预测干预结果的能力）。一个观测器可能会在改善目标指标的同时，无意中移动一个“干扰状态”（nuisance state），这种风险只有在闭环设置中才会显现。

实验结果

作者在从具有地面真值的合成系统到仅具有行为地面真值的预训练模型的层级化设置中验证了该框架。

面向控制的验证（双 HMM 风洞）：
- 在具有已知隐藏状态的合成环境中，发现闭环目标误差与固定控制器下的观测器误差强相关（Spearman $r=0.95$ ）。
- “特异性测试”显示，仅提高目标指标可以掩盖干扰状态的移动，证明了仅靠目标成功不足以验证观测器。
聚合测量（仅前向）：
- 通过对 HMM 模型中的可压缩有限效应图进行研究，本文表明，利用聚合子集测量进行**正交匹配追踪（OMP）**可以用 12 次干预恢复该图，实现 $R^2=0.935$ 。这优于需要更多测量次数才能达到同等精度的穷举坐标补丁（32 次干预）。
有限校准（梯度访问）：
- 对于归因补丁（AtP），在少量有限探针上拟合的简单标量增益修正显著提高了留置预测性能。在干预规模 $\varepsilon=8$ 时，校准将 $R^2$ 从 0.818 提升至 0.960，几乎达到了稀疏恢复的性能。
相互作用恢复：
- 在具有已知相互作用的植入系统中，一阶方法无法恢复对效应（Pair effects）（ $R^2 < 0.5$ ）。
- 提升 OMP（使用带有对特征的聚合掩码）和 AtP + HVP（白盒）成功恢复了相互作用。提升 OMP 在 2,080 个元素的空间中，仅需约 64–72 次测量即可恢复 4 个植入项，而穷举对探测则需要 2,016 次。
基准依赖性（Tracr）：
- 通过编译的 Tracr 程序，本文展示了所需测量族取决于所选的基准。一个包含完整检测器的基准中，“A 随后是 B”表现为加性关系；但在仅包含输入的基准中，则需要相互作用项。
预训练模型研究：
- GPT-2-small (IOI 任务)： 框架识别出加性模型是不充分的。通过添加主要名称移动器（Primary Name Movers）与负面名称移动器（Negative Name Movers）之间的相互作用项 ( $P \times E$ )，显著改善了留置预测（ $R^2$ 从 0.752 增加到 0.887），重现了已知的“条件备份”（conditional backup）行为。
- Qwen-2.5-7B (拒绝任务)： 在拒绝响应曲面上，经过校准的加性图实现了 $R^2 = 0.983$ 。添加成对提升（pairwise lifting）并未带来统计学上的显著改进（ $R^2$ 为 0.9835，MAE 变化微乎其微）。这说明了“停止规则”：如果简单的族已经足够，则不要扩展到相互作用。

核心贡献

结构统一： 本文将多种不同的解释性方法（补丁、梯度、HVP、子集干预）统一在单一的测量语言 ( $\hat{y} = Ax + w$ ) 下，阐明了它们共同的目标和误差来源。
测量与扩展理论： 提供了关于规模和密度的理论界限，分离了误差来源（引理 1），并定义了一阶图何时必须扩展为相互作用感知模型的条件。
校准维度： 引入了一个实用的停止规则（命题 1），用于确定简单的修正是否足够，还是需要更丰富的测量族。
面向控制的验证： 确立了观测器质量必须通过下游控制性能而非仅仅通过重构来验证，并展示了目标改进如何掩盖干扰状态的移动。
操作流程： 本文概述了一个分步式的解释性研究流程：从最廉价的测量开始，在留置干预上进行测试，校准简单的失配，并仅在存在结构化残差时才扩展测量族。

意义与主张

本文声称提供的是一种程序，而非对方法的排名。其主要意义在于将关注点从“哪种方法最好”转向“针对特定任务和访问模式需要什么样的测量”。

适度的声明： 作者明确指出，该框架并不声称能在所有情况下（特别是在地面真值为行为表现的预训练模型中）恢复地面真值机制。相反，它验证的是观测器是否能预测有限响应并有效控制下游动作。
程序重于规模： 关于 GPT-2 和 Qwen-2.5 的结果说明，是否需要相互作用项并不完全取决于模型规模，而是取决于特定的基准、提示词分布和干预方案。
ObserverBench： 本文建议未来的工作应转向标准化的基准测试（ObserverBench），其中任务会声明模型、控制器和指标，从而允许研究人员针对固定的契约测试观测器，而不是为每项研究重新构建实验设置。

总之，机械论断层扫描为设计鲁棒、高效且通过其控制模型行为的效用进行验证的解释性实验，提供了一个严密的、基于测量的理论基础。