🤖 machine learning

Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

本文通过证明模型的 Koopman 谱是可从数据中恢复的、与坐标无关的内蕴指纹，从而将结构属性与方法论伪影区分开来，并揭示了统计可识别特征与人类可理解电路之间的根本解离，从而建立了机械解释性领域的第一个可识别性定理。

原作者： Ashim Dhor, Pin-Yu Chen

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Ashim Dhor, Pin-Yu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

侦探的困境：寻找机器内部的真相

想象你是一名侦探，正试图在一个巨大的“黑盒工厂”里破解谜团。这个工厂是一种被称为“神经网络”或“Transformer”的人工智能。它接收文字并吐出答案，但没人确切知道它是如何思考的。多年来，科学家们一直试图拆解这个工厂，寻找那些被称为“电路”的微小齿轮和杠杆，以了解其运作机制。他们使用像“稀疏自编码器”（sparse autoencoders）这样的工具——这本质上是高级的分拣机，试图将工厂内部的信号归类为整齐、可理解的类别。

问题在于，这些分拣机并不完全可靠。如果你用略微不同的设置或起点将同一个工厂通过分拣机运行两次，你可能会得到两份完全不同的“齿轮”清单。一次，机器说写诗的秘密是一个特定的齿轮；下一次，它却说那是另一个完全不同的齿轮。这让科学家们感到困惑：这些齿轮是工厂真实的组成部分，还是仅仅由分拣机创造出来的幻觉？如果这些齿轮不是真实的，那么建立在它们之上的任何安全规则或科学理论都可能建立在流沙之上。这篇论文提出了一个根本性的问题：我们能否找到一个真实的、不可改变的、且不依赖于我们观察工具的工厂“指纹”？

论文的核心思想：工厂不可变的指纹

这篇题为《内在结构：机械可解释性的谱识别》（Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability）的论文，提出了一种观察这些 AI 工厂的新方法。作者不再试图将信号分类成整齐的堆叠，而是将 AI 的思考过程视为一个动力系统（dynamical system）——一种高级说法，即他们将 AI 的各层视为一部随时间上演的电影。他们使用一种称为 Koopman 算子（Koopman operator） 的数学工具，将这部电影提升到一个更高的维度，在那里，混乱、非线性的运动变成了简单的直线运动。

你可以这样理解：想象你在描述过山车的路径。它扭曲、旋转、翻转，让人难以预测。但如果你能通过一个特殊的角度从空中观察过山车，你可能会发现它实际上只是沿着一条简单的直线轨道移动。 “Koopman 谱”（Koopman spectrum）就是那条直线轨道的独特签名。作者在数学上证明了，这个签名是一个无坐标不变量（coordinate-free invariant）。用通俗的话说，这意味着它是 AI 工厂本身的属性，而不是测量工具的属性。无论你如何旋转视角或改变你的词典，这个“谱”（描述轨道的数字列表）都会保持完全一致，仅存在简单的重新排列。

他们的发现：真实的指头，但不是你想要的那个

团队在三个真实的 AI 模型上测试了这个理论：GPT-2 small、Gemma-2-2B 和 Qwen3-8B-Base。他们收集了数百万个 AI 内部活动的样本，并尝试恢复出这种“谱”。

好消息是： 理论是成立的。在最大的模型 Qwen3-8B-Base 上，谱收敛速率为 −0.506 ± 0.031。这与完美的数学预测值 −0.5（或 $M^{-1/2}$ ）相匹配，意味着随着他们增加数据，误差缩小的速度完全符合数学预期的速度。这是第一次有人证明，AI 内部结构的特定部分可以从数据中识别出来，并且带有保证的误差范围。他们还证明了这种谱是最优的；没有任何其他方法能超越这种速度。

坏消息（以及转折）： 虽然这个“指纹”是真实且不可变的，但事实证明它并不易于阅读。作者发现，在“可识别性”（identifiable）与“可读性”（legible，即人类易于理解）之间存在脱节。

他们测试了这些新的“Koopman 模式”是否能解释一种著名的 AI 行为——间接宾语识别（Indirect Object Identification, IOI）（例如，AI 学习说“球在盒子里”而不是“球在杯子里”）。
结果是：新的模式虽然比随机猜测要好，但比标准的主成分分析（PCA）更差。当他们移除前 8 个方向的新模式时，仅消除了 25% 的行为；而当他们移除前 8 个标准 PCA 方向时，则消除了 60% 的行为。
论文证明，由于 AI 的内部数学是“非正规的”（non-normal，这是一个技术术语，指其结构复杂且扭曲），因此承载最多信息的方向（谱）不可能与承载最多方差的方向（易于观察的模式）是相同的。

这对未来意味着什么

论文得出了一个冷静但重要的结论：可识别的对象与可读的对象并不是同一个对象。

我们现在拥有了一个数学保证，可以找到 AI 内部动力学的“指纹”，它是真实的，而不是我们工具产生的伪影。然而，这个指纹并不是人类可理解的电路图。它是一个严谨的科学证书，在说：“是的，模型的这一部分是真实的，”但它并不一定能以人类容易理解的方式告诉我们那部分究竟在做什么。

作者还表明，以往方法（如稀疏自编码器）中看到的变异性不仅仅是代码中的 Bug，而是它们所使用的数学结构的必然结果。他们甚至提出了一个修复方案：在训练过程中添加一个惩罚项，以强制词典尊重“Koopman 不变性”。当他们尝试这样做时，谱变得更具可重复性（提升了 41%），但词典本身却变得不再稳定。

简而言之，这篇论文为我们提供了一个全新的、具有数学实力的工具，用以证明 AI 的某些部分是真实的。但它同时也警告我们：仅仅因为某样东西是真实的且可识别的，并不意味着它会易于理解。那个“指纹”确实存在，但它使用的是一种需要全新词典才能解读的语言。

技术摘要：内在结构：机械可解释性的谱识别性

问题陈述
机械可解释性（MI）旨在通过识别内部电路来解释神经网络的行为。然而，存在一个根本性的差距：当前的方法（如稀疏自编码器，SAEs）受到运行间变异性的困扰，即不同的训练种子或字典宽度会从相同的激活中恢复出实质上不同的特征。目前尚无理论保证这些发现的结构是模型的内在属性，还是仅仅是发现程序的伪影。本文探讨了这样一个问题：可识别性（identifiability）：我们能否定义一个由模型本身唯一确定的、机械原语（mechanistic primitive），且独立于坐标系或特定恢复算法？

方法论
作者将 Transformer 前向传播重新构架为一个受控动力系统，其中深度充当时间。

动力系统公式化： 令 $x_\ell$ 为第 $\ell$ 层的残差流状态， $u_\ell$ 为外生控制输入（注意力写入）。层更新被建模为 $x_{\ell+1} = F(x_\ell, u_\ell) = x_\ell + u_\ell + m(x_\ell + u_\ell)$ ，其中 $m$ 代表 MLP 子层。
Koopman 提升（Koopman Lifting）： 非线性动力学 $F$ 被提升到作用在观测空间 $\Psi$ 上的线性算子 $\mathcal{K}$ 。如果字典跨度 $\mathcal{H}_N$ 是 K-不变的（在动力学下封闭），则该算子限制为一个有限维矩阵 $A$ 。
Koopman 实现（Koopman Realisation）： 系统由三元组 $(A, B, C)$ 表示，其中 $A$ 是转移矩阵， $B$ 编码控制响应， $C$ 是读出函数。作者提出，谱 $\sigma(A)$ （特征值）是感兴趣的内在且坐标无关的对象。
估计： 作者使用带有控制的扩展动态模态分解（EDMDc），通过校准数据（残差状态和注意力写入）来估计 $(A, B)$ 。
理论框架： 本文确立了在何种条件下（字典丰富度、持续激发、谱分离）谱是可恢复的。

核心贡献

谱识别性定理（定理 6.1）： 本文证明了 Koopman 实现的谱可以从 $M$ $M$ 个校准样本中以参数速率 $M^{-1/2}$ $M^{- 1/2}$ 被识别，至多存在置换差异。
- 特征值在置换意义下是唯一的，并且在任何字典基底的变化下保持不变。
- 一个匹配的极小极大下界（minimax lower bound）（定理 7.1）证实，没有任何估计器能在 $M$ 的阶数上实现更好的速率。
- 利用最优匹配（Wasserstein- $\infty$ ）推导出了一个无间隙特征值保证（定理 6.8），从而消除了对特征值恢复进行严格谱分离的需求，尽管对于特征向量的恢复而言，分离性仍然是必要的。
对重尾分布的鲁棒性（定理 7.2）： 作者通过使用**中位数之均值（median-of-means）**估计器，将识别性保证扩展到重尾激活，证明在四阶矩条件下， $M^{-1/2}$ 的速率依然成立。
模态-主成分解离（定理 8.1）： 本文证明了一种结构性解离：如果实现是非正规的（这在经验测量中得到了证实），那么激活的主方向（方差最大化方向）不能与 Koopman 模态（携带动力学的方向）重合。这意味着“可识别对象”（谱）与“可读对象”（主成分）是截然不同的。
干预演算的代数完备性（定理 9.2）： $A$ 的谱投影生成了一个交换代数，该代数对于一阶干预（激活补丁、路径补丁等）是完备的，为任何针对提升后动力学的干预提供了一个唯一的闭式代表。
SAE 变异性的结构起源（定理 9.5）： 本文证明了 SAE 的运行间变异性是其目标函数的结构性后果，该目标函数未能强制执行 K-不变性（DR2）。文中提出了一个显式的不变性惩罚项作为补救措施。
实例依赖型降阶（定理 10.1）： 推导出了一个经过认证的模型降阶界限，该界限利用了注意力写入的低有效秩，在 Transformer 领域提供了比经典 Enns–Glover 界限更严格的误差证书。

实验结果
理论在三个预训练 Transformer 上进行了评估：GPT-2 small、Gemma-2-2B 和 Qwen3-8B-Base。

收敛性： 谱距离在分裂样本估计之间随着 $M$ 的增加而收敛。在 Qwen3-8B-Base 上，谱字典达到了预测的指数 $-0.506 \pm 0.031$ ，符合理论上的 $M^{-1/2}$ 速率。
SAE 不变性间隙： 与谱字典和随机字典相比，SAE 字典表现出显著更大的投影残差（不变性违规），证实了定理 9.5。研究表明，该间隙对特征选择规则（如方差 vs 频率）具有敏感性。
干预性能： 在间接宾语识别（IOI）电路测试中，Koopman 模态的表现优于随机方向，但在消融电路行为方面逊于主成分分析（PCA）。随着深度距离的增加，这种性能差距衰减了 $4.1\times$ ，这与解离定理一致。
普遍性准则： 谱测试在区分相同架构的种子副本时失败，表明字典不匹配偏差（而非仅仅是采样误差）限制了当前的普遍性主张。
重尾分布： 与预期相反，“提升”过程（随机傅里叶特征）有效地消除了残差流中的重尾特性，使得针对特定字典而言，稳健的中位数之均值估计器变得不再必要（除 Qwen3 的一个特定层外）。

意义与主张
本文声称将机械可解释性置于严谨的可识别性基础之上。

内在指纹： Koopman 谱是一个内在的、模型固有的指纹，它是可以被恢复且带有明确误差范围的，这将其与发现方法的伪影区分开来。
可读性的极限： 本文明确指出可识别性并不意味着可读性。由于 Transformer 实现是非正规的，数学上可识别的模态（Koopman 谱）在结构上不同于人类常认为具有解释性的方差方向（PCA）。
结构性 vs 算法性： 观察到的 SAE 变异性不是一个调优问题，而是目标函数无法强制执行动力学不变性的结构性失败。
安全性影响： 对于需要识别负责行为 $X$ 的机制 $Y$ 的安全论证，这项工作提供了一个证明，即 $Y$ 是模型的属性而非过程的属性。然而，它也提醒道，这种证明并不保证行为覆盖度或人类的可读性。

作者总结道，虽然 Koopman 谱提供了 Transformer 深度动力学的一种在数学上完备且可识别的分解，但它并不能直接替代人类可读的电路发现，且这两个对象（可识别的 vs 可读的）在非正规区域（即这些模型所处的区域）是本质不同的。

侦探的困境：寻找机器内部的真相

论文的核心思想：工厂不可变的指纹

他们的发现：真实的指头，但不是你想要的那个

这对未来意味着什么

技术摘要：内在结构：机械可解释性的谱识别性

类似论文