🤖 machine learning

Cross-Layer Interaction under Weight-Space Ablation: A Closed-Form Attention Jacobian Bound and a Test on a Real Pretrained Model

本文通过推导出一个在真实预训练模型上得到验证的闭式注意力雅可比界限，并展示了在一种涌现的间接宾语识别电路上的混合经验结果，从而扩展了关于权重空间消融中跨层交互的理论界限。

原作者： Abdallah Khemais

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdallah Khemais

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个巨大的、超级聪明的机器人大脑是如何运作的。这个大脑并不是一块单一的金属块，而是像一条长长的装配线一样构建而成，由许多站台（或称之为“层”）组成，信息在这些站台中向下传递。在每个站台，大脑主要做两件事：它关注特定的线索（就像侦探专注于证人一样），并通过一个思考模块来处理这些线索（就像计算器在进行数字运算一样）。科学家们把承载这些线索的部分称为“载体”。

为了弄清楚每个部分的功能，研究人员玩了一个“如果……会怎样”的游戏。他们尝试了两种不同的技巧：激活补丁（Activation Patching），即用来自不同情境的思想去替换机器人当前的一个想法，看看机器人是否会感到困惑；以及权重消减（Weight Ablation），即有效地“关闭”机器人大脑中的某部分连线，看看机器人是否会停止工作。通常情况下，这两种技巧讲述的是同一个故事。但有时，当机器人的站台以复杂的方式连接时，这两种技巧会给出不同的答案。大问题在于：为什么它们会产生分歧？以及一个大脑部件在多大程度上会干扰下游很远处的另一个部件？ 理解这一点至关重要，因为如果我们想要修复或控制这些巨大的大脑，我们需要确切地知道它们的内部齿轮是如何相互作用的，而不仅仅是看它们表面的样子。

这篇论文就像是一个侦探故事，它从一个微小的、简单的模型中发现了一个线索，并试图看看这个线索在大型、真实的机器人身上是否依然成立。作者从一篇“伴随论文”（由同一位作者撰写的兄弟研究）中的一个发现开始，那篇论文证明了在单个、孤立的站台中，关闭特定类型的思考模块（MLP）完全不会干扰注意力部分。这就像是在工厂站台中关闭了计算器，却完全没有影响到侦探的放大镜。然而，那个证明仅适用于一次一个站台的情况。真实的机器人拥有数十个站台，而且科学家想要关闭的部分往往相距甚远。

作者的第一个重大举措是将多站台机器人的混乱分解为一个整齐的部分之和。他们表明，关闭多个层中的部分所造成的总混乱可以分为两部分：“同站台”效应（他们对此理解得非常透彻）和“跨层”余项（即当站台 A 改变了站台 B 的输入时所发生的混乱情况）。他们证明了这个混乱的余项并非随机噪声；它具有精确的数学形状，类似于一个二重积分（一种表示两个变化同时发生所产生的累积效应的复杂方式）。

但转折点在于：虽然他们可以描述这种混乱的形状，但他们还无法给出一个硬性的数值来衡量当许多站台串联在一起时，这种混乱到底有多大。为了做到这一点，他们需要一个新工具：针对注意力部分的“雅可比界限（Jacobian bound）”。你可以把它想象成一个速度限制标志，规定了一个线索的变化通过注意力机制传播的速度。作者推导出了这个速度限制的一个闭式公式（一个简洁、精确的方程），并针对一个真实的、预训练的机器人大脑 Qwen2.5-1.5B-Instruct 进行了测试。他们在该真实大脑的 12 个特定位置进行了检查，这个速度限制始终成立——零违规。然而，他们也诚实地说明了这个限制：他们验证了一个站台的速度限制，但尚未证明如果将 28 个站台串联起来，误差是否会爆炸成无意义的东西。因此，数学是精确的，但整个链条的最终“大数值”仍然是一个悬而未决的问题。

为了测试他们的理论是否适用于真实事物，作者在 Qwen 机器人内部寻找一个隐藏的电路，该电路有助于它解决“间接宾语识别”问题（即理清在像“球被约翰交给了玛丽”这样的句子中，谁把东西给了谁）。他们并没有设计这个电路，它是随着机器人学习说话而自然涌现出来的。他们发现了一组微小的、共享的神经元，它们构成了这项技能的核心，出现在几乎所有的测试案例中，此外还有一些针对特定句子的额外“备份”神经元。

当他们测试三方模式（关闭电路是否会导致机器人的逻辑崩溃？两种技巧是否产生分歧？是否存在复杂的相互作用？）时，结果呈现出一种真正的混合状态：

崩溃： 在五个测试句子中的四个，关闭电路使机器人感到困惑，正如预测的那样。但在一个句子（“Anna/Mike”）中，机器人几乎不在乎，这表明这些电路并不总是 100% 可靠的。
解离： 两种技巧（补丁法对比关闭法）始终存在分歧，证实了它们确实在测量不同的东西。
相互作用： 在五个句子中的三个，他们测量到了“非零相互作用”，这意味着这些部分确实会互相干扰。至关重要的是，这些相互作用发生在相距较远的层之间，而不是相邻层。这表明，作者识别出的这种混乱的“跨层余项”在真实的脑部结构中是真实存在且可测量的，尽管关于其精确的数学界限仍处于研究之中。

简而言之，这篇论文证明了神经网络中远距离部分之间的“混乱相互作用”是一种真实存在的、可以被分解为精确数学部分的、可测量的现象。他们找到了一个新工具来测量其中一部分混乱，并在真实的机器人上验证了它，但将该工具跨越整个机器人深度的最后一步仍是一项正在进行的工程。其结论并非一个已解决的问题，而是一张更清晰的、指明了谜团所在之处的地图。

问题陈述
本文针对一篇伴随性论文（同一作者）中关于通过激活补丁（activation patching）和权重空间消融（weight-space ablation）进行神经网络因果分析的两个特定局限性进行了研究。该伴随论文在理想化模型的单个残差块内，针对两个载体（一个注意力头及其所在层的 MLP）建立了一个精确的一阶交互公式。然而，它留下了两个关键空白：

多层范围： 伴随论文对于被多个层分隔的载体之间的交互保持沉默，而这在真实的 Transformer 中是通用情况。它并未考虑到早期层的消融如何传播并影响后期层的计算。
经验范围： 伴шив论文的结果仅在为特定条件任务从头训练的小型合成 Transformer 上进行了验证。目前尚不清楚这些理论预测是否适用于在大规模、真正的预训练自然语言模型中发现的“涌现”电路。

方法论
本文利用精确的数学分解和闭式界限扩展了伴随工作的理论框架，并在一个真实的预训练模型上验证了这些发现。

理论扩展（多层分解）： 作者推导出了一个精确恒等式（命题 1），表明跨越多个层的任意消融载体集合的交互间隙可以分解为若干个“同块”项（每个受影响层一个）加上一个“跨层余项”（ $R_\times$ ）。
精确跨层恒等式： 对于涉及两个受影响层的情况，作者通过应用高一级的微积分基本定理，将余项 $R_\times$ 精确地隔离为一个混合二阶偏导数的双重积分（命题 2）。
闭式界限：
- 注意力雅可比矩阵（Attention Jacobian）： 为了界定跨层余项，作者推导出了单个注意力头输出相对于受扰动键（key）或值（value）标记的雅可比矩阵的一个闭式逐点界限（命题 3）。
- 曲率常数： 作者使用仅有的训练权重以闭式形式计算了伴随论文中所需的曲项常数 $\Lambda$ （命题 4），而不是对其进行假设。
经验验证：
- 合成检查： 在伴随论文中的五个合成 Transformer 实例上测试了多层分解。
- 真实模型检查： 作者使用贪婪激活补丁搜索，在 Qwen2.5-1.5B-Instruct 中寻找用于间接宾语识别（IOI）的任务涌现电路。随后，他们在该电路之上测量了三种模式（坍缩、解离和交互）。

核心贡献

精确的多层分解： 本文提供了多层交互效应向“同块”项及特定“跨层余项”进行精确分解的恒等式。证明了如果仅消融 MLP，则同块项为零；如果该层直接馈送至输出层，则同块项等于伴随论文中的有界项。
闭式注意力雅可比界限： 本文推导出了注意力子块雅可比矩阵算子范数的闭式界限。该界限在 Qwen2.5-1.5B-Instruct 的真实权重上进行了逐点验证，未发现任何违例。
显式曲率常数： 本文以闭式形式提供了此前未展示的曲率常数 $\Lambda$ ，该常数是通过 MLP 训练权重的谱范数和归一化尺度计算得出的。
预训练模型的经验证据： 本文识别了 1.5B 参数预训练模型中的 IOI 涌现电路，并报告了关于理论预测的坍缩、解离和交互现象的混合经验结果。

结果

理论层面： 分解恒等式精确成立。推导出的注意力雅可比界限在真实权重上得到了逐点验证（12 个位置，0 次违例），但作者指出，在许多层中链式应用此界限仍未得到验证，且由于误差累积，界限可能会变得松散。
合成实验： 在合成模型上，多层分解恒等式在浮点精度下成立。然而， $R_\times$ 的数量级通常与同块项之和相当，且两项经常发生部分抵消。因此，在多层配置中，仅靠同块项之和并不能作为总交互作用的可靠代理。
真实模型 (Qwen2.1-1.5B-Instruct)：
- 电路发现： 为 IOI 任务发现了共享核心（第 25 层/第 9 头）和实例特定的支持。
- 坍缩（Collapse）： 在 5 个实例中的 4 个上观察到了清晰的坍缩，但在其中一个实例（Anna/Mike）中不存在，在该实例中消融电路几乎没有缩小决策间隙。
- 解离（Dissociation）： 在所有 5 个实例中都观察到了补丁效应与消融效应之间的显著差异，证实了它们是不同的操作。
- 交互（Interaction）： 在 5 个实例中的 3 个上发现了可测量的非零交互。至关重要的是，参与这些交互的层对并不属于伴随论文定理中所证明的单块配置。因此，这些结果暗示了多层情况的可能性，但并不构成对单块定理的直接测试。

意义与主张
本文声称填补了单块理论保证与多层 Transformer 架构现实之间的鸿沟，但同时也对剩余的局限性保持了明确的诚实态度。

它确立了多层交互可以被精确分解，并将“跨层余项”隔离为仍处于无界状态的具体量。
它提供了必要的数学要素（注意力雅可比界限和曲率常数）来潜在地界定该余项，并在真实权重上验证了这些要素。
它证明了在合成模型中观察到的定性模式（坍缩、解离、交互）确实出现在真实预训练模型的涌现电路中，尽管呈现出“混合的保真度”。
作者明确表示，他们并不声称已经界定了任意深度下的跨层余项，也不声称在 Qwen2.5 上的交互结果证明了单块定理适用于多层情况。相反，他们将这些混合结果呈现为证据，证明该理论并非仅仅是合成训练的产物，同时也强调了多层交互的正负号和量级仍然是一个开放且复杂的问题。

类似论文