🤖 machine learning

Hidden Heroes and Gradient Bloats: Layer-Wise Redundancy Inverts Attribution in Transformers

本文揭示，基于梯度的归因方法在 Transformer 中系统性地误判因果重要性，即过度高估冗余的早期层组件（“梯度膨胀”）而低估关键的晚期层组件（“隐藏英雄”），因此必须进行因果验证以避免错误的机制性解释。

原作者： Donald Ye

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Donald Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图弄清楚一台复杂机器中究竟哪些部分在承担繁重的工作。你决定采用一个简单的规则：“机器运转时，哪个部件‘尖叫’得越响，它就越重要。”

在人工智能（特别是 Transformer）的世界里，这种“尖叫”被称为梯度幅度。科学家们长期以来一直假设，如果人工智能“大脑”的某个部分具有高“梯度”（即对变化有强烈反应），那么它就是机器智能最关键的部分。

这篇题为《隐形英雄与梯度膨胀》的论文指出，这一假设危险地错误。事实上，机器往往在最错误的地方“尖叫”得最响。

以下是研究人员发现的要点，使用了简单的类比：

1. 两个角色：“膨胀者”与“英雄”

研究人员发现，人工智能模型拥有两种截然不同的组件，它们位于机器的不同部位。

梯度膨胀者（大嗓门）：
- 居住地： 早期层（机器的开端）。
- 作用： 它们极其吵闹。当你微调它们时，它们会发出高“梯度”信号的尖叫。
- 现实： 它们大多是冗余的。想象一下，20 个人组成合唱团，都在唱同一个音符。如果你让其中一个人闭嘴，歌曲几乎不会改变，因为其他 19 个人仍在歌唱。它们看起来很重要，因为它们声音大，但 individually（单独来看），它们并没有做多少事。
- 论文主张： 梯度归因（即“响度”测试）错误地认为这些是最重要的部分。
隐形英雄（安静天才）：
- 居住地： 晚期层（机器的末端）。
- 作用： 它们非常安静。它们的“梯度”信号微乎其微。
- 现实： 它们是必不可少的。想象一下，它们是乐队的指挥。如果你移除了指挥，音乐就会分崩离析，尽管指挥本人并没有发出响亮的声音。
- 论文主张： 梯度归因完全忽略了这些部分，将它们排名为不重要。

2. 实验：排序与反转

研究人员在两个人工智能的简单数学谜题上测试了这一点：

任务 A：反转列表（例如，将 [1, 2, 3] 变为 [3, 2, 1]）。
- 结果： 这里的“响度”测试效果尚可。重要的部分确实有些吵闹。
任务 B：排序列表（例如，将 [3, 1, 2] 变为 [1, 2, 3]）。
- 结果： “响度”测试彻底崩溃。它完全失败了。人工智能的“大嗓门”（膨胀者）被排在第一位，而“安静天才”（英雄）则被排列为无用。

在最糟糕的情况下，测试实际上是颠倒的：那些尖叫得最响的部分恰恰是你安全删除的部分，而那些安静的部分则是你绝对需要保留的。

3. “冗余陷阱”

为什么机器会在错误的部分发出如此响亮的尖叫？

论文用集体冗余的概念来解释这一点。

想象一个由 10 人组成的团队（膨胀者）共同握着一根绳子。如果你拉扯其中一个人，他们所有人都会感到张力，因此所有人都会尖叫。
人工智能的“梯度”测量的是这种张力。它看到 10 个人在尖叫，心想：“哇，这 10 个人都超级重要！”
但是，如果你实际上切断了其中一个人的绳子，其他 9 个人依然能撑住，什么也不会发生。
然而，如果你切断了安静英雄（握着最末端绳结的人）的绳子，整个东西就会崩塌。

研究人员发现，如果他们逐个移除“大嗓门”，人工智能几乎毫无察觉。但如果他们一次性移除所有“大嗓门”，人工智能就会崩溃。这证明“大嗓门”仅仅是一个冗余的安全网，而非核心引擎。

4. 重大错误

论文得出结论，依赖“梯度幅度”来理解人工智能，就像通过谁说话最多来评判一部电影。

早期层（“膨胀者”居住的地方）正在从事收集基本特征的“喧闹”工作。
晚期层（“英雄”居住的地方）正在从事解决逻辑谜题的“安静”工作。

由于早期层天生就更响亮（这是由于人工智能的数学运作方式所致），“响度测试”诱使我们误以为早期层是操作的大脑。事实上，对于排序等复杂任务，真正的大脑是那些安静的、位于后期阶段的组件，而测试完全忽略了它们。

总结

神话： “如果人工智能的某个部分反应强烈，它就是最重要的部分。”
真相： 反应强烈的部分通常只是冗余的噪音。真正重要的部分往往是安静的，并隐藏在过程的后期阶段。
危险： 如果科学家使用这种“响度”测试来修剪（剪除）人工智能的部分以使其变小，他们可能会意外地剪除隐形英雄（破坏人工智能的智能），同时保留梯度膨胀者（在无用部分上浪费空间）。

该论文敦促研究人员停止仅依赖“响度”测试，并在对人工智能的工作原理做出声明之前，使用“因果”测试（实际移除部分以观察什么会崩溃）。

技术摘要：隐形英雄与梯度膨胀

问题陈述

基于梯度的归因是机械可解释性中的基础工具，广泛用于 Transformer 模型的剪枝、电路发现和审计。普遍假设是：组件梯度的幅度能可靠地指示其在驱动模型行为（尤其是分布外（OOD）泛化）中的因果重要性。然而，本文认为，这一假设在因果干预面前 largely 未经检验。如果梯度幅度无法系统地识别驱动实际计算的架构组件，那么依赖它的流程将面临剪除关键组件的风险，或者识别出仅仅是归因方法的人造产物而非真实计算结构的“电路”。

方法论

作者利用一个旨在隔离因果结构的受控实验设置来评估梯度归因的可靠性：

任务与模型：研究使用了两个算法基准——序列反转（Sequence Reversal）和序列排序（Sequence Sorting），使用整数 $x \in \{1, \dots, 99\}$ 。模型为仅解码器（decoder-only）Transformer，包含 $L=4$ 层和 $H=4$ 个头（共 20 个组件：16 个注意力头和 4 个 MLP）。选择这些任务是因为其因果结构完全可测，且电路相对简单，代表了梯度归因的“最佳情况”。
梯度幅度（ $G$ ）：对于每个组件，作者计算了 50 个 OOD 批次上梯度的归一化平均 Frobenius 范数。为了确保在不同异质子层（例如注意力矩阵与 MLP 矩阵）之间进行公平比较，梯度通过参数数量的平方根进行归一化。该度量隔离了 $W_V$ 和 $W_{out}$ ，以界定对残差流的贡献。
因果重要性（ $C$ ）：通过针对 OOD 序列长度（ $N \in \{8, 9, 10, 11\}$ $N \in {8, 9, 10, 11}$ ）的消融实验来测量功能必要性。使用了两个基线：
- 均值消融：将组件的输出替换为其平均激活值。
- 零值消融：将输出替换为零向量。
- 准确率以精确序列匹配来衡量。
差距量化：使用梯度幅度与因果重要性之间的 Spearman 相关系数（ $\rho$ $ρ$ ）来量化错位。组件根据排名差异（ $\Delta_i$ $Δ_{i}$ ）进行分类：
- 隐形英雄（Hidden Heroes）：低梯度但因果上必不可少（ $\Delta_i \le -6$ ）。
- 梯度膨胀（Gradient Bloats）：高梯度但因果影响可忽略（ $\Delta_i \ge 6$ ）。
- 对齐（Aligned）：两种度量之间一致（ $|\Delta_i| < 6$ ）。
验证：研究涵盖了多达 10 个随机种子，并包括联合消融实验以测试冗余性。

主要结果

1. 梯度归因的系统性失效

梯度幅度与因果重要性之间的相关性高度依赖于任务，且经常崩溃：

序列反转：显示出中等程度的相关性（ $\rho = 0.72$ ）。
序列排序：显示出严重的崩溃（ $\rho = 0.27$ ）。
单个种子：在特定种子中，相关性降至接近零（ $\rho \approx 0.00$ ）或变为负向预测（ $\rho = -0.18$ ），表明高梯度可能会在功能必要性方面产生误导。

2. 逐层结构反转

这种失效并非随机噪声，而是表现出稳定的逐层结构：

梯度膨胀：集中在早期层（特别是第 1 层）。这些组件接收高梯度信号，但 individually 是可丢弃的。
隐形英雄：集中在晚期层（特别是第 3 层）。这些组件具有低梯度信号，但在因果上是不可或缺的。
稳定性：特定的头在不同种子中占据一致的角色（例如，L3 H3 在 7/10 个排序种子中是隐形英雄；L1 H1 和 L1 H3 在 6/10 个种子中是膨胀组件）。

3. 冗余悖论与超加性

驱动失效的机制被确定为集体冗余：

个体与联合消融：当单独消融梯度膨胀组件时，准确率下降可忽略不计（每个组件 3.1%）。然而，当联合消融时，准确率崩溃了 43.8%。
超加性：联合损害是个体预测总和的14 倍。这表明膨胀组件形成了一个分布式的、冗余的电路，其中组件相互补偿。
一阶方法的局限性：梯度归因仅测量局部损失敏感性，将高信号分配给冗余电路中所有活跃的组件，无法区分 individually 冗余和 individually 关键的单元。

4. 对泛化的影响

隐形英雄：消融这些组件会导致 OOD 准确率灾难性下降（反转任务上的平均变化为 $-36.4\% \pm 22.8\%$ ），尽管它们的梯度排名很低。
梯度膨胀：虽然 individually 不那么关键，但它们的集体移除揭示了隐藏的冗余，导致剪枝结果因种子的特定电路拓扑不同而产生显著差异。

意义与主张

本文主张，在算法任务中，梯度幅度是因果重要性的系统性反转代理，这是由劳动分工驱动的：早期层学习广泛的、高梯度的特征提取器，而晚期层实现稀疏的、因果上不可或缺的逻辑。

机械洞察：研究结果表明，通过基于梯度的方法识别的“电路”可能是归因方法的人造产物，忽略了泛化的真正驱动者（隐形英雄），同时高估了冗余的早期层特征（梯度膨胀）。
主张的前提：作者认为，因果验证（通过消融或修补）必须是任何电路级主张或剪枝策略的前提，因为仅靠基于梯度的启发式方法是不够的，甚至可能对 OOD 泛化具有破坏性。
范围：该研究将这些发现定位为归因失效的下限；作者认为，在具有更大冗余性和复杂性的自然主义设置中，这种差距可能会加剧。

文章最后呼吁根据冗余电路拓扑重新评估归因方法，并强调需要追踪“顿悟”（grokking）的时间动态，以理解这些逐层结构如何在训练过程中涌现。