🤖 machine learning

Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers

本文介绍了 GradSkip，一种针对视觉 Transformer 的新型相关性传播方法，它通过自适应加权注意力头并动态地通过残差连接分配相关性，提高了忠实度和定位能力，在实现最先进性能的同时，其计算量（GFLOPs）比现有方法减少了 14 倍以上。

原作者： Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个名为视觉 Transformer (ViT) 的超级聪明机器人大脑。它在观察图片并识别其中的物体方面表现出色——比如发现一只瓢虫或一辆卡车。但问题在于，这个机器人有点像个“黑盒”。你可以问它：“为什么你觉得那是卡车？”它只会回答：“因为我觉得是。”它不会向你展示图片的哪些部分让它做出了这样的决定。

科学家们曾尝试窥探机器人的大脑以了解其思考方式，但他们旧有的工具就像是用大锤去砸坚果。这些工具将机器人的每一个部分都视为同等重要，并且忽略了那些让信息直接穿梭而无需改变的“捷径”导线。这使得解释过程变得混乱且往往是错误的。

于是，GradSkip 登场了。这是一个由 Christopher Buratti 及其团队发明的新颖工具，旨在解决这一乱象。你可以把 GradSkip 想象成一个聪明的侦探，它不仅仅是同时观察整个大脑，而且准确地知道哪些神经元在承担重任，哪些神经元只是在“睡觉”。

旧工具犯下的两个大错

论文指出，之前的侦探存在两个主要的错误方式：

“人人平等”的错误： 想象一个合唱团，有些歌手是正在唱着完美高音的独唱员，而其他人只是在背景中哼唱。旧工具将每一位歌手都视为在以相同的音量歌唱。GradSkip 则意识到，有些“注意力头”（即合唱团的部分）对于决策至关重要，而其他的则只是噪音。它学会了倾听独唱员，并忽略背景的哼唱。
“捷径”的错误： Transformer 拥有酷炫的“跳跃连接”（skip connections）——这就像一条秘密隧道，让信息可以跳过整个房间直接到达下一个房间。旧工具将这些隧道视为仅仅是不改变任何内容的空走廊。但有时，信息在主房间里会发生改变，有时则不会。GradSkip 是第一个进行检查的工具：“这条信息是直接通过了隧道，还是在主房间里经历了转化？”它弄清楚了应该给每条路径多少信用。

GradSkip 如何解开谜团

GradSkip 使用一种巧妙的两步策略来弄清机器人在想什么：

第一步：“谁是谁”过滤器： 它观察机器人的大脑并询问：“哪些注意力头实际上在干活？”它使用一种特殊的数学技巧（结合梯度流和一种“稀疏性”度量，类似于检查聚光灯有多聚焦）来挑选出最重要的注意力头。这就像是一个夜店的保安，只允许酷炫且相关的神经元进入，并将嘈umes（噪音）踢出去。
第二步：“路径分割器”： 当侦探向后追踪思考过程时，它会在主路径和跳跃路径之间分配“相关性”（即对决策的贡献度）。如果机器人只是将信息传递而未作改变，GradSkip 会将大部分信用归于跳跃路径。如果机器人进行了大量的思考，它则会将信用归于主路径。这是一种动态且公平的信用分配方式。

证明：它有效，而且很快！

团队在许多图片上测试了 GradSkip，从标准的 1,000 张图像集 (ImageNet1K) 到医疗血细胞照片 (BloodMNIST)，他们还尝试了一个让机器人为图像每个部分进行颜色编码的任务（分割）。

以下是他们的发现：

它是最诚实的解释： 当他们测试解释与机器人实际决策的匹配程度时，GradSkip 表现最佳。在 ImageNet1K 测试中，在其中一个关键指标上，它比第二好的方法高出了 12.50%。在医疗血细胞测试中，它的表现同样出色。
它极其精准： 当他们要求机器人指向物体时，GradSkip 是最准确的。
它是速度达人： 这是最酷的部分。那些旧的、准确的方法就像是在开坦克——效果很好但消耗大量燃料。GradSkip 则像是一辆流线型的跑车。它比第二好的准确方法使用的 GFLOPs（衡量计算工作量的指标）少了 14.45 倍。对于分类任务，它仅需 69.39 GFLOPs，对于分割任务，仅需 28.52 GFLOPs。

GradSkip 不是什么

论文非常明确地说明了 GradSkip 不具备的功能：

如果你无法看到机器人大脑内部的情况，它就无法工作。你需要能够运行“反向传播”（检查梯度），因此它不能用于那些无法看到内部齿轮的模型。
它并不能神奇地修复一切。在某些棘手的情况下，例如图片中有多个同类物体时，它虽然仍然表现很好，但论文承认要获得完美分数仍有难度。
它不观察“CLS token”（一些机器人用来总结整张图片的特殊 token）。作者指出，对于使用这种 token 的标准机器人，忽略它可能会错过一些线索，但对于其他类型的机器人（如 SegFormer），它的效果非常完美。

总结

GradSkip 不仅仅是一个小小的改进；它是一种更聪明的聆听机器人的方式。通过意识到并非所有的脑部零件都是平等的，并且尊重那些“捷径”导线，它为我们提供了一个清晰、诚实且超快速的视角，去观察视觉 Transformer 如何做出决策。作者认为，这可能会成为医疗成像等领域的游戏规则改变者，因为在这些领域，理解机器人“为什么”做出某种诊断，与诊断本身一样重要。而且最棒的是，它完成这一切时并不需要超级计算机。

技术摘要：用于视觉 Transformer 高效可解释性的梯度跳跃相关性传播 (Gradient-Skipping Relevance Propagation)

1. 问题陈述

视觉 Transformer (ViT) 已在计算机视觉领域取得了最先进的性能，但其解释性仍然是一个难题。现有的可解释性方法——分为基于梯度、基于注意力和基于扰动的方法——在应用于 Transformer 架构时存在显著局限性。

识别出的核心问题包括：

均匀的注意力头处理 (Uniform Head Treatment)： 大多数基于注意力的方法假设所有注意力头具有统一的重要性。然而，文献表明，注意力头扮演着异质的角色；有些编码语义集中的模式，而有些则进行弥散性关注。对它们进行统一处理会通过混合信息量大与信息量小的信号来稀释解释效果。
忽视残差连接 (Neglect of Residual Connections)： 现有方法通常将跳跃连接（skip connections）建模为恒等路径或使用固定启发式方法。这无法区分归因于学习到的变换的相关性与仅仅沿恒等路径保留的相关性，从而导致不准确的相关性归因。
效率与忠实度的权衡 (Efficiency vs. Faithfulness Trade-off)： 基于梯度的方法计算成本低，但在深度 Transformer 中会出现归因不稳定的问题。基于扰动的方法提供了高忠实度，但需要巨大的计算成本（数千次前向传播）。基于注意力的方法效率很高，但往往缺乏因果可靠性。

2. 方法论：GradSkip

为了解决这些局限性，作者提出了 GradSkip，这是一种引入了两个概念创新的相关性传播方法：自适应注意力头权重分配和感知跳跃连接的传播。

2.1 自适应注意力头权重分配

GradSkip 不再对所有头进行平均，而是通过结合两个互补的指标来计算动态的、特定于头的权重 ( $\omega^l_q$ )：

基于梯度的流指标 ( $\tilde{g}^l_q$ )： 该指标通过测量由梯度大小加权的注意力分数，来量化一个头对模型决策的因果影响。阈值机制会过滤掉梯度流微不足道的头，以减少噪声。
基于 Gini 系数的稀疏性指标 ( $\tilde{s}^l_q$ )： 该指标捕捉了头的空间语义聚焦程度。基尼系数是在排序后的注意力值上计算的；高基尼系数表示“尖峰”式的注意力模式（聚焦于特定区域），从而将其与弥散分布区分开来。

最终权重是一个凸组合： $\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$ ，其中 $\alpha$ 平衡了因果相关性和空间相干性。

2.2 感知跳跃连接的相关性传播

GradSkip 在反向传播过程中显式地模拟了 Transformer 块的残差结构。它不是将跳跃路径视为固定的恒等映射，而是根据它们的相对因果贡献，在注意力变换路径和跳跃连接路径之间动态地划分相关性。

每条路径的贡献使用梯度加权的激活幅度进行量化：

$\beta^l_{main}$ ：主注意力路径的归一化相关性门控。
$\beta^l_{skip}$ ：跳跃连接的互补门控 ( $1 - \beta^l_{main}$ )。

第 $l-1$ 层的相关性计算如下：
$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$
其中 $\tilde{W}^l$ 是一个结合了头重要性、梯度大小和嵌入幅度的加权注意力矩阵。这确保了主要作为恒等映射运行的模块对解释性的贡献极小，从而通过跳跃连接保留相关性。

2.3 实现细节

该过程涉及一次前向传播以捕获中间表示、梯度和注意力图，随后进行一次反向传播以传播相关性。该方法包含梯度重缩放，以解决流失衡问题并确保 FullGrad 的完备性。

3. 核心贡献

本文概述了三个主要贡献：

自适应注意力头权重分配： 一种结合了基于梯度的流和基于 Gini 系数的稀疏性的机制，用以捕捉单个注意力头的因果影响和选择性，超越了统一处理的局限。
感知跳跃连接的传播： 一种动态规则，根据相对因果贡献在注意力路径和残差路径之间划分相关性，尊重 Transformer 的基本残差结构。
全面的评估： 在分类（ImageNet1K, BloodMNIST）和分割（ADE20K-150）基准测试上的广泛实验证明了其具有最先进的忠实度和定位能力，且计算成本显著降低。

4. 实验结果

4.1 分类性能

在 ImageNet1K 和 BloodMNIST 上使用 ViT-Base 和 DeiT-Base 模型进行评估：

忠实度 (Faithfulness)： GradSkip 在 插入-删除 (Insertion-Deletion) 指标和 忠实度违规测试 (Faithfulness Violation Test) 上达到了最先进的性能。例如，在 ImageNet1K 的 ViT-Base 上，其在插入-删除得分上比第二好的方法 (MUTEX) 高出多达 12.50%。
定位能力 (Localization)： 在 指向游戏 (Pointing Game) 指标上，GradSkip 在 ViT-Base 上获得了最高分 (0.868)，并在 DeiT-Base 上取得了具有竞争力的结果 (0.831)。
效率 (Efficiency)： 生成归因图时，GradSkip 需要 69.39 GFLOPs。这比 MUTEX 少了 14.45 倍的操作，比 TIS 少了 256.66 倍，同时比其他高效方法（如 LRP 变体）保持了更优越的忠实度。

4.2 分割性能

使用 SegFormer 模型在 ADE20K-150 上进行评估：

GradSkip 获得了最高的 像素准确度 (PA) (0.815) 和 平均交并比 (mIoU) (0.371)。
它在 mIoU 上比第二好的方法 (MUTEX) 高出 53.94%。
与 Finer-CAM 等由于显著图过度延伸而导致高 PA 但低 mIoU 的方法不同，GradSkip 展示了精确描绘类别特定区域的卓越能力。
效率： 它仅需 28.52 GFLOPs，与最有效率的 LRP 类方法相当，但具有显著更高的分割精度。

4.3 消融实验与分析

头稀疏性 (Head Sparsity)： 统计分析证实，注意力稀疏度（通过 Gini 系数衡量）与忠实度得分之间存在显著相关性。仅选择基于稀疏性的前 25% 的头可以提高性能，而使用后 25% 的头则会导致性能下降。
超参数： 发现梯度流与稀疏性之间的最佳平衡点在 $\alpha = 0.50$ 时。仅依赖其中一个指标会导致性能下降高达 26.67%。
定性分析： 可视化结果显示，GradSkip 产生了聚焦且空间精确的热图，能够正确隔离判别性区域（例如瓢虫等小物体或旗杆等细长结构），同时抑制背景噪声，表现优于表现出弥散或分散激活的竞争对手。

5. 重要性与声明

论文声称 GradSkip 成功弥合了计算效率与解释忠实度之间的鸿沟。其重要性在于：

架构感知性 (Architectural Awareness)： 通过显式建模注意力头的异质角色和残差连接的动态特性，GradSkip 提供的解释能更好地反映模型如何处理输入。
实际部署 (Practical Deployment)： 它提供了通常与高成本扰动法相关的极高忠实度，但其计算预算极低（与 LRP 相当），使其适用于资源受限的实际应用场景。
鲁棒性 (Robustness)： 该方法在不同数据集（通用和医学）、不同模型架构（ViT, DeiT, SegFormer）以及不同任务类型（分类和分割）中均展示了持续的性能。

作者也指出了局限性，即 GradSkip 需要访问模型内部信息（梯度和激活），无法应用于纯粹的前向、无梯度设置。此外，目前的实现丢弃了 CLS token，这可能会限制其在标准 ViT 中的适用性（在标准 ViT 中 CLS token 聚合了全局上下文），但它直接适用于不依赖于它的变体（如 SegFormer）。