💻 computer science

Grad-CAM for Vision Transformers: A Systematic Taxonomy and Audit of Methodological Ambiguity in Explainable AI

本文通过对175项研究进行系统性的分类与审计，揭示了在将 Grad-CAM 应用于视觉 Transformer 时普遍存在的算法方法论模糊性以及缺乏严谨实现细节的问题，并指出将其视为其 CNN 对应物的平凡扩展的做法，掩盖了影响可复现性与解释性的关键选择。

原作者： Casey Wall, Longwei Wang, Rodrigue Rizk, KC Santosh

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Casey Wall, Longwei Wang, Rodrigue Rizk, KC Santosh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一位才华横溢、动作极快的侦探是如何破解谜题的。在旧时代，这位侦探使用一套特定的工具：一个放大镜，它会一个接一个地观察犯罪现场微小的、网格状的区块。这个工具被称为 Grad-CAM。它曾因能照亮照片中帮助侦探做出判断（例如：“啊哈！这是一只猫！”或“这是一辆车！”）的确切位置而闻名。由于侦探是按整齐的网格观察照片的，所以该工具可以轻松地指向特定的方块并说：“我们在这个方块里看到了猫的耳朵。”

但最近，这位侦探得到了巨大的升级。这位新侦探（被称为视觉 Transformer 或 ViT）不再盯着网格看，而是同时观察整张图片，将其分解成一长串被称为“token”（标记）的小笔记。这就像是在读一个由线索组成的完整故事，而不是在看一张地图。问题在于，旧的放大镜（Grad-CAM）是为网格设计的，而不是为列表设计的。它不知道如何指向列表中的一个“词”并说：“这个词很重要！”

因此，科学家们开始尝试将旧的放大镜强行套用在新侦探的笔记列表上。他们想知道这位新侦探为什么会做出其选择。但问题在于，没有人就“如何做”达成一致。有些人指向第一个笔记，有些人指向中间，有些人看向整个列表，还有一些人只是在瞎猜。这篇论文就像是一位来审计所有报告的侦探督察。他们想知道：“我们到底是在正确地使用这个工具，还是仅仅在装样子？”

审计：一场系统性的混乱

本文的作者 Casey Wall 及其团队决定亲自扮演侦探。他们进行了一场大规模的文献搜寻，寻找每一篇试图将旧有的“Grad-CAM”工具应用于新的“视觉 Transformer”侦探的论文。他们从超过 550 篇论文的大堆资料开始。经过非常仔细的筛选过程，他们将范围缩小到了 175 篇真正尝试应用这种方法的论文。

他们的发现简直是一团糟。他们发现，大多数论文仍将新侦探的笔记列表视为旧的网格。他们在没有解释如何使其适配的情况下，就直接使用了这个工具。

论文引入了一个“分类法”（taxonomy），这只是一个用于描述详细清单或选项菜单的专业术语。作者意识到，当你尝试在视觉 Transformer 上使用 Grad-CAM 时，你必须做出几个重大的决策，而几乎没有人把这些决策记录下来：

看哪里： 你是看侦探写的第一个笔记？中间的一个？还是最后的总结？
测量什么： 你是在测量一个特定笔记的重要性，还是在测量侦探的“主思想”（[CLS] token）对其他笔记的关注程度？
如何混合： 如果侦探拥有许多不同的“头”（类似于许多不同的视角），你是将它们全部平均化，还是逐一查看它们？

作者通过一些测试来展示这些选择究竟有多重要。他们采用了一个标准模型，并使用来自其清单的不同设置运行了同一张图片。结果如何？“热力图”（显示模型看到了什么的发光图像）完全取决于他们做了哪些选择。一种设置可能会突出照片中的狗，另一种可能突出草地，而第三种则可能几乎什么都不显示。

大问题：“即插即用”却缺乏说明书

研究发现，在他们查看的 175 篇论文中，竟然有高达 101 篇（约 58%）仅仅引用了关于旧网格型侦探的原型论文，而没有解释他们是如何将其适配到新的列表型侦探上的。另有 17 篇论文只是指向了一个代码库（GitHub 仓库），却没有解释背后的数学原理。只有 26 篇论文（约 15%）真正花时间解释了他们的具体选择或引用了相关论文。

作者认为这是一个严重的问题。当一位科学家说，“我们使用 Grad-CAM 来证明我们的模型是公平的”，但他们却没有告诉你使用的是哪个版本的 Grad-CAM 时，你就无法信任这个结果。这就像如果一位厨师说，“我烤了一个蛋糕”，但他没告诉你用的是面粉还是沙子，也没说他烤了 10 分钟还是 10 个小时。结果看起来可能像个蛋糕，但你无法确定这是否是大家都在讨论的那个蛋糕。

这篇论文实际说了什么（以及没说什么）

论文非常谨慎，并没有说：“这就是做这件事的‘唯一正确’方法。”相反，他们建议目前还没有一个单一的“正确”答案。他们发现，该领域尚未就此达成标准化的做法。

他们明确排除了“直接拿旧公式套用到新模型上而不加思考”的可能性。他们证明，这样做会产生“方法论歧义”（methodological ambiguity），这是一种高级说法，意思就是“关于工具如何工作的混乱”。

作者建议，为了推动领域的发展，研究人员需要停止将这些新模型上的 Grad-CAM 视为一个简单的、自动化的步骤。他们需要准确写下他们选择了哪个“特征”（feature）、测量了哪个“梯度”（gradient），以及如何将数据“重塑”（reshape）回图像。

为什么这很重要

这不仅仅是学术上的吹毛求疵。这些热力图被用来证明 AI 模型是安全、公平且值得信赖的，尤其是在医疗诊断或自动驾驶等重要领域。如果解释是模糊的，我们就无法确定 AI 是否真的在观察正确的东西。论文结论指出，在科学家开始对自己的选择变得极其具体之前，研究论文中看到的那些发光的图像，可能更多是为了看起来很酷，而不是为了讲述真相。

简而言之，论文建议我们需要停止猜测，开始写下我们的配方。在此之前，我们在这些新 AI 模型上看到的“Grad-CAM”仍然是一个谜，我们无法确定它到底在告诉我们什么。

技术摘要：用于视觉 Transformer 的 Grad-CAM

1. 问题陈述

梯度加权类激活映射（Grad-CAM）是可视化卷积神经网络（CNN）决策过程的标准技术，它依赖于具有清晰通道和空间维度的空间特征图。然而，视觉 Transformer（ViT）及其他基于 Token 的架构并不产生卷积特征图；相反，它们利用 Token 嵌入、自注意力机制和残差流。

尽管存在这种根本性的架构不匹配，文献中仍经常在未进行任何解释、适配或承认结构差异的情况下，将 Grad-CAM 应用于 ViT。本文指出一个关键差距：“在 ViT 上使用 Grad-CAM”这一术语并不指代一个独特且定义明确的过程。与特征图隐含在 CNN 中的情况不同，ViT 提供了多个潜在的归因来源（例如：Token 嵌入、注意力矩阵、MLP 输出）。目前的文献通常将这种适配视为对 CNN 公式的一种平凡扩展，从而导致了以下问题：

方法论模糊性： 作者经常忽略关于特征提取位置、梯度目标、Token 处理（例如：[CLS] Token 的移除）以及聚合策略的细节。
复现性危机： 如果没有明确的规范，所报告的热力图只是众多可选可视化方案中的一种，这使得复现或进行科学评估变得不可能。
误解： 视觉呈现通常被用作模型行为或视觉接地（visual grounding）的证据，但并未澄清其代表的是 Token 激活、注意力权重还是跨模态交互。

2. 研究方法

作者采用了两种方法：系统性的文献审计和描述性分类法的开发。

A. 系统性文献审计

语料库构建： 作者于 2026 年 4 月 17 日使用 Google Scholar 进行搜索，查询词为 "Grad-CAM" AND "Vision Transformer"（或 "ViT"），并将时间限制在 2021 年之后。通过筛选来自 CVF、NeurIPS 或 IEEE Access 的论文，最终确定了约 550 篇初始论文池。
筛选： 通过人工筛选，确定了 175 篇 将 Grad-CAM 或类 Grad-CAM 方法（如 Grad-CAM++、LayerCAM、ScoreCAM）应用于 ViT 或基于 ViT 的架构（包括 Swin Transformer、BEiT、CLIP 和 BLIP）的论文。
分析： 对论文的发表地点、年份、任务设置、架构类型和报告细节进行了编码。分析重点在于作者如何证明适配的合理性、使用了哪些特征表示以及提供的技术细节程度。

B. 适配的描述性分类法

为了表征方法论上的差距，作者提出了一个分类法，该分类法显式地对将 Grad-CAM 适配到 ViT 所需的选择进行了分类。该分类法不是规范性的（即它并不定义一种“正确”的方法），而是描述性的，旨在使隐含的选择变得显式。其关键维度包括：

特征提取位置： 确定在 Transformer 块中的何处提取“特征图”。论文定义了六个主要候选对象：
- $F_1$ ：多头注意力之前的 LayerNorm 输出（归一化后的 Token 嵌入）。
- $F_2$ ：Softmax 归一化后的注意力矩阵（Token 间的交互强度）。
- $F_3$ ：注意力输出（经过 Value 投影的 Token 表示）。
- $F_4$ ：前馈网络（FFN）之前的 LayerNorm 输出。
- $F_5$ ：FFN 输出。
- $F_6$ ：FFN 之后的残差输出。
- 跨模态注意力（Cross-Attention）： 在视觉语言模型（VLM）中，分类法区分了上下文侧的表示与连接文本查询和图像键（Keys）的跨模态注意力图。
梯度目标： 定义计算梯度所依据的标量目标 ( $y_c$ )。这随任务而异（例如：分类任务中的类别 Logit，VLM 中的 ITM 分数，或分割损失）。
Token 处理与空间重建：
- Token 选择： 决定是使用来自 [CLS] Token 的梯度、平均所有 Patch Token 的梯度，还是完全排除非空间性的 Token。
- 重塑（Reshaping）： 将 1D Token 序列映射回 2D 空间网格 ( $H/P \times W/P$ )。这假设了 Patch 遵循栅格扫描顺序，但这对于某些表示（尤其是那些被自注意力高度混合的表示）可能并不成立。
聚合策略：
- 线性组合： 如何结合特征维度（例如：是在空间 Token 上平均梯度，还是使用 [CLS] 梯度）。
- 多头聚合： 对于多头注意力，确定是在 ReLU 之前还是之后对各头进行平均，或者将每个头视为独立的通道。

3. 关键结果

对 175 篇论文的审计得出了以下几个关键发现：

缺乏合理性说明： 大约 58% (101 篇) 论文仅引用了原始的基于 CNN 的 Grad-CAM 论文或非 ViT 变体，未对将该方法应用于 Transformer 提供任何理论依据。
方法论细节稀缺： 仅有 15% (26 篇) 论文明确说明了其适配过程或引用了对其进行适配的先前研究。在这些论文中，仅识别出 13 种不同的同行评审适配方法，这表明该领域尚未形成统一的标准规范。
依赖代码库： 约 10% (17 篇) 论文仅依赖于 pytorch-grad-cam 库，该库在实现 ViT Grad-CAM 时并未提供其适配的理论基础。
描述不足： 即便是声称使用了特定适配方法的论文，也经常缺失关键细节，例如：
- 使用的具体 Transformer 层。
- [CLS] Token 是否被包含或排除。
- 如何聚合注意力头。
- 特定的梯度目标（例如：原始 Logit 还是 Softmax 概率）。
视觉差异性： 在标准 ViT-B/16 模型上的定性实验表明，不同的选择（特征位置、梯度目标、权重策略）会对相同的输入和类别产生定性上不同的热力图。有些图定位了物体，而有些则强调了上下文或呈现出反转现象。

4. 核心贡献

系统性审计： 首次通过大规模文献综述，量化了 ViT 中 Grad-CAM 应用的普遍程度和报告质量，揭示了普遍存在的缺乏方法论严谨性的现象。
描述性分类法： 提供了一个框架，对将 Grad-CAM 适配到基于 Token 的架构所需的具体方法论选择（特征位置、梯度目标、Token 处理、聚合）进行了分类。该分类法旨在作为描述现有变体的词汇，而非规定单一解决方案。
识别歧义性： 论文强调“在 ViT 上使用 Grad-CAM”是一个定义不明的术语。研究表明，如果没有明确报告适配选择，可视化结果就不能被视为可复现的科学证据。
报告指南： 作者提供了一份清单，供作者和审稿人使用，以确保 ViT Grad-CAM 可视化包含必要的细节（特征表示、梯度目标、Token 处理、聚合以及空间重建），从而支持其对模型行为的论证。

5. 重要性与主张

本文认为，目前将 Grad-CAM 应用于 ViT 的做法往往是一种“即插即用”的方法，忽略了该方法的前提假设（空间特征图）与模型架构（Token 序列）之间的理论不匹配。

科学严谨性： 作者声称，目前的规范缺失削弱了高风险领域（如医学成像、安全关键系统）中解释的可信度。一个描述不足的热力图可能在视觉上具有说服力，但在科学上却是不可解释的。
复现性： 研究断言，如果不明确报告适配选择，复现是不可能的。分类法允许研究人员区分目前共享同一标签的不同归因程序。
研究范围： 论文明确指出，其目的并非提出一种“正确”的 ViT Grad-CAM 适配方法。相反，其目标是澄清现有方法论选择的范围，并提高报告的透明度。其目标是帮助研究界区分“可复现的归因程序”与“具有视觉说服力但描述不足的解释”。

总之，本文呼吁研究界发生转变：不再将 ViT 上的 Grad-CAM 视为 CNN 方法的平凡扩展，而是转向一种更严谨、具备架构感知能力的方法，其中每一次可视化都应伴随着对其底层数学逻辑和实现选择的精确定义。