💻 computer science

FAME: Feature Activation Map Explanation on Image Classification and Face Recognition

本文介绍了 FAME，这是一种新颖的可解释人工智能方法，它将梯度驱动的输入操纵与特征激活分析相结合，以生成用于图像分类和人脸识别的具有竞争力的归因图，同时证明了传统的类激活映射假设在深层网络中失效。

原作者： Xinyi Zhang, Manuel Günther

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyi Zhang, Manuel Günther

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级智能的 AI 机器人，它能查看照片并告诉你它看到了什么，比如识别森林中的一只熊，或确认两张照片是否显示同一个人。问题在于，这个机器人是一个“黑箱”。它给你答案，但不会告诉你为什么它这么认为。它是看到了熊的鼻子？还是看到了皮毛？或者只是被背景中的绿草搞混了？

这篇论文介绍了一种名为FAME（特征激活图解释）的新工具，帮助我们窥探机器人的“大脑”，看清照片中究竟哪些部分最为关键。

以下是论文如何用简单的类比来解释它：

旧方法：“猜谜游戏”

在 FAME 出现之前，主要有两种尝试理解这些机器人的方法：

“缩略地图”（CAM/Grad-CAM）： 想象机器人将照片分割成微小的网格瓦片。它查看每个瓦片并说：“这个瓦片很重要！”然后，它将那个微小的网格拉伸回原始照片的大小，向你展示重要区域的位置。
- 缺陷： 作者发现，对于深层、复杂的机器人，这个“网格”实际上并不对应照片中的某一个微小区域。机器人“大脑”中的单个瓦片可能同时看着熊的耳朵和它身后的树。将网格拉伸出来会生成一张模糊、具有误导性的地图。这就像只通过观察从汤中间舀起的一勺来猜测汤的配料；你可能会错过底部的胡萝卜或顶部的香草。
“刮擦检查”（扰动方法）： 这种方法试图通过随机用黑色方块或噪声覆盖照片的部分，并观察机器人是否因此感到困惑，来理解机器人。
- 缺陷： 这有点笨拙。如果你用黑色方块遮住脸的一部分，就会创造出尖锐、不自然的边缘，这可能会因错误的原因让机器人感到困惑。这就像试图通过随机向汽车引擎扔石头并观察什么会坏掉，来搞懂引擎是如何工作的。这很混乱，且依赖运气。

新方法：FAME（“引导的雕塑家”）

作者创建了FAME，以结合两者的优点。FAME 不像是在猜测或随机刮擦图像，而是像一个引导的雕塑家。

其工作原理如下：

目标： FAME 询问机器人：“我能对这张照片做出最小的什么改变，让你改变主意？”
过程： 它利用机器人自身的内部数学（梯度）来轻轻推动图像的像素。它不只是投掷随机噪声；而是将像素推向恰好会让机器人感到困惑的方向。
结果： 那些需要最多“推动”才能让机器人改变主意的区域，就是最重要的部分。如果机器人确信它看到了一只熊，但对熊鼻子的微小改变让它说“我不知道”，那么鼻子就是关键。

FAME 将这些“推动”（看起来像粗糙、嘈杂的地图）用柔和的模糊处理平滑化，生成一张清晰、易读的热力图，精确显示机器人正在看哪里。

他们发现了什么？

该团队在两项重大任务上测试了 FAME：图像分类（命名物体）和人脸识别（匹配人脸）。

证明旧地图的错误： 他们表明，对于深层、现代的机器人，旧的“缩略地图”方法是不可靠的。机器人的“大脑”将图像中遥远的部分连接在一起，因此假设一个小网格瓦片等于照片中的一个小区域是错误的。
在人脸识别方面更出色： 在尝试匹配两张人脸时，FAME 的表现远优于竞争对手。
- 如果一个人戴着太阳镜，FAME 能正确忽略太阳镜，专注于眼睛和额头。
- 如果照片是从奇怪的角度拍摄的，FAME 仍然能找到匹配的特征（如鼻梁）。
- 其他方法经常因背景或太阳镜而感到困惑，但 FAME 始终专注于人脸。

总结

FAME 是一种解释 AI 的更智能的新方法。它不是猜测或随机破坏图像，而是轻轻“戳”AI，使其揭示它实际上在看什么。作者发现，这种方法生成的重要性地图比以前的工具更清晰、更准确，尤其适用于复杂的深度神经网络。

注：论文提到，由于 FAME 必须逐步执行这种“戳”的操作，因此目前它比其他方法慢，但结果更准确。

技术摘要：FAME – 特征激活图解释

问题陈述

深度学习模型，特别是在图像分类（IC）和人脸识别（FR）领域，虽然实现了高准确率，但其运作如同“黑盒”，掩盖了预测背后的推理过程。现有的可解释人工智能（XAI）方法主要分为两大类，且各自存在显著局限性：

基于梯度的类激活映射（CAM）： 如 Grad-CAM 等方法，基于特征图激活计算归因并将其上采样至图像分辨率。该方法依赖于一个假设：特征图元素仅受底层像素区域（局部感受野）的影响。作者认为，在感受野较大、重叠且非局部的深层网络中，这一假设失效，从而导致归因图产生误导。
基于扰动的方法： 如 CorrRISE 等技术，通过用固定补丁（如黑色方块或噪声）扰动输入图像来观察输出变化。这些方法往往会引入人工边缘，或无法有效移除信息（因为现代网络能很好地处理模糊输入）。此外，它们依赖随机掩码和手动定义的参数，缺乏原则性的扰动方法。

方法论：特征激活图解释（FAME）

作者提出了FAME，这是一个统一框架，旨在弥合基于梯度和基于扰动的范式。FAME 建立在**逐层起源目标合成（LOTS）**之上，这是一种对抗攻击技术，最初旨在修改图像以迫使网络在特定层达到特定的目标输出。

核心机制

FAME 不使用固定补丁或简单的梯度上采样，而是将归因图的生成视为一个优化问题：

迭代扰动： 从输入图像 $x$ 开始，FAME 使用归一化梯度将图像迭代更新为 $\bar{x}$ ，以最小化选定网络层处相对于目标 $t$ 的特定损失函数 $\mathcal{L}$ 。
$\bar{x} \leftarrow \bar{x} - \eta \frac{\nabla_{\bar{x}}}{\max |\nabla_{\bar{x}|}}$
其中 $\nabla_{\bar{x}} = \frac{\partial \mathcal{L}(f^l(\bar{x}) \mid t^l)}{\partial \bar{x}}$ 。
归因推导： 归因图源自原始图像与扰动图像之间的绝对差值： $\Delta x = |\bar{x} - x|$ 。
平滑处理： 生成的像素级扰动图使用高斯核进行平滑，并进行最大归一化，以生成最终的归因图 $e \in [0, 1]^{H \times W}$ 。

任务特定适配

FAME 根据任务调整损失函数和目标：

特征图分析： 为了测试 CAM 假设的有效性，将特定特征图元素 $a[k]$ 的目标设为零。损失 $\mathcal{L}_a = \|a[k] - 0\|_1$ 用于识别必须移除哪些输入像素以消除特定的特征激活。
图像分类： 损失直接定义在目标类别的 logit 上（ $L_{cls} = z_o$ ），反向传播至输入以突出对该类别预测至关重要的像素。
人脸识别： 该方法最小化或最大化画廊图像（ $x_g$ $x_{g}$ ）与探针图像（ $x_p$ $x_{p}$ ）之间的相似度分数 $s$ $s$ 。
- 相似（ $e^+$ ）： 最小化相似度（ $L_+ = s$ ）以寻找支持匹配的区域。
- 不相似（ $e^-$ ）： 最大化相似度（ $L_- = 1-s$ ）以寻找导致不匹配的区域。
- 与相关方法（如 FGGB）不同，FAME 不需要任意阈值来分离相似和不相似的区域。

主要贡献

驳斥 CAM 假设： 本文提供了实证证据，表明基于 CAM 方法中局部感受野的假设不适用于深层网络。利用 FAME，作者证明深层网络（如 IResNet101）中的特征图元素聚合了来自输入中大面积、偏移且重叠区域的信息，使得简单的上采样不可靠。
统一框架： FAME 提供了一个单一的、基于优化的方法，适用于 IC 和 FR 任务，无需针对特定任务进行架构更改或手动阈值选择。
原则性扰动： 通过使用梯度驱动的扰动而非固定补丁，FAME 避免了引入人工伪影（如黑色方块产生的锐利边缘），并提供了关于输入变化如何影响网络输出的更自然解释。

实验结果

作者在 ImageNet（IC）和三个人脸识别数据集（AR Face、SCface、CFP）上，使用各种架构（ResNet、VGG、ConvNeXt、IResNet）评估了 FAME。

图像分类

定性分析： 与 Grad-CAM 和 Grad-CAM-EW 相比，FAME 生成的归因图更紧凑且语义相关性更强。后者往往突出弥散的背景区域，或仅关注特定部分（例如仅鸟的头部）。
定量分析： 在 ImageNet 上，FAME 取得了具有竞争力的交并比（IoU）分数，略低于 FullGradCAM，但优于标准 Grad-CAM 变体。关键在于，在ROAD-Delete评估（衡量随着显著像素被移除而导致的性能下降）中，FAME 在低移除比例（10% 和 30%）下取得了最高分数，表明其比竞争对手更有效地识别了模型决策中最关键的像素。

人脸识别

定性分析： FAME 生成的空间相干图与人类直觉一致。对于被遮挡的面部（如围巾、太阳镜），FAME 正确地将焦点集中在可见的身份线索（眼睛、前额）上，同时忽略被遮挡区域。相比之下，CorrRISE 和 FGGB 等方法往往产生噪声图或突出无关的背景区域。
定量分析： 在多种 FR 协议和网络深度下，FAME 在Delete（准确率下降）和Insert（准确率恢复）指标上均一致优于 Grad-CAM、CorrRISE 和 FGGB。值得注意的是，FAME 取得了最高的 Insert 分数（在 CFP 上高达 96.7%），证明了其能够识别那些在恢复后能迅速恢复验证准确率的区域。

意义与主张

本文声称，FAME 提供了一个任务自适应、基于优化的框架，能够产生稳定且与模型相关的解释。其主要意义在于：

纠正误解： 它挑战了对深层网络中朴素空间上采样的依赖，表明更深的架构编码的是全局整合的模式，而非局部特征。
鲁棒性： 与最先进的 XAI 方法相比，FAME 对姿态、遮挡和分辨率的变化表现出更优越的鲁棒性。
通用性： 它消除了对任意阈值（FGGB 的局限性）和固定扰动参数（CorrRISE 的局限性）的需求，提供了一种更原则性的归因方法。

作者承认，由于其迭代性质，FAME 的计算速度比基于梯度方法慢，但建议可以通过早期停止或使用更大的步长来提高速度，且对质量的影响微乎其微。未来的工作提议将 FAME 扩展到 Transformer 架构和目标检测任务。