💻 computer science

Metonymy in vision models undermines attention-based interpretability

本文揭示了现代预训练视觉 Transformer 通过表现出“对象内泄漏”（视觉转喻）而违背了局部性假设，这削弱了基于注意力的可解释性方法在基于部件的推理中的忠实性，并证明了一种两阶段方法能够有效缓解该问题，从而改进属性驱动的部件发现。

原作者： Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Massimiliano Mancini, Diego Marcos

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Massimiliano Mancini, Diego Marcos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《视觉模型中的转喻削弱了基于注意力的可解释性》的解读，将其拆解为简单概念并辅以日常类比。

核心问题：作弊的“侦探”

想象一下，你试图教计算机通过观察鸟的局部特征来识别鸟类。你希望计算机能说出：“我知道这是一只蓝松鸦，因为我看到了蓝色的翅膀"，或者“这是一只知更鸟，因为我看到了红色的胸部"。

为了实现这一目标，研究人员使用了一种名为注意力机制的特殊工具。这就好比侦探手中的放大镜。当计算机观察一只鸟时，放大镜会高亮显示它正在关注的具体部位（如翅膀），而忽略鸟的其他部分。其理念是：如果计算机聚焦于翅膀，它应该仅利用来自翅膀的信息来做出判断。

论文的发现：
作者发现，现代人工智能模型正在“作弊”。即使放大镜严格聚焦在翅膀上，计算机实际上仍在通过“墙壁”“嗅探”鸟的其他部位。

在语言学中，这被称为转喻。这就好比说“白宫发表了一份声明”，而你实际意指“总统发表了一份声明”。部分（建筑物）代表了整体（行政机构）。

在这些人工智能模型中，“翅膀”这一部分不仅包含关于羽毛的信息，它还秘密地包含了关于“头部”、“腿部”和“喙”的信息。

类比： 想象你试图仅通过观察一个人的左手来猜测他最喜欢的食物。在正常世界中，你的手无法告诉你关于他胃的任何信息。但在这些人工智能模型中，手与胃之间存在着神奇的连接。如果这个人喜欢披萨，即使你没有看他的嘴，他的左手也会闪烁着“披萨能量”。

为何这很重要：“忠实”的谎言

论文认为，这使得当前的“可解释”人工智能变得不可信。

许多研究人员认为他们的模型是“可解释的”，因为他们可以向你展示一张热力图（发光的地图），上面写着：“看，我正在看喙！”

现实情况： 模型确实在看喙，但它做出判断的依据却是腿部，因为“喙”的表征中混杂了“腿部”的信息。
结果： 解释看起来是诚实的，但推理过程却是谎言。模型实际上并没有针对它所指向的部位进行推理；它只是在走捷径。

解决方案：“隔音室”

作者提出了一种构建这些模型的新方法，以阻止这种作弊行为。他们称之为两阶段方法。

第一阶段：侦探寻找房间。
首先，模型观察整只鸟，并勾勒出不同部位（头部、翅膀、腿部）的轮廓。这就像房地产经纪人识别房屋中的各个房间。

第二阶段：隔音房间。
模型不再一次性观察整栋房子，而是将每个房间放入一个独立的、隔音的盒子中。

它取出“翅膀”盒子，将其放入一个没有任何来自“头部”或“腿部”声音能传入的房间。
它迫使计算机仅使用该隔音盒子内部的信息来对翅膀进行猜测。

类比：
想象一个小组项目，所有人都在同一个房间里。如果你问“翅膀”学生他们的观点，他们可能会仅仅重复“头部”学生说的话，因为他们能听到对方。
作者提出的解决方案是将每个学生放入一个独立的隔音亭中。现在，如果你问“翅膀”学生，他们必须仅根据自己对翅膀的了解来给出答案。他们无法通过偷听他人来作弊。

结果：它有效吗？

作者在三种不同类型的“物体”上测试了这种方法：

鸟类（CUB 数据集）： 检查模型是否能识别翅膀颜色或喙的形状。
人脸（CelebA 数据集）： 检查模型是否能识别眼睛颜色或某人是否戴着帽子。
胸部 X 光片（CheXpert 数据集）： 检查模型是否能发现肺部问题。

他们的发现：

旧方法（晚期掩码）： “翅膀”学生可以轻松猜出“腿部”的颜色。模型感到困惑且不忠实。
新方法（两阶段/隔音）： “翅膀”学生只能猜测与翅膀相关的事物。模型在真正理解特定部位方面变得更好。
权衡： 构建这些隔音房间需要更多的计算能力（大约增加一倍），但它使模型的推理变得诚实且准确。

结语

论文总结道，如果你希望人工智能能够解释为什么它基于图像的某个特定部分做出了决定，你就不能仅使用标准模型。它们太“嘈杂”了，会泄露来自其他部分的信息。你需要通过架构隔离（即隔音房间）来构建它们，以确保当人工智能指向某个部位时，它实际上是在思考那个部位，而不是仅仅基于整个物体进行猜测。

简而言之： 该论文证明了当前的人工智能模型在它们正在观察什么的问题上撒了谎，并提供了一种“隔音”的构建方法，迫使它们说出真相。

技术摘要：视觉模型中的转喻削弱了基于注意力的可解释性

1. 问题定义

本文针对现代深度学习视觉模型可解释性中的一个关键缺陷，特别是那些依赖基于部件的推理和注意力机制的模型。许多“按设计可解释”的模型，如概念瓶颈模型（CBMs）和以部件为中心的注意力网络，都基于局部性假设运作：即特定物体部件（例如鸟的翅膀）的潜在表示被假定主要编码关于该特定图像区域的信息。

作者认为，现代预训练的视觉 Transformer（ViTs）经常违反这一假设。由于这些架构具有巨大的感受野，单个部件的潜在表示往往编码了来自整个物体的信息。作者将这种现象称为物体内部泄露或视觉转喻，即部件代表了整体。因此，当注意力图突出显示特定部件时，用于预测的底层特征实际上可能包含来自其他部件的“泄露”信息。这使得模型的推理变得不忠实；模型看似聚焦于正确区域，实则依赖来自其他地方的相关特征，从而削弱了基于注意力的解释的可信度，特别是在医学成像等高利害领域。

2. 方法论

2.1 基准测试物体内部泄露

为了量化这一现象，作者利用具有部件级属性标注的数据集（CUB-200-2011、CelebA 和 CheXpert）提出了两个评估指标：

部件特异性（PS）： 衡量使用“正确”部件的特征与使用“错误”部件的特征时，属性分类性能的差异。低 PS 值表明，不匹配部件的特征与匹配部件的特征具有同等的预测能力，这标志着泄露的存在。
最具预测力部件重叠（MPPO）： 评估为特定属性发现的最具预测力的部件，其空间位置是否与该属性的真实区域重叠。

作者比较了晚期掩码（标准方法：从冻结的主干网络提取特征并事后应用掩码）与早期掩码（在特征提取前直接将掩码应用于输入图像令牌）。早期掩码作为一种上限，通过设计防止了泄露。

2.2 proposed 解决方案：两阶段架构

为了缓解物体内部泄露，作者提出了一种两阶段 Transformer 架构：

阶段 1（属性驱动的部件发现）： 使用冻结的主干网络（例如 DINOv3）生成注意力掩码以定位语义部件。该阶段采用一种新颖的去相关正交损失（ $L_{\perp}$ ），以确保部件彼此 distinct，同时允许它们共享共同的背景特征，避免了以往正交损失中抑制共享信号的问题。
阶段 2（严格并行处理）： 在并行流中独立处理每个发现的部件。
- 机制： 模型为每个部件复制前缀令牌（例如 [CLS]），并应用块对角注意力掩码。这确保第 $k$ 个前缀令牌仅关注第 $k$ 个部件掩码内的图像块，从而严格隔离特征。
- 梯度估计： 为了实现端到端训练（即阶段 2 指导阶段 1），作者引入了直通估计器（STE）。前向传播使用硬（二值）掩码以保证零泄露，而反向传播使用软（连续）掩码以允许梯度流动并细化部件发现掩码。

3. 主要贡献

物体内部泄露的基准测试： 引入 PS 和 MPPO 指标，以系统性地衡量视觉主干网络中局部性假设的违反情况。
广泛泄露的实证证据： 全面的评估显示，最先进的预训练主干网络（DINOv1、DINOv2、DINOv3、CLIP、MAE）均表现出强烈的物体内部泄露，违反了忠实可解释性所需的局部性假设。
缓解策略： 一种通过设计强制严格空间隔离的两阶段架构，证明了防止泄露既能提高注意力图的忠实度，又能提升部件发现的质量。

4. 结果

4.1 定量发现

泄露的普遍性： 在 CUB 和 CelebA 数据集上，早期掩码始终产生显著高于晚期掩码的部件特异性（PS）分数（例如，在 CUB 上 DINOv3 提升了约 3 倍，在 CelebA 上提升了约 10 倍）。这证实了标准主干网络严重依赖泄露的信息。
医学成像（CheXpert）： 在 CheXpert 数据集中，标准的晚期掩码导致最具预测力部件重叠（MPPO）约为 0.53，表明预测往往源于病理区域之外。强制实施早期掩码将 MPPO 提升至约 0.62。
部件发现改进： 提出的两阶段 STE 变体在聚类指标（ARI 和 NMI）上显著优于单阶段基线和现有的最先进方法（PDiscoFormer、MPAE）。
- 在 CUB 上，STE 的 ARI 达到 73.93，而单阶段基线为 50.27。
- 在 CelebA 上，STE 的 ARI 达到 97.51，而基线为 49.46。
预测性能： 虽然强制严格的局部性（仅阶段 2）可能会略微降低原始属性预测准确率（因为模型无法再利用相关捷径），但集成全局上下文（阶段 1）与严格局部证据（阶段 2）在所有数据集上均产生了最高的整体性能，超越了单阶段基线。

4.2 定性观察

掩码扩展： 单阶段模型和软掩码变体倾向于产生“懒惰”的掩码，仅覆盖少量高判别力的图像块，而依赖泄露来补充其余上下文。STE 变体则产生空间上更扩展的掩码，覆盖完整的语义区域（例如，在胸部 X 光片中覆盖双肺，而不仅仅是单侧）。
忠实度： 两阶段方法确保属性预测基于正确的解剖区域，而单阶段模型往往无法尊重空间边界。

5. 意义与主张

本文主张，如果底层潜在表示已经在空间区域间纠缠了信息，那么基于注意力的可解释性从根本上就受到了损害。如果特征本身被转喻污染，仅仅可视化注意力图是远远不够的。

作者认为：

局部性是前提： 忠实的、基于部件的组合推理需要代表层面的解决方案来强制局部性，而不仅仅是事后的注意力机制。
两阶段方法前景广阔： 通过将注意力掩码直接应用于输入图像（早期掩码）而非深层特征，可以缓解泄露，并同时提高可解释性和部件发现的质量。
权衡可控： 虽然两阶段方法带来了计算开销（推理速度约为原来的 2.1 倍），但集成全局和局部信号的能力使得模型既能保持高度准确，又能严格忠实于局部证据。

这项工作突显了基于部件的表示可解释性中被忽视的问题，表明未来的研究必须解决代表层面的纠缠问题，以构建真正可信的视觉模型。