🤖 machine learning

Learning Quantifiable Visual Explanations Without Ground-Truth

本文提出了一种基于输入扰动与必要性/充分性的无真值、可量化的指标用于评估可解释人工智能方法，并据此训练了一种新型适配器模块，该模块能够在不损害模型性能的前提下，为黑盒模型生成更优的因果解释。

原作者： Amritpal Singh, Andrey Barsky, Mohamed Ali Souibgui, Ernest Valveny, Dimosthenis Karatzas

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Amritpal Singh, Andrey Barsky, Mohamed Ali Souibgui, Ernest Valveny, Dimosthenis Karatzas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢却沉默寡言的厨师（深度学习模型），他每次都能烹制出完美的菜肴（做出预测）。当你问：“你为什么在这汤里加盐？”厨师只是指着整锅汤说：“因为食材。”这没什么帮助。你想知道究竟是哪一小撮盐起了作用。

在人工智能领域，这就是**可解释人工智能（XAI）**的问题。我们需要知道图像中的哪些部分（比如猫耳朵的一个像素）真正促使计算机做出了“是的，那是一只猫”的判断。

问题在于，我们没有“答案键”（真实标签）来检查厨师的解释是否正确。我们无法问计算机：“你真正是基于什么认为那样的？”因为计算机无法用人类的术语解释自己。

本文介绍了两样主要事物来解决这个问题：一把用于衡量解释的新尺子，以及一个用于生成更好解释的新工具。

1. 新尺子：MSI（最小性 - 充分性集成）

想象你正试图向朋友解释为什么你选择了某部特定的电影。

旧方法（现有指标）： 你可能会说：“我选它是因为演员、导演、音乐、灯光、爆米花以及外面的天气。”这在技术上是对的（所有这些因素都影响了你），但信息量太大了。这就像为了展示故事发生在哪里而把整页书都标亮。
问题： 当前用于衡量 AI 解释的“尺子”往往给这些冗长、杂乱的解释打高分。它们不在乎你是否包含了无关的细节（比如天气）。
新尺子（MSI）： 作者创建了一个名为MSI的新指标。它根据两条规则来评判解释：
1. 充分性： 如果我只给你仅重要的部分（演员和剧情），你还能猜出是哪部电影吗？（是的，这就是“充分”）。
2. 最小性： 你只包含了重要的部分，还是也拖进了天气和爆米花？（你应该保持“最小”）。

类比： 想象舞台上的聚光灯。

一个糟糕的解释会将光照在整个剧院，包括观众和出口标志。它是“充分”的（你能看到演员），但它不“最小”。
一个好的解释会将一束明亮、紧凑的光仅照在演员的脸上。它既充分（你能看到演员）又最小（没有浪费的光）。

论文声称，MSI 比旧尺子更能区分紧凑的聚光灯和杂乱泛光灯。它奖励那些“恰到好处”的解释——既不太大，也不太小。

2. 新工具：LAX（可学习适配器解释）

既然我们有了更好的尺子，如何教会 AI 给出更好的答案呢？

通常，要教会 AI 解释自己，你需要一位拥有答案键的老师（例如，人类在猫周围画一个圈）。但我们没有这些答案键。

解决方案： 作者构建了一个名为LAX的“插件”模块。

工作原理： 想象 AI 是一个黑盒。LAX 是一个小巧、智能的适配器，你可以把它夹在盒子的外面。
训练过程： LAX 不向人类老师提问，而是玩一场“如果……会怎样？”的游戏：
1. 它观察一张图像，并在它认为重要的部分画出一个“聚光灯”（掩码）。
2. 它遮盖住图像的其余部分。
3. 它问黑盒：“如果我只向你展示聚光灯下的部分，你还能猜出正确答案吗？”
4. 如果黑盒回答“是”，LAX 就在充分性上得分。
5. 如果 LAX 把聚光灯开得太大（覆盖过多），它就在最小性上受到惩罚。
6. LAX 不断调整它的聚光灯，直到找到那个能让黑盒仍得出正确答案的最小、最精确的区域。

结果： 论文表明，使用他们新的 MSI 尺子进行训练的 LAX 工具，所生成的“聚光灯”比其他流行方法（如 Grad-CAM）更清晰、更准确。它能够在无需人类指示针在哪里（即无需人工标注）的情况下，找到“大海捞针”中的那根针。

主张总结

问题： 我们无法衡量 AI 解释的好坏，因为我们缺乏“正确”的示例来进行比较。
指标（MSI）： 一种新的评分方式，奖励解释的精确性（最小性）和有效性（充分性），而不是仅仅覆盖大量范围。
方法（LAX）： 一种新的训练技术，通过让 AI 玩自我检查游戏来生成这些精确的解释，无需任何人工标注数据。
结果： 在数字、鸟类和日常物体的图像测试中，LAX 方法生成的解释在新的 MSI 指标上得分更高，且看起来更“符合人类直觉”（聚焦于正确的特征），优于现有方法。

论文得出结论，通过使用这把新尺子和这个新训练工具，即使在没有教科书答案键来验证的情况下，我们也能让 AI 系统更清晰、更可靠地解释自己。

技术摘要：无需真实标签学习可量化的视觉解释

1. 问题陈述

可解释人工智能（XAI）对于验证和确保深度学习模型负责任地使用至关重要，特别是在需要透明度的高风险领域。然而，评估视觉解释（如显著性图）的质量仍然是一个重大挑战。该领域缺乏标准化指标，原因如下：

缺乏真实标签： 大多数数据集不包含关于何种构成“正确”解释的像素级真实标签。
现有指标的局限性： 当前的基于扰动的指标（例如插入、删除、MoRF）往往与人类直觉不一致。它们可能会给覆盖大片无关区域的解释赋予高分，或者无法区分多种合理的归因路径。它们通常会惩罚紧凑性，或者在单个预测存在多个有效解释时难以处理。

2. 方法论

本文提出了两方面的贡献：一种新的评估指标和一种针对该指标优化的新颖解释生成方法。

A. 最小性 - 充分性整合（MSI）指标
作者引入了 MSI，这是一种基于扰动的指标，旨在根据信息瓶颈框架导出的两个原则来评估解释：

充分性： 解释必须包含足够的信息，以便模型能够做出正确的预测。
最小性： 解释应尽可能紧凑，避免无关区域。

MSI 计算为基础分数与掩码惩罚之和：

基础分数： 衡量解释的判别能力。它比较了模型仅保留“相关”像素（高于阈值 $\alpha_{min}$ ）时的预测准确率与仅保留“非相关”像素时的预测准确率。它还结合了在 $\alpha_{min}$ 处截断的扰动性能（包括插入和删除）的曲线下面积（AUC）。
掩码惩罚： 一个惩罚被视为“重要”（高于 $\alpha_{min}$ ）的像素比例的项。这强制了简约性，奖励那些用更少像素实现充分性的解释。
最终分数： $MSI = \text{基础分数} - \text{掩码惩罚}$ 。

该指标旨在处理存在多个有效解释的情况（例如，包含多个不同对象且均可触发类别预测的图像），通过奖励相关区域与非相关区域的分离，而不假设存在唯一的真实标签掩码。

B. 可学习适配器解释（LAX）框架
为了利用 MSI 指标，作者提出了 LAX，这是一种无需真实标签注释即可生成解释的自监督方法。

架构： LAX 作为一个轻量级适配器模块，训练在冻结的、预训练的黑盒模型之上（与架构无关）。它接收骨干网络的特征表示，并输出像素级的重要性热力图。
优化目标： 训练损失源自信息瓶颈原理，并近似为可处理的形式：
- 最小性（ $I(X, T)$ ）： 通过对掩码施加基于熵的正则化项来强制实现。与标准的 $\ell_1$ 正则化不同，熵正则化能产生更锐利、更具语义意义的掩码，使其集中于关键区域。
- 充分性（ $I(T, y)$ ）： 通过最大化掩蔽输入 $T$ 与标签 $y$ 之间的互信息来强制实现。这通过最小化模型在掩蔽图像上的预测与真实标签之间的交叉熵损失来近似。
最终损失： $L_{LAX} = L_{CE}(y, \hat{y}) + \lambda L_{entropy}(M)$ 。

该模块被训练以生成一个掩码，当将其应用于输入时，能使冻结模型在保持高预测准确率的同时，使掩码尽可能稀疏。

3. 主要贡献

MSI 指标： 一种新颖的、可量化的 XAI 指标，平衡了充分性与最小性，解决了现有指标无法区分紧凑与弥散解释或无法处理多种合理归因路径的问题。
LAX 框架： 一种与模型无关的自监督解释生成器，通过直接优化 MSI 目标（通过其熵和保真度组件）来学习生成紧凑的因果解释，而无需真实标签显著性图。
实证验证： 证明了 LAX 生成的解释在多个数据集（Synthetic MNIST、CUB-200、CIFAR-10）和架构（CNN、Vision Transformers）上均优于最先进基线（Grad-CAM、Layer-CAM、Attention Rollout 等）。

4. 结果

实验在三个具有不同复杂度的数据集上进行：

Synthetic MNIST： LAX 在所有指标（包括 MSI）上显著优于所有基线，证明了在低歧义设置下具有强大的最小性和充分性。
CUB-200（鸟类）： 虽然标准指标（插入/删除）往往得出不确定的结论，或显示 LAX 与 Grad-CAM 性能相似，但 LAX 取得了最高的 MSI 分数，表明其具有更强的判别性聚焦。
CIFAR-10： LAX 在基于插入的指标中领先。在存在多个信息丰富区域的情况下（导致基线在删除指标中结果混杂），MSI 成功地对 LAX 给予了高度评价，而传统指标难以区分质量。
Vision Transformers (ViT)： 与 Attention Rollout 和 Grad-CAM 相比，LAX 在 ViT 模型上取得了更优越的性能，特别是在 MSI 分数方面，证实了该方法不仅适用于 CNN。

定性分析表明，与竞争方法通常弥散或嘈杂的显著性图相比，LAX 生成的热力图更锐利、更聚焦。

5. 意义与主张

本文主张，缺乏标准化评估指标阻碍了 XAI 的进展。通过引入 MSI，作者提供了一种工具，该工具通过奖励那些对决策既充分又在范围上最小的解释，更好地与人类对解释质量的理解相一致。

LAX 的意义在于它能够无需真实标签注释或重新训练基础模型，即可为任何预训练的黑盒模型生成高质量的解释。作者将此定位为迈向更可靠、更负责任 AI 系统的一步，在这些系统中，解释可以进行定量验证和优化。这项工作表明，未来 XAI 的努力应侧重于考虑信息完整性与简约性之间权衡的指标，并且基于优化的方法可以有效地学习满足这些标准。