💻 computer science

Beyond Heatmaps: Unsupervised Concept-Graph Reasoning for Interpretable Visual Explanation

本文介绍了一种基于图的概念瓶颈模型（G-CBM），这是一种通过非负矩阵分解来发现并定位概念，将其表示为用于图注意力网络推理的单幅图像图中的节点，并在无需预定义词汇表或外部标注的情况下，在医学影像基准测试中实现了卓越的可解释性和预测性能的无监督框架。

原作者： Md Mohasin Hossain (German Research Center for Artificial Intelligence, Saarland University, Saarbrücken, Germany), Anar Amirli (BEGO GmbH & Co. KG, Bremen, Germany), Robert Leist (German Research Cen

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Mohasin Hossain (German Research Center for Artificial Intelligence, Saarland University, Saarbrücken, Germany), Anar Amirli (BEGO GmbH & Co. KG, Bremen, Germany), Robert Leist (German Research Center for Artificial Intelligence), Md Abdul Kadir (German Research Center for Artificial Intelligence, Oldenburg University, Oldenburg, Germany), Daniel Sonntag (German Research Center for Artificial Intelligence, Oldenburg University, Oldenburg, Germany)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一台计算机识别一张黑色素瘤（一种皮肤癌）的照片与一张无害痣的照片。

现有方法的问题
当今大多数 AI 模型就像是“黑匣子”。它们看了一眼照片后会说：“那是癌症！”但它们无法解释为什么。

旧方法（热力图）： 如果你询问它们如何解释，它们会给出一张覆盖在图像上的模糊红色“热力图”。这就像是指着一大群人说：“答案就在那里面的某个地方，”却不知道具体谁才是罪魁祸首。
目前的“概念”模型： 更新型的模型试图变得更聪明。它们会说：“我看到了一个暗点和一个不规则的边缘。”但它们有两个重大缺陷：
1. 它们需要人类预先编写一份长长的规则清单（例如“寻找暗点”），这既昂贵又缓慢。
2. 它们将整个图像视为一个巨大的整体。它们可能会说“这里有一个暗点”，但它们并不知道这个暗点在哪里，也不知道是否到处散布着五个暗点。它们丢失了空间细节。

新解决方案：G-CBM
作者提出了一种名为 G-CBM（基于图的概念瓶颈模型）的新系统。可以将它想象成一家侦探机构，它通过逐步破案来解决案件，而不是仅仅靠直觉猜测。

它是这样工作的，使用简单的类比：

1. “无监督”发现（侦探的笔记本）

通常，侦探需要老板提供一份嫌疑人名单。G-CBM 则不同。它观察成千上万张照片，并自行找出线索。

如何实现？ 它使用了一种叫做 NMF（非负矩阵分解）的数学技巧。想象你有一大袋来自许多不同套装的乐高积木。与其被告知“这是一个轮子”或“这是一个窗户”，AI 会根据形状和颜色对积木进行分类。它发现了某些形状（如“轮状”或“条纹状”）总是成对出现。
结果： 它构建了一个可重复使用的视觉模式概念库（例如“色素网”、“病灶边界”或“暗点”），而无需任何人告诉它这些词是什么意思。

2. “概念图”（团队会议）

一旦 AI 找到了这些模式，它不仅仅是计数。它会为每一张图像构建一张地图（图）。

节点： 每个被发现的模式（例如“暗点”）都是会议桌旁的一位成员。
连接： AI 使用 图注意力网络 (GAT)。想象“暗点”这个人正在与“不规则边界”这个人交谈。他们讨论道：“嘿，我看到一个暗点紧挨着一个不规则的边界。这种组合很可疑！”
为什么这很重要： 这使得 AI 能够理解关系。它知道位于光滑圆圈中心的暗点，与位于锯齿状边缘的暗点是不同的。它模拟了这些复杂的相互关系，而简单的数学（线性分类器）无法做到这一点。

3. “过滤器”（保镖）

有时，AI 会看到一个微小的、模糊的污点，看起来有点像某种线索，但可能只是噪声。

G-CBM 有一个过滤器（阈值 $\tau$ ）。你可以把它想象成俱乐部里的保镖。如果一个概念（线索）不够强，保镖就会说：“你不够重要，不准进入决策过程。”
益处： 这迫使 AI 只关注最强、最确定的线索。在测试中，这实际上让 AI 变得更准确了，因为它不再被微弱且令人困惑的细节所干扰。

4. 最终解释（三个答案）

当 G-CBM 做出诊断时，它不仅仅给出一个分数。它会提供三个清晰的答案，就像一份优秀的侦探报告一样：

什么？（概念选择）：“我正在使用‘色素模式’和‘病灶边界’作为线索。”
在哪里？（概念定位）：它会在照片中的确切位置画出一个框，标出它发现“色素模式”的地方。不再是模糊的热力图了！
有多少？（重要性）：它会给出一个百分比得分：“‘色素模式’对我的决策贡献了 60%，而‘边界’贡献了 40%。”

结果

论文在四个不同的数据集（包括皮肤癌图像和救护车等普通物体）上测试了该模型。

更高的准确率： G-CBM 实际上比标准 AI 模型更擅长预测正确答案（平均准确率提升了约 3.7%）。
高效性： 通过使用“保镖”过滤器，AI 通常只需要从 10 个可能的线索中提取 2 到 3 个线索就能做出完美的诊断。
信任度： 当研究人员尝试“删除”最重要的线索时，AI 的置信度显著下降。这证明了 AI 确实是在观察正确的事物，而不是在瞎猜。

总结
G-CBM 是一种更聪明、更透明的 AI。它不再根据模糊的照片进行猜测，而是自行发现视觉线索，讨论这些线索之间的关系，忽略微弱的噪声，并向你展示它在哪里找到了证据。它完成这一切的过程，并不需要人类预先为它编写手册。

技术摘要：超越热力图：用于可解释视觉解释的无监督概念图推理

问题陈述

深度学习模型在计算机视觉领域虽然具有极高的准确性，但其决策过程的不透明性阻碍了其在医疗诊断等安全关键领域的部署。现有的解释性方法面临着显著的局限性：

事后显著性方法（例如 Grad-CAM）： 提供像素级的热力图以指示模型关注“哪里”，但无法识别驱动预测的视觉概念是“什么”。它们往往缺乏可靠性，且无法通过合理性检查（sanity checks）。
事后概念方法： 识别视觉概念，但并未将这些概念集成到预测流程中，因此无法对概念间的依赖关系进行建模。
概念瓶颈模型 (CBM)： 将解释性集成到预测过程中，但通常依赖于昂贵的、预定义的概念词汇表或监督注释。此外，标准的 CBM 将概念简化为单一的图像级评分，丢弃了空间递归性（概念出现在哪里），并且无法通过线性分类器对概念间的非线性依赖关系进行建模。它们也缺乏在输入空间中对概念进行显式对齐（grounding）的能力。

方法论：基于图的概念瓶颈模型 (G-CBM)

作者提出了 G-CBM，这是一个本质上可解释的框架，能够同时进行分类和解释，且不需要人工概念注释。该框架分为两个阶段运行：

第一阶段：无监督概念基底发现

特征提取： 将训练图像划分为补丁（区域），并通过冻结的骨干网络（如 ResNet-50）提取区域级特征。
NMF 分解： 对这些补丁的激活矩阵应用非负矩阵分解 (NMF)。NMF 发现一组可重用的、非负的概念基底 ( $C$ )，这些基底捕捉了循环出现的视觉模式（例如，“轮子”、“条纹”、“色素模式”）。
概念选择： 根据平衡类覆盖率和判别能力的评分指标来选择概念数量 ( $r$ )。这些基底被冻结并作为概念图的节点。

第二阶段：基于概念图的预测与解释

投影与过滤： 对于新的输入图像，将区域级特征投影到冻结的概念基底上，使用非负最小二乘法 (NNLS)。一个可调的阈值 ( $\tau$ ) 用于过滤掉微弱的区域级特征，从而抑制噪声并控制解释的选择性。
图构建： 构建一个逐图像的概念图，其中：
- 节点： 代表发现的概念基底。节点特征通过聚合匹配该概念的区域级特征（并根据其激活得分进行加权）来初始化。
- 边：代表所有概念节点之间的关系。
图注意力网络 (GAT)： GAT 处理该图以建模非线性的概念间依赖关系。与线性分类器不同，GAT 允许每个概念节点关注其他节点，从而捕捉复杂的相互作用。
预测： 对图进行池化并传递至分类头，以产生最终预测。

解释性输出

G-CBM 提供三种截然不同的解释信号：

概念选择（是什么）： 识别哪些概念节点具有正向的阈值化证据，表明哪些概念影响了预测。
概念对齐（在哪里）： 通过基于其激活概念的图像补丁分配对齐得分来定位概念，并通过边界框进行可视化。
重要性得分（贡献多少）： 计算预测类概率相对于每个概念节点特征的梯度敏感度，以量化其贡献度。

核心贡献

G-CBM 框架： 一个本质上可解释的图像分类框架，能够同时进行分类和解释。它将无监督概念发现（通过 NMF）与基于图的关系推理（通过 GAT）相结合，生成统一流水线中的概念选择、对齐和重要性得分。
逐图像概念图表示： 引入了一种图表示形式，其中节点聚合区域级特征，并通过学习到的图注意力捕捉非线性概念间依赖关系，从而保留了空间递归性。
可调的概念过滤： 提出了一种阈值 ( $\tau$ )，在聚合之前抑制微弱的区域级特征。这实现了对解释选择性的显式控制，并在不移除图中节点的情况下改进了概念对齐。
实证验证： 在四个数据集（ImageNet, HAM10000, PH2, Derm7pt）上验证了该方法，证明其在无需人工注释的情况下，性能与监督方法相当。

实验结果

性能： 在四个数据集上，G-CBM 相比 ResNet-50 基准实现了平均 3.7% 的相对 AUC 提升。在 HAM10000 上，它优于最强的 CNN 基准（0.923 对比 0.912）。在 PH2 上，仅使用平均 2 个（共 10 个）可用概念就达到了 0.960 的 AUC。
与监督方法的比较： 在皮肤镜基准测试（Derm7pt, PH2）中，尽管 G-CBM 不需要任何此类注释，但其表现与需要外部概念注释的监督方法（如 PCBM, CBE, MICA）相当。
忠实度： 通过带有随机消融控制的删除/插入分析确认，基于梯度的概念重要性排名能够忠实地反映模型预测。其“最相关优先”排名在这些扰动测试中显著优于随机基准。
选择性： 概念过滤阈值使得模型能够利用稀疏的概念子集实现峰值性能（例如在 HAM10000 上为 3.8/9 个概念），这表明高置信度的概念证据足以进行准确预测。

意义与主张

本文声称 G-CBM 通过提供一个能够在预测过程中同时回答“存在哪些概念”、“它们出现在哪里”以及“它们贡献了多少”的框架，解决了现有方法的局限性。

无监督发现： 它消除了对昂贵的监督概念注释或依赖不透明基础模型（LLM/CLIP）生成概念的需求。
非线性推理： 通过使用 GAT，它模拟了概念间的非线性依赖，而线性 CBM 无法做到这一点。
空间对齐： 它将概念显式地对齐到图像区域，保留了空间递归性，而不是将其坍缩为单一的图像级评分。
解释性 vs. 准确性： 结果表明，视觉分类器可以在不牺牲预测性能的情况下，通过局部化的、可重用的概念进行推理，这为安全关键领域的可解释 AI 提供了一条可行路径。