🤖 machine learning

Spatially Grounded Concept-Based Image Classification

该论文提出了 SEG-MIL-CBM，一种空间定位的概念瓶颈模型，它将图像分解为概念引导的区域，并通过注意力机制聚合分割级证据，从而在同时提高分类准确性的同时，提供内在的、具有人类可解释性的解释，且无需额外的后验归因模块。

原作者： Ran Eisenberg, Amit Rozner, Ethan Fetaya, Ofir Lindenbaum

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Ran Eisenberg, Amit Rozner, Ethan Fetaya, Ofir Lindenbaum

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探：这张照片里是什么？

大多数现代 AI 侦探（深度神经网络）非常擅长破案。它们可以告诉你：“那是只鸟！”且准确率高达 99%。但它们很难解释自己是如何知道的。它们可能会盯着背景（比如湖泊）而不是鸟本身，或者它们可能在使用一种人类无法理解的秘密代码。如果你问：“你为什么说它是鸟？”它们只会耸耸肩说：“因为数学计算就是这么说的。”

其他的 AI 侦探被称为概念瓶颈模型（Concept Bottleneck Models, CBMs），它们试图表现得更诚实。它们会说：“我看到了‘喙’和‘羽毛’，所以它一定是只鸟。”这虽然更好，但它们仍有一个缺陷：它们把整张照片看作一杯“奶昔”。它们将所有的“喙”和“羽毛”混合成一大杯信息。它们无法告诉你是在图片的哪个具体部分看到了这些特征。它们看到的究竟是左边的喙，还是右边的尾巴？它们只给出一个全局评分。

迎来新的侦探：SEG-MIL-CBM

论文的作者构建了一个新的侦探，叫做 SEG-MIL-CBM。把这个侦探想象成一名法务会计师，他不仅给出猜测，还会为自己做出的每一个决定保留一份详细的、逐项列出的收据。

以下是它的工作原理，使用简单的类比：

1. “剪切与粘贴”团队（预处理）

在侦探观察照片之前，他们使用一个专门的机器人团队（预训练 AI 工具，如 CLIP、GroundingDINO 和 SAM）将图像切割成拼图碎片。

机器人： 它们观察图像并说：“我在这里看到了一块看起来像‘亮橙色胸部’的区域，”以及“我在那里看到了一块看起来像‘黑色翅膀’的区域。”
结果： 图像不再是一个大色块，而是一袋由带有标签的不同拼图碎片（分割段）组成的集合。

2. “委员会投票”（模型）

现在，主侦探（模型）观察这袋拼图碎片。它不会将它们混合在一起，而是将每一块碎片视为法庭上的证人。

证人： 每块拼图碎片（分割段）都会说：“我是鸟的一部分，我对‘鸟’这一结论的贡献度为 40%。”另一块碎片说：“我是背景的一部分，我对‘鸟’的贡献度为 0%。”
投票： 侦探会权衡这些证词。它使用一种特殊的“注意力”机制，通过更仔细地倾听那些看起来最重要的碎片，并忽略噪音。

3. “逐项列出的收据”（解释）

这是神奇之处。因为最终答案仅仅是所有证人投票的总和，所以侦探可以打印出一份逐项列出的收据。

收据： 它不仅仅说“鸟”。它会写道：
- 证人 1（橙色胸部）： 对“鸟”贡献了 +0.42 分。
- 证人 2（黑色翅膀）： 对“鸟”贡献了 +0.32 分。
- 证人 3（蓝天）： 0 分。
益处： 你可以清楚地看到 AI 看向了哪里，以及它看到了什么。如果 AI 犯了错，你可以查看收据并说：“啊，你关注错了拼图碎片！”

为什么这很重要？（“捷径”问题）

有时，AI 会变得偷懒。它们会学习“捷径”。

场景： 假设一个训练用来识别鸟类的 AI。它注意到在大多数训练照片中，鸟都在水面上。因此，它学会了：“如果我看到水，那就是鸟。”
失败： 如果你给它看一只在树上的鸟，它可能会感到困惑，因为它在寻找水。
旧方法： 全局 CBM 仍然可能被欺骗，因为它们会将“水”和“鸟”混合成一个分数。
SEG-MIL-CBM 的方式： 因为这个模型是分别观察碎片的，它可以识别出：“这一块是树上的鸟（好！），但那一块是水（坏/捷径）。”它可以选择忽略水的部分，转而关注鸟的部分。

他们证明了什么？

作者在几个挑战中测试了这个新侦探：

它是诚实的： 他们进行了测试，通过逐一移除“最重要的”拼图碎片，发现模型的置信度正如预期般下降，这证明了其解释过程与思考过程是一致的。
它是聪明的： 它不仅在解释方面做得更好，而且在处理其他“诚实”模型失败的困难案例时（特别是在 AI 通常会被背景误导的数据集上），表现得更加出色。
它速度足够快： 它在标准的图像识别任务中表现良好，而不仅仅是在那些棘手的任务中。

核心结论

这篇论文介绍了一个迫使 AI 展示其推导过程的系统。它不再是一个只给出答案的黑盒，而是为你提供一张高亮显示的图像地图，以及针对每个高亮区域的计分卡。

旧 AI： “它是只鸟。”（相信我，我很聪明。）
旧的“诚实” AI： “它是只鸟，因为它具备‘羽毛’和‘喙’等概念。”（但我无法告诉你你在哪里看到了它们。）
SEG-MIL-CBM： “它是只鸟。这是左边的‘羽毛’碎片（得分：0.4），这是右边的‘喙’碎片（得分：0.3）。我忽略了背景中的水。”

作者声称，这使得 AI 更加可靠，尤其是在它可能受到诱惑去走“偷懒捷径”的时候，并且它允许人类在无需使用单独且复杂的解释工具的情况下，对决策进行审计。

技术摘要：SEG-MIL-CBM

问题陈述
深度神经网络通常通过依赖伪相关性或难以检查的证据来获得高准确率，这在高度敏感的场景中尤为突出。虽然概念瓶颈模型（CBMs）通过将图像映射到人类定义的概念来提供具有人类可解释性的推理，但大多数现有 CBM 将概念视为全局属性。这种全局方法无法识别哪些特定的图像区域支持了某个概念，从而在预测与其解释之间留下了鸿沟。此外，空间定位 CBM（例如 SALF-CBM）虽然可以定位证据，但并未明确说明区域级证据是如何聚合到最终决策逻辑值（logit）中的，这往往导致解释与产生预测的计算过程是脱节的。

方法论：SEG-MIL-CBM
作者提出了 SEG-MIL-CBM（空间定位概念型图像分类模型），该模型旨在将图像分解为概念引导的区域，并通过基于注意力的分段证据聚合来进行分类。其核心创新在于，用于形成预测的相同分段证据项被直接读取以生成解释，从而消除了对独立的后验归因模块的需求。

该流水线由四个阶段组成：

离线预处理： 利用预训练的基础模型（CLIP、GroundDINO 和 SAM），系统为每张图像生成一个由概念引导的“包”（bag）式分段。GroundingDINO 用于定位概念，SAM 生成二值掩码。这些分段连同冻结的 CLIP 概念相似度目标一起被缓存。
分段编码： 一个可训练的模型使用共享骨干网络 ( $\phi$ ) 对每个分段进行编码，生成特征 ( $h_i$ )。线性概念头将这些特征投影到概念空间，从而产生学习到的概念激活值 ( $z_i$ )。
可问责聚合（MIL）： 模型采用基于注意力的多实例学习（MIL）框架。它为每个分段计算类别条件注意力权重 ( $\alpha_{i,y}$ )，并将分段类得分 ( $g_{i,y}$ ) 聚合为图像级逻辑值 ( $\ell_y = \sum \alpha_{i,y} g_{i,y}$ )。
解释生成： 最终的逻辑值是显式分段贡献的总和。解释是通过从该分解中读取非偏置证据项 ( $C^{sp}_{i,y}$ ) 来生成的。这揭示了哪些区域对预测产生了正向贡献，以及这些区域内的哪些特定概念提供了该支持。

训练目标结合了图像级交叉熵损失与学习到的概念激活值与冻结的 CLIP 目标之间的余弦对齐损失，从而在无需在训练期间进行显式概念或组标签的情况下确保语义一致性。

核心贡献

可问责聚合： 作者构建了空间概念预测，使得每一个显示的区域得分都直接从逻辑值分解中的非偏置分段证据项中读取，从而创建了一个统一的预测与解释体系。
忠实度验证： 通过在 CUB 数据集上进行分段级删除和插入实验，本文定量地验证了学习到的分段排名忠实于模型自身的预测路径，其表现优于基于原始 CLIP 显著性、分段面积和随机排名的对照组。
可解释性-鲁棒性权衡： 模型证明了“可解释性优先”的设计可以在保持竞争力的识别准确率的同时，提高相对于已评估的 CBM 系列基准模型的最差组准确率（worst-group accuracy）。它明确展示了可解释性与非可解释组鲁棒方法所能达到的最高最差组准确率之间的帕累托（Pareto）权衡。

结果

组鲁棒性： 在 Waterbirds 数据集（一个针对伪背景相关性的基准测试）上，SEG-MIL-CBM 将最差组准确率从 65.1% (SALF-CBM) 提升至 72.0%。在合成数据集 Pawrious 上，它实现了 87.4% 的最差组准确率，显著优于无法缓解背景捷径问题的全局 CBM 基准模型。
标准识别： 该模型在标准识别任务中保持了竞争力，在 CIFAR-100 上达到了最佳 CBM 准确率 (85.3%)，并在 Places365 和 CUB 上较之前的空间 CBM 有所提升。
忠实度： 在 CUB 上，该模型在评估的对照组中实现了最佳的删除/插入 AUC (DAUC/IAUC: 0.444/0.670)。Top-1 插入测试显示，仅保留排名最高的分段时，仍有 90.5% 的图像保留了原始预测。
消融实验： 实验证实，性能提升是由局部证据的显式聚合驱动的，而非隐藏特征旁路；同时，概念对齐损失对于维持用于解释的语义接口至关重要。

意义与主张
本文声称 SEG-MIL-CBM 通过作为预测本身的“审计追踪”（audit trail）提供了一种更强的解释形式。与将热图附加到独立分类器上的后验方法不同，SEG-MIL-CBM 确保了显示的区域证据是前向计算本身固有的。

作者将 SEG-MIL-CBM 定位为非可解释组鲁棒方法（这些方法在 Waterbirds 等特定数据集上可能获得更高的最差组准确率）的一个不同点，而非其替代品。它提供了一个权衡方案：从业者可以在获得空间定位的概念级决策依据（即明确识别出哪些物体部件或背景区域支持了预测）的同时，保持竞争力的准确率，并获得优于其他可解释基准模型的鲁棒性。这项工作强调，即使不能保证消除所有捷径，这种方法也使得故障（例如对背景捷径的依赖）比全局瓶颈模型更易于检查。