🤖 AI

Causal Explanations for Image Classifiers

本文介绍了 ReX，这是一个基于形式化实际因果理论的新型黑盒框架，它能为图像分类器计算出高效、极简且高质量的解释，在速度和解释规模方面均优于现有的最先进工具。

原作者： Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但又很神秘的机器人，它看着一张照片并说：“那是一只瓢虫！”你问：“为什么？”机器人无法告诉你，因为它是一个“黑盒”——它的内部齿轮和电线是隐藏起来的，甚至连建造它的开发者也不完全理解它是如何做出决策的。

这篇论文介绍了一种询问这个“为什么？”问题的新方法，能够获得清晰、诚实的答案，而无需打开机器人的引擎盖。作者们将这种方法称为 rex。

以下是其工作原理的拆解，使用了简单的类比：

1. 问题所在：“热力图” vs. “真相”

目前的工具大多试图通过在图片上绘制“热力图”来解释机器人的决策。它们将认为重要的部分涂成红色，将不重要的部分涂成蓝色。

缺陷： 这些热力图通常很模糊。它们可能会高亮显示整个瓢虫，但也可能包括周围的草地、天空和一片随机的叶子。这就像一名侦探指向犯罪现场并说：“罪犯就在这个整个社区的某个地方。”如果你想知道究竟是“谁”干的，这并没有什么帮助。

2. 解决方案：“最小成分”测试

由 Hana Chockler 及其同事领导的研究者决定使用逻辑学中的一个概念，即因果关系（causality）。他们不再猜测什么是重要的，而是问一个简单的问题：“我需要保留这张图片的绝对最小量，才能仍然得到相同的答案？”

把这想象成一个食谱：

如果你正在烤蛋糕，机器人说：“这是一个巧克力蛋糕。”热力图可能会说：“面粉、糖、鸡蛋和碗都很重要。”
rex 方法就像一位厨师，他会说：“事实上，如果我拿掉碗，蛋糕仍然是蛋糕。如果我拿掉糖，它就不是了。如果我拿掉面粉，它也不是了。但如果我只保留面粉、糖和鸡蛋，并扔掉其余部分，它仍然是一个巧克力蛋糕。”

rex 寻找的是让机器人说出“瓢虫”所严格必需的最小像素组（即“成分”）。如果你遮盖住其他所有部分，机器人仍然能看到一只瓢虫。

3. 工作原理：“蒙眼侦探”

由于机器人是一个黑盒，rex 无法窥视其内部。相反，它玩了一场“遮盖与揭开”的游戏：

划分（The Partition）： 它将图像切成四个随机的块（就像切披萨一样）。
测试（The Test）： 它遮盖不同组合的这些块，并询问机器人：“它仍然是瓢虫吗？”
细化（The Refinement）： 如果即使在一个块被遮盖时机器人仍回答“是”，那么这个块就不重要。如果机器人在一个块被遮盖时回答“否”，那么这个块就是至关重要的。
迭代（The Iteration）： 它不断地将这些“至关重要”的块切割成越来越小的碎片，周而复始，直到它找到那些真正起作用的微小像素。
平均值（The Average）： 为了确保它不是因为某种特定的切割方式而侥幸成功，它会通过不同的切割方式多次重复这个过程，并对结果取平均值。

4. 结果：更小、更精准、更快速

作者使用数千张图像，将 rex 与其他流行工具（如 Grad-CAM、LIME 和 SHAP）进行了对比测试。以下是他们的发现：

极小的解释： rex 生成的解释极其微小。在许多情况下，“解释”覆盖的面积不到图像的 5%。其他工具往往会高亮显示 10% 到 50% 的图像，其中包含大量的“噪声”（无关背景）。
精准度： 因为 rex 只高亮显示那些严格必要的部分，它避免了指向无关的事物。例如，在一张公交车的照片中如果站着一个人，rex 会正确地忽略那个人，而专注于证明那是公交车的部件。
速度： 尽管它做了大量的测试，但它出奇地快。它是测试过的最有效的“黑盒”工具，通常甚至能击败那些被允许窥视机器人大脑的“白盒”工具。

5. 对“删除”的一种新见解

论文还挑战了一种衡量质量的常用方法，即“删除曲线（deletion curve）”。

旧方法： 人们认为，如果开始删除被高亮显示的像素，一个好的解释应该能让机器人的置信度迅速下降。
新见解： 作者认为这是具有误导性的。有时一张图像有多个分类依据（例如，一张海星的照片可以通过左臂或右臂来识别）。如果你删除了左臂，机器人仍然能看到右臂并保持置信度。
类比： 想象一个安全系统，如果你持有钥匙或者指纹，它就会开启。如果你移除了钥匙，系统仍然会因为指纹而开启。一个“差”的删除得分并不意味着解释是错误的；它意味着系统找到了多个有效的理由。rex 足以聪明到能找到所有这些不同的“钥匙”，而其他工具通常只能找到其中之一。

总结

这篇论文提出了 rex，它将 AI 图像分类器视为一个需要通过排除法来解决的谜题。它不是在猜测 AI 看到了什么，而是系统地遮盖图像的部分，直到找到证明 AI 决策的微小且本质的“指纹”。其结果是一个比目前任何现有的黑盒方法都更小、更精确且更可靠的解释。

技术摘要：图像分类器的因果解释

问题陈述
神经网络（NN）作为复杂的非线性“黑盒”运行，使得追踪像素数据如何被解释以产生分类结果变得十分困难。这种不透明性在处理专有系统（如医疗保健领域）时尤为严重，因为其内部层是无法访问的。现有的图像分类器可解释人工智能（XAI）技术通常依赖于基于梯度、传播或扰动的像素排名或热图。然而，这些方法缺乏基于形式化定义之因果关系和解释的原则性方法。此外，现有工具往往生成的解释过于庞大、包含无关信息，或者依赖于任意的初始分割（如 LIME）或无引导的随机遮挡（如 RISE）。本文旨在解决为图像分类器建立一个正式、严谨的解释定义，并提出一种无需打开模型“黑盒”的高效计算方法。

方法论
作者提出了一种基于实际因果理论（actual causality）的新颖黑盒方法，具体而言是将 Halpern [2019] 的定义应用于图像分类。

形式化定义： 本文将解释定义为：在所有其他像素都被遮挡（替换为来自预定义数据集的数据）的情况下，足以获得与原始图像相同分类结果的具有其原始值的最小像素子集。图像分类器被建模为一个深度为 2 的因果模型，其中输入像素是外生变量，分类是输出。
不可行性： 作者证明了计算精确的最小解释是不可行的（其复杂度随像素数量呈指数级增长）。因此，他们提出了一个近似算法。
rex 算法： 提出的工具 rex 通过两个主要阶段计算近似解释：
- 因果排序（Causal Ranking）： 该算法将图像划分为矩形“超像素”（初始为 4 个）。它通过测试掩码/未掩码区域组合对模型的响应，来计算每个超像素的“充分责任程度”。这是一个迭代过程：高责任度的超像素会被递归地细分并重新评估。为了减轻单一划分带来的偏差，算法会在多个随机初始划分下多次运行，并对产生的责任得分进行平均，从而生成像素级的排名。
- 解释提取（Explanation Extraction）： 利用排名列表，贪婪算法构建解释。它从最高排名的列表中添加像素到空集合中，直到模型在该子集上的输出与原始分类一致。
复杂度： 作者证明了该算法会终止，并证明其调用模型的次数与图像大小呈线性关系（ $O(2^s n N)$ ，其中 $s$ 是划分大小， $n$ 是像素数量， $N$ 是迭代次数），这使其在计算上是可行的。

核心贡献

形式化框架： 本文基于实际因果关系建立了图像分类器的正式解释定义，将其与启发式或基于梯度的重要性度量区分开来。
算法与工具 (rex)： 它引入了一种高效的黑盒算法用于计算近似最小解释，并实现为一个开源工具。
理论保证： 作者为算法的终止性和复杂度提供了证明，并讨论了其与精确定义之间的近似比。
质量指标： 本文批判性地评估了标准 XAI 指标，认为虽然插入曲线（insertion curves）和解释大小是稳健的，但删除曲线（deletion curves）可能会产生误导，因为对于拥有多个有效解释的模型，高删除 AUC 可能源于多个不同的解释区域而非质量低下。

实验结果
作者在四个数据集（ImageNet-1k-mini, VOC2012, ECSSD 以及一个自定义的“摄影干扰/Photobombing”数据集）和三个模型（ResNet50, ViT, ConvNext）上，将 rex 与最先进的白盒（如 Grad-CAM, LRP）、灰盒（如 Integrated Gradients, GradientSHAP）和黑盒（如 LIME, RISE, KernelSHAP）工具进行了评估。

解释大小： rex 始终产生最小的解释，平均仅占图像大小的 3% 到 5%。这显著小于其他黑盒工具，并且通常优于 Grad-CAM 等白盒方法。
效率： rex 是最高效的黑盒工具，其执行时间与其他基于扰动的方法相当（包括提取过程约为 4–6 秒），且明显快于 RISE。
质量度量：
- 插入曲线： rex 获得了最高的曲线下面积（AUC），表明其识别出的像素在恢复分类置信度方面非常有效。
- 分割重叠度： 在具有人类提供分割数据的数据集上，rex 的解释显示出与相关物体的高重叠度，以及与无关背景或遮挡物的极低重叠度。
- 删除曲线： 作者指出，rex 的删除 AUC 通常高于竞争对手。他们认为这并非失败而是特性：rex 识别出了多个不同的解释区域（例如物体的多个部分），删除其中一个区域的像素并不会立即破坏其他区域的信号，这与识别出单个弥散区域的工具不同。

意义与主张
本文声称 rex 通过提供不仅在计算上高效而且在理论上基于因果关系的解释，代表了黑盒 XAI 的重大进步。作者断言，rex 产生了黑盒工具中最细小、最精确的解释，在解释大小和集中度方面通常优于白盒方法。

至关重要的是，论文指出 rex 解释的微小尺寸（通常 <5% 图像）意味着进一步缩减是没有意义的，因为所识别的像素已足以支持分类。作者还强调，其方法不依赖于预先存在的图像分割，因此在分割掩码可能缺失或不准确的不同数据集和模型架构下具有鲁棒性。这项工作证明，当受到正式因果定义引导时，黑盒方法可以达到与白盒方法相当甚至更好的解释质量。

1. 问题所在：“热力图” vs. “真相”

2. 解决方案：“最小成分”测试

3. 工作原理：“蒙眼侦探”

4. 结果：更小、更精准、更快速

5. 对“删除”的一种新见解

总结

类似论文