🤖 AI

Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI

本文介绍了激活-去激活（Activation-Deactivation, AD），这是一种新颖的后验解释性框架，它通过使用内部模型去激活来取代输入扰动，从而在无需额外训练的情况下生成更具鲁棒性和迁移性的解释。

原作者： Akchunya Chanchal, David A. Kelly, Hana Chockler

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Akchunya Chanchal, David A. Kelly, Hana Chockler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明但神秘的机器人，它通过观察图片来告诉你它看到了什么（比如“那是一只罴！”或者“那是一只鸭嘴兽！”）。问题在于，这个机器人是一个“黑盒”——你无法看到它是如何思考的。你想知道：是图片的哪些部分让机器人说出了“罴”这个词？

这就是可解释人工智能（XAI）的问题。这篇论文介绍了一种回答这个问题的全新方法，叫做激活-去激活（Activation-Deactivation, AD），以及一个专门用于此工具的工具，叫做 convad。

以下是它的工作原理，使用简单的类比：

旧方法：“坏邻居”问题

目前大多数方法试图通过**改变（mutate）**图片来解释机器人的决策。

类比： 假设你想知道一位厨师著名的汤之所以好喝是因为胡萝卜。为了测试这一点，你从汤里舀出一勺，然后把胡萝卜换成了……卫生纸、沙子或蓝色油漆。
问题： 如果你在汤里放了卫生纸，这碗汤就不再是“汤”了。它变成了一个奇怪的、超出分布（out-of-distribution）的混乱物。如果厨师说：“我不喜欢这个，”你并不知道是因为缺少了胡萝卜，还是仅仅因为你用卫生纸毁了这碗汤。
在论文中： 这被称为使用“分布外变体（out-of-distribution mutants）”。旧方法会用随机值（如零、灰色或噪声）来遮盖图像的部分。取决于你用什么来遮盖，你会得到不同的、往往令人困惑的答案。有时，仅仅因为你用错误的颜色遮盖了雪景，机器人就会把一张雪人的照片误认为是一只绵羊。

新方法：“静音开关”（激活-去激活）

作者说：“为什么要改变食材？直接告诉机器人忽略它们不就行了吗。”

类比： 与其把胡萝卜换成卫生纸，不如想象一下你只是关掉了厨房里胡萝卜所在区域的灯。胡萝卜仍然在那里，但厨师的眼睛（机器人的传感器）看不见它们。其余的汤依然保持完美正常。
工作原理： convad 工具完全没有改变图片。相反，它进入机器人的大脑（神经网络）并拨动开关。如果图片的某个部分应该被“遮盖”，该工具就会阻止来自该部分的信息在机器人的大脑中传递。它实际上是在说：“假装这张图片的这部分不存在”，而无需实际改变图像数据。

为什么这更好？

不再是猜谜游戏： 旧方法需要你猜测：“我应该用黑色遮盖？灰色？还是白色？”论文表明，答案会完全取决于你的猜测。convad 不需要任何猜测。它只需关闭信号即可。
稳定性： 因为它不会引入奇怪的“卫生纸”像素，机器人的反应要可靠得多。论文在许多不同类型的机器人（模型）和图片（数据集）上测试了这一点。
“金发姑娘区”（恰到好处）： 研究人员发现，convad 的解释恰到好处。它们不会太大（浪费空间在无关像素上），也不会太嘈杂（令人困惑），而且非常鲁棒（即使你把图片放在纯色背景下，它们依然有效）。

结果

论文将 convad 与当前最优秀的方法（如 LayerMask、LIME 和 Grad-CAM）进行了对比测试。

鲁棒性： 即使背景发生变化，convad 在提供机器人真正信任的解释方面也比其他方法好 30-40%。
可迁移性： 如果你使用 convad 在一种类型的机器人上找到了图片的“重要部分”，这些相同的部分通常也适用于另一种类型的机器人。其他方法往往会失败。
无需训练： 你可以拿任何已经训练好的机器人，接入 convad，它就能立即工作。你不需要重新教导机器人任何东西。

缺陷（局限性）

内部访问权限： 要使用 convad，你需要能够打开机器人的大脑并接触到电线（访问模型的内部层）。你不能在你看不到内部结构的机器人（真正的“黑盒”）上使用它。
泄漏： 有时，如果“关闭”开关不够完美，可能会有极少量的信息“泄漏”出来，就像门缝下的光线一样。作者承认了这一点，但表示这是一种罕见的极端情况。

总结

这篇论文提出了一种理解 AI 决策的新方法。与其用奇怪的值弄乱输入图片（比如“卫生纸”汤），convad 只是通过切断模型内部的信号，告诉 AI 忽略图片的特定部分。这使得 AI 做出决策的原因变得更加清晰、可靠且值得信赖。

技术摘要：用于鲁棒后验可解释人工智能（XAI）的激活-去激活（AD）技术

1. 问题陈述

当前的基于扰动的可解释人工智能（XAI）方法（如 LIME、SHAP 和 REX）依赖于通过遮蔽或掩盖特定特征来创建输入数据的“变体”。这些方法通常使用预定义的数值（例如零、均值、高斯模糊或随机噪声）来替换被遮蔽的像素。作者认为，这种方法会生成分布外（out-of-distribution, o.o.d.）输入，从而使生成的解释的可信度受到质疑。

遮蔽值的选择会显著影响解释质量。正如论文中所展示的，不同的遮蔽值（例如零与最大值）会导致截然不同的最小充分像素集（MSPS），其中一些甚至可能不符合人类直觉或模型的实际决策边界。此外，现有方法通常需要领域特定的适配或专家知识来选择“正确”的遮蔽值，这引入了主观性和不一致性。

2. 方法论：激活-去激活（AD）

本文介绍了激活-去激活（Activation-Deactivation, AD），这是一种全新的前向传播范式，它完全消除了对输入扰动的需求。AD 不修改输入图像，而是修改推理过程中模型的内部状态。

核心机制：

概念： AD “关闭”了模型中对应于预期扰动的部分。它限制了与被遮蔽输入特征相关的激活传播，有效地迫使模型忽略这些区域，而无需改变输入分布。
实现（convad）： 作者通过名为 convad 的算法为卷积神经网络（CNN）实现了 AD。
- 检查点（Checkpoints）： 该算法在特定层（例如，在改变维度的操作之前或卷积层之间）插入检查点。
- 位置归因（Position-Attribution）： 它利用位置归因函数 $\Phi_i$ 来计算贡献给特定激活的被遮蔽特征与未遮蔽特征的比率。
- 阈值化（Thresholding）： 超参数 $\tau$ 决定了去激活的阈值。如果被遮蔽特征的比率超过 $\tau$ ，则相应的激活被设为零。
- 掩码传播（Mask Propagation）： 掩码会被更新并沿网络传播。对于保持形状的操作，使用均值核卷积来更新掩码。对于改变维度的操作，掩码根据具体操作进行调整（例如，使用 1 或 0 进行填充）。

理论保证：
论文证明，如果输入掩码是“空”的（全为 1），则经过 convad 增强的模型 $N'$ 的行为与原始模型 $N$ 完全一致。这确保了该框架在没有特征被遮蔽时不会改变模型的基准行为，作者指出 LayerMask 等类似工具缺乏这一保证。

3. 核心贡献

新范式： 引入了 AD，它以内部激活去激活取代了输入扰动，从而使模型的输入特征严格保持在分布内。
算法实现： 开发了 convad，这是一种针对已训练 CNN 的“即插即用”机制，无需额外的训练、微调或领域特定的遮蔽值知识。
理论框架： 在 AD 框架内提供了位置函数和位置归因函数的正式定义，并证明了在无遮蔽条件下的行为等效性。
全面评估： 在多种架构（ResNet-50, RegNetY-12GF, EfficientNet-V2）和数据集（ImageNet-1k, ImageNet-v2, PASCAL-VOC）上，针对最先进的黑盒和白盒方法（LIME, Grad-CAM, REX）以及 LayerMask 工具进行了严格对比。

4. 实验结果

作者根据鲁棒性（robustness）、迁移性（transferability）、规模（size）、**冗余度（redundancy）和重叠度（overlap）**评估了解释质量。

鲁棒性： convad 在所有基于掩码的策略中表现始终优于其他方法。在纯色背景上，convad 的解释能更频繁地保持正确的分类。在同分布（i.i.d.）背景下，在置信度阈值较高时，convad 表现出约 20% 的鲁棒性，平均领先其他方法 30–40%。
迁移性： 与其他方法相比，由 convad 生成的 MSPS 在不同模型架构间的迁移性提高了高达 22%，这表明它们依赖的是真正的判别性特征而非捷径。
金发姑娘区（Goldilocks Zone）： 对鲁棒性、解释规模和噪声之间关系的分析表明，convad 的解释占据了一个“金发姑娘区”：它们具有高度的鲁棒性、低噪声（低冗余）且规模紧凑。其他方法往往会在其中至少一个维度上表现不佳。
独立于遮蔽值： 不同于结果随所选遮蔽值（如零 vs 最大值）剧烈变化的扰动方法，convad 在不需要选择遮蔽值的情况下也能产生一致的结果。

5. 重要性与主张

论文声称 AD 解决了基于扰动的 XAI 的根本缺陷：生成分布外输入。通过去激活激活而非改变输入，convad 提供的解释具有以下特点：

更鲁棒： 对特定的扰动策略选择不敏感。
更具迁移性： 被识别为重要的特征在不同模型架构之间具有一致性。
模型无关（在架构内）： 该算法对于所有相同架构（CNN）的模型都是相同的，无需重新训练。
忠实性： 解释严格遵循模型的置信度阈值和决策逻辑，不会通过遮蔽值引入人工伪影。

作者总结道，虽然目前的实现仅限于 CNN 且需要通过白盒访问来修改内部层，但 AD 框架提供了一种原则性的替代方案，可以取代掩码，从而显著提高后验解释的可靠性。未来的工作计划将该框架扩展到 Transformer 和基于注意力机制的模型。