Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification
本文介绍了 Visual-TCAV，一种通过生成类无关的显著图来定位输入图像中的概念，并利用积分梯度（Integrated Gradients）的推广方法来估算这些概念对特定类别预测的归因，从而弥合显著性方法与基于概念的方法之间鸿沟的新型可解释性框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个超级聪明的机器人，它能观察一张照片并准确地告诉你其中有什么。也许它看到一只斑马，然后说：“那是一只斑马！”但问题在于，这个机器人是一个黑盒。你可以看到它“吃”进什么（照片），以及它“吐出”什么（答案），但你完全不知道它是如何做出判断的。它可能是在看条纹，也可能只是在看背景里的草地。
长期以来，科学家们有两个不同的工具可以窥视这个黑盒，但两者都有一个主要的盲点：
- “聚光灯”工具（显著性图/Saliency Maps）： 这个工具能照亮照片中机器人正在注视的部分。它很擅长表达：“机器人在看条纹！”但它无法告诉你条纹为什么重要。是因为条纹是黑色的吗？因为是白色的吗？还是因为它们是弯曲的？它并不理解“概念”。
- “敏感度”工具（TCAV）： 这个工具会询问：“机器人在意‘条纹’吗？”它能告诉你：“是的，机器人对条纹这个概念非常敏感。”但它无法告诉你机器人是在照片的哪里看到了条纹，也无法告诉你这些条纹在多大程度上帮助机器人做出了那个特定的决定。
迎来 Visual-TCAV：侦探的放大镜
论文作者创建了一个名为 Visual-TCAV 的新工具。你可以把它想象成一个结合了两者优点的侦探。它不仅能告诉你机器人正在想什么或在看哪里，还能告诉你它在哪里找到了某个特定的想法，以及这个想法对最终答案的贡献程度有多大。
它是这样工作的，我们用简单的类比来说明：
1. 教机器人一个新词（CAV）
首先，你必须教会机器人一个特定的概念看起来是什么样的。假设你想知道机器人是否理解“凹痕”（比如高尔夫球上的凹痕）。你给机器人看30张高尔夫球的照片（正例）和500张随机的其他物体的照片（负例）。
该工具会为“凹痕”创建一个“精神指纹”。这就像是给了机器人一副特殊的眼镜，这副眼镜只能突出显示凹痕。
2. “在哪里”的地图（概念图/Concept Map）
一旦机器人拥有了这副“凹痕眼镜”，Visual-TCAV 就会让机器人戴上它，并观察一张新的照片。然后它会在照片上画出一张热力图。
- 红色区域： “在这里，机器人清楚地看到了凹痕。”
- 蓝色区域： “在这里，机器人没看到任何与凹痕相关的东西。”
这解决了“敏感度”工具无法显示概念位于“哪里”的问题。现在你可以精确看到高尔夫球的哪个部分正在被机器人分析。
3. “有多少”的分数（概念归因/Concept Attribution）
这是神奇之处。该工具不仅仅是说“机器人看到了凹纹”。它会计算一个分数来回答：“看到这些凹痕在多大程度上帮助机器人判定这是一个高尔夫球？”
想象机器人是一位正在审理案件的法官。
- 旧工具可以说：“法官查看了证据。”（显著性图）或者“法官在意这类证据。”（TCAV）。
- Visual-TCAV 则会说：“法官查看了位于右上角的证据（凹痕），并且那件特定的证据对最终判决的贡献率为 40%。”
它通过使用一种名为“积分梯度”（Integrated Gradients）的数学技术来实现这一点，这种技术本质上是追踪机器人决策的过程——从一张空白屏幕到最终的照片，测量每一步是如何改变其心智变化的。
为什么这很重要？（“捉弄”测试）
作者通过一个聪明的实验测试了这一点。他们训练机器人去识别三样东西：黄瓜、出租车和斑马。但他们玩了个花招：他们在图片中加入了一个随机的字母（比如“Z”）放在一个有颜色的方块里。
- 设置： 有些机器人在没有字母的图片上进行训练；另一些机器人在带有字母的图片上进行训练。
- 陷阱： 他们在字母与动物不匹配的图片上测试机器人（例如，带有一个“C”字母的斑马）。
- 结果：
- 那些在“字母密集型”图像上训练的机器人停止观察真正的动物。它们只是在寻找字母。如果它们看到了“C”，它们就会猜是“黄瓜”，即使那明明是一只斑马。
- Visual-TCAV 立刻抓住了这一点。 它显示对于那些“字母密集型”机器人，“斑马”这个概念的重要性几乎为零，而“字母 C”这个概念的权重得分却非常高。
- 旧工具（TCAV）则感到困惑。它们说：“机器人对斑马和字母都具有敏感性！”但它们无法告诉你机器人实际上是在忽略斑马而只关注字母。Visual-TCAV 看到了这种量级上的差异（即它们到底有多重要），而不只是方向上的差异。
总结
Visual-TCAV 是一种与 AI 对话的新方式。它让你能够提问：
- 你在哪里看到了“条纹”？（它会画出一张地图）。
- 看到“条纹”在多大程度上帮助你做出了决定？（它会给出一个分数）。
这有助于人类更加信任 AI，因为他们可以验证机器人是否真的在观察正确的东西（比如斑马身上的条纹），而不是通过观察背景或随机字母来“作弊”。它弥合了“我看到你在看什么”与“我理解你为什么做出那个选择”之间的鸿沟。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。