A Human-Centered Validation of the Explainability-Performance Coefficient
本文引入了 EPC 分数，这是一种与模型无关的指标，通过平衡特征稀疏性与性能保持来量化解释质量，并通过证明其与以人为中心的理解具有高度一致性，验证了其在多种数据模态中的有效性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你制造了一个超级聪明的机器人，它能预测未来、诊断疾病，或者决定谁能获得贷款。它在工作中表现得极其出色，但它也是一个“黑盒”——你看不透它的思考过程。它只是给你一个答案，而你只能选择信任它。这就是深度学习的世界，它是人工智能的一个分支，计算机通过模仿人类大脑来进行学习。但问题在于：由于这些机器人如此复杂，我们往往不知道它们为什么做出某些决定。这是一个大问题，尤其是当机器人犯错，或者法律规定我们有权了解决策是如何做出的时候。
为了解决这个问题，科学家们创造了一个名为“可解释人工智能”（XAI）的领域。把 XAI 想象成一个翻译官，试图向我们解释机器人的思维。它会标出机器人用来做出选择的“线索”，比如指向句子中的某个特定词汇或照片中的某个特定部分。但棘手的是：有时候翻译官会撒谎。它可能会指向一个看起来很重要但实际上与决策无关的线索，或者完全遗漏了真正的线索。我们需要一种方法来测试这些解释究竟是在讲述真相，还是在胡编乱造。
这篇论文关于构建一个更好的针对这些 AI 解释的“测谎仪”。作者 Christian Oliva 和 Luis F. Lago-Fernández 引入了一个新工具，叫做 EPC 分数。想象一下你正在试图破解一个谜团，并且你有一份嫌疑人名单。一个好的解释应该能准确地告诉你哪几个嫌疑人是有罪的，哪些是无辜的。EPC 分数通过玩一个游戏来测试这一点：它会问道，“如果我们移除 AI 声称重要的那些线索，机器人是否会停止工作？以及如果我们移除它声称不重要的那些线索，机器人是否能继续正常工作？”如果解释是诚实的，当你拿走重要的线索时，机器人应该崩溃；而当你拿走垃圾信息时，它应该保持稳定。EPC 分数衡量了一个解释通过这项测试的程度，并用一个单一的数字来展示其可信度。
研究人员不仅仅提出了一个理论；他们通过三个非常不同的世界对这个新分数进行了测试：数字世界（如银行贷款数据）、图像世界（如识别数字或复杂图像）以及文字世界（如判断电影评论是开心还是悲伤）。他们让不同的解释方法展开对决，从仅仅观察数学规律的简单方法，到试图在不了解内部结构的情况下猜测机器人思想的复杂方法。
他们的发现有点像一场比赛，其中重量级选手踉跄跌倒，而短跑选手赢得了胜利。那些复杂的、“模型无关”（model-agnostic，即试图在不了解内部结构的情况下适用于任何机器人的）方法被证明极其缓慢，且在数据变得复杂时往往给出糟糕的解释。另一方面，一种被称为集成梯度（Integrated Gradients, IG）的方法始终处于领先地位。它既快速又准确，并在所有领域都获得了最高的 EPC 分数。
但真正的魔力发生在他们将这些分数与人类直觉进行对比时。在文字世界中，他们将 AI 的“重要词汇”与人类情感词典进行了对比。他们发现，那些 EPC 分数较高的解释，所选出的词汇确实是人类公认的积极或消极词汇。在图像世界中，他们检查了 AI 是否在看图片的正确部分（比如狗的脸），还是仅仅在看背景。同样，高分值的解释都聚焦于实际的对象，而非仅仅是风景。
其中一个最有趣的发现是，你“擦除”信息的方式会改变结果。当他们测试图像解释时，他们发现仅仅将像素变黑（零掩码/zero-masking）会产生奇怪的虚假边缘，从而误导 AI。这使得一些解释看起来很好，仅仅是因为它们避开了这些虚假边缘。但当他们使用“模糊”代替“变黑”时，结果发生了彻底的变化。突然间，那些观察每一个微小像素的方法（如集成梯度）成为了明显的赢家，而那些只观察大块模糊区域的方法则落后了。这表明，为了获得对 AI 思维的真实读取，你必须小心不要在测试过程中引入虚假线索。
最后，论文指出 EPC 分数是一种可靠的方法，可以用来分辨好的解释和坏的解释。它证明了最好的解释不仅仅是标出一个大致区域，而是要精准定位出 AI 做出决策所需的、确切且必要的证据。虽然作者并不声称这解决了 AI 领域的所有谜团，但他们的实验有力地表明，如果你想要一个可以信任的解释，你应该寻找那个在 EPC 测试中得分高的解释，而集成梯度这种方法，似乎是这场比赛中目前的冠军。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。