Challenges in Evaluating Explanation Methods for Static and Evolving Data

想象一下，你制造了一个超级聪明的机器人，它能通过看一张图片就准确地告诉你里面有什么。它非常了不起，但有一个问题：这个机器人是一个“黑盒”。它会给出答案，但不会告诉你它是如何推导出来的。这就像一个魔术师从帽子里变出了兔子，却拒绝向你展示变戏法的技巧。在人工智能（AI）领域，这是一个巨大的问题。如果一个机器人在做关乎生死的决策——比如诊断疾病或发现飞船上的故障——我们需要知道它为什么做出那样的选择。这个被称为“可解释人工智能”（XAI）的领域，试图打开这个黑盒，向我们展示机器人的思考过程。但转折在于：虽然我们拥有无数种窥视盒子的新方法，但我们却很难检查这些窥视是否真的有用，或者是否只是在胡编乱造。这就像我们拥有上百种不同的手电筒来照亮黑暗，但没有人测试过它们究竟是照亮了路径，还是仅仅晃瞎了你的眼睛。

这篇论文是研究员杰奇·斯特凡诺夫斯基（Jerzy Stefanowski）发出的警示。他指出，我们正在盲目地发明新的解释工具，却没能对其进行妥善测试。他认为，目前的许多方法更像是“进步的幻象”——它们看起来很华丽，但在现实世界中可能毫无用处。论文探讨了解决这一问题的两种主要途径。首先，它研究了如何利用这些工具来发现机器人是否存在不公平或偏见的行为（例如，即便一个人并不是男性，机器人却因为他戴着领带就判定他是男性）。其次，它处理了一个棘手的问题：当世界发生变化时，机器人必须具备学习能力。想象一下，一个机器人正在学习识别动物，但随后动物们开始戴上了帽子，或者光照发生了变化；那么机器人旧有的解释可能就会变得毫无用处。作者指出，我们不应仅仅计算一个解释在理论上的“准确度”，而应该开始询问真实的人类是否真的理解了它。他还建议，与其只挑选一种“最佳”解释，不如提供几种不同的选项，以便人们根据自己的理解选择最合适的一种。

机器人的魔术表演与破碎的手电筒

把现代人工智能系统想象成极其出色但又神秘莫测的魔术师。它们看一眼猫的照片就能以 99% 的信心说：“那是只猫！”但如果你问：“为什么？”它们只会盯着你看。这就是“黑盒”问题。在医学或航空航天等领域，错误可能会导致危险，我们不能仅仅信任魔术师；我们需要看到戏法的过程。这就是**可解释人工智能（XAI）**发挥作用的地方。它是关于如何制造一把手电筒，将光线照进黑盒内部，让人们看到 AI 做出决策的原因。

然而，论文指出我们目前的方法存在一个重大缺陷。我们发明了数十种不同的手电筒（如显著图、反事实解释和原型方法），但我们并没有很好地测试它们是否真的有效。这就像一家玩具店卖出了一千种不同的手电筒，但却没有经过任何测试来确认它们究竟是照亮了黑暗的房间，还是仅仅在墙上投射出奇怪的形状。作者认为，我们陷入了一个循环：不断创造新工具，却不去检查它们是否真正有用，从而导致了“进步的幻象”。

偏见机器人与领带的案例

为了展示测试的重要性，论文研究了一个名为 DetoxAI 的特定项目。想象一个被训练用来识别面部的机器人。你可能认为它只是在观察眼睛和鼻子，但论文揭示了机器人可能会依赖“捷径”。例如，在一个关于名人的数据集中，机器人注意到戴领带的人几乎都是男性。因此，它不再观察面部特征，而是开始利用“领带”作为判断性别的捷径。这就是偏见——机器人逻辑中的错误，会导致不公平的结果。

研究人员使用 XAI 工具照亮了机器人的大脑。他们发现，机器人确实过度关注领带。一旦发现了这一点，他们就可以让机器人“忘掉”这个坏习惯，教它忽略领带而去观察脸部。论文表明，通过使用这些解释工具，他们可以精确测量机器人的改进程度。这不仅仅是一个猜测；他们有数据证明机器人变得更加公平了。这证明了解释不仅仅是为了展示，它们对于修复有缺陷的 AI 至关重要。

人类测试：我们真的理解了吗？

论文的第二部分提出了一个简单但困难的问题：“人类真的理解这些解释吗？”作者指出，大多数研究只是询问“你喜欢这个解释吗？”然后就结束了。但论文认为我们需要做得更好。

为了测试这一点，研究人员对 148 名非 AI 专家（学生和教职员工）进行了调查。他们向这些人展示了动物（如斑马、老虎和熊猫）的照片，并提供了三种不同类型的“手电筒”（解释方法），这些方法强调了机器人认为它是斑马的原因。

• 结果： 人们并不是随机选择的。他们比起其他方法，更倾向于一种叫做 ProtoPNet 的方法。
• 惊喜之处： 人们最喜欢的方法并不一定是那种在计算机测试中数学上“完美”的方法。它更符合人类认为重要的特征。例如，在观察老虎时，人们希望看到条纹被高亮显示。ProtoPNet 方法在这方面做得最好。
• 教训： 论文建议，如果我们希望解释是有用的，我们就必须为“人”设计解释，而不是仅仅为“计算机”设计。我们需要用真实的人类来测试它们，就像老师会用真实的学员来测试教学计划，而不是仅仅通过阅读教科书一样。

移动的目标：当世界发生变化时

论文处理的最后一个挑战是“移动的目标”。大多数 AI 解释都是为保持不变的世界设计的。但在现实生活中，事物是变化的。这被称为概念漂移（concept drift）。想象一个学习识别汽车的机器人。如果机器人的训练数据是 2010 年的汽车照片，而随后世界突然转向了没有排气管的电动汽车，那么机器人旧有的解释可能会说：“我知道它是汽车，因为它有排气管。”这个解释现在既错误又令人困惑。

论文探讨了当数据发生变化时如何更新这些解释。研究人员并没有仅仅重新训练机器人，而是尝试追踪决策背后的“理由”是如何随时间变化的。他们使用了一种涉及**反事实（counterfactuals）**的方法（即提出“如果……会怎样？”的问题，例如“如果这辆车有排气管会怎样？”）。他们发现，通过观察这些“如果……会怎样”的回答如何变化，他们可以精准捕捉到机器人逻辑何时以及为何发生了偏移。这就像观察指南针的指针：如果指针摆动得太厉害，你就知道磁场（数据）已经发生了变化。

核心总结

论文最后总结道，我们目前正处于一个工具过多而测试不足的阶段。

• 我们需要什么： 我们需要停止仅仅在计算机上衡量一个解释有多“准确”，而要开始衡量它是否能帮助人类做出更好的决策。
• 未来方向： 我们需要更多与真人互动的实验，更好的处理变化数据的工具，以及提供多种解释方案的方法，以便人们可以选择最符合其理解逻辑的那一个。

作者并不是说我们已经解决了这个问题。事实上，他认为我们才刚刚触及皮毛。但通过将解释视为人类的工具而非仅仅是数学问题，我们可以构建出不仅聪明而且值得信赖且公平的 AI 系统。目标不仅仅是让机器人解释自己，而是要确保这种解释能真正帮助我们理解这个世界。