In defence of post-hoc explanations in medical AI
本文通过论证尽管事后解释（post-hoc explanations）并未复制黑盒系统内部的精确推理过程，但它们仍是增强功能性理解、提高医护-人工智能团队准确性以及支持决策正当化的一种有效策略，从而为医疗人工智能中事后解释的价值进行了辩护。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大局观：“黑盒”之谜
想象一下，一位医生正在使用一个超级聪明的计算机程序来辅助诊断患者。这个程序就像是一个**“黑盒”**：你可以把一张 X 光片放入一侧，另一侧会输出一个诊断结果，但没有人确切知道计算机内部是如何做出那个决定的。它太复杂了，就像一个巨大的、乱成一团的毛线球，人类无法将其理顺。
因为医生看不见盒子内部，他们会担心：它是正确的吗？它安全吗？它为什么会给出这个结论？
为了解决这个问题，科学家们创造了**“事后解释”（Post-hoc explanations）。你可以把这些解释想象成黑盒子的“导游”**。导游并不住在盒子里面；他们站在外面，观察盒子的行为，然后绘制一张地图或进行一番演讲，试图解释为什么盒子做出了那个选择。
批评意见：“导游在撒谎”
最近，一些批评者认为这些导游是毫无用处的。他们的论点如下：
- 问题所在： 导游（即解释）并没有真正看到盒子内部发生了什么。他们只是在猜测或进行近似说明。
- 类比： 想象一位魔术师从帽子里变出了一只兔子。批评者说：“你对兔子如何出现的‘解释’只是一个编造的故事。你并没有看到真正的魔术表演，所以你的故事是虚假的。”
- 担忧： 批评者担心，如果医生依赖这些虚假的故事，他们可能会过度信任计算机，从而忽略错误，或者被计算机的偏见所误导。他们认为这些解释是“愚人金”——看起来闪闪发光，实则毫无价值。
作者的辩护：“地图不需要等同于疆域”
本文的作者说：“等等！即使导游并没有讲述关于魔术表演的确切真相，这张地图仍然非常有意义。”
以下是他们简化后的主要论点：
1. “功能性理解”论点
你不需要了解汽车发动机的精确化学成分就能安全地驾驶汽车。你只需要知道如果踩下油门，车就会前进；如果转动方向盘，车就会转向。
- 论文观点： 即便解释并不是计算机大脑的完美复制品，它也能帮助医生理解系统的行为方式。它能帮助医生预测：“如果我改变这个输入，输出很可能会发生这样的变化。”即便解释在科学上不是 100% 完美的，这足以让该系统变得有用。
2. “团队协作”论点
想象医生和人工智能正在共同工作。
- 证据： 论文引用了一项研究，在该研究中，使用这些“导游”（具体指显示 AI 关注 X 光片哪些部分的“热力图”）的医生，在发现肺部问题方面的准确率比仅使用 AI 的医生高出 4.7%。
- 结果： 解释帮助医生知道何时应该信任 AI，以及何时应该说：“等等，这看起来不对，我要忽略它。”这让“人机协作团队”变得更聪明了。
3. “正当理由”论点
有时，医生需要向患者解释：“我们为什么要选择这种治疗方案？”
- 论文观点： 即使解释并不是计算机产生该想法的真实原因，它仍然可以作为医生接受该结果的一个有效理由。
- 类比： 想象一位经理拒绝了一个项目，理由是“我们没有预算”。这是一个拒绝项目的有效理由，即便真实的理由是经理不喜欢该项目的负责人。所谓的“预算”理由仍然是一个关于决策的合理辩解。同样，事后解释为医生提供了一个坚实的理由去告诉患者：“AI 标记了这个区域，以下是证据”，这有助于为医疗决策提供正当性。
4. “人类误差”的现实检查
批评者说这些 AI 解释可能会产生偏见或让人过度自信。作者同意这一点，但他们指出：人类也会有偏见和过度自信。
- 要点： 我们仍然信任人类专家，尽管他们有时会犯错或给出有偏见的理由。我们不应该要求 AI 的解释必须完美，却同时接受并不完美的解释。
- 解决方法： 我们可以修复这些风险。例如，与其只展示一种解释，不如展示三种不同的解释，这样可以迫使医生进行批判性思考。或者，强制医生在接受 AI 的建议前等待 30 秒，以防止他们只是机械地点击“确定”。
结论：不是“银弹”，但也是好工具
作者总结道，事后解释并不是解决黑盒 AI 所有问题的“魔杖”（银弹）。它们无法一次性解决所有问题。
然而，它们是非常实用的工具。
- 它们帮助医生理解系统的行为。
- 它们提高了医生与 AI 协作的准确性。
- 它们帮助医生向患者解释其决策。
最终总结：
解决医学领域的“黑盒问题”并不是要寻找一个完美的解释，而是要使用多种工具的组合：更好的技术、更好的医生培训以及严密的监督。事后解释是那个工具箱中至关重要的一部分，即便它们并不完美。我们不应该仅仅因为它们不是计算机大脑的“真实”副本就将其丢弃；它们仍然是我们在这片未知领域航行时所拥有的最好的地图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。