Comparing Four Explanation Methods for Melanoma Classification: Fidelity, Utility and Trust
本研究从忠实度、效用度和信任度三个维度评估了四种用于黑色素瘤分类的后验解释方法，结果显示它们在排名上存在显著分歧，并得出结论：采用带有忠实度门控的多轴评估对于选择最合适的解释技术至关重要。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在皮肤癌检测这一高风险领域，人工智能已经达到了计算机程序识别黑色素瘤的准确率往往能与人类皮肤科医生相媲美的程度。这些被称为深度学习模型的程序通过分析数以千计的皮肤镜图像（即皮肤病变的近距离照片）来进行诊断。然而，这些系统是以“黑盒”形式运行的。它们会给出一个答案，例如“这是癌症”，但却无法解释为何得出该结论。为了让医生信任并使用这些工具，他们需要看到决策背后的逻辑。为了弥补这一差距，研究人员使用了“解释方法”。这些技术可以生成原始图像上的视觉热图，突出显示计算机认为最重要的特定区域。如果热图在可疑痣的部位明亮闪烁，而在其他地方逐渐暗淡，那么这种解释看起来就是合理的。但一张在人类眼中看起来正确的地图，并不一定反映了计算机实际的思考方式。
一个研究小组着手测试这些热图的视觉吸引力是否真正与其技术可靠性和对医生的实用性相匹配。他们重点研究了四种用于生成此类解释的流行方法：Grad-CAM、集成梯度（Integrated Gradients）、LIME 和遮挡敏感度（occlusion sensitivity）。为了确保测试公平，他们训练了一个单一的高性能计算机模型，利用包含超过一万张图像的大型公开数据集来区分良性皮肤斑点和黑色素瘤。模型准备就绪后，研究人员将所有四种解释方法应用于同一组测试图像。研究人员不仅根据热图看起来有多“漂亮”来评估每种方法，还根据三个不同的标准进行评估：技术保真度（热图是否真的展示了模型所使用的特征？）、临床效用（热图是否指向了皮肤上的正确位置？）以及信任校准（当模型判断正确时，热图是否看起来比判断错误时更好？）。
结果揭示了一个令人惊讶的脱节。研究人员发现，这四种方法之间并不一致，且在某一项指标上得分很高的方法，在另一项指标上往往表现不佳。例如，LIME 和遮挡敏感度这两种方法在精准定位皮肤病变确切位置方面表现出色。然而，第三种方法——集成梯度，虽然在标准测试中生成的图像看起来相当不错，却未能通过一项关键的现实检验。当研究人员打乱计算机模型的内部权重——本质上将其变成一个随机猜测者——时，集成梯度生成的图像几乎与原始图像完全相同。这证明该方法实际上并未反映模型的学习知识，而是在对图像本身的特征（如病变的边缘）做出反应。相比之下，其他三种方法在模型被打乱后立即改变了其热图，证明它们确实在遵循计算机的逻辑。
当团队观察这些热图对医生而言有多大帮助时，排名再次发生了变化。LIME 将最多的注意力直接放在了病变上，但其生成速度极慢，处理单张图像需要超过六秒。遮挡敏感度在寻找病变位置方面几乎同样准确，但运行速度快了近三十倍，这使其成为繁忙诊所中更实用的选择。或许最重要的一点是，研究表明，热图表现得很有信心并不意味着诊断是正确的。研究人员发现，当计算机出错时，它往往会以极高的置信度进行错误判断，并生成一个非常清晰、极具说服力的热图。这意味着，医生可能会被一张看似笃定、实则指向错误答案的美丽热图所误导。这项研究得出结论：仅依赖单一的视觉检查是危险的。相反，医疗人工智能系统应通过多项测试进行审核，以检查其真实性、准确性和速度，从而确保我们所信任的解释确实反映了机器观察世界的真相。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。