Similar discrimination, different behaviour under synthetic occlusion: confidence and attribution reproducibility of deep learning models for intraoral ultrasonography
尽管多种深度学习架构在口腔超声检查中实现了相似的高基准判别能力，但它们在合成遮挡下表现出截然不同且往往不可靠的行为，其中 EfficientNet-B0 与其他模型相比，表现出严重的性能崩溃、过度自信以及较差的复现性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在人体口腔内部，一种专门的超声探头可以在不使用任何辐射的情况下，捕捉软组织的实时图像。这些图像揭示了肌肉和皮肤的层级，为解剖结构提供了一个窗口，对于规划手术或评估组织健康非常有用。然而，要将这些图片转化为可靠的诊断，不仅仅需要清晰的图像；还需要一个能够正确解读所见内容的计算机程序或模型。近年来，科学家们已经训练了许多此类计算机模型来识别医学图像中的模式。衡量这些模型的一种常用方法是观察它们在测试图像集上的正确率。但标准测试的高分并不能说明全部问题。它无法揭示当图像发生变化时模型的表现如何，是否在出错时仍保持自信，或者其给出决策的理由是否一致。
韩国延世大学的一个研究小组致力于超越简单的测试分数。他们专注于一项特定的任务：区分颊粘膜（buccal mucosa）的两个区域。一个区域位于颧骨肌肉上方，另一个位于主要的颊肌之上。虽然医生确切知道探头放置的位置，但计算机模型必须通过观察图像来学习如何区分这两个区域。研究人员利用从健康志愿者身上采集的数百张图像训练了五种不同类型的计算机模型。所有五种模型在标准测试中都表现得非常好，几乎在所有情况下都能正确识别区域。这种高性能表明，它们都是未来医疗应用的同等合格候选者。
为了测试它们是否真的相同，研究人员使模型接受了一系列受控的变化。他们用一个实心的、均匀的灰色方块遮盖了图像的部分，有效地抹去了图像上半部分或下半部分的信息。这个过程被称为“遮挡”（occlusion），模拟了图像某部分模糊或缺失时可能发生的情况。当研究人员移除图像的一半时，五种模型中的四种仍然表现良好，显示出它们仍能在剩余部分找到必要的线索。然而，其中一个模型反应截然不同。当图像的一半被遮盖时，它区分两个区域的能力崩溃了，降到了不比随机猜测更好的水平。
最令人惊讶的发现不仅在于这个模型失败了，还在于它是如何失败的。当其他模型犯错时，它们往往会对自己的答案感到不确定。相比之下，这个失败的模型却变得危险地自信。即使准确率下降到了偶然水平，它仍然对其错误答案分配极高的确定性。这就像是该模型失去了辨别差异的能力，却并未失去对自己是正确的信念。这种行为表明，一个模型可能在标准测试中显得高度可靠，却隐藏了对图像特定部分的脆弱依赖，而一旦这些部分被移除，就会导致其彻底崩溃。
研究人员还调查了模型如何“解释”它们的决策。通过使用一种可以突出显示模型关注图像部分的技术，他们检查了这些解释是否具有一致性。他们发现，即使最终的测试得分相同，被强调的区域也会根据模型的训练方式而发生显著变化。这意味着，来自一个模型版本的单一解释可能看起来合理，但不能被视为理解模型实际学习内容的稳定指南。注意力的模式是不可复现的，这使得依靠这些视觉解释来理解模型的逻辑变得困难。
研究结论指出，两个模型在标准成绩单上看起来可能完全一样，但在输入发生改变时，其表现却可能完全相反。研究人员发现，相似的基准性能可能会掩盖一个对缺失信息高度敏感且容易产生自信错误的模型。他们并未发现导致这种现象的单一架构缺陷，也没有证明这种特定的失败会在真实的临床环境或针对真实患者时发生。相反，他们证明了评估一个模型不仅仅是检查其准确性。要真正理解计算机解释医学图像的能力，必须同时测试它如何处理缺失数据、在出错时如何表达置信度，以及其推理过程是否保持一致。如果没有这些检查，一个在纸面上看起来完美的模型在实践中可能是不可靠的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。