Post-hoc reliability assessment and visual explanation for deep learning-based oral mucosal lesion detection
本文提出了一种事后框架，通过分析特征嵌入密度来识别不可靠的预测，并利用最近邻检索提供视觉解释，从而在无需重新训练模型的情况下，增强了用于口腔黏膜病变的冻结 YOLOv11 检测器的可靠性和可解释性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医学影像领域，人工智能已成为发现人类肉眼可能忽略的疾病的强大工具。这些系统通过数以千计的照片进行训练，学习识别预示疾病的模式。然而，一个显著的问题仍然存在：当这些计算机程序做出预测时，它们提供的置信度评分往往具有误导性。一个系统可能会在面对一张与其从未见过的图像完全不同的图像时，宣称其诊断的确定性高达99%。在像医学这样关乎生命安全的领域，错误的判断可能会延误救命治疗，因此，了解何时该信任机器与机器本身的识别能力同样重要。目前的挑战在于，如何找到一种方法，在无需从头开始重建整个系统的情况下，来检查预测的可靠性。
来自德国及多个国际机构的研究人员通过开发一种新方法，来审计一种旨在检测口腔黏膜病变的人工智能的决策。这些病变是指影响口腔内部软组织的状况，范围涵盖了从无害的白斑到潜在的癌性增生。研究团队专注于一种名为YOLO的特定类型检测器，它擅长在图像中寻找物体并为其绘制边界框。虽然该检测器已经过训练，能够识别三种类型的病变和健康组织，但研究人员希望理解每个决策背后的“原因”，并确定人工智能是真的有信心还是仅仅在猜测。他们并没有重新训练模型或更改其内部代码。相反，他们观察了人工智能在分析每张图像时生成的被称为“嵌入”（embeddings）的数学指纹。这些指纹代表了人工智能用于做出判断的视觉特征。
研究人员将这些高维指纹映射到一个简单的二维景观上。在这个地图上，外观非常相似的图像会聚集在一起，而不同类型的病变则形成各自独特的群体。通过分析地图上特定区域的拥挤程度或稀疏程度，他们可以计算出一个可靠性评分。如果人工智能的预测落在由相似且识别正确的训练图像组成的密集集群中，系统则认为该预测是可靠的。如果预测落在远离任何已知样本的稀疏、空白区域，系统则将其标记为不确定。这种方法使他们能够在不改变原始检测器的情况下，评估每一次检测的可信度。他们发现，这种基于密度的评分在识别不确定预测方面，远比人工智能通常提供的标准置信度数值更为出色。在涉及3,500多张图像的测试中，该方法成功地区分了可靠与不可靠的预测，在不同疾病类别中的AUC（曲线下面积）范围在0.92至0.95之间。
为了让这些抽象的分数对医生产生实际用途，团队增加了一个可视化解释工具。当系统将某个预测标记为不确定时，它可以立即检索并展示出训练数据库中最相似的四张图像。这创建了一个马赛克图，向医生展示了人工智能正在将当前患者与什么进行比较。例如，如果人工智能错误地识别了一种特定的白斑，可视化解释会显示它是在将患者与另一种虽然视觉相似但属于不同类型的状况进行比较。这使得临床医生能够看到人工智能的推理过程。研究表明，人工智能经常在外观相似的病变上遇到困难，例如某些形式的白板症和扁平苔藓，它们具有重叠的视觉特征。在这些边缘案例中，新方法正确地识别出人工智能正处于模糊地带，而标准的置信度评分则会保持在具有欺骗性的高水平。
研究人员还测试了该系统处理非原始训练集内病变图像的能力，例如水疱性疾病或摩擦性角化症。他们发现，人工智能有时会将这些未知的状况归类为最接近的已知类别，且密度评分并不总是能将它们标记为完全未知。这凸显了一个关键的局限性：该系统衡量的是预测与训练数据的契合程度，而非图像是否代表了一种全新的疾病。然而，视觉检索工具在此处也证明了其价值。即使人工智能做出了错误判断，显示的“训练邻居”也能帮助人类专家意识到视觉上的相似性具有误导性，且该诊断需要不仅仅依靠照片。研究结论指出，通过将基于密度的可靠性检查与视觉示例相结合，医疗专业人员可以更好地理解何时应当信任人工智能的诊断，以及何时应当寻求第二意见，而无需重新训练现有的复杂模型。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。