Evaluation Metrics for Image Classification, Segmentation and Localization Mathematical Foundations, Comparative Analysis and Research Recommendations
这篇批判性综述通过综合 150 篇参考文献，对用于图像分类、分割和定位的 72 种评估指标进行了系统性的分类与比较，并提供数学基础、实例演示及研究建议，旨在指导如何选择适当且互补的指标，以实现具有可重复性和临床有效性的研究。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医学影像领域，计算机在观察人体图像方面已变得异常精通。它们可以识别肿瘤、描绘器官轮廓，或精准定位骨骼上的特定地标。然而，在我们评判这些机器时，存在着一个隐藏的陷阱。想象一名学生正在参加考试，老师只根据最终得分进行评分，而不看他具体错在了哪些题目上。如果这名学生通过猜测猜对了几个难题，却在许多简单题上失分，那么一个简单的分数可能会掩盖他实际上并未掌握该学科的事实。同样地，一个计算机模型可能因为在一个标准测试中获得了高分而显得非常出色，但实际上它却在秘密地失败——比如无法发现医生最迫切需要捕捉到的罕见疾病，或者绘制出的肿瘤边缘极其糟糕，以至于外科医生无法将其作为手术地图使用。核心问题在于，我们用来衡量成功的工具往往与计算机原本应承担的现实工作并不匹配。
两位研究人员，贝纳姆·基亚尼·卡莱贾希（Behnam Kiani Kalejahi）和穆罕默德·贾瓦德·拉贾比（Mohammad Javad Rajabi），撰写了一份旨在解决这种不匹配问题的全面指南。他们并没有构建一个新的用于寻找疾病的计算机程序，而是构建了一种全新的思维方式，用以衡量现有的程序。他们回顾了数百项现有研究和数学方法，绘制了一张清晰的地图，用以说明不同的测量指标究竟传达了什么信息。他们的工作是一项批判性综述，这意味着他们是在分析游戏的规则，而不是亲自参与游戏。他们发现，该领域充满了混乱，因为科学家们经常使用相同的术语来描述不同的事物，或者选择一种能让他们的模型看起来表现优异、却能掩盖其缺陷的测量指标。论文指出，不存在单一的“最佳”分数。相反，可靠的评估需要一组经过精心挑选的不同测量指标，这些指标要能针对计算机的行为提出特定的问题。
研究人员根据计算机执行的任务类型对他们的发现进行了分类。对于仅仅是判断疾病是否存在或不存在的任务，他们解释说，如果疾病很罕见，那么高整体准确率可能会产生误导。他们展示了一个模型可能通过对每一位患者都回答“无疾病”来达到 9 届 9 度的准确率，但这样它就会漏掉每一个真正的病人。为了避免这种情况，他们坚持要求科学家必须报告模型发现病人的能力以及发生虚假警报的频率，而不是仅仅给出一个单一的平均数字。他们还指出，模型的置信度分数并不等同于其实际准确率。计算机可能会对错误答案表现出极高的信心，而标准测试往往无法捕捉到这一点。作者建议，研究人员必须检查计算机的信心是否符合现实，确保当它说自己有 90% 的把握时，它在实际情况中确实有 90% 的正确率。
当任务从简单的“是或否”转向绘制轮廓时，规则也随之改变。在被称为“分割”（segmentation）的领域中，计算机必须在特定的器官或病灶周围画出一个形状。研究人员证明，两个模型在绘制形状与正确形状重叠程度上的得分可能完全相同，但其中一个模型可能是在错误的位置画了一个完美的圆，而另一个模型则是在正确的位置画了一条锯齿状的线。他们表明，单一的数字无法区分“在大器官中间的一个微小误差”与“在一个微小关键结构上的巨大误差”之间的区别。他们发现，科学家经常忽略这些绘图的边缘，但在医学中，边缘往往是最重要的部分。如果计算机漏掉了肿瘤边界的一小部分，可能会导致患者接受的治疗不足。论文敦促研究人员去测量所画线条与真实线条之间的距离，而不仅仅是计算形状的重叠程度。
对于寻找并计数特定物体（如单个细胞或肿瘤）的任务，研究人员强调了结果受计算机如何将其发现与真相进行匹配的影响，从而轻易被操纵的程度。他们解释说，如果一台计算机发现了同一个肿瘤两次，这应该被计为一次错误，但许多标准测试并不会捕捉到这一点。他们还展示了研究人员对结果进行平均值处理的方式，会如何完全改变对哪个计算机表现最好的排名。在其中一个详细示例中，他们创造了一个场景：当按每个患者的得分取平均值时，一台计算机看起来更好；但当按总像素数取平均值时，另一台计算机看起来更好。两台计算机的表现其实是一样的，改变的仅仅是数学计算方式。这证明了组合数字的方式与数字本身同样重要。
论文还讨论了不确定性和人为因素的问题。在真实的医院里，计算机并不是在真空中工作的；它是与医生协同工作的。研究人员展示了，一个在不确定时拒绝回答的模型，可能比一个自信满满却给出错误答案的模型更有用。他们描述了一种方法，即计算机可以表达“我不知道”，并将病例转交给人类医生。这提高了整个系统的安全性，但标准测试往往忽略了这些转诊案例，而只关注计算机尝试解决的案例。作者认为，完整的评估必须将这些转诊情况以及在人类检查工作后仍然发生的错误也计算在内。他们还警告不要使用“保真度”（fidelity）分数——即衡量生成的图像看起来多么逼真的指标——来替代对计算机是否真正找到了疾病的检查。一张图片可以看起来非常完美且精美，却可能完全遗漏了关键的医学细节。
在整个分析过程中，作者提供了十个具体的、经过演算的示例来证明他们的观点。这些并非真实的患者数据，而是经过精心构建的场景，起到了受控实验的作用。其中一个示例展示了模型如何能在寻找肿瘤方面获得高分，却因为测试权重倾向于常见病例，而未能发现任何罕见且危险的病例。在另一个示例中，他们演示了像素物理尺寸的微小偏移，如何使得一台计算机在实际性能并未改变的情况下，看起来表现得更好或更差。这些示例作为一个警告：科学论文中报告的数字是脆弱的，完全取决于计算它们时所使用的特定规则。
研究人员总结道，该领域需要停止追求单一的排行榜分数。相反，他们为任何设计研究的人提供了一份清单。这份清单迫使科学家在查看结果之前，必须明确他们正在测量什么、他们在谁身上进行测量，以及判定成功或失败的规则是什么。他们坚持认为，测量单位必须与声明的单位相匹配。如果医生关心的是患者，那么分数就必须是关于患者的，而不仅仅是关于单个图像切片的；如果外科医生需要知道肿瘤的边缘，那么分数就必须测量边缘，而不仅仅是体积。论文并未声称已经解决了医学人工智能的问题，但它提供了用于停止“衡量错误事物”的核心工具。通过将测量目标与实际目标对齐，研究人员终于可以看清哪些模型是真正有帮助的，而哪些模型仅仅擅长通过考试。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。