Evaluation Metrics for Image Classification, Segmentation and Localization
这篇批判性综述系统地分析并整理了用于图像分类、分割和定位的 72 项评估指标，旨在指导如何选择互补且符合上下文情境的度量标准，从而确保实现具有可重复性且具有临床意义的科学评估。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医学影像和计算机视觉领域，机器在观察图像方面已经变得异常出色。它们可以识别 X 光片中的疾病，追踪扫描图像中肿瘤的轮廓，或者精准定位特定的解剖特征。然而，随着这些系统变得日益强大，一个隐蔽的问题也随之浮现：我们往往不知道如何正确地衡量它们。一台计算机可能在 99% 的情况下都能找到正确答案，却仍可能错过那一个至关重要的病例；或者它画出的边界在数学上很接近，但在临床上却毫无用处。核心挑战在于，我们用来评估这些系统的工具往往与我们试图回答的问题并不匹配。如果你要求机器寻找一种罕见病症，一个简单的“准确率”得分可能会高得具有误导性，即便机器根本没有发现任何病例。如果你要求它绘制一个形状，一个基于形状重叠程度的分数可能会掩盖边缘位置错误的事实。
Behnam Kiani Kalejahi 是中亚大学（Central Asian University）和 INTI 国际大学的研究员，他撰写了一份全面的指南来理清这种混乱。他的工作并非发明了一种更聪明的机器，而是为我们如何评判现有的机器提供了一份关键的地图。他认为，评估图像分析系统的方式完全取决于该系统要执行的任务。无论是仅仅对图像进行标记、在物体周围绘制详细的掩模，还是寻找空间中的特定点，成功的规则都必须随之改变。这篇论文是一本手册，旨在指导科学家和医生停止使用单一、一刀切的数字来描述性能，转而选择一组能够真正反映系统误差在现实世界中所产生后果的具体指标。
作者首先指出，测量单位必须与声明的单位相匹配。在简单的分类任务中（即计算机决定一张图像是否包含某种疾病），最重要的通常是系统在不引发过多虚假警报的情况下，发现阳性病例的能力。然而，如果数据集在健康图像方面存在严重偏差，一个对所有图像都简单回答“无疾病”的系统在书面上看起来会非常完美，尽管它实际上毫无用处。论文通过构建的示例证明，一个系统可以拥有极高的准确率，却对它旨在寻找的罕见病症检测能力为零。为了解决这个问题，作者坚持要求研究人员不仅要报告一个分数，还要报告一组能讲述完整故事的指标：系统发现目标的频率、它在声称发现目标时的错误率，以及其置信水平的可靠性。
当任务从标记转向绘制时，规则再次发生变化。在分割任务中（即计算机在器官或肿瘤周围绘制掩模），最常用的指标是测量计算机的绘图与专家绘图的重叠程度。虽然这很有用，但论文表明，两个绘图可以具有相同的重叠量，但在形状或位置上却完全不同。一个可能是稍微偏移的正圆，而另一个可能是恰好覆盖相同区域的零散像素集合。作者解释说，仅仅依赖重叠分数会掩盖这些关键的失败。相反，完整的评估还必须测量形状边缘之间的距离，并检查系统是否不小心将两个独立的物体合并为一个，或者将单个物体拆分成了碎片。对于涉及微小病灶或复杂结构（如血管）的任务，论文建议，最重要的指标可能是系统是否保持了结构的连通性，而不仅仅是它覆盖了多少面积。
对于定位特定点（例如寻找面部地标或骨骼上的特定位置）的系统，论文强调了物理单位的重要性。计算机可能会偏离几个像素，但如果图像是用特定类型的扫描仪拍摄的，那几个像素在现实世界中可能代表着危险的距离。作者警告不要使用会隐藏实际物理误差的归一化分数。如果一个系统是用来指导手术的，那么测量单位必须是毫米，而不是抽象的比率。论文还强调，系统处理不确定性的方式与它的准确性同样重要。一个知道自己不确定并向人类寻求帮助的系统，通常比一个自信地给出错误答案的系统更有价值。作者通过示例展示了系统如何通过拒绝在困难案例上做出决策来提高其安全性，即使这意味着它处理的图像总量会减少。
在整个综述过程中，作者使用了一系列十个清晰、循序渐进的示例，展示了不同的评分计算方式如何导致对哪个系统更好得出完全不同的结论。在一种场景中，一个在大型、简单案例上表现较差但在小型、困难案例上表现完美的系统，可能看起来比一个在所有情况下表现平庸的系统更差，仅仅是因为得分的平均方式不同。在另一种场景中，根据所选指标的不同，一个在关键区域犯下微小错误的系统，其排名可能高于一个在无害区域犯下巨大错误的系统。这些示例作为一个警告：选择测量工具并不是一个中立的决定；它会主动塑造我们对成功或失败的定义。论文认为，研究人员必须在查看结果之前就决定好测量规则，以确保指标与实际的临床或实践目标保持一致。
该综述还讨论了这些系统在现实世界中是如何测试的。它指出，一个系统在受控实验室环境中可能表现良好，但在面对不同类型的扫描仪、不同的患者群体或不同的光照条件时可能会失败。作者强调，单一的数字无法捕捉这种复杂性。相反，研究人员需要报告系统在不同子组和不同条件下的表现。论文建议，最有价值的比较不在于谁在排行榜上拥有最高分，而在于理解系统究竟在哪里以及为什么会失败。这种理解允许开发人员修复特定问题，而不是仅仅追求更高的数字。
最终，论文得出结论：在图像分析领域，不存在单一的“最佳”指标。衡量一个系统的方法取决于该系统的用途、使用者以及误差可能产生的后果。对于一个帮助分诊患者的系统，发现所有可能的病例比避免虚假警报更重要。对于一个指导手术的系统，精度和安全性则是至关重要的。作者提供了一个清单和一套准则，帮助研究人员正确设计他们的研究，确保他们以正确的方式测量正确的事物。通过遵循这些原则，该领域可以从模糊的高性能声明转向对这些强大工具能做什么、不能做什么的更清晰、更诚实的理解。目标不是寻找完美的系统，而是建立足够被理解的系统，以便在最需要的时候能够被信任。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。