Calibration and Threshold Selection of Machine Learning Classifiers for Breast Tumour Diagnosis: A Decision-Support Study for Al-Driven Clinical Screening
本研究评估了四种机器学习分类器在威斯康星州诊断乳腺癌数据集上的性能、校准及阈值选择，结果表明，尽管模型实现了高准确率和高AUC，但其概率校准因算法而异，且由于样本量有限，达到目标灵敏度阈值仍具有不确定性，从而强调了人工智能驱动的临床决策支持中至关重要的考量因素。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医学筛查领域，目标通常被简单地描述为获得正确的答案：乳房中的肿块是良性增生还是危险的癌症？几十年来，科学家们一直在构建计算机程序，通过分析从活检中提取的细胞图像来帮助医生做出这种区分。这些被称为机器学习分类器的程序，通过观察数十个微小的测量指标——例如细胞核的大小或其表面的纹理——来进行预测。然而，对于一台要成为医生办公室里真正有用伙伴的计算机而言，它不仅要做到大部分时间是正确的，还必须对其自身的确定性保持诚实。当计算机说有百分之九十的癌症概率时，这个数字需要反映现实，而不仅仅是一个猜测。此外，计算机决定发出警报的时机也必须经过仔细选择。在医学领域，漏诊癌症的代价远高于误报假警，因此系统需要一个能够优先捕捉所有可能病例的规则，即使这意味着需要对一些健康的人进行更仔细的检查。
由印度圣吉瓦尼大学（Sanjivani University）的卡蒂克·福帕斯（Kartik Phopase）开展的一项近期研究，正是利用名为威斯康星诊断乳腺癌（Wisconsin Diagnostic Breast Cancer）的知名医学数据集，来探讨这两个关键问题。该数据集包含了569名患者的信息，其测量值取自数字化细胞图像。研究人员想要观察不同的计算机学习模型是否能产生值得信赖的概率数值，以及它们用于决定何时将患者标记为“有风险”的规则在面对未见过的全新人群时是否依然有效。他们对比了四种不同类型的学习算法，从简单的统计方法到构建数百棵决策树的复杂系统，并在两种条件下进行了测试：一种仅使用细胞的十个平均测量值，另一种则使用全部三十个可用测量值。
研究始于将这些计算机模型在数据的大部分样本上进行训练，然后将其应用于一组从未见过的独立患者群体进行测试。结果显示，所有模型在区分癌细胞与非癌细胞方面都表现得极其出色。事实上，它们如此优秀，以至于模型之间的差异在统计学上微乎其微。无论计算机是使用仅有的十个平均测量值，还是使用全部三十个详细细节，顶尖模型的区分能力几乎是完全一致的。这一发现表明，对于这类特定数据，选择哪种复杂的算法并不如确保系统设置正确那么重要。研究人员发现，增加更详细的测量值虽然略微提高了评分，但这种提升非常微小，并未改变整体结论：这项技术针对该特定任务已接近极限。
一个更令人惊讶且具有实际意义的发现，在于这些计算机如何传达其信心。领域内有一个普遍假设，即你可以始终通过数学公式调整计算机的原始输出，使其概率更加准确。研究人员通过对模型的预测结果应用两种不同的调整方法测试了这一点。他们发现，对于某些模型，特别是那些较简单的统计模型，其原始数值本身就是可靠的。尝试对其进行调整反而会导致预测效果变差，引入更多误差。而对于构建了许多决策树的更复杂的模型，另一种类型的调整虽有帮助，但提升幅度很小。核心启示是，不存在通用的修复方法。一个已经过良好校准的系统不需要进行“再调优”，而将标准化的调整应用到每个系统中，有时反而会适得其效。
这项研究中最重要的教训或许与决策阈值有关，即计算机从判定“可能良性”转向“可能恶性”的具体临界点。研究人员试图设定一个至少能捕捉到95%所有癌症病例的规则，这是一个极高的安全标准。他们利用已经掌握答案的训练数据来调整这一规则。然而，当他们将同样的规则应用于这组全新的、未见过的患者时，该规则未能达到目标。它并没有捕捉到95%的癌症，而是捕捉到了大约93%。这种差距的产生，是因为测试组中癌症病例的数量较少，导致漏掉单个病例就会显著改变百分比。研究表明，在训练数据上看起来完美的规则，并不能保证在现实世界中同样奏效。由于样本量较小所带来的不确定性，医生不能依赖单一的数字来保证安全性。
最终，这项研究为构建医疗人工智能工具提供了警示性的指南。它表明，尽管计算机在识别模式方面表现卓越，但从高分向可靠医疗工具的转变过程中充满了微妙的陷阱。研究证实，对于这个特定的数据集，模型已经高度精确，但它们的真正价值取决于其概率是如何报告的，以及其报警阈值是如何设置的。作者建议，未来的系统不应只报告一个风险数值，还应展示该数值的不确定程度。他们认为，基于一小组训练数据来设定安全目标是冒险的，任何用于触发医疗警报的规则都应该在独立数据上进行测试，并明确理解其表现可能并不完全符合预期。前进的道路不仅在于寻找最聪明的算法，更在于严谨地测试当赌注真实且数据全新时，该算法会如何表现。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。