Detection First, Grading Second: A Secondary Analysis of Stage-Specific Errors in Two-Stage Colon CAD

想象一下你是一名侦探，正试图在一个由微小组织块构成的巨大、繁忙城市中破解一个谜团。你的任务有两个：首先，你要识别出一栋建筑是否是“坏蛋”（癌症）；其次，如果它是坏蛋，你还要决定它有多“坏”（分级）。

大多数计算机程序试图同时完成这两项工作，大声喊出一个单一的答案，比如：“它是 3 级反派！”但这篇文章认为，这就像是在还没确认一个人是否是罪犯之前，就要求侦探去猜这个人的身高。作者 Sulav Dahal 和 Bipul Bhattarai 认为：在确定抓到了罪犯之前，不要去猜他的等级。

两步走的侦探游戏

本文研究了一个已经存在的特定计算机系统（它不是由作者构建的；他们只是重新检查了它的旧成绩单）。这个系统分为两个阶段工作，就像真正的病理学家一样：

1. 第一阶段（嗅探器）： 这块组织是癌症还是不是？
2. 第二阶段（分级器）： 如果是癌症，它是 1 级、2 级还是 3 级？

作者认为，我们不应该只看最终得分。相反，我们需要分别观察计算机在每个步骤中犯下的错误。

重大发现：“差一点就中”才是真正的问题

当计算机在第二阶段把等级判错时，它通常不会随机选择一个等级。它大多犯的是“差一点就中”（near-misses）的错误。

• 事实： 在第一个版本的分级器所犯的 130 个等级错误中，有 107 个（即 82.3%）仅仅是把 1 级误判为 2 级，或者把 2 级误判为 3 级。
• 类比： 想象你在猜一名篮球运动员的身高。如果你猜他是 6 英尺 2 英寸，而实际上是 6 英尺 3 英寸，这就是一个“差一点就中”的错误。你离真相很近！但如果你猜他是 4 英尺 10 英寸，那就是一个离谱的错误。计算机大多是在做这种“差一点就中”的猜测。它很少把微小的肿瘤误认为是巨大的肿瘤；它主要是把“中等”程度的肿瘤误认为是“稍大一点”的肿瘤。

作者发现，当他们使用一组计算机（集成学习/ensemble）而不是单个计算机时，总错误数下降了，而且可怕的错误（完全漏掉 3 级肿瘤）从 42 个降到了 27 个。但即便使用了这组计算机，剩余错误中的 86.0% 仍然是那些“差一点就中”的交换错误。

“平衡”陷阱：为什么 99% 的准确率可能具有误导性

这里是论文变得非常复杂且重要的部分。该计算机的成绩单显示，它在第一阶段识别癌症的准确率高达 99.89%。这听起来很惊人，对吧？

但作者指出，这个数字是在一个“平衡”的数据集上计算出来的，其中一半的图像是癌症，另一半不是。但在现实世界中，癌症是很罕见的。

• 模拟： 作者进行了一个快速计算（模拟），看看如果用这个相同的计算机去测试一个只有 1% 的人患有癌症的真实人群会发生什么。
• 结果： 尽管这个计算机在看到癌症时依然表现出色，但其“阳性预测值”（即当你收到“阳性”警报时，你能有多大把握确定它是真实的）从 99.78% 下降到了 82.12%。
• 教训： 如果你用这个计算机来筛查整个城市，每 1,000 个被标记的人中，大约会有 12 个人是假警报（即他们并没有癌症，但计算机认为他们有）。本文认为，我们必须基于现实世界的稀有性来报告这些数字，而不是仅仅基于“完美”的测试条件。

这篇论文没有在说什么

了解这篇论文没有做的事情至关重要：

• 它没有构建一个新的、超级聪明的计算机。作者并没有训练新的模型；他们只是重新阅读了旧数据。
• 它没有声称解决了癌症检测问题。他们明确表示，并未在新的患者或不同的医院上测试此系统。
• 它没有说计算机是完美的。事实上，它强调了“差一点就中”的分级错误仍然是一个大问题，需要人类进行复核。

给好奇青少年的启示

核心思想很简单：不要混淆步骤。
如果你想知道一台计算机诊断结肠癌的效果如何，你不能只看一个综合得分。你必须分别观察“嗅探器”步骤和“分级器”步骤。

• “嗅探器”擅长寻找癌症（在测试中它漏掉了 0 例癌症），但当癌症很罕见时，它可能会引发一些假警报。
• “分级器”还可以，但它主要是在“有点坏”和“非常坏”之间感到困惑。

作者建议，与其追求一个完美的“排行榜分数”，我们应该专注于这些特定的错误类型。如果计算机说一个肿瘤是“2 级”，但它可能实际上是“3 级”，这是一个特定的错误类型，需要人类医生仔细查看。本文提出，通过理解计算机是如何失败的（主要是“差一点就中”的错误），我们可以构建出更好的系统，让它们知道何时该向人类寻求帮助。