Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

当医生怀疑患者患有肺炎时，第一步通常是进行胸部 X 光检查，这是一种能够揭示肺部隐藏景观的简单影像。几十年来，这些图像的解读一直依赖于人类的眼睛，而这项技能即使在专家之间也存在差异。近年来，经过大量医学图像训练的计算机程序承诺实现这一任务的自动化，充当永不疲倦的“第二双眼睛”。这些人工智能系统通过学习识别与感染相关的模式，旨在提供快速、一致的诊断。然而，在这种技术热潮的背景下，一个关键问题一直萦绕不去：如果一台计算机学会了识别某家医院 X 光片中的肺炎，那么当它看到来自完全不同的医院、或者看到儿童而非成人的 X 光片时，它真的能理解这种疾病吗？这些程序区分健康肺部与患病肺部的能力仅仅是故事的一部分；真正的考验在于，当它们周围的世界发生变化时，它们用于做出诊断的具体规则以及它们对答案所表达的信心是否依然成立。

研究团队通过构建并测试各种各样的此类计算机模型，试图回答这个问题。他们从超过 18,000 张成人胸部 X 光片的庞大集合开始，仔细划分数据，以便模型可以在一部分图像上学习，并在从未见过的另一部分图像上进行测试。他们使用各种方法训练了十五种不同类型的神经网络（即这些系统的数字大脑），以观察哪些表现最好。其中一些网络是从头开始构建的，而另一些则是改编自已经学会识别日常照片中物体的系统。研究人员对一种被称为“Transformer”的新型网络特别感兴趣，这种网络处理图像的方式模仿了人类扫描场景的过程——同时观察整体画面及其组成部分。训练完成后，他们选择了表现最好的单个模型，并创建了一个由五个顶尖模型组成的团队进行共同投票，希望集体决策会比单一意见更可靠。

真正的考验出现在这些已经“冻结”的模型（即无法再学习或改变的模型）面对两组完全不同人群的 X 光片时。第一组由数千张儿童的图像组成，这一群体拥有较小的肺部和不同的疾病模式。第二组是来自另一个国家的成人 X 光片集合，代表了一个肺炎发病率远低于原始训练数据的普通医院人群。结果显示，这项技术在行为表现上呈现出一种有趣的差异。事实证明，无论患者是儿童还是成人，模型在单纯区分健康肺部与患病肺部方面都表现得非常出色。在儿童组中，模型的 AUC 达到了 0.925；在成人组中，AUC 达到了 0.888。这种区分类别（即辨别力）的能力在不同人群之间得到了良好的迁移。

然而，当研究人员观察模型究竟是如何做出决策时，情况发生了剧烈变化。计算机模型并不仅仅说“生病”或“健康”；它会计算一个概率，即一个代表它认为患者患病可能性的数值。为了将这个数值转化为诊断结果，人类必须设定一个阈值，即一个判定点，任何高于此点的数值都被称为肺炎。研究人员发现，原本适用于原始成人数据的阈值在应用于新群体时表现糟糕。在原始组中能捕捉到 84% 肺炎病例的同一条规则，在儿童组中仅能捕捉到 59%，而在新的成人组中仅能捕捉到 39%。模型仍然能看到疾病，但它们过于谨慎，不敢将其定性。当研究人员利用新数据中的一小部分样本来重新设定切分点时，模型的准确性立即恢复，在儿童组中达到 0.83 的 AUC，在成人组中达到 0.79。这表明模型的内部逻辑是健全的，但其决策规则是僵化的，且与最初训练时的特定环境紧密相连。

当研究人员检查模型对其答案所表达的信心时，出现了另一层复杂性。在原始训练数据中，模型的校准使其给出的概率得分与现实世界的疾病频率相匹配。但在面对新群体时，这种校准失效了。在肺炎极其普遍的儿童组中，模型严重低估了风险，预测的患病概率远低于实际存在的概率。而在肺炎较为罕见的新的成人组中，模型的概率估计却保持了惊人的准确。这表明，虽然模型可以学习肺炎的视觉特征，但它们对于特定环境下疾病普遍程度的理解是脆弱的，极易受到患者人群变化的干扰。

研究还发现，模型对 X 光片的拍摄方式很敏感。在原始数据中，从患者正面拍摄的图像（即前后位视图，AP 视图）比从背面拍摄的图像（即后前位视图，PA 视图）更容易显示肺炎。模型学会了利用这一线索，它们在正面图像上的表现较差，并非因为模型感到困惑，而是因为这类图像本身更难读取。当研究人员尝试在训练期间强制模型忽略这一线索时，模型的表现反而变差了，这表明这种难度是真实且固有的图像类型特征，而非模型利用的一种手段。此外，研究人员发现，最适合成人的模型并不一定是适合儿童的最佳选择。衡量哪个“数字大脑”更优越的排名会根据患者的年龄而改变，这意味着为成人医院选出的模型，未必是儿科病房的正确选择。

最终，这项研究表明，尽管人工智能在学习识别肺炎方面展现出了能够跨人群迁移的高超技能，但用于在医院中应用这种技能的实际工具却无法如此轻易地迁移。辨别疾病的能力是稳健的，但做出诊断的具体规则以及系统表达信心的方式，却与当地的背景深度绑定。对于这些系统而言，若要投入实际应用，它们不能仅仅被下载并直接使用。它们需要一个“本地调优”过程，即根据每家新医院的特定患者构成和疾病流行率来调整决策规则。该研究的结论是，为了让这些技术获得信任，未来的报告不能仅仅陈述模型区分健康与患病的能力有多强，还必须展示模型在实际应用的特定决策点上的表现如何，以及当世界发生变化时，其信心的稳定性如何。