在医学影像领域，计算机在阅读 X 光片方面已变得异常出色，其表现往往能与人类专家相媲美。这些系统通过海量的图像库进行训练，学习识别肺炎等疾病的征兆。然而，当这些经过训练的系统从一家医院转移到另一家医院时，一个显著的问题随之而来。正如习惯了某个国家宽阔、阳光灿烂的道路的驾驶员，在面对另一个国家狭窄且多雨的街道时可能会感到吃力一样，在一个医院的数据上训练的人工智能模型，在面对新设施中不同的扫描仪、患者群体或成像协议时，往往会表现不佳。这种环境的变化被称为“分布偏移”（distribution shift），它会导致模型的准确度大幅下降。医生和医院管理人员面临的核心困境是：如果他们有几种强大的、预训练好的 AI 模型可用，他们如何在实际尝试之前，就知道哪一个最适合他们特定的医院？寻找答案的常规方法需要用新图像进行测试，并将结果与专家的人类标签进行比对，但在最需要这项技术的环境中，获取这些标签既昂est（昂贵）又耗时，且往往是不可能的。
来自阿根廷的一个研究小组提出了一种解决这一选择难题的新方法，而无需任何新的标注。他们专注于一个特定的挑战：当新医院唯一可用的数据是无标签图像时，如何为该医院选择最佳的胸部 X 光模型。研究人员基于一个名为 SUDO 的框架构建了他们的方法，该框架充当了 AI 系统的质量控制检查。与其询问“这个诊断是否正确？”（这需要人类回答“是”或“否”），他们的方法则提出了一个不同的问题：“模型对其预测的信心程度是否与它所观察到的数据的现实情况相匹配？”为此，该系统利用来自新医院的无标签图像，根据 AI 对其预测的信心程度对图像进行分组。例如，它可能会将 AI 非常确定看到肺炎的所有图像归为一组，而将另一组归为 AI 非常确定没有肺炎的图像。
随后，研究人员对这些组进行了一项巧妙的内部测试。他们暂时假设特定组中的图像实际上与模型的判断截然相反，并检查模型的逻辑是否依然成立。如果模型确实可靠，那么在被迫接受关于某组图像的错误假设时，其内部逻辑应当会崩溃。如果逻辑过于轻易地成立，则表明该组被无法区分的混合类型图像“污染”了。通过测量模型逻辑在所有这些不同置信度组中的波动程度，研究人员计算出一个反映模型可靠性的单一得分。他们将这个得分称为“可靠性-完整性曲线下面积”（Area Under the Reliability-Completeness Curve），这个数值告诉他们，在从未见过来自新医院的任何人类验证标签的情况下，模型可能表现如何。
为了测试这个想法，研究人员收集了六种用于医学影像的高级 AI 模型。他们模拟了一个现实世界的场景：这些模型是在来自三家大型医院的数据上进行训练的，然后被要求在第四家完全不同的、没有任何标签的医院中预测肺炎。他们将这种新评分方法与传统方法进行了对比，传统的做法仅仅是根据模型在原始训练医院的小样本标注数据上的表现来进行排名。结果显示，他们的新方法非常有效。当原始医院的标注数据量很大时，传统方法如预期般运作良好。然而，在更困难且更常见的场景下——即标注数据稀缺的情况（这代表了许多资源受限医院的现实）——新方法始终优于传统方法。在这些小数据场景中，新得分能够以极高的准确度正确识别出表现最佳的模型，几乎完美地匹配了真实的性能排名。
这项研究为医学 AI 的未来强调了一个至关重要的见解：为新环境选择模型的最佳方式，并不总是回顾它在旧数据上的表现，而是观察它在新的、无标签数据上的行为。通过分析新数据的结构以及模型如何与其相互作用，研究人员找到了一种在传统方法失效时预测成功的方法。这种方法之所以特别有价值，是因为它非常轻量化，不需要强大的计算机；整个过程可以在标准硬件上运行，仅使用图像的数学表示即可完成。虽然本研究专门针对肺炎检测和胸部 X 光片，但其底层原理为医院安全、高效地采用新的 AI 工具提供了一条充满希望的路径，确保即使在需要专家进行验证的人员无法到场的情况下，也能在正确的地方部署正确的技术。