When high AUROC does not travel: internal-to-external performance differences in machine-learning models for antimicrobial resistance
这项元研究表明，用于抗生素耐药性的机器学习模型在从内部验证转向外部验证时，往往会出现显著的性能下降，且这种差距的幅度差异巨大，导致无法使用统一的修正因子来处理报告的 AUROC 值。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在对抗超级细菌的战斗中，医生和科学家正越来越多地转向计算机，以预测哪些细菌会对哪些抗生素产生耐药性。这些利用机器学习构建的计算机程序，就像是训练有素的模式识别专家。它们扫描大量的医疗数据——例如患者记录、实验室检测结果和基因序列——来猜测特定的感染是否能在标准药物治疗下存活。当这些程序在它们创建时的医院进行测试时，它们往往看起来像是现代医学的奇迹，能够高精度地识别出具有耐药性的细菌。这种成功让研究人员和临床医生充满希望，期待这些工具很快就能在全球范围内部署，以指导挽救生命的治疗决策。
然而，一个从一家医院的数据中学习的计算机程序，并不会自动知道如何读取另一家医院的数据。就像一个人在小镇安静的街道上学习开车，到了大城市的繁忙高速公路上可能会感到吃力一样，这些模型在离开其原生环境时面临着一个隐藏的挑战。由于当地细菌菌株、实验室设备或患者群体的差异，它们在另一个国家、不同时期甚至相邻城市所遇到的数据可能会看起来略有不同。对于医疗人工智能的未来而言，关键问题不仅在于这些模型在其“家乡”表现如何，而在于当它们被派往现实世界的新环境工作时，其准确率会下降多少。
一项新的研究旨在精确测量这种性能下降的情况。研究人员 Dripto Roy 收集了一系列已发表的机器学习研究，这些研究都完成了这项艰巨的工作：即不仅在模型构建时的医院进行测试，还在一个完全独立的医院或数据集上进行测试。其目标简单而至关重要：观察模型的“自信度”与其在外部环境中的“实际表现”之间的差距。通过对比这些成对测试的分数，该研究旨在确定科学论文中报告的高成功率，究竟是一个可靠的未来成功承诺，还是一个在旅行中会逐渐消逝的幻象。
该调查聚焦于一组同时报告了同一模型在同一预测任务下的内部得分和外部得分的研究。总共有 47 组不同的比较案例，提取自 8 篇独立的论文。这些比较涵盖了广泛的情景，包括对 MRSA 和耐药性肺炎等危险细菌的预测，使用了电子健康记录、全基因组测序和临床实验室报告的数据。研究人员计算了每一组比较中内部得分与外部得分之间的差异，以观察性能发生了怎样的变化。
结果揭示了一个清晰但微妙的模式。在绝大多数个体比较中（47 组中的 36 组），模型在接受新外部数据测试时的表现比在训练数据上的表现更差。平均而言，准确率的下降是显而易见的，外部得分比内部得分低了一个可衡量的幅度。这证实了在开发环境中看到高分所产生的“乐观主义”是一种真实的现象；模型在离开其原生环境时确实会失去一些锐度。
然而，当从大局来看时，故事变得更加复杂。研究人员意识到，简单地将每一次比较都视为同等的证据是有误导性的。一些研究论文报告了数十种不同的模型变体或抗生素目标，而这些都是源自同一组患者和相同的处理步骤。如果将来自同一篇论文的这些众多结果都视为同等权重，它们就会掩盖其他仅报告了一两个比较案例的论文的结果。当研究人员调整分析方法，将每篇研究论文视为一个单一的证据单位，使每篇论文无论包含多少个数字都能拥有平等的发言权时，情况发生了显著变化。
在这种更平衡的视角下，性能下降的平均幅度大幅缩小。虽然模型在离开原生环境后通常表现得更差，但差距比最初计数时显示的要小得多。事实上，当观察这 8 项研究的整体情况时，平均差异非常小，甚至可能为零。这意味着，虽然有些模型在运输过程中会遭受显著的准确率损失，但另一些模型却表现出惊人的鲁棒性（稳健性），整个领域并不存在一个普遍存在的“惩罚”。性能下降的大小完全取决于具体的研究、使用的数据以及统计方式。
该研究还强调了当前医疗人工智能领域所缺失的内容。虽然大多数被审查的论文都尝试在新的环境中测试其模型，但很少有研究进一步检查模型是否经过了良好的“校准”（calibration）。校准是一个超越简单准确率的关键概念；它询问的是模型输出的概率数值是否真的符合现实世界的风险。例如，如果一个模型预测患者有 20% 的耐药概率，那么该患者是否真的在五分之一的情况下表现出耐药性？研究发现，这种至关重要的检查极少被报告。此外，极少有研究测试模型随时间的变化，以观察随着细菌进化其是否仍能保持准确；或者以一种前瞻性的方式进行测试，即模型预测正在进入医院的患者的预后结果。
这些发现为我们如何解读医疗人工智能的成功提供了一个警示。研究认为，我们不能仅仅根据论文中的高准确率分数就假设它在任何地方都成立。性能差距的表观大小高度依赖于我们如何计数证据。如果我们把论文中的每一个模型变体都当作一个独立的统计事实，就会夸大问题；如果我们把每篇论文看作一个整体故事，问题看起来会变小，但依然存在。研究结论指出，不存在一个简单的数学公式或通用的修正因子，可以应用到所有已发表的分数上，从而预测它们的现实表现。
相反，未来的道路需要更高的透明度和严谨性。研究人员需要明确说明他们是如何划分数据的，以确保没有任何信息从测试阶段“泄露”回训练阶段。他们不仅要报告模型对患者的排序能力，还要报告其概率估计值是否符合现实。最重要的是，他们需要在真正独立的各种环境中验证其模型，并报告在“家乡”和“新环境”中患者的具体数量以及耐药性的流行率。在这些标准成为常态之前，文献中报告的高分仍将是一个尚未完全兑现的承诺，而从成功的计算机模型向可靠的医生工具的转变，仍将是一个正在进行的工程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。