Beyond AUROC: External Validation, Calibration, and Explainability of Machine Learning Models for 30-Day Hospital Readmission Using Electronic Health Records—A Rapid Systematic Review
这项针对 156 项研究的快速系统综述表明，预测 30 天内医院再入院率的机器学习模型极度依赖 AUROC 作为唯一的性能指标，同时严重忽视了对外部有效性、校准度和可解释性的必要评估，从而促使人们呼吁建立一个更严谨的“超越 AUROC”的评估框架。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每年都有数百万患者离开医院，却在短短一个月内再次入院，这通常是因为他们的康复进程停滞不前或护理计划失效。这种再入院的循环是医疗系统的沉重负担，既增加了成本，也表明从医院到家庭的过渡环节出现了问题。为了解决这一问题，医院转向了机器学习——这是计算机科学的一个分支，通过软件学习从海量数据中发现模式。通过将电子健康记录（包含化验结果、药物清单和医生笔记的数字化文件）输入这些程序，研究人员希望能够构建出能够识别哪些患者最有可能再次入院，并在其出院前提供额外帮助的工具。多年来，科学界一直用一个单一的指标来衡量这些工具：一个衡量模型对患者进行从低风险到高风险排序能力的评分。如果一个模型能够正确判断“这位患者比那位患者风险更高”，它就能获得高分，而这足以被宣布为成功。
然而，一项新的分析表明，这个单一的评分仅讲述了一半的故事。由来自赤塔贡工程技术大学的研究人员进行的一项快速系统评价，审查了 2-2026 年间发表的 156 项关于使用机器学习预测 30 天内医院再入院的研究。该团队发现，尽管这些模型在理论上看起来非常出色，但它们往往无法证明自己在现实世界中行得通。研究人员发现，几乎所有的研究都依赖于内部测试，即使用创建该模型的同一家医院的数据来检查模型。极少有研究测试模型是否能在另一家医院或使用更晚时间段的数据下正常工作。此外，这些研究很少检查模型产生的风险百分比是否真正准确，或者模型给出预测的原因是否符合人类医生的逻辑。该综述总结道，该领域在追求华丽新功能的同时，走得太快了，以至于忽视了确保这些工具安全可靠所需的各种基础检查。
核心问题在于：一个模型可以擅长对患者进行排序，但不一定擅长预测实际的结果。想象一下，一个天气应用可以正确地告诉你周二比周一更有可能下雨，但却没能告诉你这两天的降水概率实际上都是零。在医院再入院的背景下，这种区别至关重要。医院需要知道患者再次入院的实际概率，以便决定如何分配资源。如果模型预测一名患者有 90% 的再入院概率，而实际上只有 10%，医院可能会将稀缺的过渡性护理资源浪费在该患者身上，从而错失了那些真正需要这些资源的患者。研究发现，虽然 85% 的研究报告了排序得分，但只有约 15% 提到了检查其预测是否与现实相符，且只有一个研究使用了专门用于衡量这种准确性的指标。
除了准确性，研究人员还观察了这些模型是否具有“迁移能力”。一个基于某城市大型教学医院数据构建的模型，在应用于另一个州的农村诊所时可能会完全失效，仅仅是因为两地的患者群体和医疗实践存在差异。这被称为外部验证。研究发现，只有 12% 的研究在新的环境或新的时间段内测试了它们的模型。在少数进行了此类测试的研究中，模型在面对新环境时的表现几乎总是变差。在五项研究人员对比模型在其母院与新医院表现的案例中，模型正确排序患者的能力在所有情况下都出现了下降。这表明许多模型过度拟合了其特定的局部数据，捕捉的是单一医院的特性而非普遍的风险征兆。
另一个主要的研究空白是可解释性。随着机器学习模型变得越来越复杂，研究人员开始使用工具来解释模型为何做出特定预测，通常会强调哪些因素（如高血压或某种特定药物）对风险评分贡献最大。综述指出，使用这些解释工具的研究数量激增，从综述期初期的不足 6% 上升到最近几年的近 30%。然而，研究人员发现，尽管研究者们热衷于展示这些解释，但他们几乎从未测试过这些解释是否真正正确或稳定。模型可能会指出某个化验值是高风险的原因，但如果由于数据的轻微调整导致该原因发生随机变化，那么这种解释就是不可靠的。该综述未发现有任何摘要评估了所提供的解释是否可靠，或者医生是否认为这些解释有用。
研究还调查了这些模型是否公平地对待不同人群。再入院率可能受到纯生物学因素之外的影响，例如交通工具的可及性或购买药物的能力。如果模型从反映了这些不平等现象的历史数据中学习，它可能会仅仅因为某些群体获取医疗服务的机会较少，而非因为他们在医学上更严重，就错误地将他们标记为高风险。研究发现，只有极小部分研究（约 4.5%）针对基于种族、性别或年龄的不同人群检查了这些差异。这种缺乏审查的情况意味着，医院可能会在无意中部署那些强化现有医疗体系偏见的工具。
研究人员得出结论，该领域正在关注错误的目标。复杂解释工具的快速兴起，已经超越了对基本安全检查（如在新地点测试模型或验证其准确性）的采用。作者认为，在这些模型被用于做出有关患者护理的真实决策之前，必须通过一套最低标准。这些标准包括：在来自不同医院或不同时间段的数据上测试模型、检查预测风险是否与实际结果相符，并确保模型不会歧视特定群体。该综述建议，该领域的下一个突破口不在于发明更复杂的算法，而在于更好地证明我们现有的工具对于每个人来说都是安全、准确且公平的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。