Temporal evaluation of machine-learning models for early in-hospital mortality prediction after acute trauma using routinely collected emergency department data: a multicentre retrospective cohort study
这项多中心回顾性研究表明，尽管利用常规急诊科数据构建的机器学习模型在预测急性创伤后的院内死亡率方面具有很高的区分度，但其固定的运行阈值表现出显著的时间不稳定性以及在老年群体中性能下降的问题，这强调了在临床实施前，除了评估聚合指标外，还必须对校准度和亚组可靠性进行评估。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在严重事故发生后的最初几分钟混乱时刻，急诊科医生面临着一场与时间的赛跑。他们必须在化验结果或影像扫描出来之前，判断哪些患者处于即刻死亡的危险之中，而哪些患者很可能会康复。为了实现这一目标，临床医生长期以来一直使用简单的评分系统，这些系统权衡了诸如血压、呼吸频率和意识清醒程度等基本体征。这些工具虽然有用，但它们依赖于固定的公式，无法轻易适应人类损伤的复杂且混乱的现实。近年来，被称为机器学习的计算机程序被提议作为一种更智能的替代方案。这些程序可以筛选海量数据，以发现人类可能忽略的细微模式，从而为预测患者的生死提供一种可能更准确的方法。然而，一个在昨天的数据上表现完美的模型，并不保证明天也能奏效，高测试分数也不意味着该工具已准备好投入实际应用。衡量这样一个系统的真正标准，在于它随着时间的推移是否仍能保持可靠，以及它是否能公平地对待所有患者，无论其年龄大小或受伤类型如何。
韩国的一个研究小组致力于利用大规模的真实世界记录来测试这个问题。他们在2019年至2023年间收集了来自全国各地急诊科就诊的近63万名急性损伤成年人的数据。其目标是构建能够仅利用患者踏入急诊室那一刻所掌握的信息——即年龄、受伤方式、转运方式以及初始生命体征——来预测住院死亡率的计算机模型。研究人员利用前四年的数据训练了四种不同类型的机器学习算法，然后提出了一个简单而关键的问题：如果将这些相同的模型应用于2023年的患者，在不做任何更改或重新训练的情况下，它们是否仍能准确运行？
研究结果既展现了令人印象深刻的能力，也带来了冷静的警示。当研究人员将这些模型应用于2023年的患者进行测试时，计算机程序在对患者进行排序方面表现得非常出色。它们能够成功区分出哪些人会死亡，哪些人会存活，其准确度远超传统的评分方法。事实上，这些模型在执行此类排序任务时如此有效，以至于它们能正确识别几乎所有患者的风险顺序。然而，当研究人员尝试使用这些模型做出具体的、固定的决策时，研究揭示了一个关键缺陷。当团队将早期阶段制定的特定规则（例如“将任何风险评分高于此数值的人标记为高风险”）应用于2023年的患者时，该规则未能像以前那样捕捉到那么多死亡患者。在训练期间能捕捉到90%风险患者的规则，在一年后使用时仅能捕捉到约79%。这意味着，虽然计算机知道谁比谁更重症，但用于触发警报的具体界限却随着时间的推移变得不再那么可靠。
研究还发现，这些模型并不能对所有人提供同样有效的表现。虽然程序对年轻成年人的表现异常出色，但对于65岁及以上患者的生死辨别能力显著下降。这个年龄段的患者实际死亡率更高，但模型对其预测的准确性却较低。此外，计算机输出的原始数值并非死亡的直接概率；由于系统在处理“大多数患者都能存活”这一事实的方式上存在偏差，这些数值是经过扭曲的。为了解决这个问题，研究人员必须对2023年的预测进行数学调整，这才能使计算机的估计值与观察到的实际死亡人数相匹配。如果不进行这种调整，系统会对个体患者的风险进行大幅高估。
最终，这项研究表明，尽管机器学习在急救领域具有巨大的潜力，但它目前还不是一个可以取代人类判断的成熟产品。研究证明，一个模型可以擅长按风险对患者进行分类，但在提供稳定、可操作的预警方面仍会失败。研究人员强调，要使这些工具在医院中安全且实用，不仅要测试它们对患者进行排序的能力，还要测试它们的特定警告阈值是否能随着年份的流逝而保持稳定，以及它们在不同年龄组之间是否表现公平。在完成这些独立的验证和现实世界的测试之前，这些强大的算法仍然是复杂的科研工具，而非成熟的临床指南。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。