Missing Data Governance in Real-World Cardiovascular Risk Prediction: Effects on Machine Learning Performance and Interpretability
本研究表明，在现实世界的心血管风险预测中，通过插补或混合策略对缺失数据进行适当处理，对于维持模型的可靠性和可解释性至关重要，而对不完整记录进行盲目删除则会显著降低性能，并忽视了缺失本身所包含的信息价值。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
心脏病仍然是全球范围内的首要死因，医生们依靠早期检测来挽救生命。为了实现这一目标，他们会收集关于每位患者的大量信息：年龄、血压、胆固醇水平，以及是否有吸烟或糖尿病史。近年来，被称为机器学习的计算机程序被训练用来分析这些信息并预测风险人群。这些程序在处理干净、完美的数据时表现出色。然而，现实世界很少是完美的。在实际的医院中，记录往往是凌乱的。医生可能会忘记记录血压数值，实验室结果可能会缺失，或者患者可能在另一家诊所进行过某项检查，但该记录从未进入档案。长期以来，测试这些计算机程序的科学家们主要使用陈旧且经过清理的数据集，这并不反映现实情况。他们一直专注于研究哪种计算机算法更聪明，却往往忽略了数据本身是不完整的这一事实。这提出了一个关键问题：如果一个计算机程序是在完美的数据上训练出来的，那么当它面对现实医院中那些凌乱、不完整的记录时，它还能正常工作吗？
土耳其代尼兹利的一组研究人员决定通过围绕数据本身而非计算机程序来开展这项研究，以寻求答案。他们直接前往一家私立医院的心脏科，提取了2019年至2024年间就诊的所有患者记录。他们没有预先清理数据，也没有丢弃那些带有缺失数字的记录。相反，他们直接采用了医院数据库中原始、未经处理的信息，保留了其中所有的空白和不一致之处。从这些记录中，他们选取了包括年龄、性别、胆固醇及各种心脏测量指标在内的十九个关键健康参数，旨在观察不同的计算机程序在被迫处理缺失信息时，预测心脏病的效果如何。他们测试了十一种不同类型的学习算法，涵盖了从简单的统计方法到由许多小模型协同工作的复杂现代系统。至关重要的是，他们并没有只选择一种修复缺失数字的方法。他们测试了四种完全不同的策略。一种策略是用估算数值填补空白；另一种策略是保留空白，看计算机是否能自行处理它们；第三种策略将缺失值视为一个特定的类别，本质上是在告诉计算机：“我们不知道这个数据，但‘不知道’这一事实本身可能很重要”；第四种策略则是许多研究中常见的做法，即简单地删除每一个含有缺失数值的记录。
结果显示，研究人员处理缺失数据的方式比选择哪种计算机程序更为重要。当研究人员采用删除不完整记录的策略时，所有计算机模型的性能都显著下降。最准确的模型从正确识别约77%的病例下降到了仅69%。这种性能损失发生的原因在于，删除记录移除了大量有价值的信息，导致计算机可用于学习的样本量过少。相比之下，那些保留了不完整记录的策略——无论是通过填补空白还是将缺失视为已知事实——都保留了模型准确预测心脏病的能力。表现最好的计算机程序是那些能够处理凌乱数据而不将其丢弃的程序。在测试的不同算法中，被称为“提升集成”（boosting ensembles）的系统家族表现出了最强的韧性。这些系统通过结合许多简单的决策者来形成一个强大的预测模型，即使在数据不完整的情况下也能保持高准确度。而基于寻找数据集中最近邻居的较简单方法，在面对缺失值时则显得最为吃力。
当研究人员仔细观察计算机程序是如何做出决策时，或许得到了最令人惊讶的发现。他们使用了一种特殊的分析工具来查看计算机认为哪些特征最为重要。他们发现，计算机非常关注某些测量值缺失的事实。具体而言，血压读数缺失的指示器在预测心脏病的影响因素中排名极高。这并不意味着没有血压读数会导致心脏病。相反，它表明“缺失的模式”本身就携带着信息。在这家医院中，血压读数未被记录这一事实，可能暗示了患者的某种状况，例如特定的就诊类型，或是影响了哪些检查被订购的社会经济因素。计算机学会了将这种“缺席”视为一种信号，就像高胆固醇数值一样真实。这一发现挑战了“缺失数据仅仅是需要修复或忽略的缺陷”这一观点。它表明，在现实世界的临床环境中，信息的记录方式（或不记录的方式）本身就是数据所讲述的故事的一部分。
研究结论指出，为了让计算机程序在真实的医院中获得信任，科学家们必须停止将数据质量视为在正式工作开始前只需简单清理的次要细节。如何处理缺失信息是科学研究中至关重要的一部分。如果研究人员只是简单地删除不完整的记录，他们就有可能构建出那些在理论上表现良好、但在实践中却会失败的模型。最可靠的方法是使用尊重数据不完整性的方法，要么是仔细填补空白，要么是承认测量值的缺失本身就是一种信息。通过使用来自土耳其的本地化数据集，研究人员证明了基于真实、凌乱数据的模型更能代表医生面临的实际情况。他们发现，虽然这些模型并不完美，但它们是诚实且稳健的。该研究认为，医学预测的未来不在于寻找一个能在完美数据上运行的稍好一点的算法，而在于构建能够理解并学习人类健康记录中不完美现实的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。