Benchmarking machine learning for cardiovascular disease classification across 46 countries with geographic and temporal transportability assessment
本研究通过利用世界卫生组织（WHO）STEPS数据，对46个国家的心血管疾病分类机器学习模型进行了基准测试，结果表明复杂算法相比逻辑回归仅带来微小的性能提升，同时强调了显著的地理与时间异质性，这要求在公共卫生人工智能领域中，应优先考虑可迁移性、校准度以及少数类别的表现，而非仅仅关注汇总后的ROC AUC。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
心脏病仍然是全球范围内的首要死因，每年夺走数百万人的生命。在世界许多地方，这种负担甚至更加沉重，超过四分之三的此类死亡发生在低收入和中等收入国家。为了应对这一问题，卫生官员依赖于大规模调查，询问人们的健康状况、生活习惯以及获得医疗服务的机会。这些调查收集了诸如血压、吸烟和饮食等方面的数据，而这些因素已知会影响心脏健康。人们希望通过分析这些信息，让计算机能够学习识别模式，从而预测谁处于风险之中，使医生能够更早地进行干预。
近年来，出现了一股利用被称为“机器学习”的高级计算机程序来寻找这些模式的热潮。这些程序通常被吹捧为能够解决简单方法无法解决的问题，能够发现海量数据中隐藏的联系。然而，一个主要的问题仍然存在：当应用于不同国家和不同时期的现实情况时，这些复杂的程序是否真的表现得更好？通常，这些工具在测试时的表现方式会让它们看起来比实际情况更成功，例如将来自单一国家的数据拆分为训练组和测试组。这种方法可能会掩盖一个事实，即当面对一个新国家、一个不同的年份或一个医疗服务获取途径不同的群体时，模型可能会完全失效。
一项新研究旨在通过一个更严苛的挑战来测试这些计算机模型。研究人员收集了来自46个不同国家的健康调查数据，涵盖了近18.8万名成年人。他们提出了一个直截了当的问题：计算机程序能否根据调查回答准确识别出已经患有心脏病的人，并且如果将该程序发送到一个它从未见过的国家，它是否仍然有效？为了找到答案，他们比较了几种不同类型的计算机模型的表现，范围从简单、透明的统计方法到复杂的现代人工智能系统。
研究人员不仅仅是在寻找最高的综合得分。相反，他们设计了一个严谨的测试，以模拟现实世界的部署。他们利用大多数国家的数据来训练模型，然后将模型测试在完全未参与训练过程的整个国家上。他们还检查了模型在时间维度上的稳定性，即利用较旧的调查数据进行训练，并使用相同国家较新的数据进行测试。他们密切关注了模型如何处理心脏病在这些调查中相对罕见的这一事实，这意味着一个模型即使大部分时间是错误的，其标准得分看起来依然不错。他们还检查了模型是否仅仅是在识别那些因为其他疾病而已经就诊的人，而不是在识别心脏病本身的潜在风险。
结果对医学人工智能领域进行了一次冷静的现实检查。最复杂的计算机模型并没有比一种简单、易于理解的统计方法表现得显著更好。事实上，它们在正确识别心脏病病例方面的差异非常微小，几乎可以忽略不计。虽然复杂模型在某些特定测量指标上取得了微小的优势，但它们并未提供人们所期望的那种突破性的提升。更重要的是，研究发现这些模型的表现高度依赖于它们被使用的地点。在一个地区表现尚可的模型，在另一个地区可能会几乎完全失效。例如，在一些中亚地区，模型的准确性较高；但在一些太平洋岛国和非洲部分地区，它们区分患病与未患病人群的能力下降到了接近随机水平。
研究还显示，这些模型在时间上并不稳定。当研究人员利用几年前的数据训练模型，并使用随后年份的数据进行测试时，结果往往很差。模型难以适应人口变化、疾病诊断方式的变化或在调查周期之间发生的医疗服务改善。这表明，如果没有进行重大调整，今天构建的模型在明天可能不再可靠。此外，研究人员发现，这些模型严重依赖于一个人是否被诊断出高血压或糖尿病。当研究人员从数据中移除这些特定信息时，模型的表现明显下降。这表明，计算机在一定程度上是在识别那些已经与医疗系统发生过互动的人，而不是纯粹识别心脏病的生物学风险。在许多人无法定期接触医生的国家，这种依赖可能会导致模型错过那些最需要帮助的人。
研究人员得出结论，选择复杂的算法不如关注其应用的背景环境重要。国家之间的差异以及随时间变化的差异，远大于计算机模型本身的差异。他们认为，在任何此类工具被用于指导公共卫生决策之前，不仅要测试其总体得分，还必须测试其在特定局部环境中的工作能力、随时间变化的可靠性，以及在不同群体中的公平性。这项研究表明，对于全球健康监测而言，透明度和稳健性比复杂性更有价值。一个易于理解且能针对局部情况进行调整的简单模型，可能比一个在环境改变时就会失效的复杂“黑箱”模型，是更能拯救生命的工具。作者建议，前进的路径不是去追求最强大的计算机程序，而是去构建那些对其局限性保持诚实、并能适应其所服务的多样化现实世界的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。