Avoiding Data Leakage in Machine Learning Models for Diabetes and Hypertension Classification Using Routine Occupational Health Screening Data
本研究表明，在用于糖尿病和高血压分类的机器学习模型中包含如空腹血糖和血压等定义结局的预测变量，会导致严重的标签泄露并造成性能的人为虚高，而排除这些变量并使用常规职业筛查数据的模型，在实现中等但符合临床实际的准确度的同时，突显了年龄、BMI和心理压力等因素的预测价值。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医学领域，计算机正越来越多地被要求通过分析患者的数据，来预测他们是否会患上糖尿病或高血压等严重疾病。这一被称为机器学习的领域，其工作原理是将成千上万个关于患病者与健康者的案例，连同年龄、体重和血液检测结果等一系列测量指标，一起输入到计算机中。随后，计算机试图寻找这些测量指标与疾病之间隐藏的联系。如果计算机学得好，医生们希望它能在早期发现高风险个体，例如在日常的工作体检中，从而在疾病发生前实现预防。然而，这个过程中存在一个危险的陷阱，叫做“数据泄露”。当计算机在学习过程中不小心看到了“答案”时，就会发生这种情况。如果计算机看到了一项已经很高的血糖水平，随后又被要求预测该人是否患有糖尿病，那么它其实并没有在进行真正的预测，而仅仅是在阅读疾病的定义。这会产生一种虚假的信心，使计算机看起来像个天才，而实际上它只是在使用无效的数据。
伊朗的一个研究小组致力于构建一个系统，利用在年度健康筛查中收集的数据，来识别大学员工中的糖尿病和高血压患者。他们想看看这些常规记录（包括身体测量数据、血液检测，甚至关于压力和情绪的问题）是否能帮助发现风险人群。但他们最重要的目标不仅是建立一个模型，而是要证明研究人员是多么容易被误导，从而误以为自己的模型是完美的。他们提取了一组大量的员工记录，并将其分为两组来测试他们的想法。首先，他们构建了一个包含所有可用信息的模型，其中包括医生用于诊断这些疾病的血糖和血压数值。不出所料，这个模型的表现近乎完美，正确识别了几乎所有的病例。这看起来像是一项突破。
随后，研究人员做了一件至关重要的事。他们构建了第二个模型，严格禁止该模型查看那些特定的血糖和血压数值。他们迫使计算机只能依靠其他的线索，如年龄、体型和心理压力水平来进行猜测。这个第二个模型代表了现实世界的情况——即医生可能想在进行最终诊断测试之前，先预测风险。当他们对两者进行比较时，差异非常显著。第一个拥有“答案”的模型声称其准确率高达96%。而第二个必须进行实际预测工作的模型，准确率则下降到了78%左右。这近二十个百分点的差距并非微小的误差，而是完全由计算机“偷看”答案所导致的巨大虚高。这项研究表明，许多先前关于高精度医疗预测的说法，可能都是建立在这样一个不稳固的基础之上：计算机只是在阅读疾病的定义，而不是在学习如何识别疾病。
除了揭示这一方法论上的缺陷外，研究人员还发现，没有了“答案”的模型仍然具有价值。即使没有直接的血压或血糖读数，计算机仍能以中等程度的准确性区分健康员工与高风险员工。更令人惊讶的是，计算机发现心理因素是强有力的线索。衡量普遍心理压力、抑郁和焦虑的变量在两种疾病的预测中都排在前列，其重要性与腰围或体重指数（BMI）等物理测量指标不相上下。这表明，心理与生理在这些疾病中有着深刻的联系，一名员工的精神状态可能是身体健康问题的关键早期预警信号。
研究人员谨慎地指出，他们的发现是一个起点，而非最终的解决方案。该研究是在一个相对较小的、来自单一大学的员工群体中进行的，且这些模型尚未在其他地方的不同人群中进行测试。虽然这个现实主义模型的表现对于将人群分类为风险组是有用的，但其准确度还不足以取代医生的诊断。这项工作的真正价值在于它对科学界的警告：如果你想知道一个预测工具是否真的有效，你必须在不让它看到定义疾病的那些数字的情况下对其进行测试。通过展示遵循这一规则后性能下降的具体程度，该研究为未来的研究提供了一个清晰、诚实的框架。它提醒我们，在利用人工智能服务健康的竞赛中，最重要的一步是确保计算机学习的是真相，而不仅仅是在背诵考试题目。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。