Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

在医疗技术领域，机器学习许下了一个承诺，即计算机可以通过阅读症状列表来识别糖尿病等疾病。这个想法非常强大：患者描述自己的感受——口渴、疲劳、视力模糊——算法便能瞬间计算出他们的风险，从而有可能在疾病造成不可逆转的伤害之前将其发现。为了构建这些“数字医生”，科学家们依赖于海量的数据集，利用成千上万份过去的患者记录来教计算机识别什么是病人以及什么是健康人。测试这些系统的标准是一种被称为“交叉验证”的方法。想象一下，一位老师给学生一份练习考试，然后又给一份略有不同但内容相同的考试，以此来观察学生是真的理解了材料，还是仅仅记住了答案。在科学界，这个过程理应揭示一个模型在面对全新的、未见过的患者时表现如何。

然而，最近对用于此目的的最著名数据集之一进行的重新审查，揭示了这些测试在执行过程中存在的一个隐蔽缺陷。该数据集收集自孟加拉国的一家医院，包含了人们的症状以及他们是否患有糖尿病的记录。多年来，研究人员一直使用这些数据来训练计算机模型，并报告了看似好得近乎真实的成功率，通常声称准确率在97%到99%之间。这些数字表明模型几乎是完美的。但来自秘鲁的一个研究团队现在表明，这些高分并非源于天才，而是由于测试过程中一个简单的错误。他们发现，数据中包含许多完全相同的患者档案副本，而测试的运行方式让计算机在测试开始之前就得到了答案。

由威廉·马林-罗德里格斯（William Marin-Rodriguez）及其同事领导的研究人员，对UCI早期糖尿病数据集进行了重新审视。这个集合拥有520条记录，每条记录都描述了一个人的年龄和十五种不同的症状，例如排尿频繁或体重突然减轻。当他们统计这些症状的唯一组合时，发现了一个令人震惊的事实：在520条记录中，只有251个真正的唯一档案。这意味着269条记录是其他记录的精确副本，还有更多记录虽然症状相同，但仅在年龄上有所不同。在原始研究中，当数据被随机拆分为训练组和测试组时，这些相同的副本往往被随机分散开来。一条记录可能进入训练组，向计算机传授答案，而它的精确孪生兄弟却进入了测试组。当计算机在测试那个孪生兄弟时，它不需要进行猜测或诊断；它只是识别出了已经背下来的模式。

为了观察这种现象在多大程度上夸大了结果，该团队重新运行了相同的计算机模型，但这次他们改变了游戏规则。他们不再采用随机拆分的方法，而是将所有具有相同症状特征的记录保留在同一个组内。这确保了如果特定的症状组合出现在训练数据中，那么该完全相同的组合绝不会出现在测试数据中。这迫使计算机去学习疾病的模式，而不是仅仅死记硬背特定的患者名单。结果的差异是巨大的。在旧的随机方法下，模型的准确率达到了97%至98%，与往年那些光鲜亮丽的报告相符。但当研究人员实施了更严格、无泄露规则后，这些准确率数字降到了90%至93%的范围。虽然这依然令人印象深刻，但这一降幅表明，此前关于近乎完美表现的说法在很大程度上是由数据结构造成的幻象。

该研究不仅衡量了模型判断的正误，还衡量了它们预测时的信心程度。他们观察了一个被称为马修斯相关系数（Matthews correlation coefficient）的特定指标，该指标在患病人数与健康人数不均衡时能提供更诚实的表现评估。在随机测试方法下，这个得分被人工抬高了，对于某些模型而言，夸大程度高达0.16点。当从测试集中移除重复项后，得分显著下降。更重要的是，模型的排名发生了变化。在旧规则下被封为“最佳”的模型——一种被称为堆叠集成（stacking ensemble）的复杂系统——在新的规则下从第一名跌落至第八名。而真正表现最好的模型其实是另一种被称为“极端随机树”（Extra Trees）的树类算法。这一转变证明，所谓“最佳”模型的选择并非事实，而是由于存在缺陷的测试方法导致的。

研究人员还调查了在考虑“近乎重复项”时会发生什么。在数据集中，许多人拥有完全相同的症状，但年龄不同。团队测试了一种场景，即即使是这些近乎相同的档案也被归为一组，以防止计算机通过学习一个40岁人的症状来预测一个具有相同症状的45岁人的风险。这种更严格的测试进一步降低了所有模型的表现。有趣的是，一种通过寻找单个最相似过往案例来工作的简单模型，在第一种严格测试下表现得几乎与复杂模型一样好，但在移除近乎重复项后，其表现崩溃了。这表明，简单模型同样是在依赖于在训练数据中寻找自身的副本，而非真正理解疾病。

这项工作的意义不仅限于单一数据集。研究人员认为，过去报道的关于糖尿病预测的高准确率很可能也受到了这种重复记录问题的困扰。他们发现，新旧结果之间的差异足以吞噬许多新研究声称发现的微小改进。如果一项新算法声称比旧算法好1%或2%，那么这种改进可能只是由数据拆分方式引起的噪声，而非真正的突破。团队还指出，许多模型校准得很差，这意味着虽然它们经常判断正确，但它们的概率评分并不反映真实的患病可能性。例如，有些模型过于自信，而有些则过于犹豫，如果医生依赖这些数值做出决策，这可能会非常危险。

这次重新评估并不意味着机器学习无法帮助诊断糖尿病，也不意味着这些模型是无用的。它仅仅意味着用于衡量它们的基准存在缺陷。研究人员强调，他们的发现是基于特定数据集的内部估计，并不能证明这些模型在现实临床环境中有效。他们指出，数据来自单一医院，且缺乏关于如何确认糖尿病的具体细节，因此在没有进一步测试的情况下，不能直接应用于普遍筛查。然而，这项研究为科学家指明了一条清晰的路径。他们建议，未来的研究必须检查是否存在重复记录，并在测试期间将它们分组，报告结果的不确定性，并且除非差异具有统计学意义，否则不要宣布单一的“最佳”模型。通过清理测试过程，科学界可以确保未来的“数字医生”是基于它们真正的学习能力，而非获取答案的能力来接受评判。