Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

在现代医学领域，医生越来越依赖计算机来帮助预测哪些患者可能会在服用每日药物方面遇到困难。这对于生活在艾滋病毒（HIV）环境下的儿童来说尤为关键，因为错过抗逆转录病毒治疗的剂量可能会导致严重的、威胁生命的后果。为了做出这些预测，研究人员收集了来自医院就诊的大量数据，例如一个孩子还剩多少片药、家长是否报告了漏服剂量，或者重新开药需要多长时间。他们将这些信息输入机器学习模型——这些是旨在发现模式并预测未来行为的复杂计算机程序。其希望在于，这些工具能够及早识别高风险儿童，从而让诊所能够在儿童健康状况恶化之前进行干预。然而，在如何收集和使用这些数据方面，存在着一个隐藏的陷阱。如果用于进行预测的信息与问题本身的定义过于紧密相关，计算机可能会显得像个天才，但实际上它只是在阅读答案解析。这种现象被称为“数据泄露”（data leakage），它创造了一种完美的准确性幻觉，而这种幻觉在模型接受现实世界测试时会瞬间消失。

来自乌干达的一个研究小组最近利用来自 EARTH 队列（一项追踪生活在 HIV 环境下的儿童的长期研究）的数据，调查了这一确切问题。他们想要了解机器学习模型的表观成功在多大程度上取决于一种特定的方法论问题：即使用定义问题的线索来解决该问题。在他们的配套研究中，该团队构建了一个用于预测“依从性不佳”（suboptimal adherence）的模型，他们将此定义为：儿童漏服剂量、药用尽或延迟药房取药。为了严谨起见，他们在训练计算机之前，已经剔除了那些直接构成该定义的特定数据点。那项早期工作显示出了适度且现实的结果。但对于这项新分析，研究人员提出了一个不同的问题：如果我们把这些线索留下来会发生什么？他们想看看，如果允许模型“偷看”答案，其性能会膨胀到什么程度。

为了查明真相，研究人员重建了来自同一组 208 名儿童和 590 次门诊就诊的数据集，但他们将数据组织成了三个不同严格程度的层级。第一层是“不受控”版本，在这种版本中，计算机被给予了所有可用的信息，包括漏服剂量的直接报告和剩余药品的精确计数。这些是研究人员用来判定一个孩子是否依从性差的具体事实。当计算机在这一层进行训练时，结果令人震惊地完美。六种不同类型的机器学习算法（包括复杂的树模型）都达到了 1.000 的得分，这意味着它们在预测中零失误。计算机并不是在预测未来，它只是在重复它被赋予的规则。它发现，如果一个孩子漏服了剂量，模型就会预测依从性不佳；如果没漏服，则预测依从性良好。这是一个完美的循环，但也是一个无用的循环。

随后，研究人员转向了第二层，“松散控制”版本。在这里，他们移除了五个直接定义结果的字段：漏服剂量的报告、药房取药的延迟、药用尽的报告、延迟时间的计算以及剩余药品的数量。在没有这些直接线索的情况下，计算机的性能显著下降。表现最好的模型是一个名为 CatBoost 的程序，其准确性得分从完美的 1.000 降至 0.735。虽然这仍然是一个相当不错的结果，但与第一层的完美表现相比相去甚远。这种下降证明了最初的成功很大程度上是一种幻觉，是由模型在阅读问题的定义而非学习真正的模式所造成的。

然而，故事并未就此结束。研究人员注意到，即使在第二层中，仍有一个变量在主导模型的决策：一个指示该儿童自上次就诊以来是否中断过治疗的字段。尽管这个变量在技术上并不定义结果，但它与依从性的概念密切相关，以至于充当了一个近乎完美的代理变量。当研究人员移除这个最后的变量以创建第三层——“严格控制”层时，模型的性能再次下降。CatBoost 模型的得分降至 0.680，并且它正确识别最关键病例的能力降至 0.407。这一最终结果与他们早期更严谨研究中看到的适度表现非常接近，证实了数据中真实的预测信号比最初那些被夸大的数字所显示的要弱得多。

这项研究为任何使用计算机预测医疗结果的人提供了一个至关重要的教训。研究人员发现，树模型（因其处理复杂数据的能力而广受欢迎）特别容易受到这种通胀的影响，因为它们擅长于寻找定义某一类别的精确规则。当目标结果是由过程变量的简单“或”（OR）组合构建时（例如“漏服剂量 OR 药用尽”），模型可以轻易地记住这些规则并获得并不反映现实的完美分数。研究人员强调，诸如药房补药记录之类的变量本身并非不好；它们对于预测不同的结果（例如儿童的病毒是否得到抑制）是非常有用的。危险仅在于，当目标是预测依从性本身，且模型被允许使用那些定义依从性的测量指标作为主要线索时才会发生。

最终，这一分析是对“不要仅凭高水平性能数字做判断”的警告。研究人员证明，包含定义结果的字段可以人为地将模型的区分度提升高达 0.41 个点，这是一个巨大的差异，可能导致临床医生信任一个实际上尚未准备好投入使用的工具。他们建议未来的研究应采用分层法，通过系统地移除直接组成部分和紧密的代理变量，来审计这种泄露情况。通过这样做，科学家可以确保他们构建的模型检测到的是真实的、可迁移的信号，而不仅仅是反映了所喂入数据的结构。这项工作证实，虽然机器学习在改善资源匮乏地区的护理方面具有巨大潜力，但其力量必须辅以对数据构建方式的严谨理解。