Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression
本研究表明，电子健康记录中抑郁症标签的选择——无论是医生编码、患者自报还是两者一致——都会显著改变机器学习模型的性能和特征重要性，揭示了尽管医生派生的标签能产生略高的 AUC 分数，但其可能会在无意中放大人口统计学偏见。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人如何识别一种特定的鸟类。你向它展示了数千张照片，但这里有个陷阱：有些照片是由鸟类观察专家标注的，而有些则是由在野外亲眼看到那只鸟的人标注的。专家可能会因为鸟儿躲藏起来而漏掉它，或者误认了某种长相相似的物种。而那个在野外的人可能会因为过于兴奋，把一只普通的鸟误认为是一只稀有鸟类。如果你只用专家的标签来教机器人，它学到的是专家所看到的，而不是实际存在的东西。这就是机器学习领域的核心——一个不断发展的领域，在这里，计算机通过学习海量数据中的模式来进行预测。在医疗保健领域，科学家们正试图构建这些“机器人医生”，以在抑郁症恶化之前发现这类心理健康问题。但棘手之处在于：与在 X 光片上清晰可见的骨折不同，抑郁症是无形的。它取决于患者的感觉以及医生对这些感觉的解读。这篇论文提出了一个重大且重要的问题：如果我们用医生的笔记作为“真相”来教我们的机器人医生，那么它学到的东西，是否会与我们用患者对自己感受的报告来教它时所学到的东西有所不同？
这项研究背后的研究人员，来自乔治梅森大学的 Natasha Tonge 和 Leah Adams，决定对这个问题进行测试。他们查看了 2012 年至 2019 年间访问社区卫生中心的超过 644,000 名成年人的海量医疗记录。他们想看看“地面真值”（即用来告诉计算机什么才算作抑郁症的标签）是否会改变计算机的学习方式。他们构建了三个不同版本的机器学习模型，每个模型都基于对抑郁症的不同定义进行训练：
- 医生的视角： 模型仅从医生在患者病历中正式记录了抑郁症诊断的案例中学习。
- 患者的视角： 模型仅从报告有严重症状（PHQ-9 量表）的患者中学习，即使医生尚未做出诊断。
- 一致性视角： 模型仅从患者报告有严重症状且医生也记录了诊断的案例中学习。
他们使用了一种被称为“树”的计算机算法（可以把它想象成一个通过询问“是或否”问题来进行决策的流程图）来预测谁患有抑郁症。他们向计算机输入了诸如年龄、种族、性别、血压以及是否患有焦虑或其他健康问题等数据。
以下是他们的发现，这有点令人惊讶。首先，无论使用哪种标签，计算机模型在识别抑郁症方面都不完美。它们的准确度（通过一个称为 AUC 的分数来衡量）在 0.62 到 0.64 之间徘徊。为了让你理解，完美的得分为 1.0，而随机猜测的得分为 0.5。所以，这些模型比随机猜测要好，但仍然会错过很多病例。受医生标签训练的模型在发现已被医生识别的病例方面表现最好（敏感度为 0.33），但它仍然漏掉了大约三分之二的病例。
最有趣的发现不在于模型的表现如何，而在于它们认为什么才是重要的。计算机的“大脑”会根据它在听谁的话而改变想法。
- 当模型听从医生的标签时，它认为像白人、女性和未婚是抑郁症最大的线索。
- 当模型听从患者的严重症状时，这些人口统计学线索变得不再那么重要。相反，模型高度关注患者是否患有焦虑、年龄以及血压。
- 在所有三个模型中，唯一保持重要的因素是焦虑。如果患者患有焦虑，无论使用哪种标签，计算机都更有可能将其标记为抑郁症。
作者认为，这种转变是一个警示信号。如果我们构建的 AI 工具仅通过医生记录的内容来学习，那么 AI 可能会开始认为抑郁症主要与特定的种族或性别有关，仅仅是因为过去的医生倾向于这样诊断。它可能会错过那些正在受苦但尚未被诊断出来的患者。该研究表明，为了让这些 AI 工具公平且值得信赖，我们需要纳入患者自己的声音，而不仅仅是医生的笔记。如果我们不这样做，我们就有可能构建出一个重复现实世界中存在的盲点和偏见的数字系统，从而可能错过那些最需要帮助的人。研究人员并没有证明其中一种方法是完美的，但他们清楚地表明，谁来定义“真相”的选择，会改变机器人对问题的整个理解。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。