Outcome labels and patient reuse in clinical validation: reanalyses of the DIPK and TIL-30 breast-cancer evaluations
本文通过对 DIPK 和 TIL-30 模型在乳腺癌临床验证中的重新分析，旨在展示误判结局标签和重复使用患者数据如何人为地夸大报告的性能指标，并敦促研究人员在引用验证结果之前，务必核实结局定义及患者独立性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
在对抗癌症的战斗中，医生越来越依赖于能够读取患者基因代码的计算机模型，以预测肿瘤对治疗的反应。这些模型就像一个水晶球，通过分析数千个基因来猜测药物是会让肿瘤完全缩小，还是会将其遗留在体内。为了让这些预测值得信赖，必须通过现实世界的结局进行测试：患者是否真的康复了？这种检查的金标准是观察化疗后显微镜下的组织情况，即病理检查。如果一个模型声称可以预测完全治愈，科学家必须通过将计算机的猜测与实际的显微镜结果进行对比，来验证这一说法。然而，用于构建和测试这些模型的数据通常来自公共档案库，即研究人员存储遗传信息和临床笔记的庞大数字库。这些档案库的完整性至关重要；如果描述患者结局的笔记有误，或者同一个患者以不同的名字出现两次，那么对模型准确性的整个测试都可能受到损害。
爱丁堡大学的一位研究人员最近对两个此类模型进行了深入调查，这两个模型都是旨在预测乳腺癌患者对化疗反应的。这项研究并非一项新的实验，而是一次对现有数据的仔细重新审查，提出了一个简单但关键的问题：最初发布这些模型的研究人员是否针对正确的答案对其进行了测试？第一个模型被称为 DIPK，是一个在实验室培养的癌细胞上进行训练，然后在真实患者身上进行测试的深度学习系统。第二个模型 TIL-30 是一个基于三十个特定基因的较简单的工具。研究人员追踪了用于其发表成功案例的数据的数字足迹，发现在这两种情况下，测试都是针对错误的目标进行的。
在 DIPK 的案例中，研究人员将模型的预测结果与一个包含 310 名患者的数据集进行了对比。问题在于，该数据集中的“正确答案”并不是患者手术后的实际显微镜结果。相反，数据中包含的是由另一个较旧的计算机程序 DLDA30 做出的预测。这就像是在批改学生的作文时，不是通过检查事实，而是看他们的作文是否与另一名学生的作文一致。因为两款计算机程序都在观察相同的遗传模式，它们自然会彼此达成一致，从而使 DIPK 模型看起来比实际情况要准确得多。当研究人员用实际的显微镜结果替换掉那些计算机生成的答案时，模型的性能得分显著下降。它并没有完全消失；该模型仍然表现出一定的能力，能够区分哪些患者反应良好，哪些反应较差，但其表现出的成功在很大程度上是一种错觉，是由将预测与类似的计算机程序而非现实进行比较所造成的。
第二个模型 TIL-30 面临着另一种类型的错误。该模型旨在预测完成全过程治疗后的完全治愈。然而，在其中一组特定患者的测试数据中，记录的是仅经过第一阶段化疗后的结局。这类似于根据马拉松选手在第一英里后的速度来评判其最终成绩。该模型是在一个过早的、尚不足以说明最终结局的患者状况快照基础上进行测试的。当研究人员修正数据以反映所有治疗结束后的实际最终结局时，该模型的预测能力有所下降，尽管这种下降在统计学证据上仍具有不确定性。
除了错误答案之外，研究还发现了关于“谁在接受测试”的问题。在科学研究中，为了确保结果的稳健性，每一个被计入的患者都必须是独立的个体。研究人员发现，在 DIPK 研究中，一组中的大量患者实际上是另一组中的同一批人，只是列在了不同的文件名下。这意味着模型在同样的人身上进行了两次测试，从而夸大了其结果的可信度。更令人担忧的是，对于 TIL-30 模型，许多用于测试该模型的患者，正是最初用来教导模型如何工作的同一批人。这就像是一个学生参加了一场考试，而考试题目包含了他们刚刚在课堂上学过的知识；这并不能证明他们理解了材料，只能证明他们记住了答案。虽然这种重叠显然破坏了训练集与测试集之间的分离，但本研究并未估算这种重复使用对模型性能得分的具体影响。
调查并未止步于发现错误；它还检查了这些模型除了医生现有的知识外，是否提供了任何真正的价值。医生目前使用一套包含七个标准临床因素（如年龄和肿瘤类型）的指标来评估患者的康复机会。研究人员构建了新的统计模型，以观察在加入这七个因素后，添加计算机评分是否能改善预测。结果是不确定的。虽然计算机评分没有损害预测效果，但数据强度不足以证明它们增加了任何有意义的新信息。在某些测试中，计算机评分似乎有所帮助，但误差范围如此之大，以至于这种改进很可能只是偶然现象。此外，当研究人员尝试将在一个患者组中训练的模型应用于另一组患者时，预测结果变得极其不准确，经常出现预测四分之一患者将被治愈，而实际只有五分之一的情况，反之亦然。
研究结论指出，这两个案例为整个癌症研究领域敲响了警钟。这些模型本身未必是无用的；即使在错误被修正后，DIPK 模型仍然保留了与真实患者结局的联系。然而，它们发布的成功主张是建立在不稳固的基础之上的。“成功”依赖于将预测与预测进行对比、针对不完整的治疗阶段进行测试，以及通过重复使用相同的患者来掩盖任务的真实难度。研究人员强调，对于任何新的医疗工具要获得信任，科学家必须验证三件事：所预测的结局是否为真实的最终结果，测试中的患者是否确实是独立的个体，以及该工具是否在医生已知的基础上增加了新内容。如果没有这些检查，一个模型可能会在纸面上看起来像是突破，但在临床应用中却无法兑现承诺。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。