Complete Patient-Level Leakage Among Traceable Images in a Widely Used Brain Tumor MRI Benchmark
本文揭示了一个广泛使用的脑肿瘤 MRI 基准测试存在完全的患者级数据泄露问题，即高报告准确率反映的是模型识别先前见过患者切片的能力，而非其对未见个体的真实泛化能力。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医学影像领域，计算机正在通过学习成千上万张人体图像来学习识别疾病。为了教导这些系统，科学家们收集大量的扫描图像，并将它们分为两组：一组用于计算机学习，另一组用于测试其知识。目标是看计算机是否能够识别从未见过的全新患者身上的疾病。这一过程是现代医疗人工智能的基础，人们希望通过在过往病例上训练出的机器，来帮助医生诊断未来的病例。然而，为了使这项测试公平，这两组数据必须是真正独立的。如果计算机在训练期间看过某位患者的大脑图像，那么在测试期间就不应该再看到该患者大脑的其他图像。否则，计算机并不是在证明它理解了疾病，而仅仅是在记住这个患者。
最近，一项针对被数千名研究人员广泛用于测试脑肿瘤检测软件的流行数据集进行的调查，揭示了在处理这种分离问题上的一个巨大缺陷。该数据集包含超过七千张被标记为胶质瘤、脑膜瘤、垂体瘤或无肿瘤的图像，因其计算机模型取得了接近完美的得分（通常超过 98% 的准确率）而广受赞誉。这些高分表明该技术已准备好投入实际应用。但数据的组织方式隐藏了一个关键秘密：测试图像与训练图像并不独立。通过追踪文件并追溯其原始来源，一名研究人员发现，测试集充满了与计算机已经学习过的同一患者完全相同的切片。
这位研究人员独立开展工作，将该数据集视为一个拼图。原始文件已被剥离了患者姓名，并根据肿瘤类型进行了分类，这使得判断哪些图像属于同一个人变得不可能。为了解决这个问题，研究人员将每个文件夹中的图像视觉内容与一个保留了患者记录的源集合进行对比。通过匹配大脑扫描的形状和模式，研究人员能够将数千张图像重新链接到其原始所有者身上。结果令人震惊。在用于测试的近一千张肿瘤图像中，几乎所有的图像都来自已经在训练集中出现的患者。事实上，测试组中每一个可追踪到的肿瘤图像，都属于计算机已经见过的患者。
这一发现意味着，计算机并不是在测试其识别新患者疾病的能力，而是在测试其识别已记忆患者之第二张切片的能力。因为来自同一份 MRI 扫描的相邻切片看起来非常相似——共享相同的颅骨形状、光影和伪影——计算机可以简单地通过说“我以前见过这个大脑”，从而在没有真正理解肿瘤的情况下猜出正确答案。为了证明这一点，研究人员再次运行了同一个计算机模型，但这次设定了一个严格的规则：允许计算机学习某个患者的图像，但严禁在测试期间看到该患者的任何其他图像。
当计算机被迫面对从未见过的患者时，其表现显著下降。在已知患者图像的特定组别中，计算机的正确率高达 99.12%。但当患者是全新的、未见过的时，准确率降至 93.60%。虽然这个差距听起来很小，但它代表了错误率增加了七倍。在医疗诊断的世界里，漏诊肿瘤可能是致命的，七倍的错误率增长是测试方法的灾难性失败。调查还检查了这些高分是否仅仅是因为计算机记住了完全重复的文件。即使在删除了所有完全相同的副本后，准确率仍然维持在人为偏高的水平，这证明了问题不仅仅在于重复文件，而在于更深层的患者重叠问题。
为了确保性能下降确实是由患者重叠而非测试运行方式的变化引起的，研究人员创建了一个对照组。他们将同样的图像随机分组，保持患者身份混杂，并再次进行了测试。这种随机分组仍然产生了高分，非常接近最初有缺陷的结果。这证实了导致准确率下降的唯一原因就是“禁止使用同一患者”这一规则。研究还发现，“无肿瘤”类别由于缺乏患者标识符，并未表现出同样剧烈的下降，这进一步证明了该错误专门与肿瘤类别中存在的患者身份有关。
这一发现的影响是深远的，对于任何依赖这些基准的人来说都是如此。多年来在该数据集上发表的高准确率数字，并不反映计算机向新患者泛化（generalize）的能力。它们反映的是计算机通过识别熟悉面孔所采取的捷径。研究人员已经发布了修正后的数据划分和用于修复该问题的代码，以便其他科学家能够公平地测试他们的模型。教训是明确的：在医学人工智能中，衡量单位必须是患者，而不是图像。如果一台计算机无法区分新旧患者，那么它并没有学会诊断疾病，它只是学会了识别一个人。在数据集被组织起来防止此类“泄漏”之前，这些系统所报告的成功可能只是一种幻象，掩盖了一个现实：该技术在投入临床应用方面的准备程度远低于数字所暗示的水平。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。