Native image geometry and cross-partition patient overlap in a checksum-identified public liver ultrasound release: an audit of SMC-LUD

想象一个计算机正在学习如何通过医学图像识别疾病，充当医生“第二双眼”的世界。在这些工具中，超声波是最常用的手段之一，它利用声波来创建人体内部（如肝脏）的图像。由于这些机器普及率高且成本相对较低，科学家们收集了大量的此类图像来训练人工智能。人们希望这些计算机程序能够通过观察图像，学会识别危险的肿瘤（如肝癌）或无害的肿块（如良性增生）。为了让这种训练奏效，计算机必须学会识别真实的疾病，而不仅仅是图像采集过程中产生的随机细节。如果计算机学会了一种捷径——比如仅仅根据图像文件的大小来猜测答案，而不是根据肿瘤的形状——那么当它在真实医院遇到新患者时，它将会失败。

最近，一组研究人员决定仔细检查一个著名的肝脏超声图像集，该集合已向公众开放供科学家使用。这个被称为 SMC-LUD 的集合本应是测试这些计算机程序的“金标准”。原始描述称，这些图像来自一千多名不同的患者，并且数据已经过精心划分，确保没有单个患者出现在多个组别中。这种分离至关重要；如果一个患者的图像同时出现在训练组和测试组中，计算机可能只是记住了那个特定的人体解剖结构，而不是学会了诊断疾病。研究人员下载了整个集合，并开始进行细致的审计，检查每一个文件以查看现实是否符合承诺。

他们的发现是一系列改变了我们看待该数据集方式的惊喜。首先，他们发现计算机只需观察图像的形状，无需看到肝脏内部，就能完美地识别出疾病。每一张带有癌症肿瘤的图像都是正方形，而每一张带有良性增生的图像都是长方形。就好像这些文件被盖上了隐藏的标签，根据它们的尺寸标明了“癌症”或“非癌症”。这意味着一个计算机程序可以通过检查图片是否为正方形来获得满分，从而完全忽略医疗内容。这是一个典型的技术捷径案例，即机器学习到了数据采集过程中的模式，而非医疗现实。

审计还显示，数据的分离程度并不如声称的那样。原始报告指出，患者被分在了不同的组别中，但当研究人员清点电脑中的实际文件夹时，他们发现超过 60% 的患者的图像散落在训练、测试和验证组中。事实上，几乎所有测试组中的患者在训练组中也都有图像。这就像给一名学生考试，题目却出现在他已经做过的课后练习题中。当研究人员使用仅出现在单一组别中的患者重新运行计算机测试时，计算机的表现有所下降，尽管仍然保持在较高水平。然而，当他们强制计算机忽略图像形状并将所有图片视为同类时，性能又回升到了完美。这表明，即使在移除明显的形状线索后，图像保存方式中的其他微妙技术细节仍在为计算机提供不公平的优势。

研究人员还发现，官方描述中的数字与他们下载的文件并不匹配。描述声称有超过五千张图像和一千多名患者，但实际文件显示的计数和患者文件夹数量略有不同。官方名单中的某些患者名称下没有任何图像，而某些图像文件夹在名单中也没有名字。这些不匹配表明，数据在发布前并未经过仔细检查。这项研究并未证明最初的医生在医疗工作中犯了错误，但它确实表明，他们发布的数字包非常混乱，且包含了可能误导人工智能的隐藏线索。

这项调查是一个强有力的提醒：当我们分享用于计算机学习的医疗数据时，我们必须极其谨慎。我们的目标是教会机器理解疾病，而不是识别特定摄像机的特性或特定技术人员的习惯。研究人员得出结论，未来发布的医疗图像需要更加透明。他们建议，任何发布此类数据的人都应提供一份清晰、不可更改的清单，将每张图像与特定患者关联起来，并确认没有患者出现两次。他们还建议检查所有图像在尺寸和格式方面是否看起来一致，以免有隐藏模式溜进去。如果没有这些保障措施，我们在计算机测试中看到的各种高分可能只是一种幻象，而这项技术可能尚未准备好在现实世界中帮助医生拯救生命。