ShortKit-ML: an open toolkit for measuring shortcut potential in medical imaging embeddings
ShortKit-ML 是一个开源工具包，它引入了一种经过校准的条件探测器，用于衡量冻结医学影像嵌入中的捷径潜力，并证明了虽然其评分与受混淆分类器对性别等敏感属性的依赖相关，但该工具本身无法在不测试分类器头部的情况下确认或消除这种依赖。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
医学影像学已经达到了这样一个阶段：人工智能在识别 X 光片中的疾病方面，往往能与人类专家相媲美。这些系统的工作原理是首先将图像转换为一种数学摘要，即一组捕捉了图像核心特征的紧凑数字列表。这种摘要被称为“嵌入”（embedding）。一旦创建完成，这个摘要就可以被输入到一个更简单的计算机程序中以进行诊断。然而，高分并不保证系统正在观察正确的目标。有时，这些系统会学会依赖“捷径”（shortcuts）。所谓捷径，是指在训练数据中恰好能预测正确答案，但并非疾病本身一部分的信号。例如，一个模型可能不是通过观察骨骼，而是通过注意到所使用的扫描仪类型或拍摄照片的医院来预测骨折。如果数据发生变化，这些捷径就会失效，导致模型犯下危险的错误。
核心问题在于，这些捷径通常隐藏在数学摘要本身之中。甚至在做出诊断之前，摘要可能就已经包含了关于患者年龄、性别或种族的隐藏线索。如果模型利用这些线索进行决策，可能会产生不公平或不准确的结果。研究人员长期以来一直努力解决的问题是：他们能否仅通过观察数学摘要，就能判断其中是否包含这些隐藏线索，而无需看到原始图像或最终诊断。如果他们能在早期阶段测量出这种“捷径潜力”，他们或许就能在这些糟糕的模型被用于患者之前将其拦截。
一个研究团队开发了一种名为 ShortKit-ML 的新型开源工具来回答这个问题。他们的工作聚焦于一种特定类型的测试：他们能否通过观察一个冻结的数学摘要，来确定其中是否包含有关敏感特征（如患者的性别或种族）的信息，而这些信息是疾病诊断本身无法解释的？为此，他们开发了一种类似于非常仔细的过滤器的方法。他们获取摘要和已知的疾病标签，然后要求一个简单的计算机程序去猜测患者的敏感特征。如果该程序在已知疾病的情况下仍能比随机猜测更好地预测该特征，则意味着摘要中含有额外的、不需要的信息。为了确保这种测试不被随机噪声所迷惑，研究人员在具有相同疾病状态的患者组内对敏感特征进行了打乱处理。这创造了一个基准，用于衡量随机猜测的效果，从而使他们能够精确测量摘要中究竟隐藏了多少真实信息。
研究人员将这一工具应用于两个大型胸部 X 光片集合中，一个来自美国，另一个来自不同的医院系统。他们检查了七种不同的预训练数学摘要，这些摘要就像是经过训练用来观察医学图像的不同“眼睛”。他们检查了这些摘要中是否存在关于性别、年龄和种族的线索。结果清晰且一致：他们测试的每一种摘要都包含了关于这些特征的信息。对于性别，隐藏信息非常强烈；该工具几乎可以仅凭摘要就完美识别患者的性别，即使在已知疾病标签的情况下也是如此。对于年龄的结果也很强，尽管稍弱一些。种族较难检测，且信号强度取决于特定的图像集合和摘要类型，但在大多数情况下，该工具仍然发现了其痕迹。
为了理解发现这些隐藏线索是否真的重要，研究人员进行了第二次实验。他们使用这些相同的摘要，并训练了一个新的、简单的计算机程序来进行诊断，但他们刻意给该程序提供了疾病与敏感特征混杂在一起的训练数据。在这种混乱的数据中，患者的性别或年龄与是否患病有很强的关联，从而制造了一个完美的陷阱。他们发现，在第一次测试中显示出最强隐藏线索的摘要，正是导致新程序最严重依赖这些捷径的摘要。当训练数据是混乱的时候，基于这些“泄漏”摘要构建的程序会犯下巨大的错误，即根据患者的性别而非 X 光片本身来预测疾病。这证实了该工具的分数是一个有用的警告信号：摘要上的高分意味着如果训练数据不完美，基于它构建的模型很可能会产生不公平的结果。
团队还尝试通过使用四种不同的方法，在训练诊断程序之前对摘要进行“清洗”来解决问题。他们尝试了一些试图移除隐藏线索的技术，例如对抗性训练（adversarial training），旨在诱骗系统忘记敏感特征。令人惊讶的是，这些方法效果并不理想。即使在这些工具对摘要进行“清洗”后，诊断程序仍然能发现并利用这些捷径。唯一成功阻止这种不公平行为的方法，是直接在完全平衡的数据集上重新训练最终的诊断程序，其中每个患者群体都得到了平等的代表。这虽然奏效，但并没有改变摘要本身；它只是改变了最终程序接受学习的方式。这表明，对于许多此类系统而言，使用捷径的决定是由最终程序做出的，而非由摘要本身决定，因此仅仅清洗摘要往往是不够的。
研究人员还将该工具测试在他们创建的一个虚假捷径上。他们在一组 X 光片上，在患有特定疾病的患者图像上盖了一个白色的小方块。然后，他们将这些图像输入系统，并询问摘要是否能检测到该方块。该工具立即且正确地在每一次测试中都发现了它，证明了当真实的物理捷径存在时，它是可以被检测到的。然而，研究也揭示了一个局限性：该工具非常擅长发现那些改变了一组人群平均外观的捷径，但它漏掉了更微妙的模式——即各组人群在平均水平上看起来相同，但在其他方面存在差异。这意味着，一个“干净”的分数并不保证模型是安全的，但一个“脏”的分数则是明确的警告。
最终，这项工作提供了一种审计医学人工智能中隐藏偏见的实用方法。它表明，大多数标准的医学图像摘要确实携带了关于患者人口统计学的信息，且如果训练数据存在缺陷，这些信息很容易导致不公平的预测。研究结论指出，虽然我们可以测量这种捷径的潜力，但修复它并不像单纯清洗数据那么简单。最终的诊断程序也必须经过仔细的测试和训练。该工具现在已向公众开放，为检查医学 AI 系统的基础并确保其建立在证据而非隐藏偏见之上提供了一种手段。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。