🤖 AI

A Controlled Audit of Pretraining Contamination in Public Medical Vision-Language Benchmarks

本文审计了公共医学视觉-语言基准测试中的预训练污染问题，发现存在可衡量的图像源重叠和文本可交换性信号，同时证明了由于非医学模型的误报，像 Min-K%++ 这样基于队列相对性的检测器在小型医学队列中是不可靠的。

原作者： Bruce Changlong Xu, Lan Wu, Alexander Ryu

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Bruce Changlong Xu, Lan Wu, Alexander Ryu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在给学生批改期末考试卷子的老师。你想知道这个学生是真的理解了知识点，还是仅仅背下了他在图书馆发现的一份“小抄”。

这篇论文就像是对这种情况进行的一次非常严格、科学的审计，只不过研究对象不是学生，而是 AI 模型（具体来说是能够观察医学图像并回答问题的“视觉语言模型”）。与其说是在图书馆找小抄，不如说是在寻找这些 AI 模型在见到考试题目之前，曾在其庞大的训练数据中学习过的痕迹。

以下是研究人员的工作内容和发现，使用了简单的类比：

设置：“泄露”的考试

医学 AI 模型通常在公开数据集（如 SLAKE、PathVQA 和 VQA-RAD）上进行测试。这些数据集在网上已经公开了 3 到 7 年。问题在于，这些相同的数据集可能在无意中被包含在了 AI 在考试前学习的“训练图书馆”（互联网数据）中。如果 AI 在训练期间见过完全相同的题目和图片，那么它的高分就不是智能的证明，而是作弊（或“污染”）的证据。

研究人员想要找出：AI 是否作弊了？ 更重要的是，我们用来抓捕作弊者的工具是否值得信赖？

四位“侦探”

团队使用了四种不同的方法（检测器）来试图抓住 AI。你可以把这想象成四种不同的识破作弊者的手段：

“长相相似”侦探（图像侧）： 这个侦探观察测试中的医学图片，并询问：“这张图片看起来是否与训练库中的某张图片完全一样？”
“顺序”侦探（文本侧）： 这个侦探检查当问题以最初发布的顺序排列时，AI 的表现是否更好。如果 AI 知道这个顺序，它可能记住了序列。
“群体平均值”侦探（尾部富集）： 这个侦探将一个 AI 的答案与一组其他 AI 的平均水平进行比较。如果一个 AI 在某些特定的难题上表现得比它的同伴们好得多，它可能以前见过这些题。
“友谊”侦探（跨模型重叠）： 这个侦探观察两个不同的 AI。如果它们两个都做对了完全相同的特定难题，它们可能共享了同一份小抄。

研究结果：谁被抓住了？

1. “长相相似”侦探在 SLAKE 上发现了大量的“来源重叠”。

发现： SLAKE 测试中约 20% 的图片在训练库中都有“孪生兄弟”。
转折： 当研究人员仔细观察时，他们意识到这些并不是精确的副本（比如复印件）。它们是不同患者的图片，但拍摄角度和使用的机器类型相同（例如，两个不同人的胸部 X 光片）。
结论： AI 并没有背诵特定患者的照片。然而，测试数据和训练数据来自同一个“社区”。这就像学生学习了一本教材，而考试中的图表类型与教材中的完全一致。这是一种来源重叠，而不是直接的复制粘贴式作弊。

2. “顺序”侦探发现了一个真正的作弊者。

发现： 一个模型（Qwen2.5-VL）在题目按原始顺序排列时，似乎对 SLAKE 测试题过于熟悉了。
验证： 研究人员尝试通过打乱题目顺序来迷惑 AI。结果，AI 的“作弊”信号消失了。他们还在同一个测试上测试了一个非医学 AI（BLIP-2），该模型并未显示出这种信号。
结论： 这是强有力的证据，表明该特定模型很可能在训练期间见过 SLAKE 的题目。

3. “群体平均值”和“友谊”侦探并不可靠。

发现： 这些检测器将好几个模型标记为了作弊者。
转折： 当研究人员加入了一个确定没有学习过医学数据的“控制模型”（BLIP-2）时，这个控制模型也被标记成了作弊者！
结论： 这些检测器对于小型医学 AI 群体来说是失效的。它们把“擅长简单问题”误认为是“作弊”。这就像一位老师因为学生做对了简单的数学题，就假设他们在作弊，而班上的其他同学数学都很差。这些检测器需要一个“非医学”的基准线才能正常工作。

4. “干净”的基准：VQA-RAD。

发现： VQA-RAD 测试是干净的。没有任何检测器在这一特定数据集上发现作弊证据。
结论： 如果你想安全地测试医学 AI，请使用 VQA-RAD。它是“最安全”的考试。

核心教训：如何审计“审计”本身

这篇论文最重要的部分不在于哪些 AI 作弊了，而在于我们如何捕捉作弊者。

研究人员发现，一些流行的检测数据泄露的工具（“群体平均值”和“友谊”检测器），如果你没有一个“控制组”（即一个确定没作弊的模型）来进行对比，就会产生误报。如果没有这个控制组，你可能会因为其他同学表现不佳，就指责一名诚实的同学在作弊。

总结建议

基于他们的审计，作者提出了以下建议：

使用 VQA-RAD 作为测试医学 AI 最安全的手段。
谨慎对待 SLAKE： 其中的许多图像与训练数据高度相似，因此结果可能会被夸大。
不要信任“群体平均值”检测器，除非你将其与非医学基准模型进行对比。
OmniMedVQA 是被污染的： 不要使用该数据集的公开版本进行测试，因为它极有可能出现在训练数据中。

简而言之，研究人员构建了一个更好的 AI 测试“测谎仪”，发现了一些现有的测谎仪是坏掉的，并识别出了哪些医学考试是安全的，哪些可能是“被操纵”的。

技术摘要：针对公开医学视觉-语言基准测试中预训练污染的受控审计

问题陈述
医学视觉-语言模型（VLMs）通常在少量公开基准测试（如 SLAKE、PathVQA、VQA-RAD）上进行评估，这些数据集在过去 3 到 7 年内一直可以免费下载。报告的准确率指标隐含地假设这些示例未出现在模型的预训练过程中。然而，这些数据集出现在广泛抓取的开放混合数据集中（如 PMC-OA-beta），这造成了“基准测试泄露”的风险，即模型可能已经记住了测试用例，从而虚增了性能指标。虽然文本大语言模型（text-LLM）污染和通用视觉-语言模型（general-VLM）污染已得到审计，但医学视觉-语言模型（medical-VLM）的污染情况在很大程度上仍未经过审计。此外，现有的泄露检测器尚未针对医学领域的外部基准线进行严格的压力测试，这引发了人们对由于群体校准异质性（cohort calibration heterogeneity）而非实际数据暴露而导致假阳性的担忧。

方法论
作者对四种开源视觉-语言模型（InternVL3-8B、Qwen2.5-VL-7B-Instruct、CheXagent-8b、LLaVA-OneVision-Qwen2-7B）进行了受控审计，涵盖三个留存的医学视觉问答（VQA）基准测试（SLAKE-En、PathVQA、VQA-RAD）。一个文本侧的扩展研究包括第五个模型 MedGemma-4B-IT，针对 OmniMedVQA 的一个公开镜像版本。

本研究采用并压力测试了四种不同的污染检测器：

图像侧近邻重叠（Image-side Near-Neighbour Overlap）： 使用 SigLIP 骨干网络（ViT-B-16 和 ViT-SO400M）对基准测试图像和 PMC-OA-beta 图表进行嵌入。标记出与 PMC 图表余弦距离极近的图像。
规范顺序可交换性（Canonical-Order Exchangeability）： 测试数据集的联合对数似然是否对顺序具有不变性。显著的偏差表明模型是在其规范发布顺序下进行训练的。
群体相对 Min-K%++ 尾部富集（Cohort-Relative Min-K%++ Tail Enrichment）： 识别目标模型的“惊讶度”（Min-K%++ 分数）相对于群体中位值异常低的示例。
跨模型 Top-K 重叠（Cross-Model Top-K Overlap）： 测量不同模型之间 Top-K 最易示例的 Jaccard 相似度，假设共享的训练数据会导致共享的易度。

控制机制
至关重要的是，每种检测器都针对外部领域前基准线（pre-domain baselines）进行了校准，以区分真实的泄露与人工痕迹：

图像侧： 对被标记的图像进行人工裁定，并使用领域外图像（绘画、自然照片）和领域内干净图像（VQA-RAD）作为负对照。
文本侧： 引入 BLIP-2（一种非医学、2023 年前的基准模型）和 InstructBLIP 作为外部基准线。如果一个检测器标记了一个医学模型，同时也标记了 BLIP-2（后者不可能有医学 VQA 暴露），则该信号被归因于群体校准或基准测试结构，而非记忆行为。
排序消融（Ordering Ablation）： 在基于内容派生的排序（如基于哈希的排序）上重新运行可交换性测试，以区分训练暴露与发布顺序伪影（例如按来源切片分组）。

关键结果

图像侧源重叠（SLAKE-En）： 在 SigLIP-B-16 下，SLAKE-En 中有 19.8% 的图像在 PMC-OA-beta 中存在极近的近邻（在 SO400M 下为 4.2%）。对 20 个被标记图像的人工裁定显示，这些是同模态、同投影的不同患者图像，而非像素级的重复。这表明存在源/分布重叠，而非经过证实的逐图像记忆。其对金标准答案似然性的影响微乎其微（低于跨模型噪声水平）。
文本侧可交换性：
- Qwen2.5-VL × SLAKE-En： 产生了显著信号（ $p = 5.0 \times 10^{-4}$ ），该信号在通过排序消融和外部基准线检查（BLIP-2 和 InstructBLIP 均表现正常）后依然存在。这是留存审计中唯一稳健的文本侧泄露证据。
- LLaVA-OneVision × PathVQA： 产生了显著信号，但该信号被撤回，因为它是一个发布顺序伪影。BLIP-2 重现了该信号，且信号在基于哈希的重新排序下消失，这表明该现象是由基准测试按来源切片分组引起的，而非模型特定的暴露。
- OmniMedVQA： 对于所有五个医学/通用模型，可交换性测试均触发了信号，但对 BLIP-2 保持干净，这表明公开镜像在文本侧评估方面存在污染。
群体相关检测器的失效（Min-K%++ 和 Top-K）：
- 在 SLAKE-En 上，检测器 3 和 4 将 CheXagent 和 LLaVA-OneVision 标记为尾部富集和 Top-K 重叠。
- 证伪： 将 BLIP-2 加入群体后，这些检测器重现了完全相同的信号（BLIP-2 也显示了相同的尾部富集和 Top-K 重叠）。由于 BLIP-2 不可能共享医学 VQA 暴露，这证明这些检测器作为独立的成员推理信号是不可靠的。这些信号是由模型间的校准异质性驱动的（某些模型在低熵闭合形式答案上系统性地表现得更“容易”），而非共享的训练数据。
干净的基准测试： VQA-RAD 在所有信号和模型中均保持干净，作为可靠的完整性检查。

主张与意义
本文声称提供了首次受控的医学 VLM 污染审计，提供了一个优先考虑外部领域前基准线和人工裁定而非原始检测器得分的方法论框架。

方法论贡献： 研究表明，群体相关检测器（Min-K%++、Top-K 重叠）容易受到校准异质性的影响而产生假阳性，必须与外部基准线结合使用。它验证了图像侧近邻检测作为源重叠（而非必然的记忆）的衡量标准，以及在经过消融和基准线支持下的规范顺序可交换性作为稳健的文本侧信号。
实践建议：
1. 优先选择 VQA-RAD 作为最安全的留存基准测试。
2. 在报告前，检查或降低被标记为源重叠的 SLAKE-En 图像权重。
3. 将公开的 OmniMedVQA 视为文本侧评估中的污染数据。
4. 切勿在没有外部领域前基准线的情况下，将群体相关的 Min-K%++ 或 Top-K 重叠作为独立的泄露信号。
局限性： 本次审计仅限于四个主要的视觉-语言模型和特定的基准测试。研究发现的是统计学上的污染信号，而非可证明的训练数据包含。作者强调，正向信号属于间接证据，需要仔细解释，以避免不公平地质疑基准测试或模型。

结论
审计显示，虽然某些医学基准测试（SLAKE-En）存在显著的预训练语料库源重叠，但这并不一定意味着会产生导致性能虚高的逐图像记忆。更关键的是，这项研究揭示了在缺乏外部基准线的情况下依赖群体相关检测器的法理缺陷，表明此类信号完全可能由模型校准差异而非数据泄露驱动。本文倡导在医学人工智能领域采用更严谨、受控的污染审计方法。