An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

技术摘要：一种用于评估三维肿瘤影像视觉语言模型的自动化、受控污染基准测试

问题陈述
视觉语言模型（VLMs）正越来越多地应用于医学影像，但其在临床环境中的可靠性仍缺乏充分表征。现有的公开医学视觉问答（VQA）基准测试存在两个关键缺陷：

1. 数据污染： 大规模数据集往往进入了 VLMs 的预训练语料库，这意味着高分可能反映的是对图像-问题对的记忆，而非真实的视觉感知。
2. 仅靠文本即可求解： 许多基准测试题目仅通过问题文本和语言先验即可得出正确答案，从而绕过了对图像的分析。

此外，肿瘤影像提出了独特的挑战：研究对象是体积型（3D）的，需要跨多个切片和序列进行解释，而目前的多数 VLMs 仅接受 2D 输入。现有的基准测试未能区分图像依赖型性能与由数据集熟悉度或问题文本线索驱动的性能。

方法论
作者提出了一种自动化的、由智能体驱动的流水线，旨在直接从配对的私有放射科报告和 3D 肿瘤影像中生成受控污染的多选题 VQA 基准测试。

• 数据来源： 该流水线利用来自四个肿瘤队列（肝脏 CT、肝脏 MRI、肺部 CT 和脑部 MRI）的私有单机构放射科报告和 3D 影像（共 2,509 例案例用于主要基准测试）。第五个完全私有的内部脑部 MRI 队列通过相同方式生成，专门用于公开/私有污染消融研究（表 3），并从主要基准测试总量中排除。由于这些源报告是私有的且不属于公开预训练数据，生成的题目保证不存在实例级的污染。
• 问题生成： 系统生成两种互补的问题类型：
  1. 模式驱动型（RADS 式）： 问题根据基于既定报告框架（LI-RADS、Lung-RADS 和与 RANO 对齐的脑部模式）的临床医生审查模式进行确定性填充。这确保了标准化且具备视觉可回答性的问题。
  2. 报告衍生型： 问题由语言模型基于放射科医生的发现和印象生成，随后通过“报告落地检查”进行过滤，以确保答案得到源文本的明确支持。
• 图像处理： 对于 2D 输入模型，3D 体数据被渲染为包含 144 个轴向切片的 12×12 复合蒙太奇图（每个切片约为 128×128 像素）。
• 评估协议： 在零样本设置下评估了五种当代 VLMs：两个前沿闭源模型（Claude Opus 4.6, GPT-5.2）、一个开源前沿模型（Qwen3-VL-30B）以及两个医学专家模型（MedGemma1.0-27B, MedGemma1.5-4B）。
• 消融研究： 为了隔离视觉依赖性，研究通过将图像替换为空白输入（“盲测”条件）对模型进行了重新评估。此外，将公开脑部队列（PDGM）与匹配的私有内部脑部队列进行了对比，以测试图像分布的熟悉度。
• 统计严谨性： 研究采用病例聚类自助法（case-clustered bootstrapping）计算置信区间，并使用多重比较控制测试（Benjamini-Hochberg FDR 校正和用于等效性检验的单侧两检验 [TOST]）来区分真实效应与噪声。

关键结果

• 表现差异化： 没有单一模型在所有队列中都表现可靠。准确率范围从接近随机基准（0.28）到 0.81 不等。模型排名随队列和问题类型的不同而显著变化。
• 图像独立性： 对于若干高性能配置，移除图像对准确率的影响很小。
  • 在脑部 MRI（公开和私有）和肺部 CT 上，前沿模型（如 Claude Opus 4.6）在移除图像后准确率下降极小，表明其性能高度依赖于语言先验或问题文本信号，而非视觉证据。
  • 相反，MedGemma1.0-27B 在盲测肝脏 CT 和 MRI 时表现出显著下降，表明在这些特定语境下具有更强的视觉依赖性。
• 公开 vs. 私有脑部影像： 在 RADS 式问题上，前沿模型在公开（PDGM）脑部图像上的得分比匹配的私有图像高出 0.17–0.19，这表明其对公开数据集存在潜在的熟悉度。然而，在报告衍生型问题上，公开与私有队列之间的表现无显著差异。
• 任务难度： 模型在定量或分级判断（例如病灶大小、Lung-RADS 分类、占位效应分级）方面表现挣扎，准确率仅略高于随机水平。相比之下，定性识别任务（例如发现的存在与否）的准确率要高得多。
• 统计发现： 在经过 FDR 校正后，37/40 的准确率测量值超过了随机水平。然而，等效性检验显示，对于许多在特定任务上表现较高的模型（例如脑部 MRI 报告衍生型任务），有视（sighted）与盲测（blind）表现之间的差异在 ±0.05 的误差范围内在统计学上等同于零。

意义与主张
本文并非旨在提供一个确定的模型排行榜，而是证明了一个可再生的、由私有数据生成的基准测试可以有效地分离图像依赖型性能与问题文本及数据集熟悉度效应。

• 临床意义： 当前的 VLMs（包括医学专家模型）在以缩减后的 2D 格式呈现时，尚不足以可靠地阅读体积型肿瘤影像。标题中的高准确率可能会夸大视觉能力，特别是在可通过语言先验解决的任务中（如肺部 CT、脑部 MRI）。
• 任务局限性： 与简单的识别任务相比，模型无法处理空间测量（大小、严重程度分级），这表明当前的 2D 输入系统并不适用于依赖精确量化的临床决策任务。
• 方法论贡献： 作者将该流水线作为一种开放的智能体技能发布，使各机构能够利用自身的私有数据生成受控污染的基准测试。这实现了从静态公开人工制品向私有、可再生内部测试的转变，解决了医学 AI 评估中数据泄露的关键问题。

研究结论认为，尽管 VLMs 展示了潜力，但在复杂的体积型肿瘤设置中，其视觉推理能力仍然有限，并且高度依赖于特定的成像模态和问题类型。所提出的基准测试提供了一个严谨的框架，用以识别这些局限性，并防止部署那些依赖记忆而非感知的模型。