⚡ electrical engineering

NeuroQA: A Large-Scale Image-Grounded Benchmark for 3D Brain MRI Understanding

NeuroQA 是一个大规模、基于图像基准，包含近 57,000 个问答对，这些问答对源自 12 个数据集和五个临床领域的 3D 脑部 MRI 体数据，旨在通过严格的图像锚定协议和专家验证，在消除纯文本捷径的同时，严格评估 3D 医学视觉推理能力。

原作者： Mohammad H. Abbasi (Stanford University), Favour Nerrise (Stanford University), Shaurnav Ghosh (Stanford University), Ridvan Yesiloglu (Stanford University), Yuncong Mao (Stanford University), Bailey

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohammad H. Abbasi (Stanford University), Favour Nerrise (Stanford University), Shaurnav Ghosh (Stanford University), Ridvan Yesiloglu (Stanford University), Yuncong Mao (Stanford University), Bailey Trang (Stanford University), Mohammad Asadi (Stanford University), Merryn Daniel (Stanford University), Gustavo Chau Loo Kung (Stanford University), Ken Chang (Stanford University), Pavan Pinkesh Shah (Stanford University), Adam Turnbull (Stanford University), Kyan Younes (Stanford University), Seena Dehkharghani (Stanford University), Ehsan Adeli (Stanford University)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人阅读脑部扫描图像。这个机器人极其聪明：它阅读过数百万本医学教科书，知晓大脑每一个部分的名称。但有一个陷阱：当你向它展示一张三维脑部扫描图并问“这里有没有肿瘤？”时，这个机器人可能并没有真正“看”这张扫描图。相反，它可能只是根据你的问题中的措辞，或是它训练所依据的患者组名称在猜测。这就像一个学生从未学习过教材内容，却死记硬背了考试答案键。

本文介绍了NEUROQA，这是一项全新、大规模的“考试”，专门设计用于阻止机器人作弊，并迫使它们真正去观察三维脑部图像。

以下是本文如何运用简单的类比进行拆解：

1. 问题所在：“仅文本”的作弊代码

以往针对医疗人工智能的测试，就像给学生做选择题测验，而问题的写法却泄露了答案。

二维（2D）问题：大多数旧测试只向人工智能展示大脑的扁平二维切片（就像书的一页）。但真实的脑部扫描是三维体积（就像整本书）。仅阅读一页无法理解整个故事。
“捷径”问题：研究发现，如果从这些旧测试中移除图像，人工智能仍然能答对 70%–99% 的问题！这意味着人工智能并没有在“看”大脑；它只是根据文本模式在猜测（例如：“如果问题提到‘帕金森病’，答案通常是‘是’"）。

2. 解决方案：NEUROQA（“诚实”的考试）

作者构建了一个名为NEUROQA的新基准（包含来自 12,977 名真实患者的 56,953 个问题）。这就像是一场严格的、防作弊的考试，包含三条特殊规则：

三维（3D）规则：每个问题都附带完整的三维大脑体积数据，而不仅仅是扁平切片。人工智能必须像在三维空间中导航一样，就像医生所做的那样。
“无图像”压力测试：为了证明人工智能确实在观察，他们进行了一项测试，即隐藏图像。如果移除图像后人工智能的得分显著下降，就证明它确实在使用图像。如果得分依然很高，说明人工智能只是在根据文本猜测。
“人类上限”：他们不仅将人工智能与随机猜测进行比较，还将其与真实的人类医生进行了对比。两名医生（一名放射科住院医师和一名神经外科住院医师）使用三维查看器参加了同一项测试。他们的平均得分约为49%。这设定了一个“人类视觉极限”。如果人工智能在观察相同视图时的得分低于人类，说明它尚未掌握该任务。

3. 两种类型的问题

该考试包含两种类型的问题，这是一个至关重要的区别：

基于图像的问题（“看且见”类问题）：这些是仅通过观察三维扫描就能发现的内容，例如“大脑左侧是否比右侧小？”或“扫描图上的这个斑点是什么颜色？”
受图像启发的（或图像辅助的）问题（“数学与语境”类问题）：这些需要知道特定的数值，而这些数值无法仅凭肉眼看到。例如，“该脑部分的体积是否低于第 5 百分位？”你无法用肉眼估算出精确的毫升测量值。“正确”答案来自计算机计算（FreeSurfer），而不仅仅是人类视觉。这测试了人工智能能否提取精确数据，而不仅仅是猜测。

4. 结果：人工智能仍在挣扎

作者将当今最先进的人工智能模型（如 GPT、Gemini 和 Claude 的最新版本）在此考试上进行了测试。

作弊检查：他们清理了问题，确保如果移除图像，人工智能的答对率仅为**44.6%**左右（这仅略好于随机猜测）。这证明了考试的公平性，且没有泄露答案。
人工智能表现：即使是最佳的人工智能模型，在封闭式问题（是/否和多项选择题）上的得分也仅为**47.5%**左右。
人类表现：人类医生的得分约为48.9%。
结论：目前，最佳的人工智能模型并未超越人类医生，在某些情况下，它们的得分甚至低于仅基于文本的基线。这意味着人工智能尚未可靠地比人类更好地“看”懂三维大脑，也未能提取诊断所需的精确定量数据。

5. 构建过程（“工厂”）

为了确保考试的完美，他们没有使用人工智能生成问题（那将是循环逻辑）。相反，他们构建了一个确定性流程。

想象一条拥有 38 条严格规则的工厂装配线。
他们将真实的患者数据送入这台机器。
人类专家（医生）审查了这些问题，确保它们符合医学逻辑。
他们去除了文本中任何可能让人工智能在不观察的情况下猜出答案的“线索”。
最终结果是一个“金标准”数据集，其中每个答案都根据患者的实际扫描数据进行了数学验证。

总结

NEUROQA是一项针对医疗人工智能的庞大、诚实的测试。它迫使人工智能观察完整的三维脑部扫描，并证明，就当前而言，即使是最聪明的人工智能模型在理解这些扫描图方面，仍难以达到人类医生的水平。本文并未宣称人工智能已准备好进入医院；相反，它提供了一种清晰、可衡量的方法，来追踪人工智能何时最终学会正确地“看”懂大脑。

技术摘要：NEUROQA

问题陈述

当前的医学视觉问答（VQA）基准测试未能充分评估对 3D 脑部 MRI 的理解。现有资源主要局限于 2D 切片（例如 VQA-RAD、PathVQA）或仅限于单一临床领域，无法捕捉临床脑部 MRI 阅读中固有的体积性和上下文依赖性。此外，先前的基准测试存在“捷径利用”问题，即模型通过依赖文本先验、队列名称或答案位置偏差而非视觉证据来实现高准确率。正如 Asadi 等人所证明的，前沿的视觉 - 语言模型（VLM）在移除图像后仍保留了 70–99% 的准确率，这表明基准测试分数可能夸大了真实的图像理解能力。此外，由于缺乏人类视觉基线，难以区分建模失败与视觉检查固有的感知局限。

方法论

NEUROQA 是一个大规模、基于图像的基准测试，旨在通过严格的确定性构建流程来解决这些差距。

数据构成：该基准测试包含来自 12 个神经影像数据集的 12,977 名受试者的 56,953 个问答对，年龄跨度为 5–104 岁，涵盖五个临床领域（阿尔茨海默病、帕金森病、肿瘤、白质疾病和神经发育）。
3D 体积定位：与先前的 2D 方法不同，每个项目都配有一个完整的 3D 体积数据，位于 MNI-152 空间中。
推理类别：203 个问答模板被组织为 11 个类别，分为：
- 基于图像的（131 个模板）：可通过标准三平面查看器上的直接视觉检查来回答（例如：模态、解剖结构、位置、信号）。
- 基于图像信息的（72 个模板）：真实值源自定量体积测量（FreeSurfer）或临床仪器（例如：CDR、UPDRS），仅凭视觉检查无法恢复（例如：诊断、严重程度、推理）。
构建流程：一个包含 38 条规则的确定性流程（种子=42）将初始的 270 万个候选项缩减为最终集合，未使用大型语言模型（LLM）进行生成。该过程包括：
- 专家审查：两轮涉及领域专家和临床医生的审查，以校正侧向惯例、信号措辞和诊断框架。
- 机器验证审计：七轮自动化检查，涵盖会话对齐、年龄一致性和图像路径完整性。
- 捷径消除：最终阶段强制实施答案平衡（是/否为 50/50，多项选择题位置为均匀的 25%），并移除主导模板。这将纯文本准确率从>80% 降低至 44.6%，使其与随机猜测底线（39.5%）的差距缩小至 5.1 个百分点。
发布架构：双层发布系统处理数据治理：
- 第一层（公开）：直接发布来自六个许可宽松的数据集的 19,262 个问答对。
- 第二层（数据使用协议）：提供来自六个受数据使用协议限制的数据集的 37,691 个问答对的确定性生成脚本，允许拥有访问权限的研究人员进行可重复的生成。
评估协议：模型在保留的公开测试集（5,524 个项目）和私有测试集（5,581 个项目）上进行评估。该协议包括：
- 纯文本基线：在不输入图像的情况下测量准确率，以量化对捷径的依赖。
- 临床医生基线：两名独立临床医生在三平面 NIfTI 查看器上评估了一个 100 个项目的冻结子集。
- 图像定位协议：一个包含三项压力测试的框架（无图像准确率、虚构率、幻觉率），以证明性能提升源于图像理解而非文本先验。

主要贡献

最大的 3D 脑部 MRI 基准测试：NEUROQA 是迄今为止公开文档中最大的 3D 脑部 MRI 问答基准测试，包含 56,953 个问答对、12 个数据集，并端到端地保留了体积结构。
捷径审计：通过模板级审计和答案分布优化，该基准测试成功将纯文本准确率降低至接近随机水平（44.6%），确保剩余准确率归因于图像内容。
临床医生视觉基线：该研究建立了人类视觉参考，临床医生在冻结子集上的封闭式格式平均准确率为 48.9%。这定义了仅凭视觉检查的感知上限。
可重复的双层发布：该架构在支持开放访问的同时，通过确定性生成流程对受限数据集实施严格的数据治理。
图像定位协议：一种标准化方法，用于验证模型性能并非由文本先验、虚构或幻觉驱动。

结果

模型性能：在测试公开封闭式格式项目（是/否 + 多项选择）上，最佳零样本 VLM（Gemini-3.1-Pro）达到了 47.5% 的准确率，而监督式 3D CNN 基线达到了 43.7%。
与基线的比较：最佳 VLM 和监督基线的表现均低于 49.4% 的纯文本多数模板底线和 48.9% 的临床医生平均值。
捷径抗性：44.6% 的纯文本准确率代表仅比随机猜测高出 5.1 个百分点的捷径余量，这是相比的医学 VQA 基准测试中最低的。
临床医生分析：临床医生在直接可见的类别上表现良好（例如：模态为 100%），但在基于图像信息的类别上趋于平稳（例如：推理约为 28.6%），证实这些类别的真实值无法通过视觉恢复。
评分者间一致性：临床医生之间的一致性为中等（Cohen's $\kappa$ = 0.40），在需要多模态检查或精确空间推理的类别中存在显著分歧。

意义与主张

本文主张，NEUROQA 通过将图像驱动的性能与文本先验依赖明确分离，为评估 3D 脑部 MRI 理解建立了一个严格的标准。通过证明当前最先进的 VLM 和监督式 3D CNN 未能超越纯文本底线或临床医生视觉基线，该基准测试突显了当前 AI 能力与临床基础的 3D 推理需求之间的显著差距。

作者断言，NEUROQA 的目的并非支持关于临床部署、预后或治疗计划的声明，而是提供一种透明的评估文化，其中神经影像能力的声明必须经受住捷径、虚构和幻觉检查。该基准测试的设计原则是，原则上可由能够从 3D 体积中提取超出人眼可见范围的定量信息的模型来解决，特别是在基于图像信息的类别中。