MRI-Eval: A Tiered Benchmark for Evaluating LLM Performance on MRI Physics and GE Scanner Operations Knowledge

MRI-Eval 技术摘要：评估大语言模型在 MRI 物理与 GE 扫描仪操作知识方面表现的分级基准

问题陈述

尽管大语言模型（LLM）在 MRI 研究中的协议设计、参数选择和故障排除中日益得到应用，但其在特定领域角色中的可靠性尚未得到验证。现有的 MRI 基准测试（例如基于 1995 年技师评审书籍的基准）已使顶级专有模型（如 o1 Preview 得分 94%）达到性能天花板，区分能力有限。至关重要的是，尚未有系统性评估针对 LLM 在厂商特定操作内容（这是日常研究 MRI 工作的核心）上的表现进行测试，这些内容包括特定协议参数、脉冲序列行为和控制台操作。此外，高多项选择题（MCQ）得分可能反映的是选项识别能力，而非真正的生成性回忆，这一区别在以往针对 MRI 的评估中未经过检验。

方法论

本研究引入了MRI-Eval，这是一个包含1,365 个计分题目（1,355 道多项选择题和 10 道误解题）的分级基准，涵盖九个技术类别和三个难度层级。

• 数据来源：题目选自权威教科书、GE SIGNA Works 扫描仪应用手册、GE EPIC 编程课程材料，以及 35 个由专家生成以填补知识空白的题目。
• 类别：九个类别包括 GE 扫描仪操作/协议（n=406）、脉冲序列（n=330）、GE 领域知识（n=155）、安全性、k 空间/图像形成、伪影、T1/T2 弛豫、信噪比/图像质量以及并行成像。
• 难度层级：一级（83.1%）测试单一概念回忆；二级（15.6%）需要跨概念整合；三级（1.3%）提出专家级整合场景（因样本量小被注明为局限性）。
• 评估模型：测试了来自不同系列的五个模型：GPT-5.4、Claude Opus 4.6、Claude Sonnet 4.6、Gemini 2.5 Pro 和 Llama 3.3 70B。
• 评估条件：
  1. 主要多项选择题：零样本、四选项格式，答案已打乱。
  2. 仅题干（自由文本）：移除选项；模型生成自由文本回复，由独立的 LLM 裁判（Grok）评分。由于强制推理令牌影响格式，Gemini 2.5 Pro 在此项中被排除。
  3. 提示诊断：向模型展示一个错误的答案主张，并要求其同意或不同意，以测试奉承倾向或检索辅助。
• 评分与分析：统计分析包括威尔逊得分置信区间、用于成对比较的麦克尼马尔检验（McNemar's tests）以及用于重复性评估的科恩 kappa 系数。事后审计揭示了普遍存在的选项长度线索（在 84.9% 的题目中，正确选项的长度大于平均干扰项长度的 1.3 倍）。

主要贡献

1. 分级基准构建：一个包含代表性不足的厂商特定（GE）操作内容的专用数据集，旨在定位知识边界，而不仅仅是确认能力。
2. 互补评估格式：在多项选择题之外包含仅题干条件，以量化选项识别与生成性回忆之间的差距，并辅以提示诊断条件。
3. 严格的模型比较：五个模型的比较，包含成对统计测试和运行间重复性评估（测试模型的科恩 kappa 值为 0.983–0.998）。
4. 可复现性：公开发布评估框架和分析脚本，同时扣留完整题库以防止训练数据污染。

结果

• 多项选择题表现：整体准确率高且集中，范围从93.2%（Llama 3.3 70B）到97.1%（GPT-5.4）。四个前沿模型之间的差距仅为 2.4 个百分点。
• 类别差异：GE 扫描仪操作是所有模型得分最低的类别（88.2%–94.6%），而物理基础（如 T1/T2 弛豫）则接近天花板性能。
• 仅题干性能下降：移除选项导致所有模型的准确率大幅下降。前沿模型降至58.4%–61.1%（下降 35.5–36.8 个百分点），而 Llama 3.3 70B 降至37.1%（下降 56.1 个百分点）。
• 厂商特定回忆：在仅题干条件下，GE 扫描仪操作的准确率崩溃至13.8%–29.8%，表明接近天花板的多项选择题表现并未转化为针对厂商特定内容的强自由文本回忆能力。
• 提示条件：错误答案建议通常会提高准确率（答案提示效应），尽管 Llama 3.3 70B 在提示下于较高难度层级的准确率有所降低，这表明较弱的模型在知识不足时可能会接受错误的提示。
• 重复性：各模型的运行间重复性近乎完美，分歧主要集中在 GE 扫描仪操作类别中。

意义与主张

该论文认为，在 MRI 内容上强大的多项选择题表现可能会掩盖生成性回忆的薄弱，特别是针对厂商特定的操作知识。该基准主要作为相对模型比较工具，而非能力或部署准备度的绝对衡量标准。

主要结论包括：

• 多项选择题的局限性：专业领域中的高多项选择题得分可能反映的是选项识别和长度线索，而非深刻理解。
• 操作风险：GE 特定内容在仅题干条件下的性能急剧下降，支持了在研究环境中谨慎依赖原始 LLM 输出提供厂商特定协议指导的观点。
• 未来方向：研究结果推动了检索增强或文档 grounded 系统的开发作为必要的下一步，因为纯参数化知识似乎不足以应对操作任务。
• 评估标准：未来的特定领域基准应纳入开放式或仅题干格式，以更好地区分模型，因为标准多项选择题会将性能压缩至接近天花板。

作者强调，这些发现基于受控的模型间比较，并不构成对人类专家表现的校准，也不是对临床部署准备度的直接估计。