Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)

下一代大型语言模型，特别是配备利用领域特异性核心脏病学资源进行检索增强生成的 Claude Opus 4.7 和 GPT-5.5，在 ASNC 董事会备考考试中实现了约 86% 的平均准确率，超越了预估的及格阈值以及人类受训研究员的平均表现。

要点

想象一场针对心脏放射性示踪剂成像专科医生的高风险期末考试。这就是“核医学心脏病学委员会考试”。多年来，人工智能（AI）一直试图参加这项考试，但屡屡失败，得分低于普通医学生的平均水平。

本文讲述了两款全新的超级智能 AI 模型如何最终高分通过考试，并击败普通人类学生的故事。

背景：考试与“作弊小抄”

考试包含 168 道题目。其中一些仅涉及文字（类似于常识问答），但约有 27 道题需要观察复杂的心脏医学影像。

过去，当 AI 试图“裸考”（没有任何辅助）参加这项考试时，其最佳成绩仅为约 63% 的正确率。这是一个不及格的分数。普通人类医学生（即“进修医师”）的平均得分为 78%。

在这项新研究中，研究人员为 AI 提供了一份庞大的“作弊小抄”。这不仅仅是简单的谷歌搜索，而是一个**检索增强生成（RAG）**系统。这就好比给 AI 提供了一座完美的、可检索的数字图书馆，其中包含核医学心脏病学领域的官方教科书、图谱和医疗指南。当 AI 看到问题时，它会立即潜入这座图书馆，找到包含确切答案的页面，并据此构建其回答。

竞争者

研究人员测试了两款全新的下一代 AI 模型：

1. Claude Opus 4.7：一款采用本地透明搜索系统的模型（就像一位会向你展示它究竟从书架上抽出了哪些书的图书管理员）。
2. GPT-5.5：一款采用云端搜索系统的模型（就像一位为你找到书籍但不向你展示过程的图书管理员）。

结果：AI 击败普通学生

当这两款 AI 各参加五次考试后，结果令人惊讶：

• 分数：两款模型的得分均在 86% 至 87% 左右。
• 对比：这显著高于普通人类学生 78% 的平均分。事实上，如果将 13 名人类学生和 2 名 AI 并列排名，AI 将位列前 5 名，击败 8 或 9 名人类。
• 进步速度：这是一个巨大的飞跃。就在 18 个月前，最好的 AI 得分仅为 63%。现在，借助“作弊小抄”（RAG），它们的得分跃升了 23 个百分点。

两个弱点

尽管 AI 获胜了，但它们仍有两个具体的短板：

1. “图像”问题：AI 在文字问题上表现优异（得分接近 89%），但在图像问题上却跌跌撞撞。它们在图像题上的正确率约为 73%–77%。人类在此方面仍然更胜一筹，得分为 81.5%。
   • 类比：想象 AI 是一位博学的教授，能凭记忆背诵整本教科书，但面对模糊的 X 光片时仍会感到困惑。它完美地掌握了理论，但仍在学会如何“看”懂图像。
2. “安全”故障（仅限 GPT-5.5）：GPT-5.5 拒绝回答约 7% 的问题。它会说“抱歉，我无法协助”，尽管这些问题只是关于心脏药物或辐射安全的标准医学考试题。
   • 类比：这就像一位过于谨慎的图书管理员，即使你是一名物理系学生，正在询问关于核能的合法考试题目，它也会拒绝递给你一本关于“如何制造炸弹”的书。AI 的安全过滤器过于敏感，导致它丢掉了分数。Claude Opus 4.7 没有这个问题；它回答了所有问题。

作者实际所言（以及未言之处）

该论文对这一发现的意义非常谨慎：

• 它是什么：它证明了在拥有适当参考资料的情况下，AI 可以比普通进修医师更好地掌握核医学心脏病学领域的事实和规则。作者建议，这些工具可用作教育辅助，帮助学生复习，或作为参考工具，在阅片室中用于双重核对事实。
• 它不是什么：作者明确指出，通过多项选择题考试并不意味着 AI 已准备好成为医生。真正的医学涉及与患者沟通、处理不确定性以及做出多项选择题考试无法衡量的复杂判断。AI 是一本强大的参考书，而非人类医生的替代品。

核心结论

在一年半的时间里，AI 从无法通过核医学心脏病学委员会考试，跃升至在拥有适当教科书的情况下击败普通人类学生。然而，它在解读医学影像方面仍存在困难，且其中一款模型因过于“胆怯”而拒绝回答某些合法的题目。虽然这对医学教育工具而言是巨大的飞跃，但论文总结认为，这些机器是人类医生的助手，而非替代品。

技术摘要

技术摘要：检索增强型大语言模型在核心脏病学委员会考试中超越人类表现

问题陈述
此前对美国核心脏病学学会（ASNC）委员会备考考试中大语言模型（LLM）的评估显示，人工智能与人类受训者之间存在显著的性能差距。在早期研究中，表现最佳且未使用领域特定上下文的模型（GPT-4o）中位准确率为 63.1%，低于预估的 65% 及格线，也低于受训研究员（FITs）78.0% 的平均分。虽然提供教科书上下文将 GPT-4o 的纯文本性能提升至 73.8%，但其仍低于人类平均水平，且仅限于文本类问题。本研究旨在解决的核心问题是：配备检索增强生成（RAG）的下一代大语言模型能否在涵盖复杂图像类问题的完整考试范围内缩小或超越这一性能差距。

方法论
本研究向两款下一代模型（Claude Opus 4.7 和 GPT-5.5）施测了完整的 2023 年 ASNC 委员会备考考试（共 168 道选择题：141 道纯文本题，27 道图像题）。每款模型均进行了5 次迭代评估。

• 检索增强生成（RAG）流程：两款模型均基于同一权威领域特定语料库进行 grounding：《核心脏成像：原理与应用》（教科书）、其配套图谱以及 ASNC 临床实践指南。
  • Claude Opus 4.7：采用透明的本地基于 FAISS的检索流程。PDF 文档被切分为 3 页片段，使用 all-MiniLM-L6-v2 句子转换器进行嵌入，并通过 IndexFlatIP（精确内积搜索）建立索引。对于每个查询，检索前 5 个语义最相似的片段并前置到提示词中。
  • GPT-5.5：采用通过 Azure OpenAI 响应 API 访问的云端托管Azure 向量存储。检索机制（嵌入模型、相似度指标、片段数量）由 Azure 基础设施管理，研究人员无法直接配置。
• 实验设置：两款模型均接收标准化的系统提示，要求其扮演核心脏病学学生，选择两个最可能的答案并给出解释。图像类问题通过视觉 API 处理（Claude 使用 base64 编码，GPT-5.5 使用数据 URI）。
• 评分：将模型选择的主要答案与 ASNC 正确答案进行比对。安全拒绝（例如“我无法协助该请求”）和空回复均计为错误。
• 比较对象：结果与以往研究的历史数据（无上下文的 GPT-4o、有上下文的 GPT-4o）以及一组 13 名拥有无限时间和资源参加考试的受训研究员（FITs）进行了对比。

关键结果

• 整体表现：两款模型均超越了受训研究员（FITs）的平均分（78.0%）和预估及格线（65%）。
  • Claude Opus 4.7：平均准确率达到 86.3%（标准差 1.4%）。
  • GPT-5.5：平均准确率达到 86.7%（标准差 2.2%）。
  • 这代表了在约 18 个月内，相较于最佳 prior LLM 结果（无上下文的 GPT-4o 为 63.1%），提升了约23 个百分点。
• 问题类型细分：
  • 纯文本：两款模型均取得了高准确率（Claude：88.8%；GPT-5.5：88.5%）。
  • 图像类：性能显著下降，但仍高于及格线（Claude：73.3%；GPT-5.5：77.0%）。这表明存在持续的差距，人类受训者在图像解读方面（81.5%）仍优于模型。
• 安全拒绝：观察到一个关键的操作差异。GPT-5.5 平均每次迭代拒绝回答 12.2 个问题（7.3%），并将这些拒绝计为错误。这些拒绝涵盖了合法的医学内容（放射性药物、辐射安全、临床方案）。Claude Opus 4.7 的拒绝次数为零。
• 模型一致性：两款模型表现出高度一致性，在每次迭代中，有 78.0%–83.0% 的情况对同一问题给出了相同的正确答案。分歧通常涉及技术定义中的细微差别。

关键贡献

1. 人类水平能力的证明：这是首项表明 RAG 增强型大语言模型在综合委员会备考考试中能超越受训核心脏病学研究员平均表现的研究。
2. RAG 影响的量化：本研究隔离了下一代模型结合 RAG 的影响，显示出在短短时间内从 63.1%（无上下文）到约 86.5%（RAG）的巨大飞跃。
3. 安全局限性的识别：论文强调了 GPT-5.5 中存在的一个重大实际障碍，即过于保守的安全分类器拒绝回答合法的医学考试问题，人为地压低了观察到的准确率，并限制了其在教育背景下的实用性。
4. 图像差距的持续存在：研究证实，虽然基于文本的知识检索已趋于成熟，但医学图像解读（SPECT、PET、多模态）仍是一个具有挑战性的领域，大语言模型（73–77%）在此方面仍落后于人类受训者（约 81.5%）。

意义与主张
论文声称，RAG 增强型大语言模型在核心脏病学知识方面已达到足以作为委员会备考教育辅助工具和临床环境知识参考工具的水平。作者建议这些模型可帮助验证培训资源并补充教学。

然而，作者对临床部署持谨慎态度。他们明确指出，考试表现并不等同于临床能力。现实世界的核心脏病学需要整合患者特定背景、管理不确定性并行使判断力——这些能力无法通过选择题进行评估。因此，论文结论认为，大语言模型应被视为辅助工具，用于增强医师的专业知识，而非替代它。研究还指出，图像解读中持续存在的差距表明，这些模型尚未准备好在诊断图像阅读方面替代人类专业知识。