Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)

次世代の大規模言語モデル、具体的にはドメイン固有の核心臓病学リソースを用いた検索拡張生成を備えた Claude Opus 4.7 と GPT-5.5 は、ASNC 認定準備試験において平均正答率約 86% を達成し、推定合格ラインおよび研修医の平均成績の両方を上回りました。

要約

心臓の画像を特殊な放射性トレーサーを用いて観察することに特化した医師を対象とした、極めて重要な最終試験を想像してください。これが「核心臓学ボード試験」です。長年にわたり、人工知能（AI）はこの試験に挑戦し続けてきましたが、常に不合格となり、平均的な医学部生よりも低いスコアしか獲得できませんでした。

本論文は、2 つの新しい超高性能 AI モデルが、ついにこの試験を圧勝し、平均的な人間の学生を凌駕するまでになった物語を伝えています。

設定：試験と「カンニングペーパー」

試験には 168 問が含まれています。その一部は単なるテキスト（クイズ形式）ですが、約 27 問は心臓の複雑な医療画像を解析する必要があります。

過去、AI がこの試験を「無援助」（何の支援も受けずに）で受けた場合、最高でも正答率は約 63% でした。これは不合格点です。一方、平均的な医学部生（研修医）のスコアは 78% でした。

今回の新しい研究では、研究者たちは AI に莫大な「カンニングペーパー」を提供しました。これは単なる簡単なグーグル検索ではなく、検索拡張生成（RAG）システムと呼ばれるものでした。これは、核心臓学の公式教科書、アトラス、医療ガイドラインを含む、完璧で検索可能なデジタル図書館を AI に与えるようなものです。AI は質問を見ると、即座にこの図書館に飛び込み、答えが記載された正確なページを見つけ、それを用いて回答を構成します。

挑戦者たち

研究者たちは、2 つの新しい次世代 AI モデルをテストしました。

1. Claude Opus 4.7: ローカルで透明な検索システムを使用するモデル（本棚からどの本を引き出したかを正確に示す司書のようなもの）。
2. GPT-5.5: クラウドベースの検索システムを使用するモデル（本を探してくれるが、その過程は示さない司書のようなもの）。

結果：AI が平均的な学生を凌駕

これらの 2 つの AI がそれぞれ 5 回ずつ試験を受けた際、結果は驚くべきものでした。

• スコア: 両モデルとも約 86% から 87% を記録しました。
• 比較: これは平均的な人間の学生のスコアである 78% よりも有意に高いものです。実際、13 人の人間の学生と 2 人の AI を並べた場合、AI は上位 5 位に入り、8 人または 9 人の人間を上回ることになります。
• 進歩の速度: これは劇的な飛躍です。わずか 18 ヶ月前、最高性能の AI のスコアは 63% でした。現在、「カンニングペーパー」（RAG）を用いることで、23 ポイントも跳ね上がりました。

2 つの弱点

AI が勝利したにもかかわらず、2 つの特定の課題がありました。

1. 「画像」の問題: AI はテキストの質問では素晴らしい成績（ほぼ 89%）を収めましたが、画像の質問でつまずきました。画像に関する正答率は約 73〜77% でした。人間は依然としてこの点で優れており、81.5% を記録しました。
   • 比喩: AI は教科書全体を暗記して言い聞かせることができる天才的な教授ですが、ぼやけた X 線写真を見るとまだ混乱してしまうようなものです。理論は完璧に理解していますが、まだ「画像を見る」方法を学んでいる段階です。
2. 「安全性」のバグ（GPT-5.5 のみ）: GPT-5.5 は約 7% の質問への回答を拒否しました。心臓薬や放射線安全性に関する標準的な医学試験の質問であっても、「申し訳ありませんが、それはお手伝いできません」と答えるのです。
   • 比喩: 核エネルギーに関する正当な試験問題として物理学の学生に尋ねているにもかかわらず、「爆弾の作り方」に関する本を渡すことを拒む、非常に慎重な司書のようです。AI の安全性フィルターが敏感すぎたため、得点を逃してしまいました。Claude Opus 4.7 にはこの問題はなく、すべてに回答しました。

著者が実際に言っていること（そして言っていないこと）

論文はこの結果が何を意味するかについて非常に慎重です。

• それは何か: 適切な参照資料があれば、AI は平均的な研修医よりも核心臓学の「事実」と「規則」をよりよく学習できることを証明しています。著者らは、これらのツールを学生が勉強するのを助けるための教育補助ツールとして、あるいは読影室で事実を再確認するための参照ツールとして使用できる可能性を提案しています。
• それは何かではない: 著者は明確に、多肢選択式試験に合格しても、AI が医師として準備万端であることを意味しないと述べています。実際の医療には、患者との対話、不確実性への対処、多肢選択試験では測定できない複雑な判断の行い方が含まれます。AI は強力な参照書であり、人間の医師の代わりにはなり得ません。

結論

1 年半の間に、AI は核心臓学ボード試験に不合格だった状態から、適切な教科書へのアクセスがあれば平均的な人間の学生を凌駕する状態へと進化しました。しかし、医療画像の解釈には依然として課題があり、モデルの 1 つは特定の正当な質問に答えることを「恐れて」います。これは医療教育ツールにとって大きな飛躍ですが、論文は結論として、これらの機械は人間の医師の代わりではなく、助手であると述べています。

技術概要

技術的サマリー：核心臓病学ボード試験において検索拡張生成（RAG）を備えた大規模言語モデルが人間の成績を上回る

問題提起
米国核心臓病学会（ASNC）のボード準備試験における大規模言語モデル（LLM）の以前の評価では、AI と人間の研修医の間で顕著な成績の差が明らかになっていた。以前の研究では、ドメイン固有の文脈を持たない最高性能のモデル（GPT-4o）は中央値 63.1% の正答率を記録し、推定される 65% の合格ラインおよび研修医（FITs）の平均得点 78.0% を下回っていた。教科書の文脈を提供することで GPT-4o のテキストのみの性能は 73.8% まで向上したが、それでも人間の平均を下回り、かつテキストベースの質問に限定されていた。本研究が取り組む中心的な課題は、複雑な画像ベースの質問を含む試験の全範囲において、検索拡張生成（RAG）を備えた次世代 LLM がこの成績の差を埋めるか、あるいは上回るかという点である。

方法論
本研究では、2023 年 ASNC ボード準備試験（168 問の多肢選択問題：テキストのみの質問 141 問、画像ベースの質問 27 問）を、2 つの次世代モデル（Claude Opus 4.7 および GPT-5.5）に実施した。評価は各モデルに対して5 回の反復で行われた。

• 検索拡張生成（RAG）パイプライン: 両モデルは、同じ権威あるドメイン固有のコーパス（教科書『Nuclear Cardiac Imaging: Principles and Applications』、その companion アトラス、および ASNC 臨床実践ガイドライン）に基づいて構築された。
  • Claude Opus 4.7: 透明性のあるローカルなFAISS ベースの検索パイプラインを採用した。PDF ドキュメントを 3 ページのセグメントにチャンク化し、all-MiniLM-L6-v2 センストランスフォーマーを用いて埋め込み、IndexFlatIP（正確な内積検索）を通じてインデックス化した。各クエリに対して、上位 5 つの意味的に類似したチャンクを取得し、プロンプトの先頭に付加した。
  • GPT-5.5: Azure OpenAI Responses API を介してアクセスされるクラウドホスト型のAzure ベクトルストアを採用した。検索メカニズム（埋め込みモデル、類似度指標、チャンク数）は Azure のインフラによって管理され、研究者によって直接設定することはできなかった。
• 実験設定: 両モデルには、核心臓病学の学生として振る舞い、最も可能性の高い 2 つの答えを選択し、その理由を説明するよう指示する標準化されたシステムプロンプトが提供された。画像ベースの質問は、ビジョン API を通じて処理された（Claude の場合は base6 エンコード、GPT-5.5 の場合はデータ URI）。
• 採点: モデルが選択した主要な回答を、正しい ASNC の回答と比較した。「そのリクエストにはお手伝いできません」などの安全性拒否や空の回答は誤答として採点された。
• 比較対象: 結果は、以前の研究からの履歴データ（文脈なしの GPT-4o、文脈ありの GPT-4o）および、無制限の時間とリソースで試験を受けた 13 名の人間の FITs コホートと比較された。

主要な結果

• 全体的な成績: 両モデルとも、人間の FIT 平均（78.0%）および推定される合格ライン（65%）を上回った。
  • Claude Opus 4.7: 平均正答率 86.3%（SD 1.4%）を達成。
  • GPT-5.5: 平均正答率 86.7%（SD 2.2%）を達成。
  • これは、約 18 ヶ月間で、これまでにあった LLM の最高成績（文脈なしの GPT-4o の 63.1%）から約 23 ポイントの改善を表している。
• 質問タイプ別内訳:
  • テキストのみ: 両モデルとも高い正答率を達成した（Claude: 88.8%、GPT-5.5: 88.5%）。
  • 画像ベース: 成績は大幅に低下したが、それでも合格ラインを上回った（Claude: 73.3%、GPT-5.5: 77.0%）。これは、人間の研修医（画像で 81.5%）がモデルよりも視覚的解釈において依然として優れているという、持続的なギャップを示している。
• 安全性拒否: 重要な運用上の違いが観察された。GPT-5.5 は反復あたり平均12.2 問（7.3%）を拒否し、これらを誤答として採点した。これらの拒否は、放射性医薬品、放射線安全、臨床プロトコルなどの正当な医学的コンテンツを網羅していた。一方、Claude Opus 4.7 は拒否ゼロであった。
• モデル間の合意: 2 つのモデルは実質的な一致を示し、反復ごとに 78.0–83.0% のケースで同じ質問を正しく回答した。不一致は、技術的定義における微妙な区別に関することが多かった。

主要な貢献

1. 人間レベルの熟練度の実証: RAG 強化型 LLM が、包括的なボード準備試験において、人間の核心臓病学研修医の平均成績を上回ることを示した初の研究である。
2. RAG の影響の定量化: 本研究は、次世代モデルと RAG の組み合わせの影響を分離し、短期間で 63.1%（文脈なし）から約 86.5%（RAG）への劇的な飛躍を示した。
3. 安全性の限界の特定: 論文は、GPT-5.5 における重要な実用的な障壁を浮き彫りにしている。過度に保守的な安全性分類器が正当な医学試験の質問への回答を拒否し、観測された正答率を人為的に低下させ、教育文脈での有用性を制限している。
4. 画像ギャップの持続性: 本研究は、テキストベースの知識検索は成熟したが、医学画像の解釈（SPECT、PET、多モダリティ）は依然として挑戦的な領域であり、LLM（73–77%）は人間の研修医（約 81.5%）に遅れをとっていることを確認している。

意義と主張
論文は、RAG 強化型 LLM が、ボード準備のための教育支援ツールおよび臨床現場における知識参照ツールとして機能するのに十分な核心臓病学の知識レベルに達したと主張している。著者らは、これらのモデルが研修リソースの検証や教育の補完に役立つ可能性を提案している。

ただし、著者らは臨床展開に関しては控えめな立場を維持している。彼らは明確に、試験の成績は臨床能力と同等ではないと述べている。現実世界の核心臓病学では、患者固有の文脈の統合、不確実性の管理、判断の行使が必要であり、これらは多肢選択問題では評価されない。したがって、論文は LLM を医師の専門知識を代替するものではなく、それを補強する補助ツールとして捉えるべきであると結論付けている。また、本研究は、画像解釈における持続的なギャップが、これらのモデルが診断画像の読影において人間の専門知識を代替する段階にはまだ達していないことを示唆していると指摘している。