MRI-Eval: A Tiered Benchmark for Evaluating LLM Performance on MRI Physics and GE Scanner Operations Knowledge

MRI-Eval の技術的概要：MRI 物理学および GE スキャナー操作知識における LLM 性能を評価するための階層型ベンチマーク

問題提起

大規模言語モデル（LLM）は、プロトコル設計、パラメータ選択、トラブルシューティングなどの MRI 研究においてますます活用されるようになっているが、ドメイン固有の役割におけるその信頼性は未検証のままである。1995 年の技術者レビューブックに基づく既存の MRI ベンチマークなどは、トップクラスの独自モデル（例：o1 Preview は 94% 獲得）にとって性能の天井に達しており、限定的な識別力しか提供していない。重要なのは、日常的な研究用 MRI 業務の中核をなすベンダー固有の運用内容（特定のプロトコルパラメータ、パルスシーケンスの挙動、コンソール操作を含む）について、LLM が体系的に評価された例がないことである。さらに、高い多肢選択問題（MCQ）のスコアは、真の生成想起ではなく選択肢の認識を反映している可能性があり、これは従来の MRI 固有の評価では検証されていない点である。

方法論

本研究では、9 つの技術カテゴリおよび 3 つの難易度レベルにわたる1,365 個の採点項目（1,355 個の MCQ と 10 個の誤解を問う問題）からなる階層型ベンチマーク「MRI-Eval」を導入した。

• データソース: 項目は、権威ある教科書、GE SIGNA Works スキャナーアプリケーションマニュアル、GE EPIC プログラミングコース資料、および知識のギャップに対応する 35 問の専門家生成質問から抽出された。
• カテゴリ: 9 つのカテゴリには、GE スキャナー操作/プロトコル（n=406）、パルスシーケンス（n=330）、GE ドメイン知識（n=155）、安全性、k-空間/画像形成、アーチファクト、T1/T2 緩和、SNR/画像品質、並列イメージングが含まれる。
• 難易度レベル: レベル 1（83.1%）は単一概念の想起をテストする；レベル 2（15.6%）は概念横断的な統合を要求する；レベル 3（1.3%）は専門家による統合シナリオを提示する（サンプルサイズが小さいため限界として指摘されている）。
• 評価対象モデル: 異なるファミリーに属する 5 つのモデルがテストされた：GPT-5.4、Claude Opus 4.6、Claude Sonnet 4.6、Gemini 2.5 Pro、および Llama 3.3 70B。
• 評価条件:
  1. 主要 MCQ: ゼロショット、4 択形式で回答をシャッフル。
  2. 問題文のみ（自由記述）: 選択肢を削除；モデルは独立した LLM 判定者（Grok）によって採点される自由記述回答を生成した。Gemini 2.5 Pro は、必須の推論トークンが書式設定に影響するため、ここからは除外された。
  3. プライム診断: 誤った回答主張を提示し、同意/不同意を求め、同調性や検索支援をテストした。
• 採点と分析: 統計分析には、ウィルソン得点信頼区間、ペアワイズ比較のためのマクネマー検定、および再現性のためのコホエンの kappa が含まれた。事後監査では、項目の 84.9% で正解の選択肢が誤答の平均長さの 1.3 倍以上であるという広範な長さの手がかりが明らかになった。

主な貢献

1. 階層型ベンチマークの構築: 過小評価されているベンダー固有（GE）の運用内容を取り入れた専門データセットであり、単に能力を確認するのではなく、知識の境界を特定するように設計されている。
2. 補完的な評価形式: 選択肢認識と生成想起の間のギャップを定量化するために、MCQ に加えて問題文のみの条件を含め、さらにプライム診断条件を追加した。
3. 厳密なモデル比較: 5 モデル間の比較において、ペアワイズ統計テストと実行間再現性の評価（テスト対象モデルでコホエンの kappa 0.983–0.998）を実施した。
4. 再現性: 学習データの汚染を防ぐため完全な質問バンクは非公開としたが、評価ハarnessと分析スクリプトは公開した。

結果

• MCQ 性能: 全体の正解率は高く、圧縮されており、**93.2%（Llama 3.3 70B）から97.1%（GPT-5.4）**の範囲であった。4 つの最先端モデル間の差はわずか 2.4 ポイントであった。
• カテゴリごとの分散: GE スキャナー操作は全モデルで最低スコアのカテゴリ（88.2%–94.6%）であり、一方、物理学の基礎（例：T1/T2 緩和）は天井性能に近づいた。
• 問題文のみの劣化: 選択肢を削除すると、全モデルで正解率が劇的に低下した。最先端モデルは**58.4%–61.1%まで低下し（35.5–36.8 ポイントの低下）、Llama 3.3 70B は37.1%**まで低下した（56.1 ポイントの低下）。
• ベンダー固有の想起: 問題文のみの条件において、GE スキャナー操作の正解率は**13.8%–29.8%**まで崩壊し、天井に近い MCQ 性能がベンダー固有の内容に対する強力な自由記述想起に転化していないことを示した。
• プライム条件: 誤った回答の提案は一般的に正解率を向上させた（回答の手がかり効果）が、Llama 3.3 70B はプライミング下でより高い難易度レベルにおいて正解率が低下し、知識が不十分な場合、より弱いモデルは誤ったプライムを受け入れる可能性を示唆した。
• 再現性: モデル間での実行間再現性はほぼ完璧であり、不一致は GE スキャナー操作カテゴリに集中していた。

意義と主張

本論文は、MRI 内容における強力な MCQ 性能は、特にベンダー固有の運用知識において、弱い生成想起を隠蔽する可能性があると主張している。このベンチマークは、絶対的な能力や展開準備度の尺度というよりも、主に相対的なモデル比較ツールとして機能する。

主な結論は以下の通りである：

• MCQ の限界: 専門分野における高い MCQ スコアは、深い理解ではなく、選択肢の認識や長さの手がかりを反映している可能性がある。
• 運用リスク: GE 固有の内容における問題文のみの性能の急激な低下は、研究環境においてベンダー固有のプロトコルガイダンスに生 LLM 出力を依存することへの警戒を支持する。
• 将来の方向性: 純粋なパラメトリック知識は運用タスクに不十分であるように見えるため、これらの知見は検索拡張型またはドキュメントに基づくシステムの開発を次の必要なステップとして促す。
• 評価基準: 標準的な MCQ は天井付近で性能を圧縮するため、将来のドメイン固有ベンチマークはモデルをよりよく区別するために、オープンエンドまたは問題文のみの形式を組み込むべきである。

著者は、これらの知見がモデル間の制御された比較に基づいており、人間専門家との性能較正や臨床展開準備度の直接的な推定を構成するものではないことを強調している。