論文要約：医療文献の AI 支援検索における誤りの比較研究

以下は、Jenny Gao らによる「Errors in AI-Assisted Retrieval of Medical Literature: A Comparative Study（医療文献の AI 支援検索における誤り：比較研究）」の技術的詳細な要約です。

1. 研究の背景と課題 (Problem)

大規模言語モデル（LLM）は、医学・バイオインフォマティクス分野において文献の統合や参照検索を加速する可能性を秘めていますが、**「参照ハルシネーション（Referential Hallucination）」**と呼ばれる重大な課題を抱えています。LLM は、存在しない参考文献や誤ったデジタルオブジェクト識別子（DOI）、PubMed ID などを生成する傾向があり、特に医療研究のような高リスクな分野では、誤った引用が学術的誠実性を損ない、エラーを拡大させる恐れがあります。
既存の研究は初期のモデルにおけるハルシネーション率の高さを報告していますが、最新の無料版 LLM プラットフォーム間での誤り率を定量的に比較し、どの要因が検索精度に影響を与えるかを体系的に分析した研究は不足していました。

2. 研究方法 (Methodology)

本研究は、4 つの主要な医学誌からランダムに抽出された 40 件の原著論文（2024 年および 2025 年上半期）を基に、5 つの主要な無料 LLM プラットフォームの検索精度を評価しました。

• 対象 LLM プラットフォーム (5 種):
  • Grok-2
  • ChatGPT (GPT-4.1)
  • Google Gemini (Flash 2.5)
  • Perplexity AI
  • DeepSeek (GPT-4)
• 対象文献:
  • 誌名：British Medical Journal (BMJ), Journal of the American Medical Association (JAMA), The Lancet, The New England Journal of Medicine (NEJM)。
  • 各誌から 2024 年と 2025 年（1 月〜7 月）に発表された原著論文をランダムに 5 件ずつ抽出（計 40 件）。
• プロンプト設計:
  • 各論文の要約を入力し、「タイトル、出版年、DOI、PubMed ID、Google Scholar URL を含む 10 件の関連参考文献を生成する」よう指示。
  • 追加プロンプトで「DOI、PubMed ID、Google Scholar リンクの確認」を求め、生成されたメタデータを記録。
• 評価指標:
  1. メタデータ有効性: 生成された DOI、PubMed ID、Google Scholar リンクが実際に存在し、一致するかをデータベースで検証（各 1 点）。
  2. 関連性スコア: 生成された文献が元の論文の参考文献リストに含まれているか（1 点）、または元の論文そのものか（2 点）。
  3. スコア比 (Score Ratio): 総得点を適用可能な指標数で割った値（0〜1.25 の範囲。高いほど精度が良い）。
  4. 完全ミス率 (Complete Miss Rate): 検証可能な指標が一切得られなかった（総得点が 0 だった）参考文献の割合。
• 統計解析:
  • 多変量回帰分析を用いて、ジャーナル、出版年、LLM プラットフォームがスコア比および完全ミス率に与える独立した影響を評価。

3. 主要な結果 (Key Results)

全体的に LLM の性能は「 modest（並）」であり、プラットフォームやジャーナルによって大きなばらつきが見られました。

• 全体的な精度:
  • 5 つの LLM プラットフォームの平均スコア比は 0.29（SD 0.35）でした。
  • 完全ミス率（全く正しい参考文献を引けなかった割合）は平均 47.8% でした。
• プラットフォーム間の比較:
  • 最高精度: Grok (スコア比 0.57, 完全ミス率 11.2%)。
  • 最低精度: Google Gemini (スコア比 0.11, 完全ミス率 78.5%)。
  • ChatGPT、Perplexity、DeepSeek は Grok よりも有意に低いスコアを示しました。
• ジャーナル間の比較:
  • BMJ が最も高いスコア比 (0.33) を示しました。
  • NEJM が最も低いスコア比 (0.25) と高い完全ミス率 (56.0%) を示しました。
  • 多変量解析において、ジャーナルと LLM プラットフォームの両方がスコア比および完全ミス率と独立して関連していました。
• メタデータごとの詳細:
  • DOI、PubMed ID、Google Scholar リンクの取得精度は、ジャーナルと出版年によって有意に異なりました。
  • 特に Gemini は BMJ と NEJM の PubMed ID および Google Scholar リンクの取得において極めて低い成功率（BMJ で 0/100 など）を示しました。
  • 関連性スコア（内容の妥当性）は、メタデータ（DOI など）の精度に比べて相対的に高く、LLM は「関連するトピック」は見出せるものの、「正確な書誌情報」の取得に苦戦していることが示唆されました。

4. 主要な貢献 (Key Contributions)

1. 定量的な比較データの提供: 最新の無料 LLM 5 種を用いた大規模な比較研究により、医療文献検索におけるハルシネーションの具体的な発生率（約半数が完全なミス）を明らかにしました。
2. 要因の特定: 検索精度が「LLM プラットフォーム」と「対象ジャーナル（およびその要約の長さなど）」に依存することを統計的に証明しました。特に NEJM のような要約が短いジャーナルでは精度が低下する傾向が見られました。
3. 検証プロセスの限界の指摘: 生成されたメタデータの「確認（confirmation）」を LLM 自身に求めるプロンプト戦略でも、誤りを改善する効果は限定的であったことを示しました。

5. 意義と結論 (Significance)

• 実用的な示唆: 医療研究において LLM を文献検索に使用する際は、生成された参考文献のメタデータ（DOI、ID、リンク）は必ず人手で厳格に検証する必要があることを強く示唆しています。単一のプラットフォームに依存せず、複数の LLM を併用してクロスチェックすることが推奨されます。
• 倫理的・学術的意義: 妥当なトピックに関連するが、書誌情報が誤っている参考文献は、研究者に誤った安心感を与え、学術的誠実性を損なうリスクがあります。
• 今後の展望: 現時点では LLM は「権威あるツール」ではなく「補助的なツール」として扱うべきです。ハルシネーションを軽減する堅牢な検証システムや信頼できる AI フレームワークが広く実装されるまで、医療分野での無監督な LLM 利用には慎重であるべきです。

この研究は、AI 支援研究の現状の限界を定量的に示し、医療文献検索における人間の監督の重要性を再確認させる重要な知見を提供しています。