技術的概要：一般診療ベンチマークを用いた大規模言語モデルの臨床能力評価

問題提起

大規模言語モデル（LLM）は、医療分野、特に専門的タスクや医学知識の想起において顕著な可能性を示しているが、自律的な一般診療医（GP）として機能する能力は未だ証明されていない。既存の評価フレームワークは、主に試験形式の多肢選択問題（MCQ）や簡略化された質問応答形式に依存している。これらのベンチマークは、症状指向の鑑別診断、多疾患併存の管理、不確実性下でのトリアージ、および生物・心理・社会的モデルの適用を必要とする、現実世界の一般診療の包括的・開放的・継続的な性質を捉えきれていない。その結果、GP の実際の職務と整合した能力ベースの構造が欠如しており、臨床的一般診療における LLM の信頼性は不透明なままとなっている。

方法論

このギャップに対処するため、著者らは GP 能力の観点から LLM を評価するために設計された、新しい評価フレームワークおよびデータセット「GPBench」を提案する。

1. 能力モデル

実世界の臨床実践と確立されたフレームワーク（WONCA、ACGME、アイスバーグモデル、オニオンモデル）から、デルファイ法による専門家合意を通じて導き出されたこのモデルは、6 つの主要指標と 14 つの二次指標を定義する：

• 基礎医学知識（10%）
• 診断（40%）：鑑別診断、病歴聴取、合併症の特定、急性・重篤状態の認識、および紹介判断を含む。
• 意思決定（30%）：治療計画の策定、有害薬物反応の管理、禁忌の認識、および代替療法の選択を含む。
• 健康管理（10%）：健康教育および第三次予防を含む。
• 医療経済（5%）：費用対効果の高いケアの調整。
• 医学倫理と人文科学（5%）：人道的ケア能力。

2. 評価データセット

このデータセットは、中国の三級甲等病院の匿名化された実世界の外来記録とオープンソースデータを用いて構築された 3 つの異なるテストセットから構成され、すべての対話は中国語で行われた：

• MCQ テストセット：基礎知識と理論的理解を評価する 3,661 問。
• 臨床症例テストセット：8 つの主要な慢性疾患と 10 の一般的な症状を網羅する 70 の開放的症例。LLM は医療記録に基づいて体系的な診断および治療計画を生成しなければならない。
• AI 患者テストセット：LLM が医師として振る舞い、AI 生成の患者と面接して病歴を収集する 70 の対話シミュレーション。

3. 評価プロトコル

• 評価対象モデル：汎用モデル（例：GPT-4o、Claude-3.5-Sonnet）、推論最適化モデル（例：o1-preview、DeepSeek-R1）、医療専門モデル（例：HuatuoGPT-o1-7B）を含む、10 の最先端 LLM。
• 採点：
  • MCQ：5 回の推論実行における多数決による正答率を計算。
  • 臨床症例および AI 患者：10〜15 年の経験を持つ 3 名のライセンス取得 GP が、詳細な専門家注釈付き基準に基づいて回答を採点。
• 人間ベンチマーク：経験（5 年未満、5〜10 年、10 年超）で層化された 6 名の GP を同一データセットで評価し、パフォーマンスの基準値を提供。

主要な結果

10 の LLM の評価は、以下の知見をもたらした：

1. 医師とのパフォーマンス比較

• 知識対推論：LLM は一般的に MCQ テストセット（事実の想起）において人間医師を上回った。しかし、臨床症例および AI 患者テストセット（推論と対話）では、LLM は経験の最も少ない人間 GP（グループ C）であっても、著しく劣るパフォーマンスを示した。
• 最高パフォーマンス：DeepSeek-R1 が LLM 間で最高得点を達成し、臨床症例においてグループ C の人間医師と同等の能力レベルに達したが、病歴聴取においては依然として遅れをとっていた。

2. 特定の能力欠陥

• 診断推論：ほとんどのモデルは、完全な診断推論の連鎖を構築することに失敗した。臨床症例セットにおいて、10 モデル中 7 モデルが鑑別診断で 70 点未満のスコアであった。
• 病歴聴取：LLM は AI 患者テストセットで深刻な欠陥を示した。最良のモデル（o1-preview）でさえも 55.20 点に留まり、重要な症状（例：疼痛の特徴、関連症状）を体系的に探索したり、包括的な個人・家族歴を収集したりすることに失敗した。
• 治療計画：モデルは最適な治療計画の策定に苦労した。70 点を超えたのは DeepSeek-R1 のみであった。一般的な失敗には以下が含まれる：
  • 治療目標の欠如：慢性疾患の目標（例：血圧・血糖コントロール）を特定できない。
  • 薬物療法のリスク：核心となる薬物の省略、薬物相互作用・禁忌の軽視、および誤った投与量。
  • 幻覚：臨床的証拠なしに疾患を恣意的にグレード付け・ステージングすること（例：「グレード 0」の虫垂炎）。
  • 盲点：特に代謝および心血管の文脈において、併存疾患や合併症を特定できない。
• 健康管理：LLM は健康教育の構成において良好なパフォーマンスを示したが、その助言はしばしば実行可能で具体的なガイダンスに欠ける広範で原則的なレベルに留まった（例：ナトリウム制限を特定できない）。

3. モデル比較

• 推論モデル：推論最適化モデル（DeepSeek-R1、o1-preview）は、診断および治療タスクにおいて一般的に汎用モデルを上回った。
• パラメータ規模：より大きなパラメータを持つモデル（例：Qwen2.5-72B）は、一貫してそれより小さなモデル（Qwen2.5-7B）を上回った。
• 専門モデル：医療専門モデル（HuatuoGPT-o1-7B）は、医療経済や倫理などの特定分野で強力なパフォーマンスを示したが、中核的な診断推論においては推論最適化された汎用モデルを上回らなかった。

意義と主張

本論文は、現在の LLM は臨床的一般診療における自律的な展開に適していないと主張する。本研究は、LLM が静的な知識検索においては優れているものの、現実世界の GP 職務に必要な実践的能力、対話的推論、および包括的な理解が欠如していることを浮き彫りにする。

主な貢献点は以下の通りである：

1. GPBench フレームワーク：試験形式のテストを超え、GP 責任の全スペクトルを評価する能力ベースの評価モデル。
2. 詳細な欠陥分析：疾患ステージングにおける幻覚、核心となる薬物の省略、体系的な病歴聴取の inability などの特定の失敗モードの特定。
3. 現実的なベンチマーキング：実世界の臨床記録と対話シミュレーションの使用は、以前のベンチマークよりも臨床統合に向けた LLM の準備状況をより厳格に評価する。

著者らは、一般診療における LLM の現実的な応用には継続的な人間の監視が必須であると結論づける。将来の研究は、体系的な医学知識の強化、幻覚を軽減するための構造化された臨床ワークフローデータの統合、および人間の生理機能と疾患進行のモデリングの改善に焦点を当てるべきであると推奨している。データセットは、臨床意思決定支援システムのさらなる開発と最適化を支援するために公開されている。