Importance of Prompt Optimisation for Error Detection in Medical Notes Using Language Models

論文概要

本論文は、医療テキストにおける誤り（診断ミス、投薬ミスなど）を自動検出するタスクにおいて、大規模言語モデル（LLM）および小規模言語モデル（SLM）の性能を向上させるために、**自動プロンプト最適化技術「GEPA（Genetic-Pareto）」**が極めて重要であることを実証した研究です。医療分野のデータは機密性が高いため、クラウド型の API 依存ではなく、病院ネットワーク内で実行可能なローカルモデル（SLM）の活用が求められていますが、従来のプロンプト設計では限界がありました。本研究は、GEPA を用いてプロンプトを自動進化させることで、医療専門家レベルの精度を達成し、最先端（SOTA）の結果を得ることに成功しました。

1. 課題背景と問題定義

• 医療誤りの深刻性: 医療誤りは患者の予後不良や死亡、多額の医療費（英国 NHS では年間 9,800 万ポンド）の原因となります。特に診断や投薬に関する誤りは、臨床現場および AI 生成レポートの両方で検出が急務です。
• 既存モデルの限界: 最先端の LLM でも、医療テキストの誤り検出タスクでは性能が不安定です。特に、トレーニングデータとは異なる分布（Out-of-Distribution）のデータ（例：ワシントン大学の実際の臨床ノート）では精度が低下する傾向があります。
• プライバシーとセキュリティ: 医療データは機密であるため、多くの場合、クラウド API を通じたオンライン LLM の利用は制限されます。代わりに、40 億パラメータ以下の小規模モデル（SLM）をローカル環境で実行する必要がありますが、これらはプロンプト設計の最適化が難しく、精度が十分でない場合が多いです。
• ファインチューニングのコスト: 従来のモデル改善手法であるファインチューニングは、大規模なラベル付きデータと計算資源が必要であり、監査や更新の面で運用コストが高いという課題があります。

2. 手法（Methodology）

本研究では、**GEPA（Genetic-Pareto）**アルゴリズムを用いた自動プロンプト最適化フレームワークを採用しました。

• データセット: 医療誤り検出のベンチマークであるMEDECデータセットを使用。
  • MS サブセット: 人工的に誤りを注入した試験問題ベースのデータ（トレーニング・バリデーション・テスト）。
  • UW サブセット: ワシントン大学の実際の匿名化臨床ノート（バリデーション・テストのみ）。これは分布外（OOD）データとして機能します。
• モデル構成:
  • 推論モデル（Inference Model）: 最終的に臨床ノートを処理するモデル。GPT-5（商用）および Qwen3 シリーズ（0.6B〜32B、オープンソース/ローカル実行可能）の 7 種類を評価対象としました。
  • リフレクターモデル（Reflector Model）: 誤りを分析し、プロンプトを改善するモデル。GPT-5 や Qwen3 自身などが使用されました。
• GEPA の仕組み:
  1. 反復的改善: 現在のプロンプトでミニバッチを実行し、予測結果と正解ラベル、および自然言語によるフィードバック（誤りの理由など）を生成します。
  2. リフレクション: リフレクターモデルが、推論モデルの失敗原因を分析し、プロンプトの修正案を生成します。
  3. パレートフロンティア選択: 複数の候補プロンプトの中から、特定の検証インスタンスで優位性を示すものを選び出し、多様な戦略を維持しながら最適化を進めます。
  4. デカップリング: 高機能なリフレクター（例：GPT-5）でプロンプトを最適化し、その結果を軽量な推論モデル（例：Qwen3-4B）に適用することで、ローカル環境での高性能化を実現します。

3. 主要な貢献

1. 医療ノート誤り検出における SOTA 達成: MEDEC ベンチマークにおいて、GEPA を用いたプロンプト最適化により、医療専門家（医師）の性能に匹敵、あるいは一部で上回る精度を達成しました。
2. 小規模モデルの性能向上: 商用モデル（GPT-5）だけでなく、ローカル実行可能なオープンソースモデル（Qwen3 シリーズ）においても、プロンプト最適化により大幅な精度向上（例：Qwen3-32B で 0.578→0.690）を確認しました。
3. 一般化能力の証明: MS データセットのみで最適化したプロンプトが、全く異なる分布を持つ UW データセット（実際の臨床ノート）でも性能を向上させることを示し、プロンプト学習の汎用性を実証しました。
4. 監査可能性とガバナンス: プロンプトベースのアプローチは、ファインチューニングされたモデルの内部挙動と異なり、プロンプト自体が明示的で短く、監査や臨床レビューが容易であるという実用的な利点を示しました。

4. 結果（Results）

• 精度の向上:
  • GPT-5: ベースライン（P1 プロンプト）の 0.669 から、GEPA 最適化後には0.785へと大幅に向上しました。
  • Qwen3-32B: ベースラインの 0.578 から0.690へ向上。
  • 医師との比較: 最適化された GPT-5 の性能は、ベンチマーク論文で報告された医師 1 名（0.796）に匹敵し、もう 1 名の医師（0.716）を上回りました。
• 分布外（OOD）データへの強さ:
  • MS データセットでの最適化が、UW データセット（実際の臨床現場）でも有効に機能しました。特に GPT-5 は UW テストセットで 15.2 ポイントの精度向上を記録しました。
• 誤分類パターンの変化:
  • ベースラインモデルは「誤りあり」と過剰に予測する傾向（偽陽性率が高い）がありましたが、GEPA 最適化後は「許容される臨床的変異」を正しく判断し、特異度（Specificity）が向上しました。
• モデルペアリング:
  • 強力なリフレクター（GPT-5）が軽量モデル（Qwen3-4B など）のプロンプトを最適化する場合、最も効果的でした。ただし、極小モデル（0.6B）の場合、リフレクターの選択が結果に大きく影響し、過学習のリスクがあることも示唆されました。

5. 意義と結論

• 臨床応用への道筋: 本研究は、大規模なファインチューニングなしに、プロンプト最適化のみで医療 AI の信頼性を高められることを示しました。これは、プライバシー保護が求められる病院環境（ローカルデプロイ）において、安全で監査可能な「背景 AI（Background AI）」システム（誤り検知アラート）の実現に寄与します。
• コストと効率: 最適化されたプロンプトは一度生成すれば、推論時にはリフレクターモデルを必要とせず、軽量なモデルのみで実行可能であるため、運用コストを大幅に削減できます。
• 今後の展望: プロンプト最適化は、医療 AI の導入における「ブラックボックス」問題を解決し、臨床医が最終判断権を保持したまま AI を支援ツールとして活用するための重要な技術的基盤となります。

結論として、 本論文は「プロンプトの設計」が医療 AI の性能において決定的な役割を果たすことを実証し、自動最適化手法（GEPA）を用いることで、商用・オープンソースを問わず、医療専門家レベルの誤り検出システムを構築可能であることを示しました。