論文要約：医療言語モデルにおけるプロンプト感度の評価と Chain-of-Thought の逆効果

論文タイトル: When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models
著者: Binesh Sadanandan, Vahid Behzadan (University of New Haven)
対象モデル: MedGemma (4B パラメータ版、27B パラメータ版)

---

1. 問題提起 (Problem)

大規模言語モデル（LLM）は医療分野での展開が進んでいますが、そのプロンプト形式への感度（Prompt Sensitivity）やロバスト性（堅牢性）については十分に解明されていません。
一般的な LLM において「ベストプラクティス」として広く受け入れられている以下の手法が、医療という専門領域のモデルにおいても有効であるという前提は、実証的に検証されていませんでした。

• **Chain-of-Thought **(CoT) 推論プロセスをステップバイステップで記述させる手法。
• Few-shot Learning: 例示（インコンテキスト学習）を用いる手法。
• プロンプトの多様性: 選択肢の順序やコンテキストの提示方法の変化に対する耐性。

医療現場では、入力フォーマットが基準データと完全に一致しないことが多く、プロンプトのわずかな変化でモデルの出力が不安定になることは臨床的に許容できません。

2. 手法 (Methodology)

MedGemma（Google 製、Gemma アーキテクチャに基づく医療特化モデル）の 4B と 27B の 2 つのサイズを用い、以下の 4 つの実験軸で体系的な評価を行いました。

データセット

• MedMCQA: 4,183 問の医学入学試験問題（21 科目）。
• PubMedQA: 1,000 問の医学研究要約に基づく質問応答タスク。

実験設計

1. **プロンプト除去実験 **(Prompt Ablation)
   • 10 種類のプロンプト戦略（ゼロショット直接回答、ゼロショット CoT、3 つの例を用いた Few-shot 直接回答、Few-shot CoT、回答のみなど）を比較し、精度と「位置バイアス（正解が特定の選択肢位置に偏る度合い）」を測定。
2. **選択肢順序感度 **(Option Order Sensitivity)
   • 選択肢をランダムにシャッフル、回転、ダミー選択肢の交換を行うことで、モデルが内容ではなく「選択肢の位置」に依存しているかを確認。
3. **証拠条件付け **(Evidence Conditioning)
   • PubMedQA において、要約の提示方法（全文、前半切り捨て、後半切り捨て、結果部分のみなど）を 11 通り変化させ、コンテキストのどの部分が診断に重要かを検証。
4. **ロバスト性ベースライン **(Robustness Baselines)
   • 従来の生成ベースの評価に加え、以下の代替手法を評価：
     • Cloze Scoring: 生成をスキップし、各選択肢トークンの対数確率（log-probability）を直接比較して最高確率のものを選択。
     • Permutation Voting: 複数の選択肢順序で推論を行い、多数決で回答を決定。
     • CoT Self-Consistency: 複数の推論パスをサンプリングし、多数決で回答。

3. 主要な結果 (Key Results)

驚くべき逆効果 (CoT と Few-shot の悪影響)

• CoT の逆効果: 直接回答（ゼロショット）に比べ、CoT プロンプトは精度を 5.7% 低下させました（47.6% → 41.9%）。モデルは医療知識を内部に持っているにもかかわらず、明示的な推論を強要されることで誤った結論に導かれました。
• Few-shot の悪影響: 例示（Few-shot）を使用すると、精度が11.9% 低下（47.6% → 35.7%）し、位置バイアスが 0.14 から 0.47 へと劇的に増加しました。モデルは例示の形式やパターンを過学習し、本質的な医療推論を阻害されました。

極端な位置バイアスと不安定性

• 選択肢シャッフル: 選択肢の順序をシャッフルすると、モデルの回答が59.1% の頻度で変更されました。回転操作では最大 27.4 ポイントの精度低下が見られ、モデルは選択肢の内容ではなく「位置」に強く依存していることが判明しました。
• CoT による誤答: 正解だった回答を CoT によって誤答に変えたケース（750 件）が、誤答を正解に変えたケース（512 件）を上回りました。特に、有機リン中毒の例など、高リスクな臨床シナリオで禁忌薬を選択する致命的なエラーが発生しました。

コンテキスト提示の非対称性

• 先頭切り捨ての致命的な影響: 要約の前半（50%）を切り捨てると、精度は「コンテキストなし」のベースライン（34.5%）よりもさらに低下し、**13.8%**まで落ち込みました。
• 末尾切り捨ての耐性: 逆に、後半を切り捨てた場合、精度は全文提示の 97% を維持しました。モデルは文脈の「冒頭」で方向性を把握する必要があり、末尾の欠落には比較的耐性があることが示されました。

代替手法の有効性

• Cloze Scoring の卓越性: 生成プロセスをバイパスし、内部の対数確率を直接読み取る手法は、4B モデルで51.8%、27B モデルで**64.5%**の精度を達成しました。これは、生成・解析パイプラインによるノイズがモデルの真の知識を隠蔽していることを示唆しています。
• Permutation Voting: 複数の順序で推論し多数決をとることで、単一推論より 4 ポイント高い精度を回復しました。

4. 主要な貢献 (Key Contributions)

1. 医療 LLM におけるプロンプト工学の限界の解明: 一般用 LLM で有効とされる CoT や Few-shot が、医療特化モデルでは逆効果になることを実証しました。
2. モデルの「真の知識」と「生成出力」の乖離の指摘: Cloze Scoring が生成ベースの評価を大幅に上回る結果から、モデルは内部に高度な知識を持っているが、生成プロセス（トークン生成と解析）がボトルネックとなり、その知識を正しく出力できないことを示しました。
3. 実用的なロバスト性対策の提案:
   • 医療用途では「ゼロショット直接回答」または「Cloze Scoring」をデフォルトとするべき。
   • 検索拡張生成（RAG）では、コンテキストを「末尾から切り捨てる」べき（先頭から切り捨てるのは避ける）。
   • 選択肢の順序感度を検証し、許容できない場合は「Permutation Voting」や「合意率に基づく棄権」を採用すべき。

5. 意義と結論 (Significance)

本研究は、医療 AI の実用化において、単なるベンチマークスコア（精度）だけでなく、入力に対する感度や安定性が極めて重要であることを示しました。

• 臨床的安全性への示唆: プロンプトのわずかな変化（選択肢の順序や CoT の有無）だけで、禁忌薬の選択や誤った診断につながるリスクがあるため、安全クリティカルな領域への展開前には厳格なロバスト性テストが必須です。
• 評価手法の転換: 生成されたテキストの正解率だけでなく、モデルの内部確率（Cloze Scoring）を評価指標に含めることで、モデルの真の能力をより正確に把握できる可能性があります。
• 今後の展開: 医療特化モデルは、汎用モデルとは異なる内部パターン（推論構造）を学習している可能性が高く、既存の「ベストプラクティス」を盲目的に適用することは危険であるという警告を発しています。

結論として、医療 LLM の信頼性ある展開のためには、生成パイプラインのノイズを最小化し、モデルの内部知識を直接引き出す手法（Cloze Scoring など）や、入力変更に耐性のある設計（コンテキストの適切なトリミング、順序不変性の確保）が不可欠です。