Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment

低リソース医療環境向けに、5 つのオープンソース小規模言語モデルの臨床質問応答におけるプロンプト感度と回答の一貫性を評価した本研究は、一貫性が高くても正解率が低い「確実に誤る」危険性を指摘し、Llama 3.2 が精度と信頼性のバランスにおいて最も優れていることを示しました。

要約

この論文は、**「医療現場で使える小さな AI（人工知能）」**についての実験結果を報告したものです。

特に、**「クラウド（巨大なサーバー）が使えないような、田舎の病院や資金が少ない地域」**でも、普通のパソコンで動かせる小さな AI が、本当に信頼できるのか？という疑問に答えています。

以下に、難しい専門用語を使わず、日常の例え話を使って解説します。

---

🏥 物語：小さな AI 医師たちの「試験」

この研究では、5 種類の「小さな AI 医師」に、3 つの異なる「医療試験（医学のクイズ）」を受けさせました。
そして、**「同じ質問を、言い方を変えて 5 回ずつ聞いても、答えはいつも同じか？」という「一貫性」と、「答えが正しいか？」**という「正解率」を徹底的にチェックしました。

1. 最大の発見：「いつも同じ答え」＝「正しい答え」ではない！

これがこの論文の一番重要なポイントです。

• 例え話：
  Imagine 2 人の生徒が数学のテストを受けました。

  • 生徒 A（Gemma 2）： 問題の言い方を変えても、「100% 常に同じ答え」を出します。しかし、その答えは「すべて間違っています」。
  • 生徒 B（Llama 3.2）： 問題の言い方によって、少し答えが変わることがありますが、**「正解の確率が高い」**です。

  結論： 医療現場では、「自信満々で、いつも同じ間違った答えを出す AI」の方が、たまに迷う AI よりも危険です。なぜなら、医師は「いつも同じ答えが出るなら、きっと正しいに違いない」と思い込んでしまい、誤診してしまうからです。
  この研究では、**「Llama 3.2」**というモデルが、正解率と安定性のバランスが最も良いことがわかりました。

2. 「なりきり」は逆効果！

AI に「あなたは名医です」という設定（ロールプレイ）を与えて質問すると、どうなるでしょうか？

• 例え話：
  普段は真面目な生徒に、「さあ、今日は『名医』になりきって答えてごらん」と言ったら、逆に成績が下がってしまいました。
  特に「名医になりきって」という指示を出すと、AI は「演劇」をしてしまい、医学的な正解から遠ざかってしまいました。

  結論： 医療 AI を使うときは、「名医になりきって」などの芝居がかった指示は避けたほうがいいです。シンプルに「この病気は何？」と聞く方が、正解に近いです。

3. 「頭が良い」だけではダメ。「指示に従う力」が必要

研究では、医学の知識を大量に詰め込んだ AI（Meditron-7B）もテストしました。

• 例え話：
  この AI は、医学の教科書を何千冊も読んだ「知識の宝庫」です。しかし、「A, B, C, D のどれかを選んで」という指示（テストのルール）を理解できませんでした。
  結果として、99% の確率で「わかりません（Unknown）」と答え、試験に合格できませんでした。

  結論： 医療 AI を使うには、「医学の知識」だけでなく、「指示に従って答えを返す力」が不可欠です。知識があっても、ルールが守れなければ使い物になりません。

4. 大きな AI が勝つとは限らない

一般的に「AI は大きいほど賢い」と思われがちですが、この実験ではそうではありませんでした。

• 例え話：
  一番大きな AI（Mistral 7B）は、小さな AI たちと比べて、特別に賢かったり、指示に従ったりするわけではありませんでした。
  逆に、**「Llama 3.2（30 億パラメータ）」**という、それほど大きくないモデルが、最もバランスよく活躍しました。

  結論： 医療現場（特に設備がない場所）では、「巨大な AI」を無理に使う必要はなく、小さくてバランスの良い AI の方が、現実的で安全かもしれません。

---

📝 まとめ：医療現場への教訓

この研究から、医療 AI を使う人たちが知っておくべきことは以下の 3 点です。

1. 「一貫性」だけを信じてはいけない：
   AI が「いつも同じ答え」を出すからといって、安心しないでください。それは「間違った答えを自信を持って繰り返している」だけかもしれません。「正解率」と「一貫性」の両方をチェックする必要があります。
2. シンプルに話しかけよう：
   「名医になりきって」といった芝居がかった言葉は、AI の性能を下げます。**「素直に、ストレートに質問する」**のが一番です。
3. 小さな AI でも活躍できる：
   高価なサーバーがなくても、「Llama 3.2」のような小さなモデルを使えば、低コストで、ある程度信頼できる医療サポートが実現できます。

一言で言えば：
「医療 AI を選ぶときは、『自信満々で間違った答えを繰り返す AI』ではなく、『少し迷うかもしれないが、正解率の高い AI』を選ぶべきです。そして、『名医になりきり』などの演出は不要です。シンプルで、指示に従える小さな AI が、田舎の病院でも活躍できるかもしれません。」

技術概要

論文技術サマリー：小規模オープンソース大規模言語モデルの臨床質問応答におけるプロンプト感度と回答の一貫性

1. 研究の背景と課題

医療分野における AI の導入が進む中、クラウドインフラが利用できない低リソース環境（地方の診療所やコミュニティ病院など）では、ローカルで動作する小規模なオープンソース言語モデル（SLM: Small Language Models）が注目されています。しかし、これらのモデルの信頼性、特に**「同じ臨床質問でも表現（プロンプト）が異なると回答がどう変動するか**（プロンプト感度）や、その回答の一貫性については十分に解明されていません。

既存の評価は主に「正解率（Accuracy）」に焦点を当てており、プロンプトの言い換えに対する出力の安定性（一貫性）を体系的に評価した研究は不足しています。臨床現場では、モデルが質問の表現によって不安定に回答を変えたり、一貫して誤った回答を自信を持って出すこと（「確実な誤り」）が、患者の安全に重大なリスクをもたらす可能性があります。

2. 研究方法

本研究は、低リソース医療環境での実用的なデプロイ条件を想定し、以下の設定で実験を行いました。

データセット

3 つの確立された臨床質問応答ベンチマークを使用し、それぞれから 200 問ずつ（合計 600 問）をランダムサンプリングしました。

• MedQA: 米国医師国家試験（USMLE）に基づく多肢選択問題。
• MedMCQA: インドの医学入学試験（AIIMS/NEET）に基づく多肢選択問題。
• PubMedQA: 医学論文の要約に基づき「Yes/No/Maybe」を答える問題。

評価対象モデル（5 種類）

すべて GPU なしで消費用 CPU 上で動作可能な 2B〜7B パラメータのモデル。医療分野でのファインチューニングは行わず、ベースモデルのまま評価しました。

• Phi-3 Mini (3.8B, Microsoft)
• Llama 3.2 (3B, Meta)
• Gemma 2 (2B, Google)
• Mistral 7B (7B, Mistral AI)
• Meditron-7B (7B, EPFL): 医療ドメインで事前学習済みだが、インストラクションチューニング（指示追従）

プロンプト変異デザイン

各質問に対して、意味は同一だがスタイルが異なる 5 種類のプロンプトを生成し、感度を評価しました。

1. Original: データセット元の形式。
2. Formal: 医療専門家が使う学術的な表現。
3. Simplified: 一般患者や非専門家が使う平易な表現。
4. Roleplay: 「現役の医師として答える」というペルソナ（役割）を付与した形式。
5. Direct: 最小限の枠組みで質問と選択肢のみを提示。

評価指標

• **一貫性スコア **(Consistency Score) 5 種類のプロンプトに対する回答のうち、多数派の回答と一致する割合。
• **正解率 **(Accuracy) 多数派回答と正解ラベルの一致率。
• **指示追従失敗率 **(UNKNOWN Rate) 期待される形式（A-D または Yes/No/Maybe）で回答しなかった割合。

環境

ローカル環境（Ollama 使用）、温度パラメータ 0（決定論的出力）、最大トークン数 10。

3. 主要な結果

3.1 一貫性と正解率の独立性

最も重要な発見は、「一貫性」と「正解率」には相関がないという点です。

• Gemma 2: 全モデル中最も高い一貫性スコア（0.845〜0.888）を示しましたが、正解率は最も低く（33.0〜43.5%）、**「一貫して誤った回答」**を出す傾向がありました。
• Llama 3.2: 中程度の一貫性（0.774〜0.807）でしたが、最も高い正解率（49.0〜65.0%）を達成しました。
• 結論: 高い一貫性は正しさを保証しません。モデルが「確実な誤り」を繰り返すことは、臨床支援システムにおいて特に危険な失敗モードです。

3.2 プロンプトスタイルの影響

• Roleplay プロンプトの悪影響: 「医師として答えて」というペルソナ指示は、すべてのモデルとデータセットで正解率を低下させました。特に Phi-3 Mini は MedQA で 21.5 ポイントも精度が低下しました。
• Direct/Original の優位性: 最小限の枠組み（Direct）や元の形式（Original）が最も安定して高い精度を示しました。

3.3 指示追従失敗率 (UNKNOWN Rate)

• モデルのサイズ（パラメータ数）と指示追従能力には明確な相関がありませんでした。
• Meditron-7B（医療知識あり・指示追従なし）: PubMedQA において**99.0%**の回答が「UNKNOWN（形式違反）」となり、構造化された質問応答タスクでは実質的に使用不能でした。これは、ドメイン知識があっても指示追従能力がなければ臨床利用できないことを示しています。
• Phi-3 Mini: MedQA で 10.5% の失敗率を示し、小規模モデルでも指示追従の不安定さが課題となることが分かりました。

3.4 モデルごとのパフォーマンス比較

• Llama 3.2: 精度、一貫性、指示追従のバランスが最も優れており、低リソース環境でのデプロイに最も適していると判断されました。
• Mistral 7B: 最大規模ですが、一貫性や指示追従において Llama 3.2 や Gemma 2 に劣る部分があり、パラメータ数の増大が必ずしも信頼性の向上に直結しないことを示唆しました。

4. 主要な貢献と意義

1. 臨床 AI 評価における新たな視点の提示:
   従来の「正解率」だけでなく、「プロンプト感度（一貫性）」と「指示追従」を同時に評価する多面的なフレームワークを提案しました。特に「一貫して誤った回答（Reliable Incorrectness）」がもたらすリスクを浮き彫りにしました。

2. 低リソース医療環境への具体的な指針:

   • モデル選定: 小規模モデルの中でも Llama 3.2 がバランスが良い。
   • プロンプト設計: 医療 AI において「Roleplay（ペルソナ）」形式は避けるべきであり、直接的な質問形式が推奨される。
   • ドメイン知識と指示追従: 医療知識を有するモデル（Meditron）であっても、指示追従チューニングがなければ臨床タスクでは機能しないことを実証しました。

3. 実用性の高い評価手法:
   高価な GPU やクラウド環境を必要とせず、消費用 CPU 上で再現可能な評価手法を確立しました。これにより、インフラが限られた地域でも AI の信頼性を評価・検証することが可能になります。

5. 結論

本研究は、小規模オープンソース LLM を臨床現場に導入する際、単なる正解率やモデルのサイズだけでなく、「一貫性」「正解率」「指示追従」の 3 要素を総合的に評価する必要性を強調しています。特に、一貫性が高くても正しくないモデルは危険であり、ペルソナ型プロンプトは避けるべきであるという知見は、安全な医療 AI 実装のための重要な指針となります。今後は、ドメイン特化ファインチューニングや RAG（検索拡張生成）との組み合わせによる改善、および医師による実臨床評価が期待されます。