Prompting language influences diagnostic reasoning and accuracy of large language models

技術的サマリー：プロンプトの言語が大型言語モデルの診断推論と精度に与える影響

問題提起
大型言語モデル（LLM）は臨床意思決定支援において有望性を示しているが、非英語圏におけるその信頼性は依然として不確かなままである。大半の評価は英語データと標準化された多肢選択式ベンチマークに依存しており、これらは現実世界の臨床推論の複雑さを捉えきれていない。医療実践は言語、文化、地域疫学と深く結びついているため、主に英語コーパスで訓練された LLM が、フランス語などの他の言語においても同等の忠実度で診断推論を実行できるかどうかを理解する上で、決定的なギャップが存在する。この格差は、特に多言語環境において、公平な医療の展開と患者の安全性に対するリスクを伴う。

方法論
著者らは、o3、DeepSeek-R1、GPT-4-Turbo、Llama-3.1-405B-Instruct、およびBioMistral-7Bの 5 つの LLM について、診断推論と最終診断の精度を bilingual（バイリンガル）比較評価を行った。

• データセット: 本研究では、16 の医療分野（純粋に技術的または外科的な分野を除く）を網羅する 180 の臨床症例を用いた。症例は合成生成、参考文献、および匿名化された現実の症例から作成された。各症例はフランス語で作成され、2 人の医師によって独立して英語に翻訳され、意味の同等性と臨床的正確性が確保された。
• プロンプティング: モデルは、医師として振る舞い、臨床推論を提供し、最終診断を JSON 形式で出力するよう指示する標準化されたプロンプトを用いて、各言語で 1 回ずつ各症例に対してクエリが送信された。
• 評価枠組み: 2 人の医師が、6 つの基準からなる 18 点スケールを用いて、すべてのモデル出力を独立して評価した。
  1. 内的妥当性（0–5）: 症例データの抽出と解釈。
  2. 外的妥当性（0–3）: 症例を超えた医学知識の正確性。
  3. 仮説と鑑別診断（0–1）: 関連する鑑別診断の生成。
  4. 論理的構造（0–4）: 推論の一貫性と組織化。
  5. 表現（0–2）: 構文および意味の正確性。
  6. 最終診断の精度（0–3）: 参照診断との整合性。
• 統計分析: 英語とフランス語間の性能差は、言語を固定効果、症例および評価者をランダム切片とする線形混合モデル（LMM）を用いて分析された。英語の成績がフランス語を上回るという仮説を評価するため、片側検定が用いられ、多重比較に対してボンフェローニ補正が適用された。評価者間信頼性は、クラス内相関係数（ICC）とコホンのカッパを用いて評価された。

主要な結果

• 全体的な成績: 5 つのモデルのうち 4 つ（DeepSeek-R1、GPT-4-Turbo、Llama-405B、BioMistral-7B）は、フランス語よりも英語で有意に高い成績を示した。18 点スケールにおける全体的なスコアの平均差は0.37 から 0.91 点の範囲であった（調整済み p < 0.05）。
  • Llama-405Bは最大の格差（0.91 点）を示した。
  • BioMistral-7Bは医療特化モデルであるにもかかわらず、全体的なスコアは著しく低く（中央値 約 8–9/18）、有意な言語格差（0.78 点）を示した。
  • o3は全体的な言語効果を示さなかった唯一のモデルであり（平均差 0.08、p = 1.000）、両言語で天井に近い成績（中央値 18/18）を達成した。
• 推論の次元: 言語格差は推論の種類によって均一ではなかった。英語を有利とする有意な格差が以下の領域で観察された。
  • 鑑別診断: Llama-405B、GPT-4-Turbo、DeepSeek-R1 は、英語でより一貫性のある鑑別診断を生成した。
  • 論理的構造: GPT-4-Turbo、Llama-405B、BioMistral-7B は、英語でより一貫性のある推論の組織化を示した。
  • 内的妥当性: Llama-405B と DeepSeek-R1 は、英語で臨床データの抽出と解釈が優れていた。
  • 表現: BioMistral-7B はフランス語で構文エラーをより頻繁に示した。
• 推論の種類: 言語格差は、複雑な多段階推論を必要とする仮説演繹的およびアルゴリズム的推論において最も顕著であった。確率的推論については、どのモデルにおいても言語効果は観察されなかった。
• 相関: BioMistral-7B において、推論の質と診断精度の相関は、英語（$\rho=0.75$）の方がフランス語（$\rho=0.60$）よりも有意に強く、このモデルにとって英語の文脈では推論と精度がより密接に結びついていることを示唆している。

意義と主張
本論文は、プロンプトの言語が臨床診断推論における LLM の性能にとって決定的な要因であると主張している。これらの知見は、性能格差が単なる事実の想起の問題ではなく、臨床推論プロセスそのものの質、一貫性、および内的妥当性に及んでいることを示している。

著者らは以下のように論じている。

1. 公平性への含意: モデルが患者の母語（非英語）で低品質の推論や精度の低い診断を生み出す場合、既存の健康格差を悪化させる可能性がある。LLM が患者によって直接健康情報源として利用されることが増えていることを考えると、これは特に懸念される。
2. 試験を超えて: 従来の研究が多肢選択式の医学ボード試験に限定されていたのに対し、本研究は、実際の臨床実践にさらに近いオープンエンドの診断推論タスクにおいても言語格差が存在することを確認している。
3. モデルアーキテクチャの重要性: o3における言語格差の欠如は、推論能力の進歩（例えば、テスト時の計算スケーリング、拡張された連鎖思考）が、訓練データが主に英語であっても、言語に関連する格差を部分的に緩和しうることを示唆している。
4. リソースの格差: フランス語は訓練コーパスにおいて相当な表現を持つ比較的高リソースの言語であるため、著者らはこれらの格差が低リソース言語においては増幅される可能性があると提唱している。

本研究は、言語間での公平な性能を確保することが、モデル開発および規制評価の優先事項でなければならないと結論づけている。これにより、LLM が信頼できる健康情報へのアクセスにおける格差を拡大させるのではなく、縮小する機会を見逃さないようにするためである。将来の研究を支援するため、著者らは完全なバイリンガルデータセットと評価コードを公開した。