Safety and accuracy follow different scaling laws in clinical large language models

技術概要：臨床大規模言語モデルにおける安全性と精度は異なるスケーリング則に従う

問題定義
臨床大規模言語モデル（LLM）は、意思決定支援のために導入される機会が増加しており、その際、モデルサイズ、コンテキスト長、または推論時の計算リソースを拡張することが、本質的に安全性を向上させるという前提に立つことが多い。しかし、放射線学などの臨床分野において、安全性は単なる平均精度の関数ではない。モデルが高い精度を達成していても、臨床管理の変更、エビデンスとの矛盾、あるいは危険な過信を伴う形で提示される「高リスク」誤答の小さなサブセットを保持しうる。従来のベンチマークは、すべての誤答を同等扱いし、無害な誤りと深刻な臨床的帰結を伴う誤答を区別できていない。著者らは、安全性に関連する誤答は希少で、非対称的であり、臨床的に構造化されていると仮定しており、平均性能を向上させるスケーリング戦略が、これらの特定の重大な失敗モードを緩和するとは限らないと指摘する。

手法
このギャップに対処するため、著者らは SaFE-Scale（スケーリングの安全性焦点評価）を導入した。これは、モデル規模、エビデンスの質、検索戦略、コンテキスト曝露、および推論時の計算リソースにわたる臨床 LLM の安全性の変化を測定するフレームワークである。

1. ベンチマーク構築（RadSaFE-200）: 本研究では、200 問の多肢選択問題からなる放射線学安全性焦点評価ベンチマーク「RadSaFE-200」を利用した。データセットは、以前に発表されたセット（RadioRAG、RaR）と新たにキュレーションされた症例からプールされた。重要なのは、各質問に以下の要素が含まれている点である：

   • 臨床医が定義した「クリーンなエビデンス」（簡潔で正確な臨床推論）。
   • 「対立エビデンス」（クリーンなエビデンスに加え、注意をそらすか部分的に矛盾する文句が含まれるもの）。
   • 選択肢レベルの安全性ラベル。特定の回答選択肢が 高リスク誤答（妥当な臨床的害）、安全でない回答（標準的ケアと矛盾）、または エビデンスとの矛盾 のいずれに該当するかを示す。

2. 実験デザイン: 著者らは、Qwen、Llama、Gemma、MedGemma、DeepSeek、Mistral、OpenAI-OSS の 7 つのファミリーにわたる 0.5B から 685B パラメータの 34 個のローカル展開 LLM を評価した。評価は、以下の 6 つの展開条件にわたる完全因子計画に従って行われた：

   • クローズドブック: 外部エビデンスなしのゼロショットプロンプト。
   • クリーンなエビデンス: 臨床医が作成したキュレーションされたエビデンスを用いたプロンプト。
   • 対立エビデンス: 注意をそらす要素を含むエビデンスを用いたプロンプト。
   • 標準 RAG: 固定パイプラインと Radiopaedia をソースとした検索拡張生成。
   • エージェント型 RAG: 多段階のクエリ再構成と合成を含む検索・推論（RaR）フレームワーク。
   • 最大コンテキスト: 可能な限り最大のコンテキストウィンドウを用いたプロンプト。

   二次的な実験では、自己整合性（20 サンプルに対する多数決）および 固定 3 モデルアンサンブル（異種モデル間での多数決）を通じた推論時の計算リソースを調査した。

3. 指標: 主要なアウトカムには、高リスク誤答率、安全でない回答率、矛盾率、および 危険な過信（誤った高リスク回答であり、エントロピー正規化された信頼度が $\ge$ 0.80 であるもの）が含まれた。精度は二次的エンドポイントとして報告された。

主要な結果
本研究は、安全性と精度が展開条件において著しく脱結合することを示している：

• エビデンスの質の支配性: 精度と安全性の両方で最も顕著な改善は、クリーンで臨床医が作成したエビデンスを提供することによって得られた。これにより、モデル平均精度はクローズドブックの 73.5% から 94.1% に上昇し、高リスク誤答は 12.0% から 2.6% に減少した。危険な過信は 8.0% から 1.6% に低下した。
• 検索とエージェント型推論の限界: 標準 RAG とエージェント型 RAG は、クローズドブックプロンプト（それぞれ 76.0%、78.1%）に対して精度を向上させたが、クリーンなエビデンスの安全性プロファイルを再現することはできなかった。エージェント型 RAG は標準 RAG に対して精度を向上させたものの、危険な過信が より高い 値（5.7% 対 8.0%）となり、エビデンス統合の改善が自動的に自信を持った高リスク誤答を排除するわけではないことを示した。
• スケーリングと計算リソースの非効率性:
  • モデル規模: モデルファミリー内では、パラメータ数の増加がクローズドブックのベースラインを改善したが、高リスク誤答を排除することはできなかった。クリーンなエビデンスはファミリー間のばらつきを圧縮し、安全性の決定要因としてモデルサイズよりもエビデンスの質が重要であることを示唆した。
  • コンテキスト長: 最大コンテキストプロンプトはレイテンシを増加させた（18.0 秒対 27.0 秒）が、安全性の格差を埋めることはできず、クローズドブックプロンプトと同等の精度（74.0%）しか生み出さなかった。
  • 推論時の計算リソース: 自己整合性は精度（+0.39%）と安全性においてわずかな利益しか提供せず、高リスク誤答を著しく減少させることはできなかった。
  • アンサンブル: アンサンブルはパネル平均に対して集計精度を向上させたが、同期した失敗（3 人のメンバーすべてが同じ誤った選択肢を選択する現象）をもたらした。多くのアンサンブルの高リスク誤答は全会一致であり、アンサンブルは常に最も安全な個々のメンバーを上回ったわけではない。
• シグナルとしての信頼度: 信頼度は信頼性の高い安全性フィルターではないことが判明した。モデルは高リスクまたは安全でない誤答を生成する場合でも、高い信頼度（しばしば 85% 超）を維持した。正解に対する信頼度と高リスク誤答に対する信頼度の間の格差は、展開フィルターとして機能するには小さすぎた。
• 最悪ケースの集中: 臨床的に重大な失敗はランダムではなく、質問の小さなサブセットに集中していた。上位 15 の最高リスク質問は、モデルパネルの 50% 超で高リスク誤答を生み出し、一部の質問では全 34 モデルで 100% の失敗率を引き起こした。

意義と主張
本論文は、臨床 LLM の安全性が（モデルサイズ、コンテキスト、または計算リソースなどの）スケーリングの受動的な結果ではなく、エビデンスの質、検索設計、およびコンテキスト構築によって形作られる 展開属性 であると主張する。

• 指標の脱結合: 著者らは、精度のスケーリング則は安全性には適用されないと論じる。展開戦略（例えば検索）が高リスク誤答の特定の性質に対処しない場合、システムはより正確になりつつも安全でないままになりうる。
• エビデンスの重要性: 安全性の主要なレバーは、モデルに提供される情報の質である。テストされた条件の中で、キュレーションされた臨床医作成のエビデンスのみが、モデルを一貫して「安全な展開領域」（精度 $\ge$ 90%、高リスク誤答 $\le$ 5%）へと移動させた。
• 展開戦略の再評価: 本研究の結果は、検索、エージェント型推論、またはアンサンブル化のみに依存することは臨床的安全性にとって不十分であることを示唆している。これらの手法は平均性能を向上させる可能性があるが、臨床的リスクを伴う残留的な高信頼度誤答を残す。
• 評価の転換: 本論文は、臨床 LLM の評価を単一指標の精度報告から、高リスク誤答、矛盾、および同期した失敗を明示的に測定する多次元安全性プロファイリングへの転換を提唱する。RadSaFE-200 と SaFE-Scale は、この種の詳細かつ展開固有の安全性分析を可能にするツールとして提示されている。

著者らは、より安全な臨床 AI システムには、モデルパラメータや推論時の計算リソースのスケーリングから安全性が創発すると仮定するのではなく、エビデンスの質管理を通じて高リスク誤答の削減を優先し、展開レベルで明示的な安全性測定を行う必要があると結論づけている。