The strength of clinical evidence is recoverable from language model representations but not from their stated grades

技術要約：LLMの表現形式からの臨床的エビデンス強度の回復可能性について

問題提起
大規模言語モデル（LLM）は、臨床的エビデンスを要約するためにますます導入されているが、主張の有用性は単なる真偽だけでなく、それを支持するエビデンスの強さ（例：ランダム化比較試験 vs. 専門家の意見）に依存する。しかし、LLMは自信の表明が不十分であることで知られており、その表明された確信度は較正（キャリブレーション）が弱く、正解率を反映しないことが多い。ここで、未検証の重要な問いが残されている。すなわち、臨床用LLMは、主張の事実的な真偽とは別に、エビデンスの強さを内部的に認識しているのか、そしてもしそうであれば、プロンプトを与えられた際にそれを表現するのか、という点である。さらに、エビデンスの強さに関する何らかの内部信号が存在する場合、それがエビデンスの重みに対する深い理解を表しているのか、それとも単なる表面的な語彙的手がかりに過ぎないのかについても不明である。

手法
本研究では、6つの公開バイオメディカルソース（USPSTF、CPSTF、Trialstreamer、Evidence Inference、EBM-NLP、およびmedical reversalsを含む）から収集された45,134件の臨床的主張を含む包括的な評価フレームワークを用いた。これらのうち、20,611件の主張を、3つの独立した格付けフレームワークの下で4段階のエビデンスグレード（高、中、低、非常に低い）へと統合した。また、一部のサブセットについては事実の真偽（真、偽、不確実）のラベル付けも行い、エビデンスグレードと事実の真偽を非相関化するために、特定の設計要素（例：「逆転（reversal）」に関する主張や、バランスの取れたグリッド）を用いた。

著者らは、0.6から70億パラメータに及ぶ、汎用ドメイン、医学ドメイン適応、および推論蒸留の各系統を含む、22種類のローカルなオープンウェイト命令チューニング済みLLMをテストした。実験パイプラインは以下の通りである：

1. 隠れ状態の抽出（Hidden-State Extraction）: 固定されたモデルから、各主張の最終トークンにおける残差ストリームの活性化ベクトルを抽出する。
2. 線形プロービング（Linear Probing）: これらの隠れ状態からエビデンスグレードをデコードするために、L2正則化多項ロジスティック推定器を訓練する。
3. 言語化による引き出し（Verbalization Elicitation）: モデルにエビデンスグレードを明示的に述べさせる（ゼロショットおよびフューショット）ことで、表明されたグレードと内部表現を比較する。
4. コントロール分析（Control Analyses）:
   • 語彙的コントロール（Lexical Controls）: 隠れ状態のデコーダブル性（復元可能性）を、TF-IDFバッグ・オブ・ワーズ分類器および表面的な共変量（長さ、ヘッジ密度）と比較する。
   • 汎化（Generalization）: トピック間およびフレームワーク間の転移（leave-one-framework-out）をテストする。
   • 分離可能性（Separability）: グレードと真偽が統計的に独立するように構築されたバランスの取れたグレード・真偽グリッドを用いて、グレードの信号が事実の真偽と区別されているかをテストする。
   • ステアリング（Steering）: グレードの方向ベクトルを残差ストリームに加えることで、モデルの出力を制御（変調）することを試みる。
   • フラギング（Flagging）: 弱く支持された主張を検出するためのバイナリ推定器を訓練する。

主な結果

• 内部の復元可能性 vs. 表明された出力: 線形推定器は、テストされたすべてのモデルの隠れ状態から4段階のエビデンスグレードを復元でき、ピークレイヤーの最大マクロAUROC 71.8（偶然よりも有意に高い）を達成した。これとは対照的に、モデルが表明したグレードはチャンスレベル（中央値の精度は約22%）まで低下し、内部で復元可能なものと表明されるものとの間に、大きな体系的なギャップ（25〜27パーセントポイント）が生じた。
• モデルの規模と専門化: より大規模またはより専門的なモデルの方が、よりクリーンな内部構造を持つという仮説に反して、デコーダブル性は規模とともに向上しなかった。Qwen3のラダーにおいて、デコーダブル性はパラメータ数が増加するにつれて減少した。推論蒸想モデルは最も成績が悪く、医学ドメイン適応は有意な効果を示さなかった。
• 信号の性質: 復元された信号は、大部分が語彙的なものであることが判明した。TF-IDF分類器は、隠れ状態の推定器（AUROC 78.9）を上回った（71.8）。隠れ特徴量を語彙的分類器に加えてもメリットは得られず、一度語彙的スコアを偏回帰（partial out）すると、隠れ信号と真のグレードとの相関はほぼゼロに低下した。この信号は異なる臨床トピックや格付けフレームワーク間で汎化せず、エビデンスの強さという抽象的な概念ではなく、ソース固有の語彙を反映していることを示唆している。
• 真理からの分離性: グレードと真偽が構造的に統計的に独立しているバランスの取れたグリッドにおいて、表現空間におけるグレードの方向と真偽の方向はほぼ直交していた。グレードの方向は、真偽を偶然よりも良く予測することはなく、内部信号は事実の正確性とは別物であることを裏付けた。ただし、自然なコーパス内では両者は強く混同されている。
• ステアリングとフラギング: グレードの方向へ生成をステアリングしても、モデルの表明された確信度を信頼性高く変化させることはできず、この信号は出力制御のための機能的なレバーではないことを示した。しかし、外部の推定器は、隠れ状態を用いることで、情報の検索なしに弱く支持された主張を特定する（AUROC 69.2）という実用的なメカニズムを提供できる。

意義と主張
本論文は、臨床用LLMは、出力には表現されないものの、内部表現の中にエビデンスの強さの順序付けられた信号を保持していると主張している。この解離は、モデルが言語的に提供する「グレード」が、実際の主張に対する支持の実態に関して情報を持っていないことを意味する。著者らは、復元された信号は大部分が語彙的であり、移植可能な深いエビデンス強さの表現ではないものの、その存在は安全性において極めて重要であると論じている。つまり、主張の重みを判断するために必要な情報はモデルの内部に存在するが、出力には欠落しているのである。

したがって、本研究は、モデルが表明する確信度やグレードに依存することは安全ではないと結論付けている。代わりに、臨床展開における安全性には、表現からの信号を読み取るか、テキストベースの分類器を使用して、弱く支持された主張をフラグ立てするという外部的なチェックが必要である。本論文は、デコーダブル性の結果が、語彙的および分布外（out-of-distribution）のコントロールなしでは、モデルが真に何をエンコードしているかを過大評価する可能性があることを警告している。また、自然なデータにおけるエビデンスグレードと真理の明白な同一性は、共有された内部コードによるものではなく、分布のアーティファクト（人工的な現象）であるとしている。