技術要約：クロスモデル属性乖離による認識論的ブラインドスポットの検出

問題提起

大規模言語モデル（LLM）は、医学的な質問回答や診療録の要約において有望な成果を示しているが、構造化された臨床表形式データ（例：電子カルテ）への適用については、その認識論的な自己認識に関する研究が未だ不十分である。先行研究では、決定木ベースのモデル（例：XGBoost）が表形式データの予測タスクにおいて一貫してLLMを凌駕することが示されているが、この性能差は、その根底にある認識論的な構造を検証することなく、単なる集約的な指標（例：低いAUROC）として扱われてきた。

本研究が取り組む核心的な問題は、「LLMは構造化されたタスクにおいて、自身の知識の限界を認識できるか」という点である。具体的には、LLMは自身が正しい可能性が高いケースと誤っている可能性が高いケースを区別できるのか、また、言語化された確信度シグナルが臨床現場における予測の質を示す信頼できる指標となり得るのかを調査する。著者らはこれを「コールドスタート」問題として定義している。すなわち、LLMは関連する医学的知識は保持しているものの、構造化データに対してその知識を適用するために必要な「方向性（特徴量へのアテンション）」および「自己評価メカニメント」を欠いているのである。

研究手法

データとタスク

本研究では、MIMIC-IV臨床データベースを利用し、急性腎障害（AKI）予測タスクを再現した。

• データセット: 約209,000件の入院データから抽出された、バランスの取れた10,000件のエンカウンター（各クラス5,000件）。
• 特徴量: バイタルサイン、デモグラフィックス、CCS診断コード、および離散化された検査値を含む321個の特徴量。
• 分割: XGBoostには80/20の訓練・テスト分割を用い、LLMの評価にはテストセットの15%のサブセット（n=300）を使用した。
• ベースライン: 上位50個の最も影響力のある変数を用いて学習されたXGBoost分類器。評価用サブセットにおいてAUROCは約0.85、精度は約0.823を達成した。

実験設定

著者らは、以下の4つのプロンプト条件において Qwen 2.5 7B Instruct（ローカルホスト）を評価した。

1. Zero-Shot (ZS): シリアライズされた患者特徴量と予測プロンプト。
2. ZS + SHAP: ZSプロンプトに、XGBoostモデルによる上位5つのSHAP特徴量、重要度スコア、および方向性の影響を加えたもの。
3. Few-Shot (FS): ZSプロンプトに、クラスバランスの取れた4つのラベル付き例を加えたもの。
4. FS + SHAP: Few-shotの例とSHAPによる特徴量注入を組み合わせたもの。

出力要件: 各ケースについて、LLMはバイナリ予測、言語化された確信度スコア（0–1）、およびリスクの方向性を含む上位5つの特徴量のランク付けリストを生成することを求められた。出力は構造化されたJSON形式で強制された。

指標と分析

• 属性不一致スコア (Attribution Disagreement Score: ADS): XGBoostのSHAP属性と、LLMが自己報告した特徴量のランキングとの整合性を、ケンドールの順位相関係数（$\tau$）を用いて定量化する。$ADS = 1 - \tau$。
• 較正 (Calibration): 正解か不正解かを判別するための期待較正誤差（ECE）およびAUROCを通じて測定。
• クロスモデル較正器 (Cross-Model Calibrator): クロスモデル特徴量（ADS、Jaccard重複、方向性の一致、確信度の差など）を用いて、LLMの正解確率（$P(\text{LLM correct})$）を予測するように学習された軽量モデル（ロジスティック回帰またはXGBoost）。

主な知見

1. LLMの言語化された確信度は認識論的に空虚である

本研究では、LLMの言語化された確信度は、予測の質ではなく、プロンプトのテンプレートによって完全に決定されることが判明した。

• 観察: 精度が49%であっても75.3%であっても、確信度スコアはほぼ一定であった（Zero-Shotで0.856、Few-Shotで0.937）。
• 示唆: 臨床的な表形式データにおいて、言語化された確信度は正解率に関する情報を全く持たない。それは認識論的な状態ではなく、プロンプトの形式を追跡しており、ダウンストリームの意思決定においては無用である。

2. 逆転した難易度効果

データの難易度と、XGBoostに対するLLMの性能の間には、直感に反する関係が存在する。

• 観察: XGBoostが高度に確信しており（>0.85）、ほぼ常に正しい（精度99%）場合、LLMの精度は64.8%に低下した。逆に、XGBoostが中程度の不確実性を持つ場合（確信度0.70–0.85）、LLMはその性能に匹敵した（73.8% vs 73.1%）。
• 示唆: 両モデルは相補的な失敗モードを示している。LLMはXGBoostが学習したデータ固有の分布パターンには苦戦するが、一般的な医学的知識が十分である「不確実な領域」において、真の価値を発揮する。しかし、LLMはこれらの領域を自ら特定することはできない。

3. 超加算的（Super-Additive）な属性の整合性

Few-shotの例とSHAP由来のエビデンスは、直交的かつ超加算的な介入として機能する。

• 観察:
  • Few-Shot: タスクの理解（特徴量を予測に結びつけること）を向上させるが、特徴量のアテンションにはほとんど変化を与えない（Jaccard重複の増加はわずか）。
  • SHAP注入: 特徴量のアテンションを効果的に再方向付けする（Jaccard重複が0.658に跳ね上がる）が、「浅い採用（shallow adoption）」に留まる（LLMは属性を言語的にコピーするが、予測自体を大きく調整することはない）。
  • 結合 (FS + SHP): 両者を組み合わせた効果は、ADSの減少において1.158となり、個別の効果の和（0.796）を上回った。この組み合わせにより、精度75.3%、ADS 0.378を達成した。
• 示唆: 「コールドスタート」を解決するには、タスクのデモンストレーション（方向性）と、構造化されたモデルのエビデンス（定位）の両方が必要である。

4. 属性乖離によるクロスモデル較正

属性の乖離シグナルは、効果的な外部較正システムを駆動させることができる。

• 観察: 属性乖離特徴量を用いたクロスモデル較正器は、期待較正誤差（ECE）を0.254（生のLLM）から0.080へと減少させた。この較正器は、LLMが正解するかどうかを予測する上でAUROC 0.71を達成した。
• 示唆: LLMの内部にアクセスしたり、繰り返し推論を行ったりすることなく、患者固有の信頼性推定値を生成できる。これにより、情報を持たない定数としての確信度を、意味のある信頼性スコアへと置き換えることが可能となる。

重要性と主張

本論文は、これらの知見を、構造化データにおけるLLMのコールドスタート問題を特徴付けるものとして位置づけている。LLMは潜在的な医学的知識を有しているが、特徴空間内で自身を定位させ、自身の信頼性を評価するメカニズムを欠いている。

• 診断的基盤: 本研究は、単なる性能の差を測定するだけでなく、認識論的なブラインドスポット（不一致のアテンション、自己評価の欠如）を特定するための診断的フレームワークを確立している。
• 実用的有用性: 既存の構造化モデル（XGBoostなど）が、臨床ワークフローにおいて二重の役割を果たせることを示している。すなわち、LLMに対して「方向性（属性注入による）」と「較正シグナル（クロスモデルの乖離による）」の両方を提供できる。
• 認識論的自己認識: 著者らは、現在のLLMは構造化されたタスクにおいて真の認識論的自己認識を欠いていると主張している。提案された進むべき道は、クロスモデルの較正ターゲットを強化学習（RL）の報酬信号として利用することであり、これにより将来的にLLMに較正された不確実性を内面化させる可能性がある。

本研究は、単一のモデル（Qwen 2.5 7B）を単一のタスク（AKI）に対して、限られたサンプルサイズ（n=300）で評価したという点で、その範囲は限定的である。また、自己報告型の特徴量属性や、暫定的な較正器といった限界も認めており、本研究を、構造化データにおける認識論的知能に関するより広範な研究への基礎的な一歩として位置づけている。