技術要約：正しい診断、装飾的な推論

問題提起

臨床医は、意思決定支援として大規模言語モデル（LLM）に依存する機会が増えており、そこでは思考の連鎖（Chain-of-Thought: CoT）による根拠が、透明性のある推論の証拠として期待されている。しかし、可視化されたこれらの連鎖が、実際にモデルの最終回答を駆動しているのか、それとも単に既に下された決定を物語っている（ナレーションしている）だけなのかは、未検証のままである。一般的なドメインにおける既存の忠実度（faithfulness）の検証手法は、臨床的なコスト（例：良性の反転と高緊急度の反転を同等に扱うこと）を無視していることが多い。一方で、医学的評価においては、推論の連鎖をブラックボックスとして扱い、回答の正確性のみに焦ло注視する傾向がある。その結果、「忠実かつ堅牢」なモデル（連鎖が回答に因果的な影響を与えるもの）と、「デカップル（分離）された単なる記述的」なモデル（連鎖が装飾的なもの）を厳密に区別する手法が存在しない。

手法

著者らは、医療コンテキストにおけるCoTの因果的な負荷能力（load-bearing nature）をテストするために設計された、**医療摂動監査（Medical Perturbation Audit）**フレームワークを導入する。この手法は、以下の3つのコアコンポーネントで構成される。

1. 摂動オペレーター・バッテリー

30種類のオペレーター・スイートが、臨床的に動機付けられた変換を用いて、推論の連鎖および入力質問の両方を編集する。オペレーターは意図（破壊的 vs 保存的）および所在（構造的 vs 表層的）によってタグ付けされている：

• 連鎖レベルの編集（Fブロック、17バリアント）： 削減、ステップの削除、トークンの置換、および並べ替えを含み、連鎖が計算上必要であるかどうかをテストする。
• 質問レベルの編集（Mブロック、13バリアント）： エビデンスの除去、デモグラフィック（年齢/性別）の入れ替え、否定の反転、重症度の逆転（例：急性 $\to$ 慢性）、および時間的シフトを含む。破壊的な編集は、たとえ正解が依然として妥当であっても、忠実な連鎖であれば反応すべき臨床的エビデンスを変化させるように設計されている。

2. 結合分析と指標

このフレームワークは、連鎖の更新と回答の反転を組み合わせることで、モデルの挙動を4つのセルからなる分類学に分類する：

• 主要指標：連鎖デカップリング率 (chain-Decoupling Rate: cdr): 連鎖が臨床的に意味のある編集を反映してテキストを更新せず、かつ回答も反転させない確率。高いcdrは、連鎖が臨床的な変化を処理していないことを示す。
• 二次指標：
  • 回答反転率 (answer-Flip Rate: afr): 摂動に対する感度。
  • 早期コミットメント率 (Early-Commitment Rate: ecr): 連鎖を切り詰めた場合に、ベースラインの回答が保持されるかどうか。
  • 忠実度合成指標 (Faithfulness Composite: fcs): 一般ドメイン向けの指標（破壊的および保存的な反転率の加重平均）。
  • 臨床的ハザード信号 (Clinical Hazard Signal: chs): 回答の反転を臨床的な緊急度に基づいて重み付けする（例：良性 $\to$ 高緊急度はペナルティ対象となる）。
  • デモグラフィック公平性ギャップ (Demographic Fairness Gap: dfg): デモグラフィックの入れ替えにおける精度の分散を測定する。

3. 臨床医による検証

2名の専門医が、$N=197$ の摂動された質問を再アノテーションし、破壊的な編集が意図せずゴールドスタンダード（正解）を変更していないことを検証した（これにより、回答の反転がない理由が、編集が無関係であったためではないことを保証する）。また、臨床的に有害な反転の割合を定量化した。

実験設定

• モデル: オープンウェイト（Llama-3.1, Qwen2.5, Mistralなど）、医療特化型（Meditron, BioMistralなど）、推論特化型（DeepSeek-R1-D, HuatuoGPT-o1など）、およびクローズドソース・ティア（GPT-4o, Claude）を含む14のLLM。
• ベンチマーク: 4つの医療QAデータセット（MedQA, MedMCQA, PubMedQA, MMLU-medical）。
• 規模: 約364,000件の摂動生成。

主な結果

14のモデルと4つのベンチマークにわたり、3つの独立した証拠のラインが、可視化されたCoTが回答から大きくデカップル（分離）されていることを示している：

1. 高い連鎖デカップリング率 (cdr): パネル全体のcdrは 72.9% である。臨床的に意味のある破壊的な編集の大部分において、連鎖はそのテキストに変化を記録できず、回答も変化しない。連鎖が更新され、かつ回答も反転したケース（「忠実」なシグナル）は、わずか2.9%であった。
2. 連鎖の破損は精度に影響を与えない: 連鎖を（削減、削除、または置換によって）破損させても、中央値の精度変化（$\Delta$Acc）は 約0パーセントポイント であった。14モデル中11のモデルにおいて、変化は $\pm1.6$ pp（パーセントポイント）以内であった。これは、連鎖が回答を因果的に駆動していないことを示唆している。つまり、モデルは生成されたテキストとは無関係に問題を解決している。
3. CoTプロンプティングは優位性を提供しない: CoTプロンプティングは、直接回答するベースラインに対して精度を向上させなかった。多くの場合、CoTプロンプティングは性能をわずかに低下させた。

具体的な観察事項:

• 推論特化型モデル: DeepSeek-R1-DやHuatuoGPT-o1のようなモデルは、より長い連鎖を生成するが、同様のデカップリング・パターン（高いcdr、高いecr）を示す。これは、推論の微調整が、より忠実な推論ではなく、より長い記述を生み出していることを示唆している。
• クローズドソースモデル: 連鎖のテキストはcdrの直接計算には利用できなかったが、彼らの回答側の感度シグナル（fcs, afr）は、オープンモデルで見られたデカップリング・パターンと一致していた。
• 臨床医による検証: 破壊的な編集の98.5%において、ゴールドスタンダードは依然として妥当であった。これにより、回答の反転がない理由が、編集が臨床的に無関係であったためではないことが確認された。しかし、13.3%の破壊的な反転は、臨床医によって一様に臨床的に有害であると判断された（例：敗血症の診断から非緊急の状態への反転）。

重要性と主張

本論文は、「堅牢で忠実」な推論と、「デカップルされた記述的」な文書化を区別する、初の医療に基づいた忠実度監査を提供すると主張している。

• 装飾的な推論: 現在の医療用LLMにおける可視化されたCoTは、計算の因果的な記録というよりも、主に文書化の表面として機能している。それは臨床的なエビデンスの変化を信頼性高く追跡していない。
• 現在の指標の限界: fcsのような標準的な指標は、忠実な応答性と外部から駆動された反転を混同し、臨床的コストを無視するため、医療コンテキストには不十分である。cdr が、医療用MCQAにおけるより適切な主要尺度として提案されている。
• 展開への示唆: 決定を連鎖の内容に基づいてルーティングするパイプラインは、連鎖が回答に対して因果的に先行していると仮定することはできない。著者らは、連鎖の長さ自体が忠実性のプロキシ（代理指標）にはならないと主張しており、安全な医療展開のためには、問題に紐付けられた独立した検証が必要であるとしている。

本研究は、LLMは専門家に近い精度を達成できる一方で、その可視化された推論プロセスは、現在、忠実な医療的推論の証拠としては信頼できないと結論付けている。