Eliciting associations between clinical variables from LLMs via comparison questions across populations

技術的サマリー：比較質問を介した LLM からの臨床変数間の関連性の誘発

問題定義
大規模言語モデル（LLM）は、多様な患者集団を含む広範な生物医学文献で訓練されており、臨床変数間の複雑な相関構造や因果構造を潜在的に符号化している可能性があります。しかし、特定の統計的関係（例：「集団 Z において X と Y の相関は何か？」）を LLM に直接質問することは、多くの落とし穴を伴います。直接的な誘発は、集約された知識ではなく特定の想起に基づく回答をもたらす傾向があり、迎合性（ユーザーの信念と見られるものに合わせる傾向）の影響を受けやすく、プロンプトの順序に敏感であり、幻覚や事後の合理化された出力を生み出す可能性があります。さらに、LLM は自己反省的なエージェントとして扱うことはできず、その内部表現は行動を通じて推論される実験対象として扱わなければなりません。課題は、内部活性化や重みへのアクセスなしに、かつ集団固有の変動を考慮しつつ、LLM から意味のある関連構造と潜在的な因果リンクを回復することです。

手法
著者は、LLM を実験対象として扱い、構造化された比較質問を用いて潜在的な相関を推論し、頑健な因果候補を特定するために不変因果予測（ICP）を適用するフレームワークを提案します。

1. トリプレット比較質問:
   数値相関を直接問う代わりに、この手法は 3 人の人工患者（1 番、2 番、3 番）を含むトリプレット質問で LLM に照会します。

   • 設定: 変数のペア $X_j$ と $X_k$ について、$X_j$ の値を 3 人の患者全員に対して指定します。$X_k$ の値は 3 番目の患者に対してのみ指定されます。
   • タスク: LLM は、$X_k$ の値を考慮した上で、3 番目の患者が 1 番目の患者と 2 番目の患者のどちらに似ているかを問われます。
   • メカニズム: 参照患者を一定に保ちながら 3 番目の患者の $X_k$ の値を体系的に変化させることで、類似性の判断の「バランス」がどのようにシフトするかを観察します。$X_j$ と $X_k$ が LLM の表現において強く相関している場合、$X_k$ の値は判断に大きく影響します。

2. 代理意思決定モデル:
   二値の回答（1 番対 2 番）は、統計的な代理モデルを用いてモデル化されます。著者は、モデルがノイズのある測定値や間接的な手がかりに基づいて患者の真の状態を予測するために逆分散推定を行う「合理的」な LLM 表現を仮定します。

   • 2 番の患者を選択する確率は、3 番の患者の推定状態と基準中点との差に対するロジスティック関数としてモデル化されます。
   • 適合されたロジスティック係数（$\beta$）は、数学的に基礎となる集団相関（$\rho$）と関連しています。
   • 対称推定量: 変数のスケーリングや相対的な手がかりの重み付けに関連する不要項を排除するため、この手法は 2 番目の一連の照会において $X_j$ と $X_k$ の役割を反転させます。相関は、2 つの方向性クエリの傾き比の積から回復され、対称的な推定量 $\hat{\rho}$ が得られます。

3. プロンプト環境シフトと ICP:
   相関から因果推論へ移行するため、この手法は不変因果予測（ICP）を採用します。

   • 合成環境: 著者は、プロンプトテキストを変化させて異なるサブ集団（例：喫煙歴や大気汚染曝露などの特定変数の平均値が異なる集団）を指定することで、異なる「環境」を作成します。
   • ICP の適用: 各プロンプト環境に対して相関行列を推定します。ICP は、候補予測変数の部分集合をテストし、目的変数に対する回帰傾きがこれらの環境間で不変かどうかを確認します。偽の相関は通常、分布シフトの下で崩壊しますが、真の因果リンクは安定したままです。
   • 保守的フィルタリング: 変数は、いかなる不変集合からも除外できない場合にのみ、候補親変数として保持され、因果候補の保守的なセットが確保されます。

主要な貢献

• トリプレットベースの抽出: モデルの内部（活性化や重み）へのアクセスを必要とせず、LLM の類似性判断からペアワイズ相関を回復するための新規フレームワーク。
• 因果評価のためのプロンプト環境: サブ集団のプロンプト記述を操作することで環境固有の相関を推定する手法。これにより、ICP を LLM 由来のデータに適用可能にします。
• 臨床実証: 慢性閉塞性肺疾患（COPD）と多発性硬化症（MS）という 2 つの異なる臨床領域での検証。

結果
この手法は、COPD（肺機能マーカー）および MS（バイオマーカーと臨床尺度）データセットに対して、OpenAI の gpt-oss-120b および gpt-oss-20b モデルを用いて評価されました。

• モデル適合と安定性: 代理意思決定モデルは、二値トリプレット回答をよく適合させました。意思決定面は滑らかで単調であり、意思決定境界は期待される相関の符号と一致していました（例：正の相関ペアに対して負の傾き）。
• 臨床的妥当性:
  • COPD: 抽出された相関は、強力で一貫した構造を示しました。スパイロメトリー変数（FEV1、FEV1/FVC）は密なブロックを形成し、既知の生理学的関係（例：FEV1/FVC と空気閉塞指標の間の負の関連）が回復されました。
  • MS: 相関は COPD に比べて一般的に弱く、これは訓練データにおける文献の希薄さまたはより高い異質性によるものと考えられます。しかし、確立されたペア（例：T25FW と T2-LV）は回復されました。
• 直接クエリとの比較: トリプレットベースの推定量は、直接の数値クエリに比べて有意にノイズが少なく、安定していました。直接クエリは分散した分布（標準偏差 0.1〜0.3）を生み出し、環境シフトに対して感度が低かったのに対し、トリプレット推定量は環境間で適切に変動し、ICP の前提条件を満たしていました。
• 因果推論（ICP）:
  • COPD: ICP は、パック・イヤー $\to$ DLCO、PM2.5 $\to$ TLC、BMI $\to$ R5-R20 という、少数の保守的な候補親変数を特定しました。これらは確立された臨床知識（例：喫煙が拡散能を低下させること）と一致しています。
  • MS: ICP は、T1-black-hole-volume を EDSS の親変数、sGFAP を 9HPT の親変数として特定しました。これは病変負荷と障害に関するメタ分析証拠と一致しています。
• 頑健性: 推定量は異なる基準値の選択に対して安定しており、モデルサイズ（120b 対 20b）間でも一貫した相対構造を示しましたが、より小さなモデルは絶対的な相関の大きさにおいてわずかに低い値を示しました。

意義と主張
本論文は、トリプレット比較を介した間接的な誘発が、LLM 内の潜在的な相関から、モデルの回答パターンと整合的な因果主張へと至る「慎重な経路」を提供すると主張しています。その意義は以下の点にあります。

1. 直接クエリの限界の克服: 相対的な類似性判断に依存することで、直接の数値クエリに伴う幻覚や迎合性を回避します。
2. 行動的プロービング: LLM を実験対象として扱い、自己申告を前提とするのではなく、制御された行動実験を通じて臨床関係の内部表現を推論します。
3. データなしの因果発見: プロンプト設計された「合成」環境のみを用いて不変因果予測を実行する経路を実証し、しばしば入手が困難な複数の個人レベルの臨床データセットの必要性を回避します。

著者は、この手法が回復するのは経験的臨床的真実ではなく「モデルが示唆する」関連性であると謙虚に述べています。適合された傾きから相関への翻訳は特定の関係仮定に依存しており、研究は 2 つの領域と特定の一連のモデルに限定されています。それでもなお、このフレームワークは LLM 内に表現された関連構造を調査するための実用的な探索ツールを提供します。