技術的概要：LLM から引き出された信念の検証

問題定義

大規模言語モデル（LLM）は、医療診断など、意思決定において未知の結果に関する確率的信念の形成が求められる高リスク分野で、ますます展開されるようになっている。研究者は LLM に言語化された確率（例：「疾患 X の確率は 80%」）を出力させるようプロンプトできるが、これらの出力がモデルの意思決定を実際に駆動する整合的な内的信念を反映しているかどうかは依然として不明である。モデルは、ファインチューニングのアーティファクトや、意思決定ロジックを変更せずに言語化された確率を歪める選好最適化に起因して、意思決定プロセスとは無関係な確率を言語化する可能性がある。既存の研究は較正（報告された確率の精度）に焦点を当てているが、報告された信念がモデルの行動を支配する「十分統計量」であるかどうかには取り組んでいない。核心的な課題は、モデルの効用関数に関する強い仮定を置かず、内部表現へのアクセスも必要とせずに、ブラックボックス方式で LLM の引き出された信念がその意思決定の有意義な説明となり得るかを検証することである。

手法

著者は、引き出された信念と観測された意思決定との一貫性を検証するための意思決定理論的枠組みを提案する。この枠組みは、「準合理的」な意思決定者を前提としており、摂動された効用最大化者として形式化される。このエージェントのクラスは、厳密な凸正則化項（例：エントロピー）に制約された期待効用の最大化を行うものであり、確率的な選択と観測されない効用成分を許容する。これは厳密な期待効用最大化よりも一般的である。

この枠組みは、この形式化から導出された 2 つの実証的に検証可能な条件に依存する。

1. 条件付き独立性（信念の十分性）:

   • 仮説: エージェントの行動が主観的信念 $P_S(\theta|x)$ のみによって駆動される場合、この信念を条件とすることで、行動 $A$ は真の結果 $\theta$ から独立する。形式的には、$A \perp \theta \mid P_S(\theta|x)$ である。
   • 検証: 著者は、ノンパラメトリックな k-近傍法条件付き相互情報量（CMI）検定を用いて、帰無仮説 $I(A; \theta \mid p) = 0$ を検証する。さらに、既に引き出された信念 $p$ を条件とするモデルに行動 $A$ を追加した際の、真の結果の予測精度の向上を測定する。行動が有意な追加的な予測能力を提供する場合、その信念は十分統計量ではない。

2. 循環単調性（行動を導く信念）:

   • 仮説: 摂動された効用最大化者にとって、引き出された信念から選択確率への写像は、期待効用指標に関して循環単調でなければならない。二値状態の設定では、これは引き出された正の状態の確率が増加するにつれて、その状態でより価値のある行動を選択する確率が単調に増加することを意味する。
   • 検証: 著者は引き出された確率をビン分けし、ビン内の選択シェアを推定する。そして、ビン間で厳密な単調性を満たす効用差ベクトル $d$ を見つけるための**符号付きマージン線形計画（SignedLP）**を定式化する。正の統計量 $\hat{\gamma}$ は厳密な単調性を示し、負の値は違反を示す。

この枠組みは、実世界の記録と専門家によって構築されたベイズネットワークからのデータセットを用いて、4 つの医療診断タスク（構造的心疾患、糖尿病、小児の発熱、乳児の泣き声）に適用された。本研究では、汚染を避けるために別々のコンテキストウィンドウで信念と意思決定を引き出すことで、複数の LLM ファミリ（GPT-5 変種、DeepSeek-R1、Llama-4）を評価した。

主要な貢献

• ブラックボックス検証のための形式的枠組み: 本論文は、引き出された LLM の信念がその行動と整合的かどうかを検証する、最初の形式的な意思決定理論的条件を導入する。重要なのは、これらの検証がエージェントの効用関数に依存せず、摂動された効用最大化の構造のみに依存している点である。
• 必要十分条件: 著者は（命題 5 で）証明しており、条件付き独立性と循環単調性は、観測された信念と行動の分布が、引き出された信念を真の主観確率として持つ摂動された効用最大化者によって説明可能であるための、共同で必要かつ十分な条件である。
• 実証的検証プロトコル: 本研究は、これらの理論的条件を、任意のブラックボックス LLM に適用可能な実用的な統計的検定（CMI と SignedLP）として具現化した。
• 整合性の種類の区別: 本研究は、意思決定論的整合性（行動を導く信念）と確率的整合性（反復期待の法則などの公理への準拠）を区別し、これらが異なる性質であることを示した。

結果

• 不完全な十分性: すべてのモデルとデータセットにおいて、条件付き独立性の検定は帰無仮説を棄却した。引き出された信念は十分統計量ではない。モデルの行動には、言語化された確率には捕捉されていない真の結果に関する残余情報が含まれている。これは、モデルが「言うこと以上に知っている」か、あるいは意思決定に関連する情報が引き出された信念に完全に伝達されていないことを示唆している。
• 単調性の成立（概ね）: 循環単調性の検定は、モデルとデータセットの組み合わせの大部分において、引き出された信念と行動の間の関係が単調であることを示した。具体的には、16 の組み合わせのうち 9 つが厳密な単調性（正の $\hat{\gamma}$）を示し、1 つ（発熱–Llama）のみが違反を示した。これは、信念が完全に十分ではないものの、一般的に意思決定を正しい方向へ動かしていることを示している。
• モデルとドメインのばらつき:
  • 最強のモデル: 最強のモデル（例：DeepSeek-R1、GPT-High）は、信念と行動の間の差異が最も小さく、整合的な信念を持つエージェントに観測的に近いことを示唆している。
  • ドメイン効果: 糖尿病データセットは単調性が最も弱く、どのモデルも厳密に正のマージンを示さなかった。
• 較正は十分性を修復しない: 引き出された信念にアイソトニック較正を適用すると、周辺較正は改善されたが、条件付き独立性は回復しなかった。これは、十分性の失敗が較正の問題ではなく、構造的なものであることを確認する。
• 内的整合性: 反復期待の法則（LIE）を用いた検定は、確率的整合性（確率公理への準拠）が必ずしも意思決定論的整合性と一致しないことを明らかにした。意思決定の一貫性テストで良好なパフォーマンスを示したモデルが、確率的一貫性テストでも良好なパフォーマンスを示すとは限らなかった。

意義と主張

本論文は、LLM からの引き出された確率が、意思決定に関連する情報の不完全だが行動的に情報的な要約であると主張する。著者は、モデルが（十分性の失敗によって示されるように）完全に整合的な信念を持っているかのように行動するわけではないが、その差異は最先端のモデルでは比較的小さいと論じている。

この研究の意義は、LLM の言語化された自信がその意思決定に対する信頼できる説明かどうかを検証する原理的なブラックボックス手法を提供する点にある。これは、医療のような高リスク分野における安全性と透明性にとって重要である。著者は、彼らの検証が哲学的な意味でモデルが「真に」信念を持っていることを証明するものではなく、むしろその信念を持つ合理的エージェントと観測的に区別不能であることを示すに過ぎないと強調している。したがって、本論文は、引き出された信念がモデルの信念を忠実に反映していると仮定するのではなく、実証的に検証されるべきであると結論付け、開発者が失敗モードを理解するための診断ツール（例えば、医療エージェントにおける過信とコスト認識の問題を区別するなど）を提供する。