技術的概要：顕示選好は LLM のアライメントとステアリングを明確化できるか？

問題提起

大規模言語モデル（LLM）が質問への回答から、不確実性下での高リスク意思決定（例：医療診断）の支援へと移行するにつれ、アライメントは事実の正確性だけでなく、モデルが異なる結果間のトレードオフをどのように暗黙的に重み付けするかにかかっている。現在の評価手法は、静的な正確性やバイアスのヒューリスティックな評価に依存することが多く、帰結的な行動を駆動する根本的な信念や選好を厳密に特徴づけることに失敗している。具体的には、LLM が整合的な目標指向エージェントとして振る舞うかどうか、その表明された目的が実際の意思決定方針と一致するかどうか、そして明示的なユーザー指示（ステアリング）がそれらの方針を確実に変更できるかどうかは、依然として不明である。

手法

著者は、LLM の暗黙的な効用モデルを推論するために、意思決定理論と顕示選好分析に基づいた実証的パイプラインを提案する。この枠組みは、LLM を統計的意思決定問題において選択を行うエージェントとして扱い、以下の 3 つの段階で進行する。

1. 信念と行動の引き出し:

   • 信念: 文脈 $x$ を伴う特定の意思決定タスクに対して、モデルは潜在状態 $\theta$（例：患者が疾患を有する確率）に対する主観的確率分布 $P^E(\theta | x)$ を報告するように指示される。
   • 行動: 同じ文脈に基づき、モデルは意思決定 $a \in \mathcal{A}$（例：診断する、診断しない、または保留する）を行うように指示される。
   • 自己申告: モデルは、誤陽性、誤陰性、および保留のコストを表す損失関数を、全般的かつ特定のケースについて言語的に記述するようにも求められる。

2. 損失関数の推定（顕示選好）:

   • 引き出された信念と観測された行動を用いて、著者は離散選択モデル（具体的には多項ロジットモデル）を当てはめ、観測された行動を最も合理的に説明する損失関数のパラメータ $\hat{c}$ を回復する。
   • 損失関数は $\ell_c(a, \theta) = c_{FP} \cdot I[a=1, \theta=0] + c_{FN} \cdot I[a=0, \theta=1] + c_{defer} \cdot I[a=defer]$ としてパラメータ化される。
   • 分析は、これらのコストの比率（例：$c_{FN}/c_{FP}$）に焦点を当てており、絶対的な尺度が特定できなくても、比率は特定可能である。

3. 評価指標:

   • 一貫性（ILFC）: モデルの実現された意思決定が、引き出された信念と回復された損失関数を組み合わせて導出された最適意思決定と一致するケースの割合。
   • 真実性: モデルの自己申告されたコスト比率と、顕示選好による推定値との比較。
   • ステアリング分析: 特定のコスト関数または真の確率を用いたプロンプトが、モデルの暗示される選好を目標方向へシフトさせるかどうかをパイプラインがテストする。
   • 反事実的予測: 著者は、回復された信念と選好を用いて合理的エージェントをシミュレートし、介入の利益を予測する（例：「モデルの信念を修正した場合、損失の減少量はどれほどになるか？」）。これらの予測は、プロンプト後の実際の実現損失減少と比較される。

主要な貢献

1. 暗黙的効用の推論のための枠組み: 本論文は、信念と意思決定を別々に引き出し、その後、その行動を合理的に説明する損失関数を推定する構造化された手順を導入し、静的な正確性を超えて意思決定理論的なアライメントへと移行する。
2. 厳密な一貫性テスト: 著者は、観測された意思決定を、モデル自身の信念と回復された選好が暗示する最適方針と比較することで、モデルが整合的な目標指向エージェントとして振る舞うかどうかをテストする手法を提供する。
3. 自己申告とステアリングの評価: この枠組みは、モデルが自らの目的を忠実に言語化できるかどうか、そしてプロンプトがユーザー指定のコスト関数を実装するために意思決定方針を成功裡にステアリングできるかどうかをテストする。
4. 反事実的分解: 著者は、顕示選好が介入の有効性を予測できることを示し、信念の更新に起因する変化と選好のシフトに起因する変化を区別する。

実験設定と結果

このパイプラインは、4 つの臨床診断ドメイン（構造的心疾患、糖尿病、小児の発熱、乳児の泣き声）に適用され、4 つの最先端およびオープンソースモデル（GPT-5 Thinking High/Minimal、DeepSeek R1 671B、Llama-4 Scout 17B）が使用された。

• 内部的一貫性: モデルは「実質的だが不完全な」程度の内部的一貫性を示す。信念と回復された選好を組み合わせると、意思決定の大部分を説明できる（例：真の確率を用いた場合、GPT-5-High では最大 99% の一貫性）。これは自己申告された選好よりも著しく優れている。
• 忠実な報告: モデルは、自らの意思決定を説明する損失関数を正確に記述することに苦戦する。自己申告されたコスト比率は、顕示選好から大きく乖離することが多い（例：モデルは、実際の選択と比較して、言語的報告において誤陰性のコストを誤陽性に対して過大評価することが多い）。
• ステアリング可能性:
  • コスト関数プロンプト: プロンプト内でコスト比率を明示的に指定することは、基準に対して暗示される選好を正しい方向へ移動させるが、その移動は不均質である。モデルはしばしば過小評価、過大評価、あるいは稀に誤った方向へ移動することがある。
  • 確率プロンプト: 真の確率を提供することは、選好を固定したまま信念を更新するだけではない。むしろ、モデルの暗示されるコスト関数（選好）を変化させ、意思決定の 1 つの構成要素を標的としたプロンプトが、他の構成要素にターゲット外の影響を与えることを示唆している。
• 反事実的妥当性: 顕示選好による分解は、コスト関数プロンプトの利益を成功裡に予測する（予測された損失減少と実現された損失減少の間に高い相関がある）。しかし、暗示されるコスト関数の変化も考慮されない限り、確率プロンプトの利益を予測することはできない。

意義と主張

本論文は、現在のヒューリスティックな手法よりも、LLM の意思決定の透明性とステアリング可能性を評価する上で、顕示選好がより精密かつ厳密なツールを提供すると主張する。

• 自己申告の限界: 結果は、言語化された目的が作動する意思決定方針の信頼性の低い記述であることを示唆している。アライメント検証のために自己申告に依存することは不十分である。
• ステアリングの課題: モデルはステアリング可能であるが、ユーザー指定の目的を忠実に採用するわけではない。内部のトレードオフの「ブラックボックス」性により、明示的な指示があっても、モデルは望ましいコスト関数を実装しない可能性があり、プロンプトは意図しない選好のシフトを引き起こす可能性がある。
• 枠組みの有用性: 提案された手法により、研究者は意思決定の誤りを、事実的な信念の誤りか、アライメントされていない選好かのいずれかに帰属させることができ、高リスクドメインにおける AI アライメントの診断と潜在的な改善のための構造化された方法を提供する。

著者は、自らの技術がブラックボックス枠組み内での観測可能な行動を記述するものであり、内部メカニズムを明らかにするものではないと強調しているが、これらは目標追求に関する非公式な主張から、実証的にテスト可能な基盤へと移行するための基礎を提供する。