技術要約：LLMの推論における価値不整合に重なる非合理性

問題提起

教師あり微調整（SFT）、人間からのフィードバックによる強化学習（RLHF）、直接選好最適化（DPO）などの手法を通じて、大規模言語モデル（LLM）をターゲットとなる価値関数に適合させる（アライメントする）プロセスにおいて大きな進展があったが、依然として重大なギャップが存在する。LLMが学習時に適切にアライメントされていたとしても、推論時にアライメントされた価値を最大化できない場合がある。本論文は、価値不整合（学習された価値関数自体が誤っている状態）だけが失敗の原因ではなく、**非合理的な推論（irrational reasoning）**が存続していると主張する。この非合理性は、モデルの出力分布内に高ユーティリティな候補が存在する場合でも、モデルが自身のサンプリングされた候補の中から最善の回答を選択できない能力として定義される。

手法

合理的価値リスクの定式化

著者らは、この現象を**合理的価値リスク（Rational Value Risk: RVR）**として数学的に定式化している。

• 合理的推論： 与えられた価値関数の下で、最も急峻な方向における期待ユーティリティを最大化する戦略と定義される。
• 合理的価値リスク ($R$)： モデルの展開された推論戦略 ($d_\theta$) と、その合理的対応物 ($d^\circ_\theta$) との間のユーティリティの差。
  $$R(d_\theta) = \mathbb{E}_{x \sim \rho, o \sim P(\cdot|x,y^\circ)}[U(o)] - \mathbb{E}_{x \sim \rho, y \sim d_\theta, o \sim P(\cdot|x,y)}[U(o)]$$
  ここで、$y^\circ$ は合理的な回答であり、$y$ は展開された戦略によって生成された回答である。

計算制約付き推定

完全な合理的推論は有限のリソースでは計算不可能であるため、本論文では**計算制約付き合理的推論（compute-bounded rational reasoning）**のフレームワークを導入している。

1. 候補セット： 与えられたプロンプトに対して、$K$ 個の独立したサンプルがモデルから抽出される。
2. 経験的ユーティリティ： 各候補のユーティリティは、$L$ 回の検証器（verifier）呼び出し（または決定論的なチェック）を通じて推定される。
3. 推定器： 経験的合理的価値リスク ($\hat{R}_{M,K,L}$) は、$K$ 個の候補の中に見出された最大経験的ユーティリティ（可能な最善の展開を代表するもの）と、展開された戦略の平均経験的ユーティリティとの差として計算される。

誤差の分解

RVRの推定誤差は、以下の3つの異なる成分に分解される：

1. 候補近似誤差（Candidate Approximation Error）： 有限の $K$ 個のサンプルセットに高ユーティリティな回答が含まれていないリスク。
2. プロンプト・サンプリング誤差（Prompt Sampling Error）： 有限の数（$M$）のプロンプトで評価することから生じる統計的誤差。
3. 検証誤差（Verification Error）： 確率的または不完全な検証器によって導入される誤差（$L$）。
   本論文は、総誤差が候補近似誤差と、プロンプト数および検証器の信頼性に依存する項の和によって抑えられることを示す理論的境界（定理1）を提供している。

実験設定

本研究は、多様なベンチマークを用いて、幅広いモデル（7Bから72Bパラメータ、およびプロプライエタリなAPI）を評価している：

• 対話タスク： UltraFeedback、AlpacaEval（確率的な検証器を使用）。
• 検証可能な推論： GSM8K、MATH、HumanEval、およびMathArena（決定論的または準決定論的な検証器を使用）。
• モデル： Llama-3.1、Qwen-2.5、Tülu-3 ファミリー、およびプロプライエタリなモデル（GPT-5.2、GPT-5.5、DeepSeek-V4）。
• 変数： 実験では、サンプリング温度、セルフコンシステンシー（自己整合性）の投票予算、および推論長（トークン予算）を変化させている。

主な結果

実験により、以下の4つの主要な仮説が検証された：

1. H1：合理的価値リスク（RVR）は広く普及している。
   すべてのモデルとベンチマークにおいて、RVRは一貫して正の値を示した。モデルは高ユーティリティな候補（高い合理的期待ユーティリティ：REU）を頻繁に生成しているにもかかわらず、それらを一貫して展開できていない（低い実効期待ユーティリティ：AEU）。例えば、MathArenaベンチマークにおいて、GPT-5.2のような強力なモデルであっても0.360のRVRを示しており、これは全ユーティリティの差の70.6%を占めている。

2. H2：価値アライメントはRVRを減少させるが、排除はしない。
   ポストトレーニングのアライメント段階（SFT $\to$ DPO $\to$ RLVR）は、一般にAEUを向上させ、RVRを減少させる。しかし、RLVRの後でも重大なリスクが残る。いくつかのケース（例：MathArenaにおけるTülu-3-70B）では、アライメントによって高ユーティリティな回答を「サンプリング」する能力（REUの向上）は改善されるものの、RVRが全誤差に占める割合として逆に増加しており、展開された戦略が最善の候補を選択できていないことを示している。

3. H3：RVRは推論時の戦略に強く依存する。

   • 温度（Temperature）： サンプリング温度を上げると、REU（より良い候補を見つけること）は向上する場合が多いが、モデルが最善のものを一貫して選択できなくなるため、R RVRは増加する。
   • セルフコンシステンシー（Self-Consistency）： 投票予算を増やすことは、REUが安定している一方でAEUを向上させるため、RVRを大幅に減少させる。

4. H4：長い推論は合理性を向上させるが、収穫逓減がある。
   推論長（トークン予算）を延ばすことでRVRを減少させることができるが、その恩恵は非単調であり、一定の閾値（例：$T \ge 256$ または $1024$）を超えると逓減する。MathArenaのような困難な展開ベンチマークでは、長い推論はREUをわずかに向上させるが、AEUの向上には至らず、RVRは高いままとなる。

意義と主張

本論文は、LLMの推論における合理的価値リスクを正式に定義し、経験的に測定した最初の研究であり、推論時の非合理性を価値不整合から明確に分離していると主張している。

• 独自の評価次元： 著者らは、合理性が価値アライメントと補完的な関係にある独立した次元であると断じている。モデルは完璧にアライメントされている（何が価値があるかを知っている）一方で、非合理的である（推論時にその知識に基づいて行動できない）可能性がある。
• 診断ツール： このフレームワークは、性能のギャップが「高品質な回答を生成できないこと（サンプリングの失敗）」によるものか、「それらを選択できないこと（展開の失敗）」によるものかを特定するための診断ツールとして機能する。
• 限界： 本研究は、推論の軌跡（trajectory）ではなく、最終的な回答に対するユーティリティに焦点を当てている。RVRを修正するための新しいアルゴリズムを提案するものではないが、実現されていないユーティリティを最小化するための将来的な推論時アルゴリズム（検証器ガイド付き探索など）のための理論的および経験的な基礎を提供するものである。

結論として、本論文は「価値不整合の上に重なる非合理性」が現在のLLMにおける蔓延した問題であることを示しており、将来の推論性能の向上には、モデルが「何を学ぶか」だけでなく、推論時に「どのように推論し、回答を選択するか」に対処する必要があることを示唆している。