技術的サマリー：エネルギーベースデコーディング（EBD）

1. 問題定義

本論文は、事前学習済み大規模言語モデル（LLM）の評価における重大なミスマッチに焦点を当てています。標準的なベンチマークは、モデルがプロンプトをタスクとして解釈し、適切に形成された回答を生成することを前提としていますが、凍結された事前学習モデルは主に次のトークンの予測（継続）に対して最適化されています。その結果、標準的なプロンプティングと直接デコーディングの下では、これらのモデルはタスク指向の応答ではなく、継続スタイルのテキストを生成することが頻繁にあります。これにより、モデルの実際の能力と、パラメータ更新なしで「タスクモード」を採用できないこととの混同が生じ、信頼性の低いベンチマークスコアにつながります。

既存の解決策には重大な限界があります：

• ポストトレーニング（SFT/RLHF）： 効果的ですがコストが高く、事前学習知識と学習された行動の区別を曖昧にします。
• 尤度のみに基づくデコーディング（例：温度低下、ビームサーチ）： これらの手法は外部のユーティリティ信号なしで出力分布を再構成し、タスク解決行動を活性化させるのではなく、しばしば誤った高尤度の継続モードを増幅させます。
• サンプリングを多用する探索（例：Best-of-N、再ランク付け）： 報酬信号を使用していますが、ベース分布が非タスク継続に強く偏っている場合、計算コストが高く非効率的です。

核心的な課題は、パラメータ更新なしで凍結された事前学習モデルからタスク指向の高ユーティリティ行動を活性化しつつ、効率性と元のモデル分布への忠実性を維持することです。

2. 手法：エネルギーベースデコーディング（EBD）

著者は、生成を高ユーティリティな応答へと誘導しつつ、事前学習された事前分布に固定する、トレーニング不要の報酬誘導フレームワークである**エネルギーベースデコーディング（EBD）**を提案します。

理論的定式化

EBD は、デコーディングを報酬で傾斜させた事後分布からのサンプリングとして定式化します：
$$\pi^*_\beta(y | x) \propto p_\theta(y | x) \exp(\beta S_x(y))$$
ここで：

• $p_\theta(y | x)$ は凍結された事前学習モデルの事前分布です。
• $S_x(y)$ は外部の軽量報酬モデルから導出されたプロンプト正規化された報酬スコアです。
• $\beta$ は事前分布と報酬のトレードオフを制御する逆温度です。

この定式化は、エネルギー $E_x(y) = -\log p_\theta(y | x) - \beta S_x(y)$ であるエネルギーベース分布と同等です。目的は、事前学習モデルの下で妥当であり、かつ報酬に基づいて高ユーティリティである低エネルギー応答を見つけることです。

アルゴリズム：ブロック単位メトロポリス・ヘイスティングス

この目標分布から効率的にサンプリングするために、EBD は**ブロック単位メトロポリス・ヘイスティングス（MH）**サンプラーを使用した 2 段階パイプラインを実装します：

1. 初期化（ステージ I）：

   • 凍結された事前分布から少数の候補（$n_{init}$）をサンプリングします。
   • 報酬モデルでスコア付けし、プロンプトレベルの正規化統計量（平均 $\mu_R$ と標準偏差 $\sigma_R$）を計算します。
   • 標準化されたアドバンテージスコアを定義します：$A_x(y) = (R(y, x) - \mu_R) / \sigma_R$。
   • ポールから最良の候補を選択し、初期状態 $y^{(0)}$ とします。

2. 洗練（ステージ II）：

   • $K$ 回の洗練ステップを実行します。各ステップにおいて：
     • ブロック選択： 現在の応答を $M$ 個の連続するブロックに分割し、切断位置 $c$ を一様にサンプリングします。
     • 提案： 接頭辞（$y_{<c}$）を固定し、一致した条件付き事前分布 $p_\theta(\cdot | x, y_{<c})$ から接尾辞（$y'_{\ge c}$）を再生成します。
     • 受理： MH 受理比を計算します。重要なのは、提案された接尾辞が事前分布項と同じ正確な条件付き分布からサンプリングされるため、提案 - 事前分布の相殺が発生することです：
       $$\frac{p_\theta(y' | x) Q(c, y | y')}{p_\theta(y | x) Q(c, y' | y)} = 1$$
     • 受理確率は報酬比較に簡略化されます：
       $$\alpha = \min(1, \exp(\beta [A_x(y') - A_x(y)]))$$
   • 受理された場合は状態を更新し、そうでない場合は現在の状態を維持します。

主要な効率化メカニズム

提案 - 事前分布の相殺が中核的な革新です。これにより、受理ステップ中にベースモデル下での完全シーケンス尤度を再評価する必要がなくなります。各ステップの計算コストは、1 回の自己回帰的接尾辞生成と 1 回の報酬モデル評価に減少し、洗練ステップの数に対して線形にスケーリングします。

3. 主要な貢献

1. 定式化： 報酬誘導デコーディングを報酬で傾斜させた事後分布からのサンプリングとして定式化し、凍結された事前分布の下でタスク指向行動を活性化可能にしました。
2. アルゴリズム的革新： 提案 - 事前分布の相殺を備えた EBD を導入し、明示的な完全シーケンス尤度再スコアリングなしに、報酬の差のみに基づく効率的な更新を可能にしました。
3. 行動のシフト： EBD が単に集計スコアを向上させるだけでなく、ベースモデルの行動分布をポストトレーニング（指示微調整済み）の対応モデルに近似するようにシフトさせることを実証しました。
4. 実証的検証： 5 つのモデルと 6 つのベンチマークにわたる広範な評価により、直接デコーディングおよび既存のデコーディングベース手法（例：Power Sampling）に対する一貫した改善を示しました。

4. 実験結果

著者は、客観的（GPQA、Math500、HumanEval）および主観的（AlpacaEval2.0、MT-Bench、WritingBench）ベンチマークにおいて、5 つのオープンソースモデル（Llama-3-8B、Mistral-7B、Qwen2.5-7B、Qwen3-8B-Base、Olmo-7B）で EBD を評価しました。

• 性能向上：
  • AlpacaEval2.0： Qwen3-8B-Base は8.8 から 44.5へ改善（+405%）。
  • 客観的タスク： 平均客観的スコアが大幅に増加（例：Qwen2.5-7B は 0.398 から 0.557）。
  • 行動の整合性： ポストトレーニングされた指示モデルとの二値正解のピアソン相関は、平均して**0.256（直接）から0.385（EBD）**へ増加しました。
• 効率性：
  • EBD は Power Sampling などのサンプリングを多用するベースラインよりも大幅に高速です。Mistral-7B Math500 において、EBD は以前のデコーディング作業に対してレイテンシを18.9 倍削減しました。
  • 異なる報酬モデルサイズ（0.6B から 8B）全体で堅牢であり、小さなモデルがしばしば大きなモデルと同等の性能を発揮します。
• 堅牢性：
  • EBD はゼロショットおよびコールドスタート SFT 設定の両方で性能を向上させます。
  • 特定の継続モードを抑制する SFT と異なり、EBD は基礎分布を変更することなく報酬の傾斜を適用するため、異なるタスクタイプ全体（例：数学/推論の向上とコード生成能力の維持）で堅牢です。

5. 意義と主張

本論文は、デコーディングがモデル評価の重要な、しばしば見過ごされているコンポーネントであると主張しています。標準的な直接デコーディングは、タスク指向設定における凍結された事前学習モデルの能力を過小評価しています。

• 公平な評価： EBD は、標準的なプロンプティングではアクセスできないタスク指向行動を活性化させることで、事前学習モデルの推論時評価をより公平にします。
• ポストトレーニングとの相補性： EBD はパラメータ更新に対する相補的なアプローチとして機能します。トレーニングなしで事前学習モデルとポストトレーニングモデルの間の性能ギャップの相当部分を埋めることができ、効果的な推論時ブーストまたはチェックポイントの感度診断として機能します。
• 効率性対有効性： この手法は、既存のデコーディングのみのアプローチと比較して優れた品質 - 効率性のトレードオフを達成し、外部報酬信号と効率的な MCMC サンプリングの組み合わせが凍結モデルの潜在能力を解き放つことを証明しています。

著者は、報酬誘導推論が単一のパラメータ更新なしに整合性に関連する行動を大幅に改善し得ると結論付け、事前学習モデル評価における「欠落したピース」はしばしばモデル重みそのものではなく、デコーディング戦略であると示唆しています。