技術的サマリー：マージナル・シャープニングによる自己整合性

問題定義

現代の言語モデルは、最終的な回答を出力する前に、中間的な推論トレース（導出、コードのスケッチ、証明の概要など）を生成することで、複雑なタスクを解決する傾向が強まっています。Chain-of-Thought プロンプトなどの標準的な推論手法はこの振る舞いを誘発しますが、最終的な回答を選択する際には、単一の経路をサンプリングするか、事後の多数決（自己整合性）に依存することが多いです。

著者らは、既存の推論時シャープニング手法、特にパワサンプリングに根本的な限界があることを特定しました。パワサンプリングは、完全な生成シーケンス（推論トレース $z$ と回答 $a$ の同時分布）上の分布をシャープ化します。しかし、論文はこれが推論にとって不適切な抽象化レベルであると主張します：

1. 潜在変数の絡み合い：推論トレースは潜在計算です。多くの異なるトレースが同じ正しい回答に到達し得ます。
2. 競合対支援：シーケンスレベルのシャープニングは、同じ解決策に対する異なる導出や実装を競合するものとして扱い、回答そのものではなく、特定の完全なトランスクリプトに確率を集中させます。
3. 投票の脆さ：標準的な自己整合性（多数決）は、厳密な文字列一致を必要とします。コードや証明のような構造化されたドメインでは、同じ根本的な解決策が、異なる変数名、制御フロー、または補題の順序など、多くの表面形式で現れるため、投票が有効なバリエーション全体に支持を分散させてしまいます。

核心的な問題は、厳密な文字列一致を要求したり、完全な経路全体を探索する計算コストを負ったりすることなく、複数の推論トレースを活用して正しい回答の確率を増幅する方法です。

手法：マージナル・シャープニング

著者らは、推論時の目的関数を、同時分布 $\pi(z, a | x)$ からシャープ化された回答マージナル $p_{\alpha}^{marg}(a | x)$ へシフトさせるマージナル・シャープニングを提案します。

理論的枠組み

1. 分解：モデルの完了 $y$ を、推論トレース $z$ と最終回答セグメント $a$ に解析します。モデルは自然な回答マージナル $m(a | x) = \sum_z \pi(z, a | x)$ を誘起します。
2. 目標分布：同時分布をシャープ化する代わりに、この手法は回答マージナル上のパワ分布を定義します：
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   ここで、$\alpha > 1$ はシャープニング強度です。$\alpha \to \infty$ となるにつれ、これは最大マージナル支持を持つ回答（理想的な自己整合性の目標）に収束します。
3. 整数パワ表現：整数のシャープニング強度 $K$ に対して、著者らは $K$ 個の独立した推論トレースを用いた正確な分解を導出します。目標分布は、$K$ 個の独立にサンプリングされたトレース $z_{1:K}$ 上の期待値として表現できます：
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   この定式化は、自己整合性を回答レベルの目標分布からのサンプリングと結びつけています。

アルゴリズム：並列自己回帰デコーディング

導出された分布から直接サンプリングすることは、すべての可能な将来の継続（「継続正規化因子」）を合計する必要があるため、計算的に困難です。著者らは、この目標を近似する軽量な並列自己回帰デコーディングアルゴリズム（アルゴリズム 1）を提案します：

1. トレース生成：$M = K \times S$ 個の推論トレースを生成し、それぞれ $K$ 個のトレースからなる $S$ 個のグループに分類します。
2. トークンレベル近似：完全なシーケンス確率を計算する代わりに、このアルゴリズムは回答をトークンごとにデコードします。各ステップ $t$ において、語彙上の重み付き分布を計算します：
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • プレフィックス重み ($w_s$)：これらの重みは、各 $K$ 個のトレースのグループにおける、すでに生成された回答プレフィックスの尤度を追跡します。トークンがサンプリングされるにつれてオンラインで更新されます。
   • 局所近似：このアルゴリズムは、将来のトークンの確率である扱いにくい「継続正規化因子」を無視し、局所正規化中に共通因子として相殺されるとして扱います。
3. サンプリング：アルゴリズムはこの分布から次のトークンをサンプリングし、プレフィックス重みを更新して、回答が終了するまで繰り返します。

このアプローチにより、モデルは複数の推論経路によって「支持される」単一の回答を生成でき、事後の投票ステップではなく、生成中にソフトな自己整合性を効果的に実行できます。

主要な貢献

1. マージナル・シャープニングの定式化：本論文は、推論トレースを潜在変数として扱い、トレースと回答の同時分布ではなく、誘起された回答分布をシャープ化する推論時の目的関数を定義します。
2. マルチトレース分解：著者らは、整数のシャープニング強度の場合、シャープ化された回答マージナルが $K$ 個の独立した推論トレース上の期待値への分解を許容し、理論的に自己整合性を回答レベルのサンプリングと結びつけることを示しました。
3. 効率的なデコーディングアルゴリズム：彼らは、このシャープ化分布から近似サンプリングを行う並列自己回帰アルゴリズムを提案しました。これは純粋に自己回帰的であり、外部の正規化器を必要とせず、シーケンスレベルのパワサンプリングの二次的なトークン生成コストを回避します。
4. 実証的検証：この手法は、数学的推論（MATH-500）とコード生成（HumanEval+, LiveCodeBench）のベンチマークで評価されました。

結果

実験では、3 つのベンチマークにおいて Qwen ファミリーモデル（1.7B, 4B, 8B）が使用されました。

• パワサンプリングとの性能比較：マージナル・シャープニングは、コード生成ベンチマーク（HumanEval+ および LiveCodeBench）において、標準的なパワサンプリングを大幅に上回ります。MATH-500 では、回答空間が小さく記号的検証が可能であるため強力なベースラインとなる多数決と同等か、わずかに下回る性能を示しました。
• 効率性：この手法は、長い生成においてパワサンプリングよりも桁違いに高速です。$L=8192$ の場合、HumanEval+ ベンチマークにおいてマージナル・シャープニングはパワサンプリングよりも38 倍高速でありながら、より高い精度を達成しました。パワサンプリングは再サンプリングにより $O(L^2)$ のトークン生成を必要とするのに対し、マージナル・シャープニングは $O(L)$ で済みます。
• ハイパーパラメータ：
  • シャープニング強度 ($K$)：$K$ を増加させることは、一般的に複数のトレースによって支持される回答に確率を集中させることで性能を向上させますが、計算量も増加します。
  • サンプル数 ($S$)：トレースグループの数である $S$ を増加させることは、トークンレベル近似の質を向上させ、特に低い生成予算において一貫した改善をもたらします。
  • 予算配分：固定された総計算予算（$K \times S = \text{const}$）の下では、シャープニング強度とサンプル数の間の異なる配分は同様の結果をもたらします。これは、積極的なシャープニングと近似の質の向上が互いに大きく補い合うトレードオフを示唆しています。

意義と主張

本論文は、自己整合性は、事後の投票ヒューリスティックではなく、回答レベルの推論原理として理解されるべきであると主張します。

• 焦点の転換：回答マージナルをターゲットにすることで、この手法はシーケンスレベルの手法が異なる競合する出力として扱う多様な推論経路（異なるコード実装や証明戦略など）にわたって支持を正しく集約します。
• スケーラビリティ：提案されたアルゴリズムは、厳密な文字列一致が失敗する大規模で構造化された出力空間（コードなど）のドメインにおいて、完全な経路探索や再サンプリングの過大な計算コストなしに、自己整合性の恩恵を実現します。
• 実用性：この手法は、標準的な自己回帰モデルと並列デコーディングで実装可能な自己整合性の「ソフト」バージョンであり、推論タスクにおける温度サンプリングやパワサンプリングに対する実用的な代替手段となります。

著者らは、テスト時の計算リソースは、単一の最も可能性の高い完全なトランスクリプトを選択することよりも、潜在推論によって誘起される回答の信念を洗練することに効果的に費やされるべきであると結論付けています。