技術的サマリー：電力分布ブリッジ、サンプリング、自己報酬 RL、および自己蒸留

1. 問題提起

最近の実証分析は、大規模言語モデル（LLM）における推論能力の創発において、強化学習（RL）が主要な駆動力であるかどうかを疑問視している。研究によると、RL 後のモデルは、大規模なサンプリング予算で評価された場合、RL 前のモデルを上回ることが多くない。これは、RL による利益が、新しい推論経路の創出ではなく、「分布の鋭化（distribution sharpening）」に起因する可能性を示唆している。同時に、電力サンプリング（電力分布 $\pi^\alpha$ からのサンプリング）や自己蒸留といった推論時の手法は、外部報酬なしで推論能力の向上に有望であることを示している。

しかし、これら 3 つのパラダイム——サンプリング、RL、および自己蒸留——間の理論的関係は依然として不明瞭である。具体的には、電力サンプリングの成功が、RL や蒸留とは異なるメカニズムを反映しているのか、それとも共通の構造的目標を通じて相互に関連しているのかが不明である。さらに、電力サンプリングに必要な高コストな推論時計算を、オフライン学習に償却できるかも不明である。

2. 手法と理論的枠組み

著者らは、電力分布がこれら手法を結びつける統一的な理論的ブリッジであると提案する。基底方策 $\pi$ と指数 $\alpha > 1$ に対して、電力分布は以下のように定義される：
$$\pi_\alpha(y | x) \propto \pi(y | x)^\alpha$$

2.1 サンプリングの視点：局所近似の限界

本論文はまず、電力分布が推論時に局所的（トークンレベル）な操作を用いて安価に近似可能かどうかを調査する。

• トークンごとの温度スケーリング: 著者らは、トークンごとの電力変換（温度スケーリング）を適用しても、シーケンスレベルの電力分布を再現できないことを示す。彼らは（命題 1 において）、トークンごとの温度とシーケンスレベルの電力とのギャップは、接尾辞分布のレニーエントロピーによって支配されることを証明する。具体的には、シーケンスレベルの電力は、より鋭い（ピークが鋭い）接尾辞を持つ継続を好むという性質を持つが、これは局所近似ではグローバルなシーケンス情報なしには捉えられない。
• 逐次重要サンプリング（SIS）: 著者らは、$\pi_\alpha$ を対象とした最適の一歩提案を SIS に対して分析する。彼らは（命題 2 において）、分散を最小化する提案には、すべての可能な接尾辞にわたる電力質量の和である接頭辞の合計の知識が必要であることを示す。したがって、安価な局所提案は対象分布と一致できず、これが先行研究において電力サンプリングを近似するために計算コストの高い推論時手順（例：メトロポリス・ヘイスティングス）を必要とする理由を説明する。

2.2 RL の視点：閉形式最適性

著者らは、電力サンプリングをKL 正則化 RLと結びつける。彼らは、報酬がモデル自身のシーケンスレベルの対数確率（自己報酬、$r_{self}(x, y) = \log \pi(y|x)$）である RL 目的関数を考える。

• 系 1: 彼らは、報酬が自己報酬であり $\alpha = 1 + \beta^{-1}$ である場合、電力分布 $\pi_\alpha$ が KL 正則化 RL 目的関数の閉形式最適解であることを証明する。これにより、電力サンプリングはヒューリスティックではなく、特定の自己改善 RL 問題の厳密な解であると特定される。

2.3 蒸留の視点：電力自己蒸留

RL との関連性を利用し、著者らは電力自己蒸留を導出する。

• 導出: RL 目的関数を書き換えることで、逆 KL 発散（標準的な RL）の最小化は、教師分布 $\pi_\alpha$ から学生方策への順 KL 発散の最小化と等価であることを示す。
• アルゴリズム: これにより、$\pi_\alpha$ からのサンプリングに必要な高コストな推論時コストを、オフライン学習に償却することが可能になる。プロセスは以下の通りである：
  1. 近似サンプリャ（例：メトロポリス・ヘイスティングス）を用いて、$y_i \sim \pi_\alpha(\cdot|x_i)$ となるデータセット $D = \{(x_i, y_i)\}$ をサンプリングする。
  2. 教師付き微調整（SFT）を通じて学生モデルを $D$ で学習させ、これらの「電力サンプリングされた」完了の尤度を最大化する。
• 鋭化の保証: 著者らは、サンプル数 $n \to \infty$ および $\alpha \to \infty$ となるにつれて、蒸留されたモデルが $(\epsilon, \delta)$-鋭化を達成し、自己報酬最大化者に確率質量を集中させることを示す理論的 bound（命題 3）を提供する。

2.4 真の報酬との整合性

本論文は、自己報酬を鋭化することが「真の」外部報酬 $r^*$（例：正解性）を改善するかどうかを扱う。

• 命題 4: 真の報酬の期待値の $\alpha$ に対する変化率は、電力分布下での真の報酬と自己報酬の共分散によって決定される：$\partial_\alpha \mathbb{E}_{\pi_\alpha}[r^*] = \text{Cov}_{\pi_\alpha}(r^*, r_{self})$。
• 含意: 真の報酬の改善が保証されるのは、電力分布下で自己報酬（対数確率）が真の報酬と正の相関を持つ場合に限られる。もしそれらが無相関または負の相関であれば、鋭化は真の性能を改善せず（むしろ低下させる可能性もある）。

3. 主要な貢献

1. 理論的統合: 本論文は、電力サンプリング、自己報酬 KL 正則化 RL、および自己蒸留が、サンプリング目標、RL 最適解、および教師分布として機能する電力分布を通じて自然に接続されていることを確立する。
2. サンプリングの困難性: 接尾辞レベルの情報にアクセスできない限り、安価なトークンレベル近似（温度スケーリング、単純な SIS）はシーケンスレベルの電力サンプリングを再現できないことを証明し、先行研究における高コストな推論時計算の必要性を説明する。
3. 電力自己蒸留: 電力サンプリングのコストを教師あり学習に償却するオフライン蒸留アルゴリズムを導入し、推論時に電力サンプリングを必要とせずに同様の性能向上を達成する。
4. 共分散条件: 自己改善（鋭化）が真の報酬の改善に転換する条件を特徴づけ、その利益を自己報酬と真の報酬の共分散に関連付ける。

4. 実験結果

著者らは、Qwen2.5-Math-7B や Phi-3.5-mini-instruct などのモデルを用いて、推論タスク（MATH、HumanEval、MBPP、GPQA）において自らの枠組みを評価した。

• RQ1（自己報酬の増加）: 電力サンプリングは、標準的なサンプリングやトークンごとの温度スケーリングと比較して、一貫して自己報酬（$r_{self}$）を増加させた。
• RQ2（真の報酬との整合）: $r^*$ が $r_{self}$ と整合している場合、真の報酬（$r^*$）の改善が観察された。例えば、MATH において電力サンプリングは精度を向上させた。しかし、$r_{self}$ が正解性と相関しないランダムに初期化されたモデル（RandW）では、真の報酬の増加は観察されず、共分散条件が検証された。
• RQ3（蒸留のパフォーマンス）: 電力自己蒸留は自己改善を達成した。蒸留されたモデルは、標準的な自己回帰的デコーディング（温度付き）を使用した場合、高コストな電力サンプリングを使用する基底モデルと同等かそれ以上の性能を発揮した。
  • 定性的分析: 幾何学の問題において、温度スケーリングを用いた基底モデルは幻覚的な数式を生成した。電力サンプリングは正しい論理を生成したが、未実行のコードを含んでいた。一方、標準的なデコーディングを使用する電力蒸留モデルは、正解を含む堅牢な段階的推論を生成した。
• 効率性: 蒸留されたモデルは、展開中に高コストな推論時サンプリング（メトロポリス・ヘイスティングス）を不要とし、計算コストをオフライン学習へ移行させた。

5. 意義と主張

本論文は、LLM における最近の「推論」向上の背後にあるメカニズムを明確にすると主張する。その仮説は以下の通りである：

• 電力サンプリングの成功は RL とは異なる現象ではなく、自己報酬 RL 目的関数の閉形式解である。
• RL による見かけ上の「推論」の改善は、主に分布の鋭化（高確率かつ高報酬の経路への質量集中）の結果であり、新しい能力の創発ではない可能性が高い。
• 電力自己蒸留は、高コストな推論時探索をオフライン学習に変換することで、より低い推論コストでこれらの鋭化の利益を達成する実用的な道筋を提供し、高度な推論能力へのアクセスを容易にする。

著者らは謙虚であり、自己改善は基底モデルの能力によって制限されることを指摘している。基底モデルに必要な推論経路を欠いている場合、鋭化によってそれらを作成することはできない。この分析は、有限の地平線における自己回帰モデルに特化したものである。