技術的概要：SAGE – LLM の RLVR における誘導的探索のためのアンカー形成

1. 問題定義

検証可能な報酬を用いた強化学習（RLVR）の最近の進歩は、推論タスクにおける大規模言語モデル（LLM）の pass@1 精度を向上させる能力を実証してきた。しかし、重要な限界が浮き彫りになっている。RLVR はしばしば単一サンプルの成功率を向上させるが、$k$ サンプル中に見つかる正解の確率である pass@k において同等の利益をもたらすことには頻繁に失敗する。

以前の分析は、この不一致が生じる原因が、標準的な RLVR がモード崩壊（または「サポートの収縮」）を誘発するためであると示唆している。新たな推論戦略を発見するのではなく、ポリシーはベース参照モデルに存在する狭い範囲の高密度な推論モードのサブセットへと収束する。この挙動は、標準的な**逆 Kullback-Leibler（逆 KL）**正則化項の構造的制約に起因すると考えられている。逆 KL はポリシーを参照分布（$\pi_{ref}$）に固定することで必要な訓練の安定性を提供するが、本質的に低密度な軌道を抑制し、参照モデルの即座のサポートの範囲外にある代替の妥当な推論経路の探索を実質的に妨げる。

KL 項を除去するか、前方 KL に置き換えることでこれを解決しようとする試みは、最適ではないことが証明されている。KL 項を除去すると、報酬ハッキングと不安定性を招くことが多く、前方 KL はサポートを拡大するものの、頻繁に報酬と無関係な領域に確率質量を割り当ててしまい、pass@1 の向上に失敗する。中心的な課題は、制御された経験的サポートの拡大を可能にしながら、逆 KL の安定化の恩恵を保持することである。

2. 手法：SAGE フレームワーク

著者らは、**SAGE（Shaping Anchors for Guided Exploration：誘導的探索のためのアンカー形成）**を提案する。これは、逆 KL 正則化を弱体化すべき静的な制約としてではなく、探索を誘導するためにターゲット分布を再形成できる動的なアンカーとして再解釈するフレームワークである。

中核メカニズム

標準的な逆 KL による RLVR は以下を最適化する：
$$J(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})]$$
これにより、ポリシーが参照の指数関数的傾きとなる定常解が導かれる：$\pi_\theta \propto \pi_{ref} \exp(r/\beta)$。この乗法的更新は、$\pi_{ref}$ の高密度領域を増幅し、低密度領域を抑制する。

SAGE は、アンカー分布そのものを再形成するガイド関数 $q(x, y) > 0$ を導入することでこれを修正する。新しい目的関数は以下のようになる：
$$J'(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta \tilde{D}_{KL}(\pi_\theta \parallel q \cdot \pi_{ref})]$$
ここで、$\tilde{D}_{KL}$ は正規化されていない関数に対して定義された疑似 KL 発散である。定常解は以下のようになる：
$$\pi_\theta(y | x) \propto q(x, y) \pi_{ref}(y | x) \exp\left(\frac{1}{\beta} r(x, y)\right)$$
$q(x, y)$ を、未探索だが潜在的に妥当な推論モードに対して大きく設計することで、SAGE はアンカー $\pi_{ref}$ が提供する安定性を損なうことなく、それらの確率質量を増幅する。

内在的シグナルによる具体化

$q(x, y)$ を、ガイド構築中に明示的な報酬情報を必要とせずに実用的にするため、著者らは推論プロセス自体から導出される内在的シグナルの使用を提案する：

1. ランダム探索： 確率的摂動を用いたベースライン。
2. トークンレベル探索： 稀な語彙選択にバイアスをかけるために驚異度（$-\log p$）を使用する。著者らは、これは表面的な逸脱を捉えるが、構造的な推論の違いを反映しない可能性があると指摘している。
3. ブランチレベル探索（SAGE-Branch）： 主要に提案される変種。推論の分岐のシグナルとしてエントロピー（$H_t$）を使用する。ガイド関数は以下のように定義される：
   $$q_{Branch}(y_t | x, y_{<t}) = 1 + \gamma (H_t - \tau)_+$$
   ここで、$H_t$ はトークンレベルのエントロピー、$\tau$ は活性化閾値、$\gamma$ は大きさを制御する。これにより、決定論的な記号ステップにおけるノイズを抑制しつつ、高不確実性の意思決定点（分岐ノード）での探索を選択的に増幅する。

理論的保証

本論文は、参照モデルの経験的サポートに制限される標準的な RLVR とは異なり、SAGE は理論的に経験的サポートを拡大できることを示す理論分析（定理 4.3）を提供する。具体的には、ガイド関数 $q$ が、現在参照ポリシーの経験的サポートの外部にある報酬妥当な解 $y^*$ に対して十分に大きい場合、SAGE はそれを無視できない確率に割り当て、実質的に「隠れた」推論モードを回復できる。

3. 主要な貢献

1. RLVR の限界の分析： 著者らは、安定化をもたらす逆 KL アンカーが、RLVR におけるモード崩壊の主要な構造的要因であると特定する。KL 項を単に除去または置換するだけでは不十分であり、効率性とカバレッジのトレードオフを乱すことを論じる。
2. SAGE フレームワーク： アンカーを除去するのではなく、ガイド関数 $q(x, y)$ によって KL アンカー分布を再形成することで、制御可能な経験的サポートの拡大を可能にする原理的な手法を提案する。
3. 内在的シグナルの統合： 追加のフォワードパスや外部データを必要としない効果的なガイド関数を構築するために、軽量な内在的シグナル（具体的にはエントロピーと驚異度）がどのように使用できるかを実証する。
4. 経験的検証： 広範な実験により、SAGE の変種、特にブランチレベル探索が、多様な数学的推論ベンチマークにおいて pass@1 と pass@k の両方を一貫して向上させることが示された。

4. 実験結果

著者らは、Qwen2.5-Math-7B-BaseモデルとGRPOアルゴリズムを用いて、AIME 2024-2025、AMC23、およびMATH-500データセット上で SAGE を評価した。

• 性能向上： GRPO + Branch変種が最も強い平均性能を達成し、pass@1 を 0.266（バニラ GRPO）から0.284へ、pass@256 を 0.714 から0.729へ向上させた。これは 3 つのデータセット全体でベースラインを上回った。
• 代替手法との比較：
  • KL なし GRPO： 訓練報酬は高かったが、テスト時の性能（pass@1 および pass@256）は著しく劣り、KL アンカーなしでの報酬ハッキングのリスクを確認させた。
  • 前方 KL： pass@256 をわずかに改善したが、SAGE の pass@1 の向上には追いつかず、ターゲット外の領域に質量を割り当てていることを示した。
  • その他の RL アルゴリズム： SAGE はBNPOおよびDAPOと成功裡に統合され、これらの手法が通常 pass@1 を pass@k の犠牲にして向上させるトレードオフを一貫して解決した。
• 推論パターンの分析： 定性的分析により、標準的な RLVR が「制約設定」のような支配的なパターンを強化するのに対し、SAGE は背理法の頻度を GRPO の 0.8% から GRPO+Branch の 3.3% へと大幅に増加させたことが明らかになった。これは稀だが妥当な推論モードである。
• 頑健性： 分布外評価（Knights and Knaves ベンチマーク）において、SAGE 訓練モデルは分布シフト下で性能を維持したが、標準 GRPO モデルは著しい劣化を示し、SAGE がモード崩壊を緩和することを示唆した。
• 汎用性： この手法は、長推論モデル（DeepSeek-R1-Distill-Qwen-7B）や小規模モデル（Qwen2.5-1.5B/3B）でも効果的であり、異なるモデルスケールおよび推論パラダイム全体で頑健であることを示した。

5. 意義と主張

本論文は、SAGE が逆 KL による RLVR におけるモードの鋭化を緩和するための実用的かつ原理的なアプローチを提供すると主張する。KL 正則化を剛性の制約ではなく制御可能な手段として扱うことで、SAGE は LLM がベースモデルにおいて過小評価されているが妥当な多様な推論軌道を見出し、利用することを可能にする。

著者らは、SAGE が既存の手法（アドバンテージ形成や動的サンプリングなど）に対してモジュール的かつ直交的であることを強調している。これは最適化構造ではなく、アンカー分布そのものを修正するためである。彼らは SAGE を、安定した KL 互換の経験的サポート拡大のための一般フレームワークとして位置づけている。

限界と範囲：
著者らは謙虚に、SAGE は固定された参照ポリシーのサポート内で動作することを認めている。これは、$\pi_{ref}$ 下で既に非ゼロの尤度を持つ軌道間で確率質量を再分配するものであり、ベースモデルが生成することが不可能な全く新しい推論パターンを生成することはできない。彼らは、より強力な教師モデルからの蒸留が推論の境界を拡大しうる一方で、SAGE はその境界内での安定した探索を可能にすることでこれを補完すると指摘している。現在の具体化は軽量な内在的シグナルに依存しており、著者らはより強力なモデルからより表現力のあるガイド関数を学習することが、将来の研究における有望な方向性であると示唆している。