技術概要：推論時大規模言語モデル推論のための探索駆動最適化

1. 問題定義

大規模言語モデル（LLM）の最近の進歩は、事後学習技術（特に強化学習、RL）と推論時のスケーリングを組み合わせることで、推論能力が大幅に向上することを示しています。しかし、これら 2 つのパラダイム間には根本的な緊張関係が存在します。

• 推論時のスケーリング: セルフ・コンシステンシー、ベスト・オブ・N（BoN）サンプリング、モンテカルロ木探索などの技術は、最適解を発見するために、比較的平坦な確率分布からの多様なサンプリングに依存しています。
• RL 事後学習: 従来の RL ベースの事後学習（PPO、DPO、GRPO など）は、本質的に出力分布を鋭くします。高信頼度・高報酬の解に向けてモデルを微調整することで、これらの手法はしばしば「モード崩壊」を引き起こし、生成される軌道の多様性を低下させます。

この分布の崩壊は、推論時のスケーリングの有効性を制限します。なぜなら、集約手法が正解を特定するために必要な多様な候補解をモデルが生成できなくなるからです。既存のアプローチは、推論時のスケーリングを事後の手順として扱うことが多く、多様な探索の要件と学習目的を整合させることに失敗しています。

2. 手法：探索駆動最適化（EDO）

著者らは、事後学習段階において多様性を促進しつつ、タスク目的との整合性を維持するフレームワークである**探索駆動最適化（EDO）**を提案します。EDO は、以前の研究（VPO、XPO など）における報酬バイアス探索目的を、反復的な事後学習設定に拡張します。

中核メカニズム

EDO は、静的な参照方策（$\pi_{ref}$）のみに依存するのではなく、現在の方策（$\pi_\theta$）が以前の反復方策（$\pi_{t-1}$）から明示的に乖離することを促す正則化項を導入します。

1. 報酬バイアス定式化:
   この手法は、推論時の計算を暗黙の Q 関数として再解釈します。探索を促進するために、EDO は以前の方策からの乖離を促進する項を含む目的関数を最大化します。

   • 最適化目標は $J^*(r^{(t)})$ を最大化するように再定式化されます。これは特定の制約（以前の方策下での期待値がゼロ）の下で、逆 Kullback-Leibler（KL）ダイバージェンスの最小化：$-\beta D_{KL}(\pi_{t-1} \parallel \pi_\theta)$ に相当します。
   • この項は「反発力」として作用し、方策が前回の反復の支配的なモードに崩壊するのを防ぎます。一方、標準的な前方 KL 項（$D_{KL}(\pi_\theta \parallel \pi_{ref}$）は安定性を維持し、破滅的な忘却を防ぎます。

2. 既存アルゴリズムとの統合:
   EDO は、2 つの一般的な反復 RL パラダイムにシームレスに統合されます。

   • ED-iDPO（探索駆動反復直接選好最適化）: 探索項を追加することで iDPO の損失を修正します。目的関数は以下のようになります。
     $$L_{ED-iDPO} = L_{iDPO} - \alpha J^*(r^{(t)})$$
     ここで、$\alpha$ は探索バイアスの強さを制御します。
   • ED-GRPO（探索駆動グループ相対方策最適化）: 現在の方策と以前の方策間のトークンレベルの逆 KL ダイバージェンスを含めるように GRPO の目的関数を適応させ、独立したクリティックモデルを必要とせずに出力確率分布を滑らかにします。

3. 反復学習パイプライン:
   このフレームワークは反復ループで動作します。

   • 現在の方策から $N$ 個の候補解を生成します。
   • 正誤に基づいて選好ペア（iDPO の場合）またはグループ報酬（GRPO の場合）を構築します。
   • EDO 拡張目的関数を用いて方策を更新します。
   • 更新された方策を次の反復の探索項の参照として使用し、これを繰り返します。

3. 主要な貢献

本論文は、3 つの主要な貢献を概説しています。

1. 原理的なフレームワーク: 探索と利用のバランスを取るために平坦な出力分布を促進する EDO の導入。これにより、より効果的な推論時のスケーリングが特に促進されます。
2. シームレスな統合: EDO が標準的な事後学習パイプライン（iDPO および GRPO）に統合可能であることを実証。これにより、解の多様性と推論性能を大幅に向上させる強化された変種（ED-iDPOおよびED-GRPO）が生成されます。
3. 実証的検証: さまざまなバックボーン（Qwen、LLaMA）およびデータセットにわたる一貫した改善を示す包括的な評価。EDO が過最適化の崩壊を防ぐ際の堅牢性を強調しています。

4. 実験結果

分布内性能

推論ベンチマーク 3 つ（GSM8K（小学校レベルの数学）、Math（高校レベルの競技）、s1K（難易度の高い競技レベルの問題））で実験が行われました。

• 精度の向上: ED-iDPO および ED-GRPO の両方が、強力なベースライン（ETO、GRPO、DAPO）を上回りました。
  • s1Kにおいて、ED-GRPO は（貪欲法で）38.6%、（セルフ・コンシステンシーで）**48.4%の精度を達成し、最高のベースライン（ETO+SC）をそれぞれ1.1%および1.3%**上回りました。
  • MathおよびGSM8Kにおいて、EDO 変種は標準的な CoT およびセルフ・コンシステンシーのベースラインに対して一貫して精度を向上させました。
• 推論時スケーリングとの相乗効果: 精度の向上は、セルフ・コンシステンシーと組み合わせた際に最も顕著でした。これは、EDO によって生成された多様な解が、推論時の手法によって効果的に集約されていることを示しています。

分布外（OOD）汎化

s1K で学習されたモデルを、5 つの OOD データセット（AIME24、AIME25、MATH500、Minerva Math、Olympiad Bench）で評価しました。

• プラグ・アンド・プレイ機能: EDO 学習モデルは、再学習なしで強力なクロスデータセット汎化を示しました。
• 改善: ED-GRPO は、すべての OOD タスクにおいて GRPO ベースラインに対して平均**2.4%**の向上をもたらしました。これは、強化された探索が異質なデータ分布への転移性を向上させることを示しています。

除去実験と分析

• 学習の安定性: 数エポック後に性能低下または横ばい（過最適化の兆候）を示した標準的な GRPO や ETO と異なり、EDO 変種は複数の学習反復にわたって安定した性能向上を維持しました。
• エントロピーの維持: 論文の図 4 は、標準的な手法が方策エントロピーを急速に低いレベルに導くのに対し、ED-GRPO は学習全体を通じて著しく高いエントロピーを維持し、モード崩壊を防いでいることを示しています。
• 多様性指標: EDO 変種は、はるかに多様な出力を生み出しました（Distinct-4 による測定）。例えば、s1K において、ED-GRPO はベースラインと比較して Distinct-4 を**47.0%**向上させました。
• ケーススタディ: 幾何学問題に関する定性的分析により、標準的なモデルは均質で誤った推論経路を生成するのに対し、ED-iDPO は座標幾何、領域分解、対称性の議論など多様な戦略を生成し、推論時の投票によって正解を選択できることが明らかになりました。

5. 意義と主張

本論文は、RL ベースのアライメントと推論時スケーリングの多様性要件の間の緊張関係を解決する実用的なフレームワークとして EDO を位置づけています。

• 崩壊の防止: 著者らは、EDO が「過最適化の崩壊」を効果的に防ぐと主張しています。これは、モデルが代替解を探索する能力を失う RLHF における一般的な失敗モードです。
• 互換性: この手法は、さまざまな方策最適化アルゴリズムおよび推論時の推論技術（セルフ・コンシステンシー、BoN、木探索）と互換性があることが強調されています。
• スケーラビリティ: モデルが多様な推論経路を活用できるようにすることで、EDO はモデルパラメータを増加させることなく推論能力をスケーリングするための重要な要因である、推論時計算のより効果的な利用を可能にします。

著者らは、EDO が探索と利用のバランスを取る原理的なアプローチを提供し、特に推論時スケーリングに依存する設定で特に効果的な LLM 推論の新しい基準を確立すると結論付けています。