技術的概要：Frost 学習とクロスエントロピー・ゲーム

問題定義

大規模言語モデル（LLM）に対する強化学習（RL）は、通常、モンテカルロ方策最適化手法（例：REINFORCE、PPO、GRPO）に依存しています。これらの標準的なパラダイムでは、モデルは与えられた課題 $x$ に対して応答 $y$ を生成し、スカラー報酬 $R(x, y)$ を受け取り、スコアの高い出力へ確率質量をシフトさせるようにパラメータを更新します。

著者らは、クロスエントロピー・ゲームと呼ばれる特定の自然なタスクのクラスにおいて、この標準的なモンテカルロ手法は、報酬関数の暗黙的な微分可能構造を無視しているため、最適ではないと主張しています。クロスエントロピー・ゲームでは、報酬は「ジャッジ」LLM のクロスエントロピー損失から導出されます。出力空間（トークン系列）は離散的ですが、基礎となる埋め込み空間は連続的で微分可能です。標準的な RL 手法は報酬をブラックボックスとして扱いますが、本論文は、トークン埋め込みに対する報酬の勾配に、学習を加速し出力品質を向上させるために利用可能な情報が含まれていると仮定しています。

手法：Frost 学習

中核的な貢献は、報酬関数の埋め込み空間における勾配を利用し、モデル自身がサンプリングしなかった「代替手（変異）」を提案・選択するFrost 学習です。このアプローチは、GRPO（Group Relative Policy Optimization）アルゴリズムに統合され、Frost-GRPOとなります。

1. 理論的基盤：微分可能構造

クロスエントロピー・ゲームにおいて、報酬 $R$ はジャッジ LLM の負のクロスエントロピーとして定義されます。著者らは、報酬関数が暗黙的な微分可能構造を有することを示しています。具体的には、トークン系列に対する報酬は、one-hot 埋め込み空間における 1 次テイラー展開を用いて近似できます。

サンプリングされた手 $y$ と、特定の位置における潜在的なトークン変異 $\tilde{y}$ が与えられたとき、報酬 $R(\tilde{y})$ は以下のように近似されます：
$$R(\tilde{y}) \approx R(y) + \nabla_{e_y} R(y) \cdot (e_{\tilde{y}} - e_y)$$
ここで、$e_y$ はトークンの埋め込みです。これにより、システムは各候補に対して高価なフォワードパスを必要とするのではなく、報酬関数を通じた単一のバックスパスを用いて、サンプリングされた系列の各位置におけるすべての可能な単一トークン変異（$V$）のスコアを推定できます。

2. Frost-GRPO アルゴリズム

Frost-GRPO は、サンプリングと勾配更新の間に「変異と置換」のフェーズを挿入することで、標準的な GRPO 更新ステップを変更します：

1. サンプリング: 方策 $\pi_\theta$ が、与えられたプロンプトに対して $K$ 個のオンポリシー手 $\{y_k\}$ をサンプリングします。
2. 近似（Frost 提案）: 各サンプリングされた手（親）に対して、報酬勾配から導出されたテイラー展開を用いて、すべての可能な単一トークン変異（子）の近似スコアを計算します。
3. 選択:
   • 確率ゲートが適用されます：方策確率 $\pi_\theta(v | \dots) > \tau$ である候補のみが考慮されます。
   • 最も高い近似スコアを持つ上位 $D$ 個の候補が選択されます。
4. 検証（Frost 置換）: これら $D$ 個の候補の正確な報酬を、フォワードパスを通じて計算します。
5. 置換: 候補の正確なスコアが親のスコアを厳密に上回る場合、親は最高スコアの有効な子に置換されます。
6. 更新: この新しい「Frost グループ」の $K$ 個の手を用いて、標準的な GRPO のアドバンテージ計算と方策更新が行われます。

この手法は、ロバート・フロストの詩『選ばれざる道（The Road Not Taken）』にちなんで「Frost」と名付けられました。これは、モデルが元々選ばなかった手を探索することを象徴しています。

主要な貢献

1. 報酬勾配の活用: 本論文は、ジャイルブレイク技術（具体的には Greedy Coordinate Gradient、または GCG）で使用される勾配信号が、攻撃だけでなくモデル学習の強化にも転用できることを初めて実証しました。
2. Frost-GRPO アルゴリズム: 勾配ベースの変異提案を GRPO フレームワークに統合する具体的な実装です。勾配を用いて編集を提案し、正確な報酬評価を用いてそれらをフィルタリングすることで、最終的な更新が検証済みの改善に基づいていることを保証します。
3. インフィルタリングにおける実証的検証: 著者らは、この手法を最尤インフィルタリングタスク（特定のクロスエントロピー・ゲーム）で検証し、Frost-GRPO がバニラ GRPO に比べてより高い最大スコアとより高速な収束を達成することを示しました。

実験結果

実験は、プレイヤー（方策）とジャッジの両方としてQwen3-14Bを使用して行われました。タスクは、開始と終了のコンテキストが与えられた長さ $L=8$ トークンのテキストギャップを埋めるものでした。

選択則の分析

完全な学習を行う前に、著者らは選択則（$D$ 個の候補をどのように選ぶか）の有効性を分析しました。

• テイラー・ゲートド（勾配近似と確率ゲートを使用）は、ランダム選択、TopProb（方策の事前分布のみ）、ゲートなしのテイラー選択を大幅に上回りました。
• 「テイラー」項（勾配信号）は、方策自身の事前分布を上回る非自明な信号を提供し、ジャッジの勾配の実用性を確認しました。

学習性能（標準的設定）

計算リソースを一致させた（ステップあたり 8 回のジャッジ・フォワードパス）条件下で、Frost-GRPO（$K=4, D=4$）とバニラ GRPO（$K=8$）を比較しました：

• Best-of-K スコア: Frost-GRPO は学習を通じて一貫して高い「Best-of-8」スコアを達成しました。この差は早期に確立され、維持されました。
• 安定性: Frost-GRPO は、GRPO に比べてシード間の分散が著しく低く、安定していました。
• 多様性: GRPO のトークンエントロピーとスコア分散が急激に低下した（狭い範囲の完了に収束することを示唆）のに対し、Frost-GRPO は高いエントロピーと分散を維持し、品質を向上させながら多様性を保持していることを示唆しました。
• 収束: Frost-GRPO は、高スコア出力に到達するまでの時間が短縮されました。定性的分析によると、GRPO はしばしば「局所最適」段階（入力テキストの繰り返し）に陥ってから脱出するのに対し、Frost-GRPO は一貫したコンテンツへとより速やかに登攀しました。

頑健性

Frost-GRPO の利点は、異なる手長（$L \in \{4, 8, 12\}$）およびグループサイズにおいて一貫していました。著者らは、Frost-GRPO がグループサイズ $K$ で、バニラ GRPO のグループサイズ $2K$ と比較して、Best-of-K 軌跡の点で同等かそれ以上であることを指摘しており、これは実質的に 1 回のジャッジ・バックスパスとオンポリシー・グループサイズの 2 倍化をトレードオフしていることを意味します。

意義と主張

本論文は、クロスエントロピー・ゲームが、報酬関数の微分可能構造を活用してモンテカルロ方策最適化を改善できる独自のタスクのクラスを表すと主張しています。

• ブラックボックス RL を超えて: この研究は、報酬をブラックボックスとして扱う標準的な RL パラダイムに挑戦し、1 次情報（勾配）を用いて高価値な編集を提案し、その後検証することを示しています。
• 効率性と品質: Frost 学習により、モデルは標準的な GRPO よりも高速かつ安定して高スコア出力を生成できるようになり、計算量の大幅な増加を必要としません（安価なバックスパスと引き換えに、サンプル品質の大幅な向上を得ています）。
• 多様性の保持: エントロピーが収束する可能性のある標準的な方策勾配手法とは異なり、Frost-GRPO は高いトークンエントロピーとスコア分散を維持しており、ロバストで多様な LLM の学習に向けた有望な道筋を示唆しています。これは、分布外（OOD）の一般化を支援する可能性があります。

著者らは、インフィルタリングタスクでは信号が明確であるものの、他の学習アルゴリズム、大規模モデル（MoE を含む）、および他の種類のクロスエントロピー・ゲームについてはさらなる検証が必要であるとし、その範囲については謙虚な姿勢を保っています。