技術的概要：REFT – 最初のトークンの多様化によるロールアウト探索

問題定義

検証可能な報酬を用いた強化学習（RLVR）は、ラベル付けされた推論軌跡に依存することなく、大規模言語モデル（LLM）の推論能力を向上させる主要な手法として浮上しています。GRPO や DAPO などのグループ化された RLVR 手法では、ポリシーが単一のプロンプトに対して有限のセットのロールアウト（推論の痕跡）を生成し、それらが自動検証器によってスコア付けされます。学習信号は、このグループ内の相対的な報酬から導き出されます。

このパラダイムにおける決定的なボトルネックは、ロールアウトの多様性です。グループ内のすべてのロールアウトが類似した推論経路をたどるか、同一の報酬を受け取る場合、そのグループはポリシーの更新のための対照的な信号をほとんど提供しません。既存のアプローチは、サンプリング温度を上げる、高エントロピーの推論の分岐点で分枝化を行う、あるいは多様な最終回答を選択することで探索を広げようと試みています。しかし、これらの手法は、しばしば初期のプレフィックストークンが固定された足場であると仮定するか、あるいは貴重な探索は不確実性が高く実質的な推論ステップのみに存在すると仮定しています。

著者らは構造的な非効率性を特定しました：推論マーカー（<thought>）の後に生成される最初のトークンは、通常、低コンテンツの談話の開始語（例：「First」、「Let」、「To」）です。標準的なサンプリングポリシーは、これらのトークンに対して鋭くピークした分布を示し、ロールアウトグループを単一の開始語に強く偏らせます。重要なのは、著者らが観察したように、これらの最初のトークンの確率は高度に集中している一方で、結果として生じるロールアウトの正解率は、トップ 20 の候補間でほぼ平坦であるという点です。これは「低負荷、高レバレッジ」の機会を生み出します：最初のトークンは最小限のセマンティック負荷しか持ちませんが、高い分布上のレバレッジを持ち、その後のすべての継続を異なるセマンティック領域へ誘導します。

手法：REFT

本論文は、モデルのアーキテクチャ、検証器、報酬関数、または RL 目的を変化させることなく、最初のトークンを多様化させる RLVR パイプラインへの最小限の介入である**REFT（Rollout Exploration with First-Token Diversification）**を導入します。

中核メカニズム

REFT は、最初のトークンの標準的な確率的サンプリングを、層別サンプリング戦略に置き換えます：

1. 候補選択：与えられたプロンプト $x$ に対して、最初のトークン位置におけるポリシーの分布を評価します。空白や特殊トークンを除く、有効なセマンティックトークンのトップ-$N$を特定し、候補セット $F_N(x)$ として識別します。
2. 一様サンプリング：$F_N(x)$ から、$K$ 個の異なる最初のトークンを復元なしで一様にサンプリングし、セット $S_K(x)$ を形成します。
3. 予算配分：総ロールアウトグループサイズ $G$ を、選択された $K$ 個のトークン間で均等に分割します。選択された各最初のトークン $f \in S_K(x)$ に対して、モデルはシーケンスの残りの部分に対して変更されていないベースラインデコーダを使用し、$f$ に条件付けられた $G/K$ 個の継続を生成します。
4. トレーニング：生成された多様化されたグループは、最初のトークンサンプリングの不一致に対する重要度重み付けの修正なしに、標準的な RLVR アルゴリズム（例：GRPO または DAPO）によって処理されます。

主要な設計選択

• 低負荷、高レバレッジ：この手法は、モデルが「人工的に確信している」（特定の開始語に対して高い確率を持つ）が、代替案間で正解率が安定している位置をターゲットにします。
• グローバルノイズの不在：温度を上げることで軌跡全体に分布を平坦化させる（後続の重要な推論ステップを損なう可能性がある）こととは異なり、REFT は最初のトークンのみで多様性を注入し、その後の推論チェーンの整合性を維持します。
• ドロップイン代替：REFT は、基盤となる RL 目的、優位性推定、または検証器ロジックの変更を必要としません。

主要な貢献

1. 診断的洞察：著者らは、推論モデルにおける最初のトークンの分布が鋭く集中しているが、正解性とは無関係であることを実証しました。継続が通常サンプリングされる場合、トップ 20 内の低確率の最初のトークンも、最も確率の高いトークンと同様に、正解のロールアウトにつながることを示しました。
2. ルーティング効果：実験により、異なる最初のトークンがモデルを異なるセマンティックな継続領域へ誘導することが確認されました。最初のトークンを剥がした後の残りの継続において、トップ 20 の最初のトークンの一様サンプリングは、標準的なサンプリングと比較して、有意に高いセマンティック多様性を生み出します。
3. REFT アルゴリズム：妥当な最初のトークンの開始語間で固定されたロールアウト予算を再配分することにより、ロールアウトグループを多様化させる、シンプルで計算効率の高い手法です。
4. 過剰評価の緩和：本論文は、標準的な GRPO 更新が、検証器がその選好を強く支持していなくても、トレーニングステップを通じてトップ 1 の最初のトークンへの選好を鋭くする傾向があることを示しています。REFT は、複数の妥当な開始語のカバレッジを確保することでこれを緩和し、ポリシーが特定の談話選好を過剰に評価するのを防ぎます。

実験結果

著者らは、3 つのデータセット（GSM8K、BigMath-Easy、BigMath）において、4 つのベースモデル（Qwen2.5-0.5B、3B、7B、および Llama3.2-3B）と 2 つの RLVR 目的（GRPO と DAPO）に対して REFT を評価しました。

• 性能向上：REFT は、Pass@1、Pass@8、およびPass@64の指標において、一貫して集計性能を向上させます。
  • GSM8K において、REFT 強化版の GRPO と DAPO は、それぞれベースラインを上回りました。
  • 「Math Avg」（MATH-500、AIME 2024/2025、AMC 2023 の平均）において、向上は特に顕著であり、より広範な探索が重要な場合に REFT が効果的であることを示唆しています。
  • 最小規模（0.5B パラメータ）でも改善が観察されており、この手法が大きなモデル容量に依存していないことを示しています。
• 多様性分析：
  • トレーニング多様性：REFT は、トレーニング中に最もセマンティックに多様なロールアウトグループを生成します。
  • 推論集中：逆説的に、REFT でトレーニングされたモデルは、推論時により集中した出力を生成します。これは、この手法がポリシーが多様な経路を探索した後、成功パターンに効果的に収束することを学ぶのを助けることを示唆しています。
  • ゼロ分散分解：REFT は、「すべて誤り」のグループ（正しい軌跡が見つからないゼロ分散グループ）の割合を減少させますが、「すべて正解」の飽和を増加させることなく、より有用な探索を示しています。
• 効率性：REFT は、実質的なランタイムオーバーヘッドを導入しません。場合によっては、高い精度に起因する平均完了長の短縮により、GPU 時間がわずかに減少します。

意義と主張

本論文は、REFT が「通常の探索直感の単純な逆転」を提供すると主張しています。高エントロピーで不確実な推論の分岐点で多様性を求めるのではなく、有用な多様性は、鋭く偏っているが正解性とは弱く結びついている低負荷のプレフィックス選択から回復できます。

著者らは、REFT が新しい RL アルゴリズムではなく、ロールアウトサンプリングの最初の決定に対するターゲット型の代替手段であることを強調しています。その意義は以下の点にあります：

• 効率性：ロールアウト予算や計算コストを増やすことなく、トレーニング信号を広げます。
• 堅牢性：単一サンプルの精度（Pass@1）と、有限予算内で正解を見つける確率（Pass@8/64）の両方を向上させ、RLVR でよく見られるトレードオフ（Pass@1 の向上がアクセス可能な分布を狭めること）に対処します。
• 汎用性：この手法は、異なるモデルスケールや RLVR 目的で機能し、現在の推論モデルにおける「最初のトークンルーティング」現象が、より良いトレーニングのために活用できる基本的な特性であることを示唆しています。

本論文は、推論マーカーの後の最初のトークンが、RLVR 探索にとって意外にも安価かつ効果的な介入点であることを結論付けており、モデルが推論痕跡の安定性を維持しながら、より広範な継続領域を探索することを可能にします。