技術要約: RASFT (Rollout-Adaptive Supervised Fine-Tuning for Reasoning)

1. 問題提起

教師あり微調整（SFT）は、オフラインの専門家によるデモンストレーションを模倣することで、大規模言語モデル（LLM）を推論タスクに適応させるための標準的な手法です。しかし、著者らはこのパラダイムにおける決定的な限界を指摘しています。それは、推論は単純なパスの模倣タスクではないということです。一つの問題に対して、多くの場合、複数の有効な解決パスが存在しますが、標準的なSFTは、単一のオフラインの専門家による軌跡を硬直的なターゲット行動として扱います。

この硬直的な模倣は、以下の2つの問題を引き起こす可能性があります：

1. 表面的な形式への過学習: モデルが基礎となる推論分布を学習するのではなく、特定のデモンストレーションを記憶してしまう。
2. 潜在的能力の抑制: 事前学習済みのLLMは、豊かな潜在的推論分布を保持していることが多い。単一の専門家のパスを過度に模倣することは、これらの事前分布を上書きし、モデル自身が多様で正しい推論軌跡を生成する能力を弱めてしまう。

既存のSFTのバリアント（DFT、ASFT、ProFiTなど）は、学習信号を再スケーリングしたり、参照モデルにアンカーを置いたりすることでこれを軽減しようと試みていますが、これらは主に「デモンストレーション内部」に留まっています。これらは、現在のポリシーの実際の能力に基づいて監督を較正するのではなく、オフラインの軌跡内の信号に基づいて最適化を行います。

2. 手法: RASFT

著者らは、Rollout-Adaptive Supervised Fine-Tuning (RASFT) を提案します。これは、モデルの現在のパフォーマンスに基づき、専門家のガイダンスと自己生成された推論とのバランスを動的に調整する、ポリシー認識型のフレームワークです。

コアコンポーネント

1. ローカル候補プール構築:
   各問題プロンプト $x_i$ に対して、RASFTは以下の内容を含むプール $G_i$ を構築します：

   • オフラインの専門家の軌跡 ($y^e_i$)。
   • 現在のポリシー ($\pi_\theta$) によるオンポリシー・ロールアウトを通じて生成された、検証済みの正しい軌跡。
   • 注記: 不正確なロールアウトは最適化のターゲットからは除外されますが、難易度を推定するために使用されます。

2. 問題レベルの解決可能性推定 ($\zeta_i$):
   モデルはあるプロンプトに対して $K$ 回のロールアウトを生成します。タスク固有の検証器（例：数学における最終回答の一致、コードにおけるアサーションテスト）が正誤を判定します。解決可能性指数は成功率として計算されます：
   $$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$$
   ここで、$c_{i,k} \in \{0, 1\}$ は正誤を示します。このスコアは、現在のポリシーがその問題を解決できる能力を反映しています。

3. 適応的重み付け:
   RASFTは、$\zeta_i$ に基づいて候補プール内の軌跡に重みを割り当てます：

   • 専門家の軌跡の重み ($W_e$): 動的に調整されます。$\zeta_i$ が低いとき（モデルが苦戦しているとき）、専門家の軌跡は強力な修正ガイダンスを提供するために高い重みを受け取ります。$\zeta_i$ が高いとき（モデルが信頼できるとき）、硬直的な適合を防ぎ、モデル自身の推論を優位にするために、重みは減衰されます。
   • 自己生成された軌跡の重み ($W_r$): 検証済みの正しいロールアウトに対して固定されます。

4. ポリシー正則化目的関数:
   事前学習分布からの過度なドリフトを防ぐため、RASFTは凍結された参照モデル ($\pi_{ref}$) と現在のポリシー ($\pi_\theta$) の間の**クリップされた逆比（clipped inverse ratio）**を導入します。最終的な損失関数は以下を組み合わせます：

   • 正規化された軌跡の重み ($\bar{W}_{i,j}$)。
   • クリップされた逆比 ($Clip(r_{i,j}(\theta))$)。
   • トークンレベルの確信度 ($p_{\theta}$)。

   目的関数は、重み付きシーケンス・トゥ・シーケンス損失を最小化します：
   $$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$$
   ここで、$\omega_{i,j,t}$ は複合的な重みです。

3. 主な貢献

論文では、その貢献を以下のようにまとめています：

• 限界の特定: 既存のSFTバリアントはポリシー認識に欠けており、いつ専門家の模倣が必要であり、いつそれが硬直的なパス適合になるのかを区別できていないことを明らかにしました。
• フレームワークの提案: RASFTを、検証済みのオンポリシー・ロールアウトを使用して問題の解決可能性を推定し、専門家のガイダンスと自己生成された正しい軌跡のバランスを動的に取る、ロールアウト適応型SFTフレームワークとして導入しました。
• 実証的検証: 広範な実験により、RASFTが標準的なSFT、SFTバリアント（DFT、ASFT、ProFiT）、および代表的な強化学習（RL）手法（GRPO、LUFFY）を、数学およびコード推論タスクにおいて上回ることを示しました。

4. 実験結果

実験は、Qwen2.5 および Llama-3.2 ファミリーのモデルを使用し、6つの数学的推論ベンチマーク（MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023）と2つのコード推論ベンチマーク（HumanEval, MBPP）に対して行われました。

• 性能向上: RASFTは一貫して最高の平均性能を達成しました。
  • 数学: Qwen2.5-Math-1.5B において、最良のベースラインに対して 10.9%（25.00 $\to$ 27.72）の相対的な利得を得ました。
  • コード: Llama-3.2-3B において、26.9% の利得（24.93 $\to$ 31.63）を得ました。
  • RLとの比較: RASFTは、数学の平均精度を GRPO と比較して 15.9%（20.25 $\to$ 23.47）向上させました。
• アブレーション研究:
  • 難易度の適応性: 適応的重み付けを除去すると、平均スコアが 27.72 から 25.53 に低下し、静的なバランシングが最適ではないことが確認されました。
  • オンポリシー・ロールアウト: ロールアウトを除去（静的な専門家重みに回帰）すると、一律の性能低下が見られ、オンラインフィードバックの必要性が強調されました。
  • 逆比: 逆比を除去すると性能が低下し、オフラインデータへの過学習を防ぎ、事前学習のプライア（事前分布）を保持する役割が確認されました。
  • 転移性: RASFTは、標準的なSFT および ProFiT と統合した場合でも性能を向上させ、トークンレベルの再スケーリング手法と相補的であることを示唆しました。
• 学習ダイナミクス: RASFTは、他の手法と比較して、学習の後半段階において安定した学習目的関数と低いパラメータ更新密度を維持しており、これは事前学習された推論のプライアをより良く保持していることを示しています。

5. 意義と主張

本論文は、RASFTが静的なデモンストレーション適合からポリシー適応型監督への転換を象徴していると主張しています。その意義は以下の通りです：

1. SFTとRLの架け橋: RL手法に見られるオンライン探索（ロールアウト）と適応的重み付けの利点を取り入れつつ、SFTフレームワークの安定性と単純さを維持しています。
2. 動的な較正: 特定の問題を解決するためのモデルの実際の能力に基づいて、専門家の監督の強さを正常に較正し、モデル自身の推論分布の抑制を回避します。
3. 堅牢性: さまざまなモデルスケールとタスクドメインにおいて堅牢であり、特に硬直的な模倣が失敗する困難なベンチマーク（例：AIME, OlympiadBench）において顕著な利点を示しています。

著者らが認める制限事項:

• 計算コスト: 定期的なオンポリシー・ロールアウトの生成と検証が必要であるため、標準的なSFTよりも計算コストが高くなります。
• 検証への依存: 明確な正誤信号（数学における最終回答、コードにおけるテストケースなど）を持つ自動検証信号に依存しています。明確な正誤信号のないオープンエンドな推論タスクへの拡張は依然として課題です。