技術的サマリー：Prefix サンプリングを用いた教師あり微調整と強化学習微調整の融合

1. 問題定義

大規模言語モデル（LLM）のポストトレーニングは、現在、**教師あり微調整（SFT）と強化学習微調整（RFT）**という 2 つの明確なパラダイムによって支配されています。各アプローチには特定の限界があります：

• SFTは、デモンストレーションデータの模倣に優れていますが、行動クローニングとして機能し、問題のある一般化や頑健性の欠如を招くことがよくあります。これは密な監督を提供しますが、下流タスクのパフォーマンスとの整合性が低い可能性があります。
• RFT（PPO、GRPO など）は、探索と目標指向の最適化を通じてパフォーマンスを向上させますが、スパースな報酬信号、初期方策への感受性、予期せぬ行動（言語の混合など）を学習するリスクに悩まされています。最近の文献では、RFT がモデルの内在的な能力の上限を真に引き上げられるのか、それとも既存の事前学習知識を単に洗練させるだけなのかという疑問が投げかけられています。

本研究が扱う核心的な研究課題は、SFT のプロセス監督と RFT の目標指向最適化を形式的に統合し、それらの相補的な強みを活用する方法です。具体的には、知識の境界を拡大するために SFT を、堅牢な問題解決へと導くために RFT を利用することを目指します。

2. 手法：Prefix-RFT

著者は、単一の最適化フレームワーク内で SFT と RFT を統合するハイブリッドなポストトレーニング手法であるPrefix-RFTを提案します。

統合された視点

本論文は、SFT と RFT が一貫した最適化構造を共有することを確立しています。両者ともシーケンスの対数確率を更新しますが、主にシーケンスのソース（専門家対オンポリシー）と重み付けメカニズム（固定対アドバンテージ重み付け）が異なります。

中核メカニズム

Prefix-RFT は、Prefix サンプリングを介してオフラインのデモンストレーションデータセットを RFT のトレーニングループに組み込みます：

1. ハイブリッド軌道の構築：与えられたプロンプト $x$ とデモンストレーション $y^*$ に対して、方策 $\pi_{\theta}$ は $N-1$ 個の標準的なオンポリシーロールアウトを生成します。$N$ 番目のシーケンスでは、デモンストレーションからプレフィックス $y^*_{<L}$ をサンプリングします。その後、方策は継続部分 $y_{\ge L}$ を生成し、ハイブリッド軌道 $y^{(N)} = (y^*_{<L}, y_{\ge L})$ を作成します。
2. 統合された勾配更新：ハイブリッド軌道は、標準的なロールアウトと同様に扱われます。勾配更新は、探索（オンポリシートークン）からの学習と模倣（プレフィックストークン）からの学習を組み合わせます。
   • プレフィックストークン（$t < L$）：「模倣」として扱われますが、完全なハイブリッド軌道から推定されたアドバンテージ $\hat{A}_t$ によって重み付けられます。ハイブリッド軌道が高い報酬をもたらす場合、プレフィックスは強化され、そうでない場合はその影響が抑制されます。
   • 継続トークン（$t \ge L$）：標準的な「探索」トークンとして扱われます。
3. エントロピーベースのクリッピング：分布のシフトにより大きな対数尤度勾配が生じ、オフポリシーのデモンストレーショントークンが勾配を支配するのを防ぐため、本手法は最も高いエントロピーを持つプレフィックストークンの上位 $k\%$（例：20%）のみを更新します。低エントロピーのトークンは、すでにモデルによって一致しているか、急激で不安定な上書きを引き起こす可能性のある確信に満ちた不一致を表すため、除外されます。
4. コサイン減衰スケジューラ：位置バイアス（モデルがシーケンスの終端をほとんど見ないこと）を緩和し、カリキュラム学習を実装するため、プレフィックス長 $L$ はスケジューラによって制御されます。プレフィックス長はトレーニングを通じて、長い（高いガイダンス）から短い（より自律的）へと減衰し、SFT から RFT への移行を模倣します。

3. 主要な貢献

• 統合フレームワーク：本論文は、SFT と RFT の理論的統合を提供し、これらを連続した段階として扱うのではなく、ハイブリッド目的関数を通じて融合できることを実証します。
• Prefix-RFT アルゴリズム：モデルを厳密に制約することなく、オフラインのデモンストレーションを RFT に注入するシンプルかつ効果的な手法を導入します。これにより、専門家によるプレフィックスに導かれつつ、優れた継続部分の探索が可能になります。
• 動的重み付けとクリッピング：軌道レベルのアドバンテージを使用してプレフィックス更新を動的に重み付け、オフポリシーの分布シフトに対するトレーニングの安定化のためにエントロピーベースのクリッピングを採用することを提案します。
• 実証的検証：Prefix-RFT が、単独の SFT、RFT、SFT 後に RFT を行う逐次ベースライン、および最近の並列ハイブリッド手法（UFT、LUFFY、ReLIFT など）を上回ることを実証しました。

4. 実験結果

実験は主に、Qwen2.5-Math（1.5B、7B）や LLaMA-3.1-8B などのモデルを用いて、数学的推論タスク（AIME、AMC、MATH-500 など）で行われました。

• パフォーマンス：Prefix-RFT は、6 つの数学的推論ベンチマークと 3 つの一般領域推論タスクにおいて、すべてのベースラインを一貫して上回りました。例えば、Qwen2.5-Math-7B において、AIME 2024 で Pass@1 スコア 31.8、AIME 2025 で 26.4 を達成し、最高のベースライン（LUFFY）および SFT+RFT の逐次アプローチを上回りました。
• 推論の境界（Pass@k）：決定的なことに、Prefix-RFT はモデルのパフォーマンス上限を有意に引き上げた唯一の手法でした。AIME 2025 において、ベースモデルおよび RFT が 70.0% だったのに対し、Pass@2048 は 76.7% を達成しました。これは、既知の解の出現確率を高めるだけでなく、モデルの推論能力そのものを拡張していることを示しています。
• 頑健性：この手法は、異なるモデルスケール間で強力な頑健性を示し、デモンストレーションの量が減少した場合（データの 1% まで）や、デモンストレーション生成器の品質が異なる場合（1.5B から 32B モデルまで）でも効果的でした。
• 一般化：コード生成（MBPP+、HumanEval+）に関する予備的な結果は、この手法が数学的推論を超えて適用可能であることを確認しました。

5. 分析と意義

本論文の分析は、SFT と RFT の相補性を浮き彫りにしています：

• ギャップの架け橋：Prefix-RFT は、異なるトレーニングパラダイムを効果的に統合します。これにより、モデルはデモンストレーションから学習（SFT 的）しつつ、RFT の目標指向の目的を維持できます。
• 動的な遷移：この手法は、トレーニングの初期段階でモデルがプレフィックスに大きく依存し（高いアドバンテージ、長いプレフィックス）、能力が向上するにつれて自律的な探索へと徐々に移行する（アドバンテージの減少、短いプレフィックス）動的な遷移を誘発します。
• ターゲット学習：モデルは、困難な問題（そこで苦労する問題）に対してはデモンストレーションからより集中的に学習し、簡単な問題に対しては自己探索に依存するようになり、このアプローチの適応性が検証されました。

意義：
著者は、Prefix-RFT が SFT の安定性と RFT の探索的パワーの間の「絶妙なバランス点（スイートスポット）」を提供すると主張しています。これらのパラダイムを形式的に統合することで、この手法は行動クローニング（SFT）の限界と、純粋な強化学習（RFT）の不安定性に対処します。この研究は、SFT と RFT を独立した連続段階として扱うことは最適ではなく、統合されたアプローチがそれらを効果的に調和させ、LLM の推論能力の境界を押し広げられることを示唆しています。

限界：
著者は、実験が信頼できる結果報酬を持つ検証可能な推論設定に焦点を当てていると指摘しています。コード生成の結果は転移可能性を示唆していますが、より広範なオープンエンドな生成やノイズの多い報酬設定は今後の課題です。さらに、この手法は外部のデモンストレーションに依存しており、複数の候補デモンストレーションの体系的な選択は今後の研究に委ねられています。