技術要約：適応的カリキュラム学習による効率的な強化学習微調整（ADARFT）

問題提起

強化学習微調整（Reinforcement Finetuning: RFT）は、数学的推論のような正解が明確に定義されているドメインにおいて、大規模言語モデル（LLM）をタスク固有の目標に適合させるための重要な技術として台頭しています。しかし、標準的なRFT手法（例：PPO、GRPO）は、サンプルおよび計算の効率性に大きな課題があります。これらは、繰り返されるロールアウト生成とポリシー更新を伴う広範なトレーニングを必要とするため、コストが高く、スケーリングが困難です。

効率性を向上させようとする既存の試みは、特定のトレードオフに直面しています：

• アルゴリズムの簡略化（例：RAFT、ReMax）は、分散を増大させたり安定性を制限したりする可能性があります。
• データ中心の戦略（例：LIMO、LIMR）は、手動によるキュレーションや静的なスコアリングに依存することが多く、これらは脆かったり、計算負荷が高かったり、モデル依存であったりします。
• カリキュラム学習（CL）アプローチにおける先行研究は、通常、固定された手動定義のステージや、データを間引くために繰り返しのロールアウトを必要とするオンラインフィルタリング・スキームを使用しています。これらの手法は、モデルの進化するスキルレベルに対して真の意味で適応的であることに欠けていたり、多大な計算オーバーヘッドを発生させたりします。

したがって、基礎となるRLアルゴリズムを変更したり、広範な手動データキュレーションを必要としたりすることなく、モデルの現在の能力に合わせて学習の難易度を動的に調整できる手法が求められています。

手法：ADARFT

著者らは、ADARFT（Adaptive Curriculum Reinforcement Finetuning）を提案しています。これは、標準的なRFTパイプライン（PPO、GRPO、REINFORCE++と互換性あり）に適応的カリキュラム学習を統合する、軽量でモデルに依存しないフレームワークです。

コアメカニズム

ADARFTは、ターゲット難易度レベル（$T$）を維持し、モデルの最近の報酬信号に基づいてこれを動的に調整することで動作します。核心となる直感は、学習はタスクが容易すぎず、かつ難しすぎないとき（「発達の最近接領域」）に最も効果的であるという点です。

アルゴリズムは以下のように進行します：

1. オフライン難易度推定： データセット $D$ 内の各問題には、難易度スコア $d_i$ が事前注釈されます。これらのスコアは、人間による注釈、モデルベースのロールアウト（pass@k）、またはLLMジャッジ（例：GPT-4o）から導出できます。
2. 動的カリキュラムサンプリング： 各トレーニングステップにおいて、アルゴリズムはターゲット難易度と各問題の難易度の間の絶対差 $\Delta_i = |d_i - T|$ を計算します。そして、最小の $\Delta_i$ を持つ $B$ 個の問題のバッチを選択し、モデルが現在の能力に最も近いタスクで学習することを保証します。
3. ポリシー更新： 選択されたバッチは、標準的なRLアルゴリズム（例：PPO）を用いてポリシー $\pi_\theta$ を更新するために使用されます。バイナリ報酬信号（$R_i \in \{0, 1\}$）は、回答の正誤に基づいて計算されます。
4. ターゲット難易度の更新： ターゲット難易度 $T$ は、バッチの平均報酬（$R_{avg}$）に基づいて更新されます。更新ルールは次のように定義されます：
   $$T' = \text{clip}(T + \eta \cdot \tanh(\alpha \cdot (R_{avg} - \beta)), d_{min}, d_{max})$$
   • $\beta$: ターゲット報酬レベル（0.5に設定）。これは、望ましい成功率を表します。
   • $\eta$: 難易度を調整するためのステップサイズ。
   • $\alpha$: 感度パラメータ。
   • $\text{clip}$: $T$ を有効な難易度範囲 $[d_{min}, d_{max}]$ 内に制約します。

モデルのパフォーマンスが良い場合（$R_{avg} > \beta$）、$T$ は増加し、後続の問題はより難しくなります。パフォーマンスが低い場合（$R_{avg} < \beta$）、$T$ は減少します。

理論的正当性

著者らは、ターゲット報酬 $\beta = 0.5$ を設定することの理論的正当性を提供しています。エントロピー正則化されたRLにおいて、ポリシー更新の勾配の大きさは報酬の分散に比例します。バイナリ報酬の場合、分散は成功率が0.5のときに最大化されます。したがって、モデルが約半分の場合に成功する問題でトレーニングを行うことは、些細なほど容易なタスクに伴う消失勾配や、過度に困難なタスクに伴うノイズを避け、最強の学習シグナルを提供します。

主な貢献

1. 適応的カリキュラムフレームワーク： ADARFTは、モデルのパフォーマンスに基づいてタスクの難易度をリアルタイムで調整する、フィードバック駆動型の動的カリキュラムを導入し、固定されたスケジュールやデータフィルタリングのための繰り返しのロールアウトを不要にします。
2. 軽量かつ汎用的： この手法は、標準的なRLアルゴリズム（PPO、GRPOなど）への最小限の拡張のみを必要とし、報酬関数やモデルアーキテクチャを変更しません。様々なRLアルゴリズムやモデルサイズと互換性があります。
3. オフライン難易度推定： このアプローチは、静的な事前計算済み難易度スコア（ロールアウトやLLMジャッジから導出）に依存しており、トレーニング中にオンラインで難易度を再計算する計算オーバーヘッドを回避します。
4. 包括的な評価： 本手法は、多様なデータ分布（一様、skew-easy、skew-difficult）およびモデルスケール（Qwen 2.5 1.5Bおよび7B）にわたる、競技レベルの数学ベンチマークで評価されています。

結果

競技レベルの数学データセット（AMC、AIME、IMOスタイル）を用いた実験では、ADARFTが標準的なPPO、フィルタリングされたデータを用いたPPO、および固定されたカリキュラムスケジュールを用いたPPOと比較して、トレーニング効率と最終的な推論性能の両方を大幅に向上させることが示されました。

• トレーニング効率： ADARFTは、トレーニング時間を最大2倍短縮します。ADARFTで訓練されたモデルは、ベースライン手法の性能レベルに達するまでに、大幅に少ないステップ数を必要とします。例えば、skew-difficult分布におけるQwen 2.5 1.5Bモデルでは、標準的なPPOはADARFTのステップ60時点の性能に追いつくために、71.7%多いステップを必要としました。
• 最終精度： ADARFTは一貫して高い最終精度を達成しています。skew-difficult分布において、Qwen 2.5 1.5Bモデルは37.41%（PPO）から40.48%（ADARFT）へと向上しました。同様の向上が7Bモデルでも観察されました（44.17%から46.83%）。
• 堅牢性： この手法は、特に不均衡なデータレジーム（例：skew-difficult）において効果的であり、そこでは静的なサンプリングはトレーニング初期に十分な学習シグナルを提供できないことがよくあります。
• アルゴリズムの非依存性： アブレーション研究により、ADARFTはPPOだけでなく、GRPOやREINFORCE++を用いて実装した場合でも収束と精度を向上させることが確認されました。
• 難易度推定： 本論文は、LLMジャッジ（GPT-4o）から導出された難易度推定が、経験的な成功率とよく相関していることを示しており、高価なロールアウトベースの推定に代わるスケーラブルな代替案を提供しています。

意義と主張

本論文は、ADARFTが構造化された推論タスクにおける、より効率的なRFTへの実用的かつスケーラブルな道筋を提供すると主張しています。その意義は以下の通りです：

• 手動キュレーションの排除： 手動設計されたカリキュラムや広範なデータフィルタリングを必要とする手法とは異なり、ADARFTはモデルの学習ダイナミクスに自動的に適応します。
• 学習シグナルの最適化： 50%の成功率をターゲットにすることで、モデルが常に「解決可能だが挑戦的な」タスクで訓練されるようにし、アップデートあたりの情報利得を最大化します。
• スケーラビリティ： このアプローチは軽量でモデルに依存しないため、計算リソースが制約されている大規模なトレーニングパイプラインに適しています。

著者らは、カリキュラム学習の恩恵は、不均衡なトレーニング分布および限定的な容量を持つモデルにおいて最も顕著であり、そこでは標準的なRFTが能力のブートストラップに苦戦すると述べています。手動キュレーションも理論的には同様の結果を得られる可能性がありますが、ADARFTは、新しいモデルごとに再チューニングを必要とすることなく、モデルアーキテクチャやスキルレベルを横断して一般化できる、自動化された統一的なソリューションを提供します。