技術的サマリー：トランスフォーマー推論におけるカリキュラム事後学習の証明可能なサンプル効率性

1. 問題定義

カリキュラム学習（易しいタスクから難しいタスクへ進行する学習）は、事後学習（post-training）中に大規模言語モデル（LLM）の推論能力を向上させる上で経験的に成功を収めているが、その理論的基盤は未だ不完全である。カリキュラム学習に対する既存の理論的保証は、主に特定の関数クラス（例えば、凸回帰、パリティ）を用いた事前学習やゼロから始める学習の文脈に適用される。それらは、強力な事前学習済みベースモデルを微調整して明示的な思考の連鎖（Chain-of-Thought: CoT）推論を一般化させる「事後学習」のシナリオにおいて、なぜカリキュラム戦略が有効であるかを直接説明するものではない。

本論文が取り組む中心的な問いは以下の通りである：事後学習におけるカリキュラム戦略は、カリキュラムなしの直接的な事後学習と比較して、いつ、なぜ、どのように、そしてどのような意味で理論的に性能を向上させることができるのか？ 具体的には、本論文は、ベース方策の下で正しい推論経路が稀であるスパース報酬推論タスクに内在する「サンプル複雑性のボトルネック」をカリキュラムが緩和し得るかどうかを調査する。

2. 手法と理論的枠組み

2.1. 抽象的枠組み：カバレッジとサンプル複雑性

著者は、「難易度」をカバレッジ係数（$\|\pi^* / \pi_{ref}\|_\infty$）を通じて定義することで、カリキュラム事後学習を形式化する。この係数は、最適目標方策（$\pi^*$）に対するベース方策（$\pi_{ref}$）の下での正しい CoT の希少性を測定する。

• 直接的な事後学習: 目標タスクの完全な難易度に比例したサンプリングを必要とする。
• カリキュラム事後学習: タスクを $L$ 個の中間サブタスクに分解する。
• 主要な洞察（系 1）: カリキュラム段階の累積難易度が、最終目標の難易度を超えない場合（定数倍まで）、カリキュラム事後学習はサンプル効率において指数関数的な改善をもたらす。具体的には、各段階のサンプル複雑性が総複雑性の $L/p$ 乗根としてスケールする場合、総コストは $L$ に比例して線形にスケールするのに対し、直接学習は指数関数的にスケールする。

2.2. 推論のモデル化：2S-ART

この枠組みをトランスフォーマーアーキテクチャ内で実証するために、本論文は**2 状態条件付き自己回帰推論木（2S-ART）**を導入する。

• 構造: 推論は、モデルが合法な集合 $I_\ell$ からインデックス $i_\ell$ を選択し、関数 $\Phi_\ell(z_{\ell-1}, v_{i_\ell})$ を介して推論状態 $z_\ell$ を更新する、状態条件付き自己回帰プロセスとしてモデル化される。
• ベースモデルの仮定: 事前学習済みベースモデル（PART）は、各深さにおいて合法な子ノードに対する一様サンプリャとしてモデル化される。これにより、長さ $\ell$ の正しい CoT を生成する確率は指数関数的に減衰し（$\Theta(d^{-(\ell+1)})$ としてスケールする）、
• トランスフォーマーの実現: 著者は、標準的なトランスフォーマーアーキテクチャがこの確率的推論プロセスを忠実に再現できることを証明する（定理 1）。ここで、アテンション機構がインデックスを選択し、フィードフォワードネットワーク（FFN）が状態更新（例えば、XOR 演算など）を実行する。

2.3. カリキュラム戦略

この枠組み内で、2 つの具体的なカリキュラム戦略が分析される：

1. 深さ増加カリキュラム: 推論の視野を段階的に拡張する（例：長さ 1 の CoT での学習、次に長さ 2、など）。
2. ヒント減少カリキュラム: 部分的な正しい CoT 接頭辞（ヒント）を提供し、その長さを徐々に短くすることで、モデルにより長い接尾辞の完成を強制する。

2.4. 学習設定

この理論は、2 つの設定に適用される：

• RL 微調整: REINFORCE を介して結果ベースの報酬（0/1 シグナル）を用いて方策を最適化する。
• 推論時スケーリング: 報酬オラクルを用いて推論時に正しい推論経路を特定する。

3. 主要な貢献と理論的結果

3.1. 一般的なボトルネックに関する系

本論文は系 1を確立する。これは、カリキュラムがタスクを分解し、各段階の難易度が総難易度の根によって有界である場合、サンプル複雑性が指数関数的から多項式的にシフトすることを示す一般的な十分条件である。

3.2. RL 微調整における指数関数的から多項式的への削減（定理 2）

2S-ART 設定（具体的にはスパースパリティ問題で具体化されたもの）において：

• カリキュラムなし: 直接微調整には、サンプル複雑性 $N_\epsilon \ge \tilde{\Omega}(d^{2k^*+2})$ が必要である。ここで $k^*$ は推論深さ、$d$ は入力次元である。これは指数関数的なボトルネックである。
• カリキュラム（深さ/ヒント）: 深さ増加カリキュラムとヒント減少カリキュラムの両方とも、サンプル複雑性を $N_\epsilon \le \tilde{O}((k^*+1)d^2)$ に削減する。
• メカニズム: カリキュラムは、最終的な正解を偶然に導くが誤った推論経路に従う「偽物」の CoT（報酬ハッキング）によってモデルが圧倒されるのを防ぐ。中間ステップに焦点を当てることで、勾配シグナルは情報豊富に保たれる。

3.3. 推論時スケーリングにおける指数関数的から多項式的への削減（定理 3）

• カリキュラムなし: 終端報酬のみを使用して真の経路を特定するには、$T_{data}, T_{comp} \ge \tilde{\Omega}(d^{2k^*})$ のオラクル問い合わせとモデルサンプルが必要である。
• カリキュラム: 中間ステップを検証するカリキュラムオラクルを使用することで、複雑性を $T_{data} \le \tilde{O}((k^*+1)d^2)$ および $T_{comp} \le \tilde{O}((k^*+1)d^3)$ に削減する。

3.4. 経験的検証

• 合成実験: パリティタスクにおいて、カリキュラム手法は直接学習（$n \approx 1.6 \times 10^6$）と比較して著しく少ないサンプル（例：$n \approx 76$）で収束し、正しいアテンション依存関係（親子関係）を学習した。一方、直接学習は有益なシグナルと偽の相関を区別することに失敗した。
• 大規模実験: Qwen2.5-1.5B-Instruct ベースモデルを用いて、Countdown、MATH、Blocksworldのベンチマークで評価を行った。
  • 両方のカリキュラム戦略は、一般的にベースモデルおよびカリキュラムなしの GRPO 微調整を上回った。
  • Countdown: ヒント減少が最も良い全体的な平均を達成した。
  • MATH: 深さ増加が最も良い全体的な平均を達成した。
  • Blocksworld: 利益は小さく、特定のカリキュラムタイプに依存度が高く、タスク構造に対する感受性を示唆している。

4. 意義と主張

本論文は、カリキュラム事後学習がトランスフォーマー推論のサンプル効率性を向上させる理由についての原理的な理論的理解を提供するものであると主張する。

• 理論的ギャップ: 経験的観察と厳密な理論の間のギャップを埋め、「直感的」な利益を超えて、サンプル複雑性における証明可能な指数関数的から多項式的への削減へと移行する。
• メカニズム: 主な利益は、ベース方策の下での正しい推論経路の希少性を克服することから生じると特定する。タスクを分解することで、カリキュラムはモデルが問題の完全な複雑性に直面する前に、正しい依存構造（例：正しい前のトークンへのアテンション）を学習することを保証し、最終的な答えには機能するが推論プロセスを一般化できないショートカットを学習する「報酬ハッキング」現象を回避する。
• 一般性: 証明は 2S-ART（パリティ、カウントダウン、グラフ走査を網羅）上で具体化されているが、著者は、基盤となるカバレッジベースのメカニズム（系 1）が、拡散言語モデルを含む他の事後学習 regimes やモデルアーキテクチャにもこれらの利益が拡張される可能性を示唆していると論じる。

本作業は、カリキュラムがすべてのタスクに対して普遍的に優れている、あるいは大規模データの必要性を排除すると主張するものではなく、むしろ、あるタスクが制御された難易度の増加を持つサブタスクの列に分解可能である場合、カリキュラム事後学習は、直接学習では達成できない効率的な学習への証明可能な道筋を提供することを示している。