IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning

以下は、論文「IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning（IRIS：クロスリンガル数学推論のための段階的カリキュラムを伴うインターリーブ型強化学習）」の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）は、複雑な数学的推論、特に多言語および低リソース環境（ヒンディー語やマラーティー語などのインド言語など）において困難に直面しています。既存のトレーニングパラダイムは、主に 2 つの限界に直面しています。

• 報酬の希薄性: 最終回答のみを報酬とするトレーニングは、中間推論ステップの監督に失敗し、幻覚的な論理連鎖を引き起こします。
• カリキュラムのギャップ: 標準的なカリキュラム学習（易しい問題から難しい問題へ進行する）は、推論がどこで破綻するかを捉えるのにしばしば失敗します。逆に、ステップレベルの強化学習法（リバースカリキュラムなど）は、しばしば難易度のスケジュール設定が欠如しており、希薄な報酬における学習の不安定化を招きます。
• クロスリンガル転移: 低リソース言語は、高品質な推論を独立して維持するのに十分なデータが不足しており、推論経路の直接翻訳は、一貫性を低下させる傾向があります。

2. 手法：IRIS フレームワーク

著者らは、スキル獲得と推論の洗練を分離するように設計された、2 軸のトレーニングフレームワークである**IRIS（Interleaved Reinforcement with Incremental Staged Curriculum）**を提案します。

A. 2 軸カリキュラム

1. 垂直軸（問題レベル・カリキュラム）:

   • 目的: 課題の難易度を徐々に上昇させること。
   • プロセス: モデルは段階的に**教師あり微調整（SFT）**を受けます：易しい $\to$ 易しい＋中級 $\to$ 易しい＋中級＋難しい。
   • メカニズム: モデルは、強化学習が始まる前に、複雑さが増す問題の完全な推論経路を学習し、推論パターンの基準を確立します。

2. 水平軸（ステップレベル継続カリキュラム）:

   • 目的: 提供された推論プレフィックスへの依存を減らし、独立した計画を促すこと。
   • プロセス: リバースカリキュラムアプローチを採用します。$n$ ステップの問題に対し、モデルは $n-1$ 段階でトレーニングされます。
     • ステージ 0（最も易しい）: モデルには $n-2$ ステップが与えられ、最終 2 ステップのみを生成する必要があります。
     • ステージ $k$: モデルには $n-k-2$ ステップが与えられ、残りを生成する必要があります。
     • ステージ $n-2$（最も難しい）: モデルには質問のみが与えられ、ゼロから完全な解答を生成する必要があります。
   • メカニズム: これにより、モデルは部分的な連鎖の完成から、完全な推論軌道の生成へと移行することを強制されます。

B. 複合報酬設計（RLVR）

水平軸を最適化するために、著者らは新しい複合報酬関数 $R_k$ を用いた**グループ相対方策最適化（GRPO）**を使用します。
$$R_k = r_{final} + \lambda_k \cdot r_{cos} + r_{cont} + r_{int}$$

• 正解性（$r_{final}$）: 回答が完全に一致する場合の二値報酬（+2）。
• コサイン整合性（$r_{cos}$）: 生成されたサフィックスと正解の推論ステップ間の意味的類似度を測定します。重要なのは、この重み $\lambda_k$ がカリキュラムの進行に伴って線形に減衰することです。これは初期段階では安定化剤として機能しますが、難しい段階では多様かつ有効な推論経路を促すために排除されます。
• 連続性（$r_{cont}$）: 正しいステップ番号付けと論理的な流れ（プレフィックスが止まった場所から継続するなど）を報酬します。
• 整数インセンティブ（$r_{int}$）: 数値出力を生成した場合の小さなボーナス。

C. 多言語戦略：推論のアンカーとしての英語

このフレームワークは、バイリンガルトレーニング設定（例：英語＋ヒンディー語）を導入します。

• 仮説: 英語は「推論のアンカー」として機能します。英語には高品質な推論データが存在するため、学習ダイナミクスを安定させます。
• メカニズム: モデルは英語から推論の論理を学習し、この能力を低リソース言語（ヒンディー語/マラーティー語）へ転移させます。これらの言語は主に、その論理を新しい文字体系で表現することに焦点を当てます。実験により、20% の英語混合さえも、単言語の低リソーストレーニングにおける報酬の停滞を大幅に防止することが示されました。

3. 主な貢献

1. IRIS フレームワーク: 難易度ベースの SFT（垂直軸）とリバースステップ RL（水平軸）を組み合わせた新しい 2 軸カリキュラムにより、長期的な推論を安定化させます。
2. 複合報酬関数: 正解性とステップごとの整合性および構造的連続性のバランスを取る多成分報酬信号を、GRPO 経由で最適化します。
3. CL-Math データセット: 英語、ヒンディー語、マラーティー語でステップレベルの注釈付きの数学問題を含む、新しい29,000 例の多言語データセットです。各言語について 2,184 個の易しい、2,212 個の中級、5,588 個の難しいサンプルを含み、データ漏洩を防ぐために厳密な学習/テスト分割が行われています。
4. クロスリンガルの知見: バイリンガルトレーニング（英語＋低リソース言語）が、単言語アプローチが失敗する場所で安定した RL 事後トレーニングを可能にする、必要な正則化剤として機能するという実証的証拠。

4. 結果

著者らは、Qwen2.5-Math-7BおよびWizardMath-7Bモデル上で IRIS を評価しました。

• CL-Math における性能:
  • IRIS は、ベースラインと比較して、最も難しいヒンディー語の問題において推論精度を最大**+15.8%**向上させました。
  • バイリンガル設定（英語 - ヒンディー語/マラーティー語）は、単言語設定に対して大幅な改善を示し、「推論のアンカー」という仮説を確認しました。
• 標準ベンチマークへの汎化:
  • SVAMP: 90.6%（ベース 70.4% 対比）。
  • GSM8K: 83.9%（ベース 70.6% 対比）。
  • MATH: 64.6%（ベース 29.5% 対比）。
  • IRIS は、他の専門的な 7B モデル（MetaMath、DeepSeek-Math）を上回り、特定のベンチマークでは GPT-4 の性能に迫りました。
• アブレーション研究:
  • 垂直軸の SFT ウォームアップまたはカリキュラムの進行を除去すると、性能が大幅に低下しました。
  • 報酬を正解性のみに簡略化すると精度が低下し、複合報酬構造の重要性が浮き彫りになりました。
  • マラーティー語トレーニングにおける 20% の英語混合が、正則化剤として機能し、最良のバランスをもたらしました。

5. 意義と影響

• 低リソースギャップの解消: IRIS は、膨大なネイティブデータセットを必要とせず、高リソースの英語データを活用することで、ヒンディー語やマラーティー語などの過小評価されている言語における数学的推論を強化する実用的な道筋を示しています。
• 推論のための安定した RL: 段階的カリキュラムと減衰する整合性報酬の組み合わせは、推論タスクにおける強化学習に共通する不安定性の問題を解決し、モデルが崩壊することなく複雑な多ステップ論理を学習することを可能にします。
• オープンサイエンス: CL-Mathとコードベースの公開は、多言語推論とカリキュラム学習のさらなる研究のための重要なリソースを提供します。
• 認知的整合性: このフレームワークは、人間の認知発達（まず構造を学び、その後複雑さをスケールさせる）を反映しており、エンドツーエンドのブラックボックス最適化よりも堅牢なトレーニングパラダイムを提供します。

結論として、IRIS は、構造化されたカリキュラム設計とインターリーブ型強化学習の組み合わせが、特に多言語コンテキストにおいて、小規模言語モデルの深層推論能力を解き放つための極めて効果的な戦略であることを確立しています。