技術要約：マルチドメインRLVRのための転移を考慮したカリキュラム（Transfer-Aware Curriculum）

問題提起

検証可能な報酬を用いた強化学習（RLVR）は、数学やコーディングといった単一ドメインにおいて、大規模言語モデル（LLM）の推論能力を向上させることに成功している。しかし、これをマルチドメインの推論スイート（数学、プログラミング、論理、シミュレーション、テーブル、STEMにわたるもの）へと拡張する場合、推論スキルがドメイン間で不均一に転移するという決定的な課題が生じる。

現在のマルチドメイン学習のアプローチは、固定されたサンプリング・スケジュールや手動で調整されたカリキュラムに依存することが一般的である。最近の「学習可能性ベース」のカリキュラム（例：SEC）は、ポリシーが現在どのドメインで改善しているか（オンポリシーのアドバンテージを使用）に基づいてサンプリングを適応させるが、これには根本的な盲点がある。それは、ドメイン間の転移性（cross-domain transferability）を考慮していない点である。あるドメインは局所的に学習可能（強力な即時勾配を提供する）であるが、その更新が他のドメインの性能に寄与しない、あるいはむしろ阻害する可能性がある。逆に、一見すると学習可能性が低そうなドメインが、ポリシー全体を広範に改善するような勾配更新をもたらすこともある。既存の手法は、局所的には豊かだがグローバルには限定的なドメインに過剰にコミットしてしまうリスクがあり、その結果、広範なクロスドメインの改善の可能性を逃してしまう。

手法：転移を考慮したカリキュラム（TAC）

著者らは、**転移を考慮したカリキュラム（TAC）**を提案する。これは、クロスドメイン転移性をドメイン選択のための第一級の信号として統合した、自動化されたバンディット型のオンライン・カリキュラムである。TACは、グループ相対方策最適化（GRPO）の枠組み内で動作し、ドメイン選択をマルチアームド・バンディット問題として定式化する。

コア構成要素

1. バンディット定式化:

   • 各推論ドメインを一つの「腕（arm）」として扱う。
   • 各トレーニングステップにおいて、フィードバック信号 $S_m$ から導出された価値推定値 $Q_m$ に基づいて、カリキュラムはドメインをサンプリングする。
   • サンプリング分布は、探索と活用のバランスを取るために、上限信頼限界（UCB）で増強された値に対するボルツマン分布を用いて更新される。

2. 二重フィードバック信号 ($S_m$):
   各ドメインのフィードバック信号は、以下の2つの項の加重結合である：

   • 局所的学習可能性 ($\hat{L}_m$): 平均絶対GRPOアドバンテージから導出される。これは、ドメイン内における即時の学習信号（能動的な改善）を捉える。スケールの差異を扱うために、移動平均のzスコアを介して正規化される。
   • クロスドメイン転移性 ($T_m$): ドメイン $m$ における勾配ステップが、他のドメインの勾配方向といかに一致するかを推定する、新しい自己教師あり信号である。
     • メカニズム: 高次元のフル勾配を計算する代わりに、TACは、更新方向を低次元空間で表現するために、投影勾配（TRAKスタイルのスケッチなどのランダム投影による）を使用する。
     • 状態追跡: 各ドメインは、投影された勾配ベクトルの指数移動平均（EMA）を保持する。
     • 整合性指標: 定期的に、あるドメインの勾配状態と、他のすべての有効なドメインの勾配状態との間のペアワイズ・コサイン類似度が計算される。転移性スコア $T_m$ は、平均コサイン類似度であり、$[0, 1]$ の範囲に最小最大スケーリング（min-max scaling）で正規化される。
     • 効率性: この信号は、標準的なRLトレーニング中に既に生成されている勾配から完全に計算されるため、追加のロールアウト、ホールドアウト・プローブ、またはオラクルによる注釈を必要としない。オーバーヘッドは無視できる程度である（ウォークタイムの1%未満）。

3. 信号の統合:
   最終的なスコアは $S_m = \beta \hat{L}_m + (1-\beta) T_m$ である。係数 $\beta$ はこれら2つの信号のバランスを制御する。この手法は、キャッシュされた学習可能性と新鮮な転移性推定値を用いて、サンプリングされた腕とサンプリングされていない腕の両方の価値推定値を動的に更新するため、ドメインが現在サンプリングされていない場合でも、カリキュラムが焦点をシフトすることを可能にする。

主な貢献

1. 転移を考慮したバンディット・カリキュラム: マルチドメインRLにおいて、局所的な学習可能性とともに、クロスドメイン転移性を明示的に最適化する最初のカリキュラム・フレームワークである。これは、「現在のポリシーが何を学習できるか」だけでなく、「何がポリシー全体を改善させるか」を考慮するという、従来の手法の限界に対処している。
2. 自己教師あり勾配幾何信号: 投影勾配のコサインを用いて転移性を推定する、計算効率の高い手法である。この信号は適応的（ポリシーと共に進化する）かつ相対的（絶対的な大きさではなく、ドメインを現在の整合性に基づいてランク付けする）であり、高価な外部検証を必要としない。
3. 実証的検証: Qwen3-1.7BおよびLlama3.2-3Bモデルを用い、6つのドメインの推論スイート（Math, Codegen, Logic, Simulation, Table, STEM）を用いて実証された。

実験結果

論文では、TACを以下の4つのベースラインと比較評価している：

• Base: RLトレーニングなし。
• Random: 比例的なランダムサンプリング（一様またはデータサイズによる重み付け）。
• M2O (Math-to-Others): 手動で設計された2段階のカリキュラム（数学を訓練した後、その他を訓練する）。
• SEC: 学習可能性のみに基づくバンディット・カリキュラム ($\beta=1$)。

主な知見:

• 優れたパフォーマンス: TACは、両方のモデルバックボーンにおいて、マクロ平均精度で最高の性能を達成した。Qwen3-1.7Bでは、最強のベースラインであるSECに対して +1.8 パーセントポイント（+5.6% 相対的）向上した。Llama3.2-3Bでは、M2Oに対して +1.6 パーセントポイント（+5.4% 相対的）向上した。
• 不均衡に対する堅牢性: スキュー（偏り）のあるデータ予算（MathとSTEMが他のドメインの3倍のデータを持つ場合）の実験において、TACはSECを +1.5 ポイント 上回った。学習可能性のみのベースライン（SEC）は、更新が他のドメインに利益を与えなくなったとしても、支配的な高データドメイン（Math/STEM）に過剰にコミットしてしまうが、TACの転移性信号は、データが少ないが非常に転移性の高いドメイン（TableやLogicなど）へとサンプリングを再方向付けする。
• カリキュラムのダイナミクス: 分析によれば、最も学習可能なドメイン（多くの場合STEMやMath）が、必ずしも最も転移性の高いドメインであるとは限らない。SECはトレーニングの初期段階で最も学習可能なドメインに「アンカー（固定）」される傾向があるが、TACは勾配の整合性が高いドメイン（例：Table）へとサンプリングを動的にシフトさせ、より広範な汎化を実現する。
• アブレーション研究: 転移性項を除去した場合（$\beta=1$）、性能が急激に低下したことは、その必要性を裏付けている。本手法は、特に $\beta$ の混合係数に関して、ハイパーパラメータの変動に対して頑健である（$\beta$ が0.2付近でピークに達することは、学習可能性が存在する場合でも転移性信号が強く必要であることを示している）。

意義と主張

本論文は、クロスドメイン転移性が、マルチドメインRLVRにおけるカリキュラム設計のための、これまで活用されてこなかった重要な信号であると主張している。

• パラダイムシフト: 本研究は、即時の局所的な利得（学習可能性）の最適化を超えて、トレーニング・スイート全体の更新の幾何学的な整合性を最適化することへと移行している。
• 効率性: 高品質なカリキュラム信号が、既存の勾配から「無料で」導き出せることを示しており、計算コストを大幅に増やすことなく、既存のRLVRパイプラインへの実用的な追加が可能であることを示している。
• 汎化: 単一のポリシーが、トレーニング・カリキュラムがスキルの転移を明示的に考慮している場合、異種混合のタスクに対して有能に推論できることを示唆している。
• 限界: 著者らは、TACはサンプリング分布を対象としたものであり、オプティマイザ、報酬モデル、またはアーキテクチャの進歩を代替するものではなく、それらを補完するものであると述べている。さらに、現在の実装は検証可能な報酬（RLVR）に依存しており、検証不可能なドメイン（LLMジャッジに依存するもの）へのこれらの信号の拡張は今後の課題としている。

要約すると、TACは、マルチドメインの推論においては、モデルがどこで改善しているかを知るだけでは不十分であり、それらの改善がどこへ波及するかを知る必要があるということを確立している。