Nemotron-Cascade 2: 技術的サマリー

本論文は、NVIDIA によって開発された新しいオープンウェイト大規模言語モデル（LLM）「Nemotron-Cascade 2」の発表と、その背後にあるトレーニング手法に関する詳細な報告書です。特に、**Cascade RL（連鎖強化学習）とマルチドメイン・オンポリシー蒸留（MOPD）**を組み合わせたポストトレーニング手法により、小型モデルでありながら最先端の推論能力とエージェント機能を達成した点が核心です。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細にまとめます。

1. 問題定義と背景

現在の LLM のポストトレーニング（SFT 後の調整）において、強化学習（RL）は推論能力やエージェント機能の向上に不可欠ですが、以下の課題が存在します。

• ドメイン間の干渉と忘却: 複数のタスク領域（数学、コーディング、指示従順性など）を同時に、または無秩序に RL 学習させると、ある領域の学習が他の領域の性能を低下させる（カタストロフィック・フォーgetting）リスクがあります。
• 複雑な報酬信号の統合: 数学的証明、コード実行、人間の評価など、多様で複雑な報酬信号を単一のモデルに統合するのは困難です。
• 計算効率: 大規模なモデルをすべてのドメインで同時に学習させるには膨大な計算資源が必要であり、効率的な学習パイプラインの確立が求められています。

Nemotron-Cascade 1 はドメインごとの順序付き RL を導入しましたが、Nemotron-Cascade 2 では、より広範な推論領域への拡張と、学習中の性能低下を補正する新しいメカニズムの導入が必要でした。

2. 提案手法：Nemotron-Cascade 2

Nemotron-Cascade 2 は、30B パラメータ（活性化パラメータ 3B）の MoE（Mixture-of-Experts）モデルです。そのトレーニングパイプラインは、以下の 3 つの主要な技術的革新によって構成されています。

2.1 高度な教師あり微調整（SFT）

まず、多様なドメイン（数学、コーディング、科学、長文脈、エージェントタスクなど）で精心にキュレーションされたデータセットを用いて SFT を実施します。

• データ量と質: 数学（ツール使用あり・なし）、コード推論、科学、長文脈、一般チャット、指示従順性、安全性、ソフトウェアエンジニアリング（SWE）エージェントなど、多岐にわたるデータを含みます。
• 思考モードの統合: チャットテンプレートに<thought>ブロックを統合し、モデルが「思考モード」と「非思考モード」を適切に使い分けられるように設計されています。

2.2 Cascade RL（連鎖強化学習）の拡張

従来の Cascade RL をさらに発展させ、ドメインごとの RL ステージを厳密に順序付け、相互干渉を最小化します。

• 順序の最適化: 指示従順性（IF-RL）を最初に学習させ、その後にマルチドメイン RL、RLHF、長文脈 RL、コード RL、SWE RL の順で学習を進めます。これは、IF-RL が人間のアライメント能力に悪影響を与える可能性を考慮し、後続の RLHF ステージでそれを回復させる戦略に基づいています。
• マルチドメイン RL: 相互干渉が少ないタスク群（多肢選択問題、エージェントツール呼び出し、構造化出力など）を単一の RL ステージに統合し、学習効率を向上させています。

2.3 マルチドメイン・オンポリシー蒸留（MOPD）

これが本論文の最も重要な技術的貢献の一つです。Cascade RL の過程で、特定のドメインで特化した中間モデル（教師モデル）から知識を蒸留し、モデル全体の性能を安定させます。

• 仕組み: 各ドメイン（数学、RLVR、RLHF など）で最も性能の良い中間チェックポイントを「教師モデル」として選択します。学生モデル（現在のポリシー）が生成したトークンに対して、教師モデルの確率分布に基づいた「密なトークンレベルの蒸馏利得（distillation advantage）」を計算し、学習に利用します。
• 効果: 従来の GRPO（Group Relative Policy Optimization）のようなスパースな結果報酬に依存する手法と異なり、MOPD はトークンレベルで密な学習信号を提供するため、学習の収束が非常に速く、RL 学習中に発生するベンチマーク性能の低下（回帰）を効果的に回復させます。

3. 主要な結果

Nemotron-Cascade-2-30B-A3B は、30B パラメータ（活性化 3B）というコンパクトなサイズでありながら、最先端のモデルと競合する、あるいは凌駕する性能を示しました。

3.1 数学的推論（IMO 2025）

• 国際数学オリンピック（IMO 2025）: 30B モデルでありながら、**金メダルレベル（35/42 点）**の成績を収めました。これは、DeepSeek-V3.2-Speciale-671B-A37B に次ぐ、2 番目のオープンウェイト LLM として金メダル基準を達成したことを意味します。
• パラメータ効率: 671B パラメータの DeepSeek-Math-V2 と比較して、活性化パラメータが約 20 分の 1 でありながら、IMO-ProofBench で 72.9 点（DeepSeek-Math-V2 は 76.7 点）を記録し、驚異的な「知能密度」を示しました。

3.2 コーディング推論（IOI 2025, ICPC World Finals 2025）

• IOI 2025（国際情報オリンピック）: **金メダル（439.28/600 点）**を獲得しました。
• ICPC World Finals 2025: 12 問中 10 問を正解し、金メダルを獲得しました。
• LiveCodeBench: 最新のベンチマークでも、Qwen3.5-35B や 397B モデル、Kimi-K2.5-1T などの最先端モデルを上回る、あるいは同等の性能を達成しました。特にツール統合推論（TIR）を使用した場合、さらに性能が向上します。

3.3 その他のベンチマーク

• 指示従順性（Instruction Following）: IFBench や ArenaHard v2 などで SOTA 性能を達成。
• 長文脈: 100 万トークンの文脈（NIAH@1M）で 99.0% の精度を達成。
• エージェントタスク: SWE Verified (OpenHands) や Terminal Bench 2.0 などで高い性能を示し、ソフトウェアエンジニアリングやターミナル操作におけるエージェント能力が強化されています。

4. 主要な貢献

1. 小型モデルによる金メダル達成: 30B MoE モデル（活性化 3B）で、IMO と IOI の両方で金メダル基準を達成した最初のオープンモデルの一つ（DeepSeek-V3.2-Speciale に次ぐ）となりました。
2. MOPD（マルチドメイン・オンポリシー蒸留）の導入: Cascade RL の過程で、ドメイン特化型教師モデルからのオンポリシー蒸留を導入し、学習中の性能回帰を防止し、収束を加速させる新しい手法を確立しました。
3. オープンソース化: モデルの重み、トレーニングデータ（SFT データ、RL データ）、およびトレーニング方法論のすべてをオープンソースとして公開し、研究コミュニティによる再現と拡張を可能にしました。
4. 効率的なトレーニングパイプライン: ドメインごとの RL 順序付けと MOPD を組み合わせることで、大規模モデルに匹敵する性能を、はるかに少ない計算資源で達成するパイプラインを提示しました。

5. 意義と今後の展望

Nemotron-Cascade 2 は、LLM の「知能密度（パラメータあたりの能力）」が、単なるスケーリング則（モデルサイズを大きくする）だけでなく、高度なトレーニング手法（Cascade RL と MOPD）の組み合わせによって劇的に向上し得ることを実証しました。

• 実用性: 30B モデルというサイズは、推論コストが低く、実環境でのエージェント応用やエッジデバイスへの展開が現実的であることを示唆しています。
• 研究への影響: オープンデータと手法の公開により、推論能力の向上メカニズムの解明や、より効率的な RL 手法の開発が加速することが期待されます。
• 今後の課題: 知識集約型タスクや複雑なエージェントタスクにおいて、より大規模な事前学習データや、さらに高度なエージェント RL の必要性が指摘されています。

総じて、Nemotron-Cascade 2 は、LLM のポストトレーニングにおける新しいパラダイムを示し、小型モデルでも最先端の推論能力を実現可能にする重要なマイルストーンとなりました。