Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation

Technische Zusammenfassung: Nemotron-Cascade 2

1. Problemstellung und Zielsetzung
Das Hauptziel der Arbeit ist die Entwicklung eines leistungsfähigen, offenen Large Language Models (LLM), das trotz kompakter Größe (30 Milliarden Parameter, davon nur 3 Milliarden aktiviert) Spitzenleistungen in komplexen reasoning-Aufgaben (Logikschließen), mathematischer Beweisführung und Programmierung erzielt.
Das zentrale Problem besteht darin, wie man ein Modell effizient auf eine Vielzahl unterschiedlicher Domänen (Mathematik, Code, Agentenaufgaben, Sicherheit) trainiert, ohne dass es zu „katastrophalem Vergessen" (Catastrophic Forgetting) kommt, bei dem das Modell Fähigkeiten verliert, die es in früheren Trainingsphasen erworben hat. Zudem soll die hohe Rechenintensität von Reinforcement Learning (RL) über verschiedene Domänen hinweg optimiert werden.

2. Methodik: Das Nemotron-Cascade 2 Framework
Das Modell basiert auf einer 30B MoE-Architektur (Mixture-of-Experts) mit 3B aktivierten Parametern (Nemotron-3-Nano-30B-A3B-Base). Der Post-Training-Prozess gliedert sich in zwei Hauptphasen:

• A. Supervised Fine-Tuning (SFT):

  • Das Modell wird auf einem umfassend kuratierten Datensatz trainiert, der Mathematik (Beweise und Berechnungen), Code-Reasoning, Wissenschaft, lange Kontexte, allgemeine Chat-Interaktionen, Sicherheitsrichtlinien und Software-Engineering-Agenten abdeckt.
  • Ein besonderes Merkmal ist die Nutzung von „Thinking"- und „Non-Thinking"-Modi im Chat-Template, um das Modell zu aktivieren, komplexe Probleme schrittweise zu lösen.

• B. Cascade Reinforcement Learning (Cascade RL):
  Dies ist der Kern der Innovation. Anstatt alle RL-Aufgaben gleichzeitig zu trainieren, wird ein sequenzieller, domänenspezifischer Ansatz gewählt:

  1. Instruction-Following RL (IF-RL): Startet mit strikter Befolgung von Anweisungen, um eine stabile Basis zu schaffen.
  2. Multi-Domain RL: Erweiterung auf STEM, Tool-Calling und strukturierte Ausgaben.
  3. Multi-Domain On-Policy Distillation (MOPD): Dies ist eine entscheidende Neuerung. Während des RL-Prozesses werden die besten Zwischenmodelle (Lehrer) für jede spezifische Domäne identifiziert. Das aktuelle Student-Modell wird dann durch On-Policy Distillation von diesen Lehrern unterrichtet. Dies ermöglicht es, Leistungsabfälle (Regressions) in bestimmten Benchmarks zu korrigieren und die Fähigkeiten zu stabilisieren, ohne externe Modelle zu benötigen.
  4. RLHF (Reinforcement Learning from Human Feedback): Ausrichtung auf menschliche Präferenzen (z. B. kreative Schreibfähigkeit), wobei das Modell im „Thinking"-Modus trainiert wird, um die Instruktionsbefolgung nicht zu beeinträchtigen.
  5. Spezialisierte RL-Phasen: Separate Phasen für lange Kontexte, kompetitive Programmierung (Code RL) und Software-Engineering-Agenten (SWE RL), die auf ausführbaren Umgebungen basieren.

3. Schlüsselbeiträge und Innovationen

• Nemotron-Cascade-2-30B-A3B: Ein offenes Modell, das als zweites Open-Weight-Modell (nach DeepSeek-V3.2-Speciale) Gold-Medaille-Niveau in der Internationalen Mathematik-Olympiade (IMO) und der Internationalen Informatik-Olympiade (IOI) erreicht, obwohl es nur 1/20 der Parameter der größten Open-Modelle hat.
• Multi-Domain On-Policy Distillation (MOPD): Ein Mechanismus, der es erlaubt, Wissen von spezialisierten Zwischenlehrern während des RL-Prozesses zu integrieren. Dies verhindert, dass das Modell bei komplexeren RL-Umgebungen Fähigkeiten in früheren Domänen verliert, und beschleunigt die Konvergenz im Vergleich zu reinem GRPO (Group Relative Policy Optimization).
• Optimiertes Cascade-RL-Design: Die Reihenfolge der RL-Phasen wird dynamisch angepasst, um Interferenzen zwischen Domänen zu minimieren (z. B. wird IF-RL vor RLHF gesetzt, um die Instruktionsbefolgung nicht zu gefährden).
• Vollständige Open-Source-Veröffentlichung: Das Team veröffentlicht nicht nur die Modellgewichte, sondern auch die gesamten Trainingsdaten (SFT, RL) und die Methodik.

4. Ergebnisse und Benchmarks
Das Modell erzielt State-of-the-Art-Ergebnisse in mehreren Bereichen:

• Mathematik:
  • IMO 2025: Gold-Medaille (35/42 Punkte).
  • IMO-ProofBench: 72,9 Punkte (nahe an DeepSeek-Math-V2-671B, bei 10x weniger Parametern).
  • AIME 2025/2026 & HMMT: Spitzenleistungen, oft besser als größere Modelle wie Qwen3.5-35B oder Nemotron-3-Super-120B.
• Programmierung:
  • IOI 2025 & ICPC World Finals 2025: Gold-Medaille in beiden Wettbewerben.
  • LiveCodeBench: 88,4 Punkte (mit Tool-Integrated Reasoning), was das Modell an die Spitze der Open-Source-Modelle bringt und mit proprietären Modellen wie Gemini Deep Think mithalten lässt.
• Allgemeine Fähigkeiten:
  • Übertrifft Qwen3.5-35B und Nemotron-3-Super-120B in Bereichen wie Alignment, Instruktionsbefolgung (ArenaHard v2) und langen Kontexten (1M Token Fenster).
  • Zeigt starke Fähigkeiten in Software-Engineering-Aufgaben (SWE-bench), insbesondere durch die Kombination aus Agenten- und Agentless-RL.

5. Bedeutung und Ausblick
Nemotron-Cascade 2 demonstriert, dass durch intelligente Trainingsarchitekturen (Cascade RL + MOPD) die „Intelligenzdichte" (Intelligence Density) von Modellen drastisch erhöht werden kann. Ein 30B-Modell kann Aufgaben lösen, für die bisher Modelle mit hunderten Milliarden Parametern oder proprietäre Systeme nötig waren.
Die Veröffentlichung der Daten und Methoden ermöglicht der Forschungsgemeinschaft, diese effizienten Post-Training-Strategien zu reproduzieren und weiterzuentwickeln. Dies ist ein wichtiger Schritt hin zu leistungsfähigen, aber ressourcenschonenden KI-Systemen, die komplexe, mehrstufige Probleme in der realen Welt lösen können.

Zusammenfassend stellt Nemotron-Cascade 2 einen Durchbruch in der Effizienz von LLM-Post-Training dar und setzt neue Maßstäbe für Open-Source-Modelle in den Bereichen Mathematik und Programmierung.