Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation

`) y modos no reflexivos, optimizado para la generación de herramientas.

• Fase 2: RL en Cascada (Cascade RL):

  • A diferencia del RL secuencial tradicional, este enfoque entrena en etapas secuenciales por dominio para mitigar la interferencia.
  • Ordenamiento Estratégico: La secuencia se determina dinámicamente para priorizar tareas fundamentales (como el seguimiento estricto de instrucciones - IF-RL) antes de pasar a tareas complejas (RLHF, razonamiento matemático, codificación). Esto permite que las etapas posteriores recuperen o refinen capacidades sin destruir las adquiridas anteriormente.
  • Entrenamiento Multi-Dominio: Se agrupan dominios con formatos de respuesta y costos de verificación similares (ej. preguntas de opción múltiple STEM y llamadas a herramientas) para entrenarlos conjuntamente, mejorando la eficiencia.

• Fase 3: Destilación en Política Múltiple (MOPD - Multi-Domain On-Policy Distillation):

  • Innovación Clave: Para contrarrestar cualquier regresión en benchmarks causada por el entrenamiento en entornos RL complejos, el modelo se destila utilizando "maestros" intermedios.
  • Se seleccionan los checkpoints más fuertes de cada dominio específico (generados durante el proceso de RL en cascada) y se utilizan como maestros para entrenar al modelo estudiante.
  • Esto proporciona una ventaja densa a nivel de token (en lugar de recompensas dispersas a nivel de secuencia), permitiendo una convergencia más rápida y estable, recuperando el rendimiento en dominios anteriores mientras se gana en nuevos.

• Fase 4: RLHF y Escalado en Tiempo de Inferencia:

  • Se aplica RL basado en retroalimentación humana (usando un modelo generativo de recompensas) exclusivamente en modo de pensamiento para mejorar la alineación y la escritura creativa.
  • Para competiciones de alto nivel (IMO, IOI), se utiliza un marco de escalado en tiempo de prueba (test-time scaling) que permite al modelo generar múltiples soluciones, verificarlas y refinarlas iterativamente.

3. Contribuciones Clave

1. Nemotron-Cascade-2-30B-A3B: Un modelo abierto de 30B parámetros (3B activados) que logra un rendimiento de "medalla de oro" en las Olimpiadas Internacionales de Matemáticas (IMO 2025) y de Informática (IOI 2025), compitiendo con modelos propietarios y modelos de código abierto masivos (como DeepSeek-V3.2-Speciale de 671B).
2. Marco MOPD: La introducción de la destilación en política múltiple dentro del flujo de RL en cascada, que actúa como un mecanismo de estabilización para recuperar el rendimiento en dominios previos sin sacrificar las ganancias en nuevos dominios.
3. Eficiencia de Inteligencia: Demostración de que es posible alcanzar capacidades de razonamiento de frontera con una densidad de parámetros 20 veces menor que los modelos más grandes actuales (ej. DeepSeek-Math-V2).
4. Open Source Completo: Liberación de los pesos del modelo, los datos de entrenamiento (SFT y RL) y los detalles metodológicos, permitiendo la reproducibilidad completa.

4. Resultados Principales

El modelo ha demostrado un rendimiento superior en una amplia gama de benchmarks:

• Matemáticas:
  • IMO 2025: Obtuvo una puntuación de 35/42, logrando la Medalla de Oro. Es el segundo modelo de pesos abiertos en lograr esto.
  • IMO-ProofBench: 72.9 puntos, superando a modelos mucho más grandes y acercándose a DeepSeek-Math-V2 (671B) con 10x menos parámetros activos.
  • AIME 2025/2026 y HMMT: Rendimiento líder en la clase, superando a Qwen3.5-35B y Nemotron-3-Super-120B.
• Codificación Competitiva:
  • IOI 2025: Puntuación de 439.28/600, logrando la Medalla de Oro.
  • ICPC World Finals 2025: Resolvió 10 de 12 problemas, obteniendo la Medalla de Oro (4º lugar).
  • LiveCodeBench: Supera a modelos de 300B+ parámetros (como Kimi-K2.5-1T y Qwen3.5-397B) en configuraciones de razonamiento integrado con herramientas (TIR).
• Otras Capacidades:
  • Razonamiento de Agentes (SWE): Supera a modelos base y rivales en SWE-bench Verified.
  • Seguimiento de Instrucciones: Logra 83.5 en ArenaHard v2 y 82.9 en IFBench, superando a modelos de 35B y 120B.
  • Contexto Largo: Mantiene un rendimiento alto en tareas de 1M de tokens (NIAH@1M).

5. Significado e Impacto

El trabajo de Nemotron-Cascade 2 es significativo porque:

• Democratiza el Razonamiento de Alto Nivel: Demuestra que no es necesario entrenar modelos de cientos de miles de millones de parámetros para alcanzar el nivel de las olimpiadas mundiales de matemáticas y programación; una arquitectura MoE eficiente con un pipeline de entrenamiento avanzado es suficiente.
• Resuelve el Dilema del Olvido Catastrófico: La combinación de RL en cascada con MOPD ofrece una solución práctica y escalable para entrenar modelos en múltiples dominios sin sacrificar capacidades previas, un problema histórico en el entrenamiento de LLMs.
• Establece un Nuevo Estándar Abierto: Al liberar el modelo y los datos, permite a la comunidad de investigación estudiar, replicar y extender las técnicas de RL en cascada y destilación, acelerando el desarrollo de modelos de razonamiento eficientes.
• Eficiencia Computacional: Logra resultados de vanguardia con una fracción de los parámetros activos, lo que implica menores costos de inferencia y mayor accesibilidad para aplicaciones en tiempo real.

En resumen, Nemotron-Cascade 2 representa un avance fundamental en la ingeniería de post-entrenamiento de LLMs, demostrando que la calidad del pipeline de entrenamiento (RL en cascada + destilación) es tan crucial como el tamaño del modelo para lograr inteligencia de alto nivel.