Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation

`.

C. RL em Cascata (Cascade RL)

Diferente do RL tradicional que mistura domínios, o Cascade RL treina sequencialmente em domínios específicos para mitigar interferências. A ordem é dinâmica e baseada na necessidade de mitigar o esquecimento catastrófico:

1. IF-RL (Instruction Following): Estabelece adesão estrita a instruções (ex: limites de tokens, formatação).
2. Multi-domain RL: Combina domínios não conflitantes (QA STEM, chamadas de ferramentas, saída estruturada).
3. MOPD (Multi-domain On-Policy Distillation): Ver abaixo.
4. RLHF (Reinforcement Learning from Human Feedback): Alinhamento com preferências humanas e criatividade.
5. Long-context RL: Focado em compreensão de contextos massivos (até 1M tokens).
6. Code RL: Focado em problemas de programação competitiva (IOI, Codeforces).
7. SWE RL (Software Engineering): Treinamento de agentes para tarefas de engenharia de software (OpenHands, SWE-bench).

D. Destilação On-Policy Multi-Domínio (MOPD)

Esta é uma contribuição técnica central. Durante o processo de RL em cascata, o modelo pode sofrer regressões em benchmarks específicos.

• Mecanismo: O modelo "aluno" é destilado a partir de "professores" intermediários que foram os melhores em cada domínio específico durante o treinamento em cascata.
• Vantagem: Como os professores vêm do mesmo pipeline de SFT, há menos shift de distribuição. A destilação fornece um sinal de gradiente denso (nível de token) em vez de recompensas esparsas (nível de sequência), permitindo recuperar rapidamente o desempenho perdido e estabilizar o modelo final.

E. Escalonamento no Tempo de Inferência (Test-Time Scaling)

Para competições como IMO e IOI, o modelo utiliza frameworks de auto-otimização:

• Geração-Verificação-Refinamento: O modelo gera múltiplas soluções, verifica-as (usando executadores de código ou avaliadores LLM) e refina as melhores.
• Feedback de Histórico: Em IOI, o modelo recebe o histórico de submissões e vereditos para iterar sobre a solução.

3. Principais Contribuições

1. Desempenho de Alta Densidade de Inteligência: Um modelo de 30B (3B ativados) alcança desempenho comparável ou superior a modelos de 100B+ e modelos proprietários fechados em raciocínio matemático e de código.
2. MOPD (Multi-domain On-Policy Distillation): Uma técnica eficaz para estabilizar o treinamento em cascata, recuperando regressões de benchmarks sem necessidade de re-treinamento massivo.
3. Abordagem Open-Source Completa: A NVIDIA libera não apenas os pesos do modelo, mas também os dados de treinamento (SFT e RL) e detalhes metodológicos, permitindo reprodução e extensão pela comunidade.
4. Estrutura de RL em Cascata Otimizada: Uma ordem de treinamento dinâmica que prioriza a adesão a instruções antes do alinhamento humano, maximizando a performance em tarefas de raciocínio estrito.

4. Resultados

O Nemotron-Cascade-2-30B-A3B alcançou resultados notáveis em 2025 (dados simulados no contexto do paper):

• Olimpíadas Internacionais:
  • IMO 2025 (Matemática): Medalha de Ouro (35/42 pontos).
  • IOI 2025 (Informática): Medalha de Ouro (439.28/600 pontos).
  • ICPC World Finals 2025: Medalha de Ouro (10/12 problemas resolvidos).
  • Nota: É o segundo modelo open-weight a atingir esse nível, após o DeepSeek-V3.2-Speciale-671B-A37B.
• Benchmarks de Raciocínio e Código:
  • LiveCodeBench v6: 88.4 (com TIR - Tool Integrated Reasoning), superando modelos maiores como Qwen3.5-397B.
  • AIME 2025: 92.4 (98.6 com TIR).
  • HMMT Feb 2025: 94.6.
  • ArenaHard v2: 83.5 (superando Qwen3.5-35B e Nemotron-3-Super-120B).
• Eficiência: O modelo utiliza 20x menos parâmetros do que modelos de fronteira (como o DeepSeek-671B) para atingir resultados de nível de medalha de ouro.
• Limitações: O modelo ainda apresenta desempenho inferior em tarefas intensivas em conhecimento geral e tarefas de agentes complexos em comparação com modelos maiores, indicando a necessidade de pré-treinamento mais rico em conhecimento futuro.

5. Significado e Impacto

O Nemotron-Cascade 2 representa um marco na eficiência de modelos de IA:

• Democratização do Raciocínio de Elite: Demonstra que é possível alcançar capacidades de raciocínio de nível humano (Olimpíadas) com modelos de tamanho médio (30B), tornando-os mais acessíveis para implantação em hardware limitado.
• Validação do RL em Cascata: Confirma que a separação cuidadosa de domínios de treinamento, combinada com destilação on-policy, é uma estratégia superior para treinar modelos multifacetados sem perder capacidades.
• Transparência Científica: Ao abrir os dados e o método, o trabalho permite que a comunidade científica analise e melhore as técnicas de RL para raciocínio, acelerando o desenvolvimento de agentes autônomos mais robustos.

Em resumo, o trabalho estabelece um novo padrão para modelos open-source, provando que a arquitetura de treinamento (Cascade RL + MOPD) é tão crucial quanto o tamanho do modelo para atingir inteligência de ponta.