Resumo Técnico: NebulaExp-8B

Declaração do Problema

O alinhamento pós-treinamento é crítico para determinar as capacidades de raciocínio e de preferência humana de grandes modelos de linguagem (LLMs). No entanto, pesquisas existentes frequentemente carecem de transparência em relação à construção de dados, regras de filtragem e receitas de treinamento, o que dificulta a reprodutibilidade pela comunidade e a otimização de modelos leves. Além disso, os detalhes práticos que regem o desempenho pós-treinamento permanecem insuficientemente compreendidos, particularmente no que diz respeito aos compromissos (trade-offs) entre adesão a instruções, raciocínio matemático, geração de código e conhecimento geral. Este trabalho aborda essas lacunas apresentando um pipeline de pós-treinamento totalmente transparente e baseado em ablação para modelos de escala 8B.

Metodologia

O estudo introduz o NebulaExp, um pipeline de pós-treinamento abrangente construído sobre o Qwen3-8B-base. A pesquisa é organizada em dois ramos ortogonais de modelos: um Modelo de Instrução Geral e um Modelo Especializado em Raciocínio Complexo. A metodologia abrange três estágios primários:

1. Curadoria e Processamento de Dados

O pipeline processa um corpus bruto de 3,84 milhões de amostras SFT de múltiplas fontes e um pool de candidatos de RL verificáveis de 200K. As principais etapas de processamento incluem:

• Destilação: Unificação de estilos de resposta e lógica de diálogo utilizando modelos professores fortes (Qwen3-235B-A22B-Instruct e Qwen3.5-397B-A17B).
• Filtragem: Um pipeline de três fases (verificação de consulta, resposta e resposta/solução) empregando verificações baseadas em regras, pontuação baseada em modelos e verificação específica de tarefas (ex: execução de código, verificação de resposta matemática).
• Graduação de Dificuldade: Um sistema refinado que classifica amostras em baixa, média e alta dificuldade com base em características de texto e taxas de pass@4 do modelo base.
• Classificação e Amostragem: Classificação de tarefas via um classificador leve seguido de amostragem consciente da diversidade para equilibrar a representação de domínios.

2. Paradigmas de Treinamento

O pipeline avalia três módulos de treinamento distintos:

• Ajuste Fino Supervisionado (SFT): Uma abordagem de três estágios envolvendo amostragem adaptativa dentro do domínio, mistura baseada em ganho entre domínios e consolidação final do modelo.
• Aprendizado por Reforço (RL): Utilizando GRPO (Otimização de Política Relativa de Grupo) em tarefas verificáveis (Matemática, Código, Seguimento de Instruções). O estudo investiga a dificuldade das amostras (filtrando amostras trivialmente insolúveis ou dominadas) e técnicas de treinamento (perda KL, tamanho de rollout, restrições on-policy).
• Destilação On-Policy (OPD): Um paradigma livre de verificadores onde o modelo estudante gera sequências e um modelo professor fornece supervisão da distribuição por token. Isso inclui OPD de Professor Único (focado em seguimento de instruções) e OPD de Múltiplos Professores (MOPD) (fundindo professores especialistas em domínios como Matemática, Código, Ciência e Seguimento de Instruções).

3. Estrutura de Avaliação

Os modelos são avaliados contra um conjunto rigoroso de benchmarks cobrindo conhecimento geral (MMLU-Redux, GPQA-Diamond), alinhamento de instrução (IFEval), raciocínio matemático/lógico (AIME'24/25, MATH-500, ZebraLogic, AutoLogi) e geração de código (LiveCodeBench v5).

Principais Contribuições

1. Pipeline de Dados Transparente: A construção de um pipeline de processamento de dados completo e reprodutível, cobrindo coleta de múltiplas fontes, destilação de estilo de resposta, filtragem multidimensional, graduação de dificuldade e amostragem de diversidade.
2. Receitas de Treinamento Baseadas em Ablação: Estudos de ablação sistemáticos quantificando o impacto da qualidade dos dados, dificuldade das amostras, proporções de mistura de domínios e seleção de professores.
   • Ramo de Instrução: Identificou que o raciocínio matemático e a geração de código exigem preferências de distribuição de dados opostas (alta entropia/IFD para matemática vs. baixa entropia/IFD para código) e que textos gerais de formato longo transferem ganhos para o raciocínio lógico formal.
   • Ramo de Raciocínio: Demonstrou que o GRPO de dificuldade média melhora os escores de raciocínio e que o OPD pode servir como uma alternativa livre de verificadores.
3. Eficácia do OPD: Evidência empírica de que a Destilação On-Policy pode superar as linhas de base de RL com significativamente menos amostras (4K vs. 53K) e maior estabilidade, particularmente para seguimento de instruções.
4. Recombinação de Conhecimento: Descoberta de que o MOPD permite que os modelos estudantes excedam os limites de desempenho de professores individuais em benchmarks específicos (ex: raciocínio matemático) através da recombinação de conhecimento entre professores.

Principais Resultados

Ramo do Modelo de Instrução

• Estágio SFT: A abordagem SFT de três estágios otimizada (NebulaExp-Ins-SFT) melhorou o escore médio do benchmark de 55,01 (Qwen3-8B-nothink) para 60,99.
• Estágio RL: O aprendizado por reforço GRPO subsequente elevou ainda mais o escore médio para 61,85.
• Compromissos (Trade-offs): Embora as capacidades de raciocínio (AIME'24 +15,00, ZebraLogic +35,90) tenham tido ganhos massivos, o seguimento de instruções (IFEval) sofreu inicialmente um "imposto de alinhamento" (−5,54), que foi recuperável através de aumento de dados direcionado.

Ramo do Modelo de Raciocínio

• Estágio SFT: O NebulaExp-reasoning-SFT alcançou desempenho forte em benchmarks de código (LiveCodeBench v5: 68,25) e matemática (AIME'24: 80,83, MATH-500: 98,00), superando várias linhas de base externas, incluindo Qwen3-14B e QWQ-32B, em métricas específicas.
• Estágio RL: O GRPO de dificuldade média em um subconjunto de 8K melhorou o escore médio de raciocínio de 73,88 para 75,17, com ganhos notáveis em raciocínio científico (GPQA-Diamond).
• Estágio OPD:
  • Professor Único: Usando apenas 4K amostras de seguimento de instrução, o OPD de professor único superou a linha de base de RL no IFEval em 3,26 pontos e melhorou a média de capacidade geral em 4,43 pontos.
  • Múltiplos Professores (MOPD): A fusão de quatro professores especialistas de domínio com 10K amostras elevou o desempenho médio em 4,18 pontos sobre o modelo base. Notavelmente, o modelo estudante superou os limites superiores dos professores individuais em AIME'25 e MATH-500.

Significância e Alegações

O artigo afirma que a filtragem de correção de dados atua como o fator de otimização de primeira ordem, enquanto a compatibilidade da distribuição do professor supera a escala do modelo para destilação. A principal contribuição não é meramente alcançar pontuações mais altas em tabelas de classificação (leaderboards), mas revelar os mecanismos internos e os compromissos empíricos do pipeline de pós-treinamento.

Os autores afirmam que um pipeline de pós-treinamento cuidadosamente projetado e transparente pode melhorar substancialmente a capacidade do modelo sem modificar a arquitetura do modelo base. Eles enfatizam que:

• Qualidade de Dados > Escala de Dados: A filtragem de correção e a amostragem consciente da dificuldade são mais críticas do que simplesmente aumentar o tamanho do corpus.
• OPD como uma Alternativa Viável: Para tarefas que carecem de verificadores confiáveis, o OPD oferece uma alternativa estável e eficiente em termos de dados ao RL, capaz de fundir múltiplas capacidades especialistas em um modelo unificado.
• Reprodutibilidade: O trabalho fornece uma receita empírica totalmente reprodutível para LLMs de escala 8B, dissecando os compromissos entre adesão a instruções, raciocínio e codificação.

O estudo conclui que, embora os resultados atuais sejam promissores na escala 8B, trabalhos futuros devem investigar a escalabilidade dessas receitas para arquiteturas densas e MoE maiores, bem como a extensão para cenários de treinamento agênticos envolvendo uso de ferramentas e ambientes interativos.