Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

Resumo Técnico: Treinamento Intermediário com Dados Auto-gerados Melhora o Aprendizado por Reforço em Modelos de Linguagem

Declaração do Problema
Avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) destacaram o Aprendizado por Reforço (RL) como uma técnica potente para aprimorar capacidades de raciocínio, particularmente através da escalabilidade no tempo de inferência. No entanto, a eficácia do RL depende fortemente dos priores estabelecidos no modelo antes do treinamento por RL. A literatura existente sugere que o RL com recompensas verificáveis (RLVR) frequentemente realiza um "aprimoramento distribucional", amplificando seletivamente comportamentos já presentes no modelo base em vez de induzir capacidades genuinamente novas. Quando um modelo carece de exposição a abordagens diversas de resolução de problemas para uma única tarefa, o treinamento subsequente por RL pode lutar para melhorar o desempenho ou até mesmo degradá-lo sob certas métricas de avaliação (por exemplo, pass@k). O desafio central abordado é como equipar efetivamente um modelo base com um conjunto rico de estratégias de raciocínio diversas antes de aplicar o RL, permitindo assim que o processo de RL componha e refine essas estratégias, em vez de meramente reforçar um conjunto restrito de comportamentos existentes.

Metodologia
Os autores propõem um framework de treinamento intermediário que serve como um passo intermediário entre o pré-treinamento e o RL. Esta fase utiliza dados auto-gerados diversos para expor o modelo a múltiplas trajetórias de solução válidas para o mesmo problema.

1. Geração de Dados Guiada por Heurísticas:

   • O framework se inspira nas heurísticas de resolução de problemas de George Pólya (por exemplo, Analogia, Decomposição & Recomposição, Trabalhar para Trás).
   • Para cada questão em um conjunto de dados inicial (GSM8K), o modelo base é solicitado com descrições específicas de heurísticas e exemplares de poucos exemplos (few-shot) para gerar múltiplas respostas candidatas.
   • Este processo é bootstrapado: o modelo gera seus próprios dados de treinamento sem depender de destilação de modelos professores mais fortes.
   • Filtragem e Seleção: As respostas geradas são filtradas quanto à correção usando verificadores baseados em regras (por exemplo, Math-Verify). Os candidatos restantes são pontuados por um modelo de recompensa ($R_\phi$) com base na adesão à heurística específica. A resposta com a pontuação mais alta para cada par questão-heurística é selecionada.
   • O conjunto de dados resultante ($D_{Pólya}$) contém $n$ variantes de solução distintas por questão, onde $n$ representa o número de heurísticas aplicadas.

2. Treinamento Intermediário (Ajuste Fino Supervisionado):

   • O modelo base é ajustado finamente em $D_{Pólya}$. Ao contrário do SFT padrão que associa uma questão a uma única resposta, esta abordagem associa cada questão a $n$ trajetórias diversas.
   • O objetivo é minimizar o log-verossimilhança negativa sobre essas múltiplas trajetórias, encorajando o modelo a atribuir probabilidade não desprezível a várias opções de próximo token em pontos de ramificação, criando efetivamente uma distribuição de próximo token N-modal.

3. Aprendizado por Reforço:

   • Após o treinamento intermediário, o modelo passa por treinamento por RL usando Otimização de Política Relativa em Grupo (GRPO) em um conjunto de dados separado (DAPO-Math-17k).
   • O estudo compara modelos inicializados com números variados de heurísticas ($n \in \{1, 2, \dots, 64\}$) contra baselines: Zero-Shot, RL Vanilla (diretamente no modelo base) e STaR+RL (Raciocinador Auto-ensinado seguido de RL).

Perspectiva Teórica
O artigo fornece uma análise teórica de como o treinamento intermediário influencia as atualizações de gradiente de política:

• Regimes Unimodal vs. N-modal: Em um regime unimodal (alta confiança em um único token), uma atualização de gradiente de política resulta em mudanças negligenciáveis ($\propto \epsilon^2$). Em contraste, em um regime N-modal (massa de probabilidade dividida entre $N$ modos dominantes), a atualização induz mudanças conservadoras, porém apreciáveis ($\propto 1/N$).
• Composição de Estratégias: Os autores provam que, sob uma atualização de vantagem negativa, a massa de probabilidade removida de um token amostrado é redistribuída predominantemente para os $N-1$ modos dominantes restantes. Este mecanismo incentiva o modelo a aprender a combinar diferentes abordagens de resolução de problemas dentro de uma única resposta durante o RL, em vez de colapsar para uma única estratégia.

Principais Resultados
Experimentos foram conduzidos em Llama 3.2–3B–Instruct e Qwen2.5–7B–Instruct em seis benchmarks de raciocínio matemático (Math-500, AIME 2024/2025, AMC 2023, HMMT 2025, OlympiadBench) e tarefas fora de domínio (HumanEval, MuSR).

• Ganhos de Desempenho: O treinamento intermediário com dados auto-gerados diversos melhora consistentemente o desempenho do RL, particularmente em valores mais altos de $k$ (pass@64).
  • No Math-500, o pass@64 melhorou de 87,76% (Zero-Shot) para 88,94% ($n=64$).
  • No AIME 2025, o pass@64 aumentou de 12,84% para 18,66%.
  • Modelos com treinamento intermediário com maior diversidade de raciocínio ($n=64$) superaram as baselines de RL Vanilla e STaR+RL em todos os benchmarks.
• Diversidade vs. Quantidade: Um experimento controlado mostrou que aprender múltiplas abordagens por questão (menos problemas, mais abordagens) produz benefícios maiores para o RL do que aprender uma única abordagem em um número maior de problemas, dado um orçamento de treinamento fixo.
• Correção é Essencial: O treinamento intermediário com abordagens diversas que levam a respostas incorretas falhou em melhorar o desempenho do RL, indicando que a correção é um pré-requisito para os benefícios da diversidade.
• Superioridade sobre Destilação: Os dados auto-gerados exibiram maior diversidade (Pontuação Vendi 13,81) em comparação com dados destilados de um modelo professor mais forte (QwQ-32B, Pontuação Vendi 10,95), levando a um melhor desempenho downstream.
• Generalização: Apesar da natureza centrada em matemática das heurísticas de Pólya, as estratégias aprendidas generalizaram-se para geração de código (HumanEval) e raciocínio narrativo (MuSR), com ganhos significativos em tarefas de raciocínio multi-etapa.

Significado e Alegações
O artigo alega que a contribuição principal é demonstrar que a exposição a múltiplas abordagens de resolução de problemas via dados auto-gerados durante o treinamento intermediário molda fundamentalmente os priores do modelo, permitindo que o RL subsequente componha efetivamente essas estratégias.

• Mecanismo de Melhoria: O estudo postula que o RL não necessariamente cria capacidades de raciocínio "emergentes" do zero, mas sim compõe comportamentos existentes. O treinamento intermediário garante que esses comportamentos sejam diversos e disponíveis para composição.
• Utilidade Prática: A abordagem oferece um método simples, eficaz e escalável para melhorar o RL sem exigir anotação humana ou modelos professores mais fortes.
• Insight Teórico: O trabalho preenche a lacuna entre o sucesso empírico do RL e a compreensão teórica, mostrando como distribuições N-modal previnem o colapso de modos e facilitam a aprendizagem de cadeias de raciocínio compostas.

Os autores permanecem modestos quanto à precisão de amostra única (pass@1), observando que seu foco está em entender como a exposição diversa molda o comportamento do RL e em melhorar o desempenho em cenários que exigem múltiplas tentativas de amostragem (pass@k). Eles reconhecem que, embora as heurísticas sejam centradas em matemática, a generalização resultante para outros domínios sugere que o procedimento traz à tona e consolida capacidades latentes dentro do modelo base.