🤖 machine learning

RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training

Este artigo desafia a prática padrão de aplicar o aprendizado por reforço (RL) apenas após o ajuste fino supervisionado (SFT) ao demonstrar que integrar o RL mais cedo no pré-treinamento, otimizar a composição de dados e fundir os objetivos de RL com os de SFT pode aumentar efetivamente as capacidades de raciocínio e expandir as distribuições do modelo, preservando as habilidades gerais.

Autores originais: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Publicado 2026-06-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um aluno brilhante, mas bruto (o modelo de IA), para resolver problemas de matemática. Durante anos, a receita padrão consistiu em três etapas:

Pré-treinamento: O aluno lê milhões de livros para aprender linguagem geral e fatos.
SFT (Ajuste Fino Supervisionado): Um professor dá ao aluno um livro didático com problemas e suas respostas exatas e corretas, forçando o aluno a memorizar o caminho da solução.
RL (Aprendizado por Reforço): O aluno é colocado em um jogo onde ganha pontos apenas por acertar a resposta final, incentivando-o a descobrir novas maneiras de resolver problemas por conta própria.

Este artigo questiona: Será que realmente temos que esperar até que o aluno tenha lido todos os livros e memorizado o livro didático antes de deixá-lo jogar o jogo?

Aqui está o que os pesquisadores descobriram, explicado de forma simples:

1. Você pode começar o jogo cedo

A regra padrão diz: "Espere até que o aluno esteja totalmente treinado antes de dar o jogo a ele". Os pesquisadores tentaram dar o jogo (RL) ao aluno enquanto ele ainda estava lendo seus primeiros capítulos (no início do pré-treinamento).

O Resultado: Funcionou surpreendentemente bem! Mesmo quando o aluno tinha lido apenas uma fração minúscula dos livros, jogar o jogo ajudou-o a resolver problemas matemáticos muito melhor do que apenas ler mais livros. Na verdade, jogar o jogo cedo foi frequentemente tão bom quanto esperar até o fim e fazer toda a rotina de "Ler → Memorizar → Jogar".

2. O "Jogo" é melhor quando você não tem um livro didático

Normalmente, a etapa de "Memorizar" (SFT) exige um livro didático com as respostas corretas. Mas e se você não tiver livros didáticos suficientes?

A Descoberta: Se você tiver apenas um ou dois exemplos de como resolver um problema, a etapa de "Memorizar" falha. Mas o "Jogo" (RL) prospera. O aluno aprende a explorar e encontrar soluções por conta própria sem precisar de um gabarito perfeito. O jogo é um professor muito mais forte quando você tem poucos exemplos.

3. O ingrediente secreto é o Tipo de Livros, não o Tamanho do Aluno

As pessoas costumam pensar: "Se o aluno for maior (mais poderoso), ele aprenderá melhor". Os pesquisadores testaram isso tornando o aluno maior.

A Reviravolta: Tornar o aluno maior não o ajudou a aprender o jogo mais rápido. No entanto, dar a ele mais livros de matemática especificamente durante sua fase inicial de leitura ajudou.
A Lição: Se você quer que o aluno seja bom em matemática, alimente-o com histórias de matemática desde cedo. O conteúdo do que eles leem importa mais do que o tamanho do seu céreamente.

4. O Mito do "Aprimoramento" vs. "Expansão"

Existe um debate recente: O "Jogo" (RL) apenas torna as respostas existentes do aluno mais afiadas e confiantes, ou ele realmente ensina novas maneiras de pensar?

A Visão Antiga: Muitos pensavam que o RL apenas "afiava" o aluno, tornando-o confiante, mas não necessariamente mais inteligente.
A Nova Descoberta: Os pesquisadores descobriram que o efeito de "afiar" acontece, na verdade, devido à etapa de "Memorizar" (SFT). Quando você força um aluno a memorizar um livro didático primeiro, ele para de explorar.
A Real Magia: Se você deixar o aluno jogar o jogo diretamente sem memorizar o livro didático primeiro, ele realmente expande seu pensamento. Ele tenta muitos caminhos diferentes e descobre novas soluções que nunca conheceu antes. A etapa de "Memorizar" é o que realmente limita sua criatividade, não o jogo em si.

5. A Receita do "Super-Aluno"

Os pesquisadores combinaram o melhor de ambos os mundos. Em vez de fazer "Memorizar" e depois "Jogar", eles fizeram o aluno fazer ambos ao mesmo tempo.

Como funciona: Imagine o aluno resolvendo um problema. Uma parte do seu cérebro está checando o livro didático (SFT) e outra parte está experimentando novas ideias (RL). Eles fazem a média dos conselhos de ambas as partes para atualizar o cérebro.
O Resultado: Este "Super-Aluno" (Média Paralela) tornou-se o melhor em resolver problemas. Eles acertaram as respostas com mais frequência do que qualquer outro e, ao contrário dos alunos que apenas memorizaram o livro didático, não esqueceram como fazer outras coisas (como conversação geral).

Resumo das Grandes Conclusões

Não espere: Você pode usar o Aprendizado por Reforço (o jogo) muito cedo na vida de um modelo, mesmo antes de ele ter terminado sua fase de "leitura".
Dados importam mais do que tamanho: Alimentar o modelo com tipos específicos de dados (como matemática) durante o pré-treinamento é mais importante do que apenas tornar o modelo maior.
O RL não é o vilão: O RL não estraga as habilidades gerais de um modelo ou apenas o "afia". Esses efeitos negativos vêm da etapa de "Memorizar" (SFT). O RL ajuda os modelos a explorar e encontrar novas soluções.
Faça juntos: Os melhores resultados vêm de misturar as etapas de "Memorizar" e "Jogar" simultaneamente, em vez de fazê-las uma após a outra.

Em suma, o artigo sugere que devemos parar de tratar o Aprendizado por Reforço como um polimento final ao final do processo. Em vez disso, devemos tecê-lo no processo de treinamento muito mais cedo e misturá-lo com outros métodos para obter modelos mais inteligentes e capazes.

Resumo Técnico: Excursões de RL durante o Pré-Treinamento

Declaração do Problema

O pipeline de treinamento padrão para Grandes Modelos de Linguagem (LLMs) normalmente restringe o Aprendizado por Reforço (RL) à fase de pós-treinamento, aplicado apenas após um extenso pré-treinamento de predição do próximo token (NTP) e Ajuste Fino Supervisionado (SFT). Esta abordagem sequencial levanta duas questões fundamentais:

Tempo: É fundamentalmente necessário esperar até o fim do pré-treinamento para aplicar RL, ou o RL pode ser eficaz mais cedo?
Mecanismo: O RL inerentemente "afia" a distribuição de saída existente de um modelo (limitando a exploração) ou expande as capacidades? A literatura recente sugere que o RL principalmente afia distribuições, mas não está claro se isso é um artefato do pipeline padrão SFT→RL em vez do próprio objetivo de RL.

Além disso, há um debate sobre se o RL erode as capacidades gerais herdadas do pré-treinamento.

Metodologia

Os autores conduzem um estudo controlado de larga escala para isolar os efeitos do RL do regime de treinamento padrão.

Modelo & Dados: Eles pré-treinam um modelo de 1 bilhão de parâmetros (baseado na arquitetura OLMo2) do zero em um corpus de alta qualidade e focado em raciocínio (mix DOLMino, 50B de tokens). Eles também experimentam com um modelo de 4B e um modelo de 1B treinado em 60B de tokens (com dados matemáticos adicionais).
Checkpoints: Em vez de esperar pelo modelo final, eles salvam checkpoints ao longo do processo de pré-treinamento (de 4B a 50B de tokens).
Pipelines de Treinamento: Para cada checkpoint $M_t$ $M_{t}$ , eles aplicam quatro estratégias distintas de pós-treinamento:
1. RL Direto ( $M^R_t$ ): Aplicando RL (especificamente GRPO com recompensas verificáveis) diretamente ao checkpoint base sem SFT prévio.
2. SFT ( $M^{SFT}_t$ ): Ajuste Fino Supervisionado usando uma única solução de verdade fundamental (ground-truth) por problema.
3. SFT-Gold ( $M^{SFT-Gold}_t$ ): SFT usando todas as soluções de verdade fundamental disponíveis por problema (uma configuração frequentemente impraticável na realidade).
4. Pipeline Padrão ( $M^{SFT \to RL}_t$ ): Sft seguido de RL, representando o padrão atual da indústria.
5. Média Paralela ( $M^{Parallel}_t$ ): Um método proposto onde os gradientes de RL e SFT são computados em paralelo a partir do mesmo snapshot de parâmetros e a média é usada para atualizar os pesos.
Avaliação: O desempenho é medido no GSM8K (nível escolar primário) e MATH (nível de competição) usando métricas pass@k ( $k=1, 8, 32$ ). Capacidades gerais são avaliadas em seis benchmarks não-matemáticos (ex: LAMBADA, HellaSwag).

Contribuições Principais & Resultados

1. O RL é Eficaz Cedo no Pré-Treinamento

Contrário à suposição de que o RL requer um modelo base altamente capaz, os autores descobrem que o RL é eficaz surpreendentemente cedo.

Ganhos Precoces: O RL Direto melhora o desempenho no GSM8K começando já com apenas 4B de tokens de pré-treinamento, bem antes da contagem de tokens otimizada pela Chinchilla.
Competitividade: Aos 10B de tokens, o RL Direto iguala o desempenho do pipeline padrão SFT→RL em pass@1 e pass@32, apesar de nunca ter visto traços de raciocínio de verdade fundamental.
Escassez de Dados: Quando as demonstrações de verdade fundamental são escassas (única solução por prompt), o RL supera significativamente o SFT. O SFT só supera o RL quando provido de múltiplas soluções de alta qualidade (SFT-Gold), uma condição raramente atendida na prática.

2. Composição de Dados de Pré-Treinamento > Escala do Modelo

Para tarefas de raciocínio mais difíceis (dataset MATH), a eficácia do RL depende mais da composição dos dados de pré-treinamento do que da escala do modelo.

Escalabilidade de Dados: Adicionar dados direcionados e intensivos em matemática à mistura de pré-treinamento (aumentando de 50B para 60B de tokens) impulsiona significativamente os ganhos alcançáveis pelo RL Direto.
Escalabilidade de Modelo: Aumentar o tamanho do modelo de 1B para 4B melhora o desempenho absoluto do modelo base, mas não melhora substancialmente o ganho relativo proporcionado pelo RL.
Diagnóstico: A acurácia pass@k do modelo base no conjunto de teste serve como um preditor leve para determinar se o treinamento de RL produzirá ganhos subsequentes.

3. RL Expande vs. Afia Distribuições

O artigo desafia a afirmação de que o RL inerentemente afia distribuições.

Expansão: Quando aplicado diretamente aos checkpoints base, o RL expande a distribuição do modelo, melhorando tanto o pass@1 quanto o pass@32. O modelo descobre novos caminhos de raciocínio através do aprendizado on-policy.
Artefato de Afiação: O efeito de "afiação" (melhora no pass@1 mas degradação no pass@32) observado em trabalhos recentes surge apenas quando o RL segue o SFT. Os autores hipotetizam que o SFT restringe a exploração ao expor o modelo a soluções de verdade fundamental, fazendo com que o RL subsequente apenas refine caminhos existentes em vez de descobrir novos.

4. Preservação de Capacidades Gerais

Degradação por SFT: O SFT consistentemente degrada as capacidades gerais (não matemáticas) em 4 a 8 pontos percentuais nos benchmarks.
Preservação por RL: O RL Direto deixa as capacidades gerais essencialmente inalteradas.
Média Paralela: O método de média paralela proposto ( $M^{Parallel}_t$ ) combina as forças de ambos: ele alcança as pontuações pass@32 mais fortes (superando o pipeline padrão) enquanto preserva as capacidades gerais, evitando a regressão vista nos regimes baseados em SFT.

Significância

O artigo argumenta que muitas suposições sobre o RL (ex: que ele requer um modelo base maduro, que ele inerentemente afia distribuições ou que ele erode capacidades gerais) são artefatos do atual regime de treinamento SFT→RL, e não propriedades inerentes do objetivo de RL.

Os autores concluem que:

Viabilidade: Introduzir o RL mais cedo no pipeline de treinamento é viável e frequentemente preferível.
Alavancas de Dados: A composição de dados de pré-treinamento direcionados é uma alavanca mais forte para a eficácia do RL do que a escala do modelo.
Sinergia de Objetivos: Os objetivos de RL e SFT são complementares. A abordagem de média paralela demonstra que combiná-los pode gerar capacidades de raciocínio superiores (pass@32) sem sacrificar a inteligência geral.

O trabalho sugere uma mudança de paradigma onde o RL é tratado como um objetivo de treinamento de primeira classe, integrado ao longo de todo o processo de pré-treinamento e ajuste fino, em vez de ser apenas um passo final de pós-treinamento.