🤖 machine learning

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

O artigo demonstra que o método padrão de SFT seguido de RL supera as recentes técnicas de políticas mistas, revelando que estudos anteriores apresentaram resultados enganosos devido a bugs de implementação em otimizadores e na agregação de perda.

Autores originais: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Publicado 2026-04-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Erro nos "Treinamentos de Gênios": Por que o método antigo era melhor do que pensávamos

Imagine que você está tentando ensinar uma criança a resolver problemas complexos de matemática. Existem duas formas principais de fazer isso:

O Método Tradicional (SFT-then-RL): Primeiro, você dá a ela um livro de exercícios com todas as respostas explicadas passo a passo (isso é o SFT ou Supervised Fine-Tuning). A criança aprende o "caminho das pedras". Depois que ela já entende a lógica, você a deixa resolver problemas sozinha e só dá uma nota (um "joinha" ou uma "bronca") quando ela acerta ou erra (isso é o RL ou Reinforcement Learning).
O Método "Moderno" (Mixed-Policy): Em vez de ensinar primeiro, você tenta misturar as duas coisas. Você dá o livro de respostas, mas ao mesmo tempo deixa ela tentar resolver sozinha, tentando aprender a teoria e a prática ao mesmo tempo.

Recentemente, muitos cientistas de Inteligência Artificial (IA) disseram: "Ei! O método moderno é muito melhor! O método tradicional é lento e deixa a IA limitada".

Mas este novo artigo acaba de descobrir que esses cientistas estavam enganados por um motivo muito bobo: eles estavam comparando o método moderno com um "aluno" (a IA) que estava sendo ensinado de forma errada!

O Problema: O "Professor com Defeito"

Os pesquisadores descobriram que as ferramentas de software que todo mundo usa para treinar essas IAs tinham dois "bugs" (erros de programação) escondidos. É como se o professor estivesse tentando ensinar a criança, mas:

O Erro do Caderno de Notas (Bug do Otimizador): Imagine que o professor pede para a criança fazer 10 contas. Mas, por um erro na caneta, o professor só consegue ler a primeira conta e ignora todas as outras 9. Ele acha que a criança aprendeu tudo baseado em apenas um exemplo. Isso faz com que o aprendizado inicial (o SFT) seja muito mais fraco do que deveria ser.
O Erro da Média de Notas (Bug da Agregação de Perda): Imagine que a criança faz uma prova com 1 questão difícil e outra com 10 questões fáceis. O professor, por erro, dá o mesmo peso para as duas. Ele não percebe que a criança teve muito mais trabalho na segunda parte. Isso bagunça a "lógica" de aprendizado da IA.

Resultado: Como o aprendizado inicial estava sendo feito com esses erros, a IA ficava "burra" logo de cara. Quando os cientistas comparavam o método moderno com esse método tradicional "bugado", o moderno parecia ganhar de lavada.

A Grande Revelação: O Método Simples Vence!

Quando os autores deste artigo corrigiram esses erros e deram um "professor perfeito" para o método tradicional, o jogo virou completamente.

O Tradicional é o Campeão: O método de "primeiro aprender com exemplos e depois praticar sozinho" (SFT $\rightarrow$ RL) superou todos os métodos modernos em testes de matemática.
Eficiência de Combustível: O método tradicional não só é melhor, como é mais rápido e gasta menos energia (menos poder de processamento de computador).
O "Atalho" de 50 Passos: Eles descobriram que, se a IA tiver um bom aprendizado inicial, você nem precisa de muito treino prático. Com apenas 50 passos de prática, ela já supera os métodos modernos que tentam fazer tudo ao mesmo tempo.

Resumo da Ópera

O artigo é um lembrete importante para o mundo da tecnologia: Às vezes, a solução não é inventar um método novo e complexo, mas sim garantir que o método simples que já conhecemos esteja sendo executado sem erros.

Os cientistas achavam que tinham descoberto uma nova forma de criar gênios, mas na verdade, eles só estavam comparando um método novo com um método antigo que estava com o "professor doente". Agora que o professor está curado, o método clássico voltou ao topo!

Resumo Técnico: SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

1. O Problema

Recentemente, surgiu uma tendência na pesquisa de modelos de linguagem (LLMs) voltados para o raciocínio (como a série OpenAI o1 e DeepSeek-R1) de utilizar métodos de política mista (mixed-policy). Esses métodos tentam intercalar ou misturar sinais de Aprendizado Supervisionado (SFT) e Aprendizado por Reforço (RL) durante o treinamento para evitar que o modelo sofra com recompensas esparsas no RL ou com a falta de capacidade de raciocínio própria no SFT puro.

No entanto, este artigo identifica que muitos desses estudos de ponta alegam superioridade sobre o pipeline padrão (SFT seguido de RL) baseando-se em baselines (linhas de base) defeituosas. Os autores descobriram que o desempenho do SFT nos estudos comparativos estava artificialmente baixo devido a bugs silenciosos em frameworks de treinamento amplamente utilizados.

2. Metodologia e Descoberta de Bugs

Os autores identificaram dois bugs críticos em frameworks de código aberto que degradam a qualidade do SFT:

Bug do Otimizador com Offloading de CPU (DeepSpeed): Em configurações que utilizam o ZeRO Stage 2 com otimizadores movidos para a CPU para economizar memória de GPU, um erro na rotina de acumulação de gradientes faz com que apenas o gradiente do primeiro micro-batch seja enviado ao otimizador. Os gradientes dos micro-batches subsequentes são acumulados na GPU, mas nunca são copiados para a CPU. Isso resulta em um treinamento de SFT extremamente ineficiente. Este bug afeta frameworks como TRL, OpenRLHF e Llama-Factory.
Bug de Agregação de Perda (OpenRLHF): Um erro comum de implementação onde se calcula a média das médias dos mini-batches em vez da média real por token. Como os comprimentos das respostas variam, isso atribui pesos incorretos a cada lote, distorcendo o sinal de aprendizado.

Para validar suas descobertas, os autores corrigiram esses bugs e compararam o pipeline padrão (SFT $\rightarrow$ RL) com os métodos de política mista (como LUFFY, ReLIFT, SRFT, etc.) usando os modelos Qwen2.5-Math-7B e Llama-3.1-8B.

3. Principais Contribuições

Identificação e Correção de Bugs: Revelação de falhas sistêmicas em ferramentas fundamentais da comunidade de IA (DeepSpeed e OpenRLHF).
Restauração do Paradigma SFT-then-RL: Demonstração de que o método sequencial tradicional é, na verdade, superior ou igual aos métodos complexos de política mista.
Análise de Eficiência: Prova de que o pipeline sequencial é mais eficiente em termos de computação (FLOPs).
Validação em Diferentes Modelos: Demonstração de que o problema persiste tanto em modelos pré-treinados para matemática (Qwen) quanto em modelos de propósito geral (Llama).

4. Resultados Principais

Superioridade de Desempenho: Após a correção dos bugs, o pipeline SFT $\rightarrow$ RL superou todos os métodos de política mista avaliados. No modelo Qwen2.5-Math-7B, superou o melhor método de política mista por +3,8 pontos em benchmarks matemáticos. No Llama-3.1-8B, a diferença foi ainda mais drástica: +22,2 pontos.
Eficiência Computacional: Os autores mostraram que uma variante truncada do pipeline (apenas 50 passos de RL em vez de 500) já supera os métodos de política mista, utilizando significativamente menos FLOPs.
Dinâmica de Treinamento: O SFT bem executado "prepara o terreno", injetando conhecimento necessário para que o RL comece com uma taxa de recompensa alta e densa. Já os métodos de política mista tentam aprender o conhecimento e refinar a estratégia simultaneamente, o que resulta em um sinal de RL muito fraco e lento no início do treinamento.

5. Significância

Este trabalho é um alerta crítico para a comunidade de pesquisa em IA sobre a importância da validação cruzada entre frameworks. Ele demonstra que resultados de "estado da arte" podem ser artefatos de bugs de software em bibliotecas de treinamento distribuído.

A conclusão principal é que, para o raciocínio de LLMs, a separação clara de objetivos — primeiro ensinar o conhecimento e o formato via SFT, e depois refinar a estratégia via RL — é mais robusta, eficaz e eficiente do que tentar misturar os dois sinais em uma única etapa de otimização.