💻 computer science

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

Este artigo demonstra que o Ajuste Fino Supervisionado (SFT) excessivo pode comprimir a distribuição de rollout, causando um colapso de entropia que leva à inversão de ranking e à degradação do desempenho no treinamento subsequente de Otimização de Política Relativa de Grupo (GRPO), um modo de falha que pode ser previsto e mitigado monitorando a entropia pré-RL e a dinâmica inicial do GRPO.

Autores originais: Siddharth Aphale, Kelly Liu

Publicado 2026-06-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Siddharth Aphale, Kelly Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: A Armadilha do "Perfeito Demais"

Imagine que você está treinando um robô para escrever código. A receita padrão consiste em duas etapas:

Ajuste Fino Supervisionado (SFT): Você mostra ao robô milhares de exemplos de código correto para que ele aprenda os padrões.
Aprendizado por Reforço (RL): Você deixa o robô tentar resolver novos problemas por conta própria. Se ele acertar, ele ganha um prêmio (uma recompensa); se falhar, não ganha nada.

O Problema: O artigo descobriu que, se você treinar o robô demais na Etapa 1 (Overtraining de SFT), ele acaba ficando pior na Etapa 2.

Geralmente, pensamos: "Quanto mais exemplos o robô memorizar na Etapa 1, melhor ele será". Os autores descobriram o oposto: O robô que memoriza mais na Etapa 1 é, na verdade, o que tem o pior desempenho na Etapa 2. De fato, o robô que memoriza o mínimo acaba sendo o campeão.

A Metáfora: O Dançarino Rígido vs. O Dançarino Flexível

Para entender por que isso acontece, imagine dois dançarinos se preparando para uma competição onde devem improvisar uma rotina baseada em músicas aleatórias.

O Dançarino "Overtreinando" (SFT Profundo): Este dançarino praticou as mesmas 10 rotinas perfeitas milhares de vezes. Ele é incrivelmente preciso. Mas quando a música muda, ele congela. Ele só conhece aqueles 10 movimentos. Ele não tem ideia de como se mover de qualquer outra forma.
O Dançarino "Na Medida Certa" (SFT Raso): Este dançarino praticou o básico, mas manteve seu corpo solto e flexível. Ele conhece as regras, mas ainda consegue se contorcer, girar e tentar coisas novas quando a música muda.

A Competição (RL):
A competição exige que os dançarinos tentem muitos movimentos de uma vez para ver qual funciona melhor.

O Dançarino Overtreinando tenta fazer exatamente o mesmo movimento perfeito todas as vezes. Como todos parecem iguais, os juízes (o algoritmo) não conseguem distinguir qual movimento é melhor. O dançarino fica travado e não consegue aprender nada novo.
O Dançarino Flexível tenta uma grande variedade de movimentos. Os juízes conseguem ver: "Ah, este movimento funcionou, aquele não!". E o dançarino aprende rapidamente.

O "Porquê" Técnico: Colapso de Entropia

O artigo usa uma palavra sofisticada para "variedade" ou "flexibilidade": Entropia.

Colapso de Entropia: Quando o robô é treinado demais, sua "mente" torna-se muito estreita. Ele para de explorar diferentes possibilidades e apenas repete as mesmas poucas respostas. Nos termos do artigo, sua entropia colapsa.
O Sinal Morre: O algoritmo de aprendizado (chamado GRPO) funciona comparando diferentes respostas. Se o robô der a mesma resposta 8 vezes seguidas, o algoritmo fica confuso. Ele não consegue calcular um "gradiente" (uma direção para melhorar) porque não há diferença para comparar. É como tentar dirigir um carro quando o volante está travado reto à frente.
A Inversão de Ranking: Isso leva a um resultado estranho chamado Inversão de Ranking.
- Antes da segunda fase de treinamento, o robô overtreinado parece um gênio (ele acerta a resposta 100% das vezes no teste de prática).
- Depois da segunda fase de treinamento, ele se torna um desastre.
- Enquanto isso, o robô "menos perfeito", que parecia um pouco pior no início, torna-se o superastro.

Os Dois Modelos: Um Conto de Duas Cidades

Os autores testaram isso em dois cérebros de robô diferentes (modelos):

Qwen (A Vítima): Este modelo caiu na armadilha. Quanto mais o treinavam na Etapa 1, mais ele ficava rígido. O checkpoint "melhor" (com a pontuação mais alta) acabou sendo o pior ponto de partida para a próxima fase.
DeepSeek (O Sobrevivente): Este modelo era naturalmente mais flexível. Mesmo após um treinamento pesado, ele não ficou rígido. Ele permaneceu na "zona de segurança" onde ainda podia aprender. Isso provou que o problema não era a segunda fase de treinamento em si, mas especificamente como a primeira fase arruinou a flexibilidade do modelo Qwen.

A Solução: Um Check-up de Duas Etapas

Os autores não apenas encontraram o problema; eles construíram uma ferramenta de diagnóstico para detectar isso antes de desperdiçar tempo e dinheiro.

Etapa 1: O Teste de "Alongamento" (Entropia Pré-RL): Antes de iniciar a segunda fase de treinamento, eles verificam o quão "solta" é a mente do robô. Se o robô for muito rígido (baixa entropia), eles o sinalizam como de alto risco.
Etapa 2: O Monitor de "Alerta Precoce": Se eles iniciarem a segunda fase, eles monitoram os primeiros minutos. Se o robô parar de tentar coisas novas e começar a se repetir imediatamente, eles interrompem o treinamento precocemente para economizar recursos.

O Que Não Funcionou?

Os autores tentaram consertar o robô quebrado com truques padrão, como:

Adicionar uma penalidade: "Não se desvie muito do seu treinamento original". (Isso o tornou pior).
Suavização de rótulos (Smoothing labels): "Seja um pouco menos certo sobre suas respostas". (Isso fez o robô parecer confiante novamente, mas ele ainda falhou na competição).

A Conclusão: Você não pode consertar um dançarino rígido dizendo para ele "se esforçar mais" durante a competição. Você tem que parar de treiná-lo tão rigidamente desde o início. O artigo prova que a variedade (entropia) é mais importante do que a perfeição quando você quer que um modelo continue aprendendo.

Resumo Técnico: O Overtraining de SFT Prediz a Inversão de Ranking via Colapso de Entropia sob RLVR

Declaração do Problema
A heurística padrão para Aprendizado por Reforço com Recompensas Verificáveis (RLVR) em geração de código envolve selecionar o checkpoint de Ajuste Fino Supervisionado (SFT) com a maior pontuação pass@1 para inicializar a fase de RL (ex: GRPO). Este artigo demonstra que essa heurística falha quando o overtraining de SFT comprime a distribuição de rollout do modelo. Especificamente, o SFT prolongado leva ao "colapso de entropia", onde a diversidade de saída do modelo diminui a um ponto em que o algoritmo de RL não consegue gerar um sinal de gradiente significativo. Neste regime, selecionar o checkpoint com o maior pass@1 identifica sistematicamente o pior inicializador de RL, resultando em uma "inversão de ranking" onde checkpoints de SFT mais rasos superam os mais profundos após o treinamento de RL.

Metodologia
O estudo isola a duração do SFT como a única variável independente através de duas famílias de modelos: Qwen2.5-Coder-3B-Base e DeepSeek-Coder-6.7B-Base.

Configuração Experimental: Ambos os modelos foram ajustados finamente em 5.000 problemas de dificuldade média do KodCode-V1. Checkpoints foram selecionados em diferentes profundidades de SFT (1.0 a 5.8 épocas para Qwen; 1.0 a 9.6 épocas para DeepSeek).
Treinamento de RL: Todos os checkpoints passaram por um treinamento GRPO idêntico (400 passos, tamanho de grupo $g=8$ , recompensa binária de correção) em um conjunto de dados mantido fora (held-out).
Métricas: O desempenho foi medido via pass@1 e pass@10 (usando um estimador não enviesado) em um subconjunto congelado de 40 problemas do HumanEval+. Crucialmente, os autores rastrearam a entropia pré-RL (entropia média do próximo token em $T=1.0$ ) e a entropia durante o treinamento para diagnosticar o colapso da distribuição.
Intervenções: Para testar se a falha era um artefato de hiperparâmetros, os autores aplicaram uma penalidade KL à política de referência durante o GRPO e suavização de rótulos (label smoothing) durante o SFT para restaurar artificialmente a entropia.

Principais Contribuições

Limiar Teórico para Colapso de Gradiente: Os autores derivam que, para recompensas binárias, a variância esperada da vantagem dentro do grupo é $E[\sigma^2_G] = p(1-p)(g-1)/g$ . Eles identificam um limiar crítico $p^*(g)$ onde, se a probabilidade de um rollout correto ( $p$ ) cair abaixo deste valor, o sinal relativo do grupo colapsa estruturalmente (a maioria dos grupos recebe recompensas idênticas), fazendo com que o gradiente desapareça.
Estudo de Caso de Inversão de Ranking: No Qwen2.5-Coder-3B, o artigo documenta uma clara inversão de ranking: conforme a profundidade do SFT aumenta, o pass@1 pré-RL sobe, mas o pass@10 pico pós-RL cai monotonicamente (de 0.806 para 0.481). O checkpoint com o maior pass@1 (5.8 épocas) apresenta o pior desempenho sob RL.
Validação Contrastiva: No DeepSeek-Coder-6.7B, onde o pass@1 pré-RL permanece significativamente acima do limiar de colapso teórico $p^*(8)$ , não ocorre inversão de ranking. Em vez disso, os rankings comprimem e todos os checkpoints melhoram, validando a hipótese do limiar.
Diagnóstico de Dois Estágios: Os autores propõem um protocolo de diagnóstico para identificar checkpoints de alto risco antes ou no início do RL:
- Estágio 1 (Pré-RL): Sinalizar checkpoints onde a entropia média do próximo token cai abaixo de um limiar ( $\tau_H = 0.18$ nats).
- Estágio 2 (Início do RL): Monitorar a queda relativa da entropia do pior token entre os passos 10 e 150 do GRPO. Uma queda superior a 50% indica colapso.
Localização da Falha: O estudo mostra que intervenções simples (penalidades KL ou suavização de rótulos) falham em resgatar checkpoints colapsados, sugerindo que a falha está enraizada na depleção de plasticidade e entropia da etapa de SFT, e não em um problema de hiperparâmetro ajustável do GRPO.

Resultos

Qwen2.5-Coder-3B: Existe uma forte correlação negativa ( $\rho = -0.75$ ) entre o pass@1 pré-RL e o pass@10 pico pós-RL. O checkpoint de 5.8 épocas, apesar de ter o maior pass@1 pré-RL (0.187), colapsou para um pass@10 pico de 0.481, enquanto o checkpoint de 1.0 época alcançou 0.806. A entropia do modelo de 5.8 épocas caiu 78% durante o treinamento, comparado a 37% para o modelo de 1.0 época.
DeepSeek-Coder-6.7B: Todos os checkpoints mantiveram o pass@1 pré-RL significativamente acima do limiar de colapso ( $p \geq 4.2 \times p^*(8)$ ). Consequentemente, todos os braços melhoraram sob o GRPO, e o ranking pré-RL foi perfeitamente preservado pós-RL ( $\rho = +1.00$ ).
Intervenções: Adicionar uma penalidade KL ( $\beta=0.01$ ) reduziu o desempenho para ambos os checkpoints (raso e profundo), mas não reverteu a inversão de ranking. A suavização de rótulos no checkpoint de 5.8 épocas aumentou o pass@1 pré-RL para 0.600, mas resultou no menor pass@10 pós-RL (0.214), indicando que achatar artificialmente a distribuição sem restaurar a diversidade de soluções subjacente é insuficiente.

Significância e Alegações
O artigo alega que a prática padrão de selecionar o checkpoint de SFT com o maior pass@1 para RL é enganosa em regimes onde o overtraining de SFT leva ao colapso de entropia. Os autores argumentam que o pass@1 mede a capacidade na temperatura errada (greedy, $T=0$ ) e falha em capturar a diversidade necessária para RL em $T=1.0$ .

A significância reside em identificar o colapso de entropia como o elo mecanístico entre o overtraining de SFT e a falha do RL. O artigo postula que a falha não é um artefato trivial de hiperparâmetros do GRPO, mas um problema fundamental de perda de plasticidade durante o SFT. O diagnóstico de dois estágios proposto oferece um método prático e agnóstico ao modelo (baseado em sinais de ordenação e risco, em vez de limiares universais) para filtrar checkpoints que já esgotaram seu sinal de aprendizado antes que o computacional do RL seja gasto. Os autores concluem que preservar a entropia durante o SFT é um pré-requisito para um RLVR bem-sucedido e que, uma vez que a entropia colapsa, variantes padrão de RL não podem recuperar a política.