💬 NLP

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning

O artigo demonstra que utilizar um agendador de taxa de aprendizado "Warmup-Stable-Only" (sem decaimento) durante o pré-treinamento de grandes modelos de linguagem resulta em melhor desempenho e adaptabilidade após o ajuste fino supervisionado, ao contrário dos agendadores com decaimento que, embora otimizem a perda de pré-treinamento, levam a mínimos mais agudos e menos adaptáveis.

Autores originais: Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

Publicado 2026-03-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um aluno muito inteligente para se tornar um especialista em várias tarefas, como escrever poemas, resolver problemas de matemática ou responder a perguntas complexas.

Este artigo de pesquisa (publicado na conferência ICLR 2026) descobre algo surpreendente sobre como esse aluno deve ser treinado. A descoberta principal é: parar de "acalmar" o aluno no final do curso pode torná-lo muito melhor no trabalho real.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Regra do "Acalmar aos Poucos"

Até hoje, a regra de ouro para treinar Inteligências Artificiais (LLMs) era usar um "cronograma de aprendizado" que começa rápido e desacelera gradualmente até quase parar no final.

A Analogia: Imagine um carro de corrida. No início da prova, você acelera muito. Mas, quando chega perto da linha de chegada, você tira o pé do acelerador e deixa o carro "deslizar" até parar suavemente.
Por que faziam isso? Acreditava-se que essa desaceleração (chamada de decay ou decaimento da taxa de aprendizado) ajudava o carro a encontrar o ponto exato de parada, minimizando erros na prova final.

2. A Descoberta: O "Acelerar até o Fim"

Os pesquisadores testaram uma ideia diferente: e se, em vez de desacelerar, mantivéssemos o pé no acelerador até o último segundo? Eles chamaram essa técnica de WSO (Warmup-Stable-Only).

A Analogia: É como se o carro de corrida mantivesse a velocidade máxima constante do início ao fim, sem tirar o pé do acelerador até a bandeira quadriculada.

3. O Resultado Surpreendente: A "Prova Final" vs. A "Aula"

Aqui está a parte mais interessante. O estudo mostrou uma inversão curiosa:

Durante o Treino (A Aula): Os modelos que usaram a técnica de "desacelerar" (o método antigo) pareciam melhores. Eles tinham notas mais altas nas provas de treino e perdiam menos pontos.
Na Vida Real (O Trabalho): Quando esses modelos foram colocados para fazer tarefas reais (como responder a perguntas humanas ou seguir instruções), os modelos que usaram o "acelerar até o fim" (WSO) foram muito melhores.

A Metáfora do Terreno de Montanha:
Imagine que o aprendizado é como caminhar em um terreno montanhoso procurando o ponto mais baixo (o vale perfeito).

O método antigo (Desacelerar): Faz o caminhante andar devagar e com cuidado no final. Isso faz com que ele fique preso em um vale muito estreito e profundo. É um lugar "afiado". Se você tentar mudar de direção lá (aprender uma nova tarefa), é difícil sair desse buraco estreito.
O método novo (WSO): Mantém o caminhante com energia, fazendo-o pousar em um vale largo e plano. É um lugar "plano". Se você precisar mudar de direção ou adaptar-se a uma nova tarefa, é muito mais fácil sair desse vale largo e ir para outro lugar.

4. Por que isso importa?

A pesquisa mostra que treinar o modelo para ter a "nota máxima" no treino (usando a desaceleração) na verdade prejudica a capacidade dele de aprender coisas novas depois.

O modelo antigo é como um aluno que decora a resposta da prova, mas trava quando a pergunta muda um pouco.
O modelo novo (WSO) é como um aluno que entende o conceito de forma flexível e se adapta facilmente a qualquer nova situação.

Conclusão Simples

O artigo diz: Pare de tentar "acalmar" a inteligência artificial no final do treinamento.

Se você quer que seu modelo seja útil, adaptável e bom em seguir instruções no mundo real, deixe-o "correr" com a mesma energia até o último momento do treinamento. Isso cria modelos mais flexíveis que aprendem melhor quando precisam ser ajustados para tarefas específicas.

Em resumo: Para criar um assistente inteligente que realmente funcione bem, é melhor mantê-lo em alta velocidade até o fim, em vez de deixá-lo "deslizar" para a parada.

Resumo Técnico: Pré-treinamento de LLMs sem Decaimento de Taxa de Aprendizado

1. O Problema

O decaimento da taxa de aprendizado (Learning Rate - LR) é uma prática padrão e quase universal no pré-treinamento de Grandes Modelos de Linguagem (LLMs). Schedulers baseados em decaimento (como Cosine Decay, Linear Decay ou Warmup-Stable-Decay - WSD) são utilizados para minimizar a perda (loss) durante o pré-treinamento, assumindo-se que uma menor perda no pré-treinamento se traduz em melhor desempenho geral.

No entanto, o artigo identifica uma lacuna crítica: o desempenho otimizado no pré-treinamento não garante um desempenho superior após o Ajuste Fino Supervisionado (SFT), que é a etapa crucial para adaptar o modelo a tarefas específicas e seguir instruções humanas. Estudos recentes sugerem que modelos com melhor métrica de pré-treinamento podem ser mais difíceis de ajustar (fine-tune) posteriormente. A questão central é: O decaimento da LR, escolhido para otimizar métricas de pré-treinamento, está comprometendo a adaptabilidade do modelo para tarefas downstream?

2. Metodologia

Os autores investigam empiricamente o impacto de diferentes schedulers de LR no desempenho final após o SFT, focando em uma abordagem alternativa chamada Warmup-Stable-Only (WSO).

Abordagem WSO: Diferente do Warmup-Stable-Decay (WSD), que mantém a LR constante e depois decai no final, o WSO remove completamente a fase de decaimento. Após o warmup, a taxa de aprendizado permanece constante até o fim do pré-treinamento.
Configuração Experimental:
- Modelos: Arquiteturas baseadas em Llama 3 com 1 bilhão (1B) e 8 bilhões (8B) de parâmetros.
- Fases de Treinamento: O estudo cobre três regimes:
  1. Duas etapas: Pré-treinamento -> SFT.
  2. Três etapas: Pré-treinamento -> Mid-training (treinamento intermediário) -> SFT.
  3. Over-training: Pré-treinamento com 2 trilhões de tokens (100x o regime ótimo de Chinchilla) para testar a generalidade.
- Schedulers Comparados: WSO, WSD, Cosine e Linear, variando o fator de LR mínima ( $\alpha_{pre}$ ) entre 0.0 (decai a zero), 0.1 (decai a 10%) e 1.0 (sem decaimento/WSO).
- Avaliação: Métricas de pré-treinamento (perda de validação, tarefas zero-shot) vs. Métricas pós-SFT (AlpacaEval, TruthfulQA, MMLU, GSM8K, etc.).
- Análise Teórica: Análise da geometria do loss landscape (paisagem de perda) utilizando a sharpness (nitidez) dos mínimos, calculada via traço do Hessian (estimador de Hutchinson).

3. Principais Contribuições

Demonstração Sistemática: Evidência empírica robusta de que o WSO supera consistentemente schedulers baseados em decaimento em tarefas downstream após o SFT, em modelos de 1B e 8B parâmetros.
Generalização em Regimes Complexos: A eficácia do WSO é confirmada não apenas no pré-treinamento padrão, mas também em cenários de mid-training e over-training (treinamento excessivo), onde o decaimento tradicional tende a prejudicar a adaptabilidade.
Explicação Geométrica: A descoberta de que schedulers com decaimento levam os modelos a mínimos mais "nitidos" (sharp minima), enquanto o WSO preserva mínimos mais "planos" (flat minima). Mínimos planos estão correlacionados com maior adaptabilidade e estabilidade durante o ajuste fino.

4. Resultados Chave

Inversão de Desempenho: Existe uma clara inversão entre as métricas de pré-treinamento e pós-SFT.
- Pré-treinamento: Schedulers com decaimento (especialmente Linear e WSD com $\alpha=0$ ) geralmente alcançam a menor perda de validação e melhores scores em tarefas zero-shot.
- Pós-SFT: O modelo WSO (sem decaimento) consistentemente obtém os melhores resultados em benchmarks de SFT (como AlpacaEval e MMLU), superando os modelos que tiveram melhor desempenho no pré-treinamento.
Impacto do Mid-training: Adicionar decaimento em qualquer estágio (pré ou mid-training) reduz o desempenho final no SFT. Manter a LR constante (WSO) em ambas as fases maximiza a adaptabilidade.
Over-training: Mesmo com 2 trilhões de tokens (over-training), o padrão se mantém: o WSO entrega melhor desempenho final, enquanto o decaimento melhora apenas as métricas intermediárias.
Correlação Sharpness-Desempenho:
- Modelos treinados com decaimento convergem para regiões com 2x a 3x mais sharpness (nitidez) comparados ao WSO.
- Há uma correlação negativa forte (Pearson r = -0.709) entre a sharpness do mínimo e o desempenho no SFT: quanto mais plano o mínimo (menor sharpness), melhor a adaptabilidade do modelo.

5. Significado e Implicações

Mudança de Paradigma no Treinamento: O trabalho desafia a convenção de que "menor perda no pré-treinamento é sempre melhor". Sugere que otimizar exclusivamente para métricas de pré-treinamento pode ser subótimo para o pipeline completo de desenvolvimento de LLMs.
Adaptabilidade vs. Desempenho Estático: O decaimento da LR pode estar "travando" o modelo em soluções muito específicas para os dados de pré-treinamento (mínimos nitidos), dificultando a adaptação a novas distribuições de dados no SFT. O WSO mantém o modelo em uma região mais flexível do espaço de parâmetros.
Recomendação Prática: Os autores recomendam o uso de WSO (sem decaimento) para o pré-treinamento de modelos que serão submetidos a SFT, pois isso resulta em modelos mais portáteis e adaptáveis.
Estratégia de Lançamento: Modelos pré-treinados com WSO devem ser liberados para a comunidade, pois oferecem uma base superior para tarefas downstream, mesmo que suas métricas de pré-treinamento pareçam inferiores às de modelos com decaimento.

Em resumo, o artigo demonstra que remover o decaimento da taxa de aprendizado durante o pré-treinamento é uma estratégia simples, mas poderosa, para melhorar a capacidade de um LLM de se adaptar a tarefas supervisionadas, explicada pela preservação de mínimos planos na paisagem de perda.