📊 statistics

Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging

Este artigo demonstra que combinar a média de pesos com cronogramas de taxa de aprendizado simples e independentes de horizonte (como o decaimento polinomial ou $1/\sqrt{t}$ ) alcança um desempenho final comparável aos cronogramas de cosseno ajustados para grandes modelos de linguagem, oferecendo uma alternativa prática e teoricamente fundamentada para o treinamento em cenários de horizonte aberto onde o horizonte total é desconhecido.

Autores originais: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

Publicado 2026-08-26

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, os grandes modelos de linguagem são os motores que impulsionam tudo, desde assistentes de escrita até ferramentas de raciocínio complexo. Para fazer esses motores funcionarem, os pesquisadores devem ensiná-los alimentando-os com vastas quantidades de texto, um processo conhecido como pré-treinamento. Esse ensino exige um equilíbrio cuidadoso entre velocidade e precisão, controlado por uma configuração chamada taxa de aprendizado. Pense nesta taxa como o ritmo com o qual o modelo ajusta seu conhecimento interno com base em novas informações. Se o ritmo for muito rápido, o modelo ultrapassa a verdade; se for muito lento, ele não aprende nada. Durante anos, o método padrão para gerenciar esse ritmo tem sido um cronograma conhecido como decaimento de cosseno. Este método inicia o modelo em uma velocidade moderada, reduzindo-a gradualmente em uma curva suave e parando em um momento preciso. No entanto, essa abordagem padrão possui uma falha significativa: ela exige saber exatamente quanto tempo o treinamento durará antes que o primeiro passo seja dado. Em um mundo onde os dados chegam continuamente e a quantidade total de informação é desconhecida, esse requisito é como tentar dirigir um carro com um mapa que mostra apenas o destino, não a distância para chegar lá.

Pesquisadores da Universidade de Harvard e do Instituto Kempner abordaram este problema desenvolvendo uma nova maneira de treinar esses modelos que não precisa de uma data de término pré-definida. O trabalho deles, que combina teoria matemática com experimentos de larga escala, demonstra que os modelos podem ser treinados efetivamente sem nunca saber quando o treinamento irá parar. Eles descobriram que, ao usar um ritmo simples e constante que naturalmente desacelera ao longo do tempo, e ao fazer a média do progresso do modelo ao longo da jornada, poderiam alcançar resultados tão bons quanto o método tradicional. Esta descoberta sugere que os cronogramas rígidos e pré-planejados do passado não são necessários para construir a inteligência artificial mais avançada, abrindo as portas para o treinamento de sistemas que podem aprender continuamente à medida que novos dados se tornam disponíveis.

O cerne do problema reside na natureza dos dados modernos. Ao contrário dos conjuntos de dados fixos do passado, o fluxo de informações de hoje entra incessantemente. Um modelo pode ser treinado por uma semana, depois por um mês, ou potencialmente por anos, dependendo de quanta informação estiver disponível. O cronograma de decaimento de cosseno tradicional é "dependente de horizonte", o que significa que deve ser ajustado especificamente para uma duração conhecida. Se um pesquisador ajustar um cronograma para uma execução de um mês, mas o projeto se estender para três meses, o desempenho do modelo sofre porque a taxa de aprendizado foi projetada para desacelerar cedo demais. Os pesquisadores buscaram uma alternativa "livre de horizonte", um método que funcione bem independentemente de o treinamento parar amanhã ou no próximo ano. Eles propuseram que, em vez de uma curva complexa, um cronograma simples que decai lentamente ao longo do tempo, combinado com uma técnica chamada média de pesos, poderia resolver este problema. A média de pesos é um processo onde o modelo final não é apenas a última versão criada, mas uma mistura de muitas versões de todo o processo de treinamento, suavizando o ruído e estabilizando o resultado.

Para testar essa ideia, a equipe primeiro recorreu à teoria matemática. Eles analisaram o comportamento de um modelo simplificado de aprendizado, usando regressão linear em dados que mimetizam os padrões complexos encontrados na linguagem. Sua análise mostrou que, para certos tipos de dados, uma taxa de aprendizado que diminui lentamente ao longo do tempo, especificamente seguindo um padrão onde a taxa cai conforme a raiz quadrada do tempo aumenta, é teoricamente ideal. Crucialmente, eles provaram que quando este decaimento específico é pareado com a média de pesos, o método alcança a melhor velocidade possível de aprendizado sem precisar saber o tempo total de treinamento com antecedência. Essa descoberta teórica forneceu uma base sólida, sugerindo que uma abordagem simples e constante poderia superar curvas complexas e pré-planejadas em um cenário de horizonte aberto.

Os pesquisadores então passaram da teoria para a prática, treinando grandes modelos de linguagem com 150 milhões e 300 milhões de parâmetros. Eles treinaram esses modelos em um conjunto massivo de dados de texto, levando-os a aprender até 32 vezes a quantidade de dados tipicamente usada para modelos de seu tamanho. Esta escala é significativa porque espelha as condições sob as quais os sistemas de IA mais avançados do mundo são construídos. Eles compararam seus novos cronogramas livres de horizonte contra o padrão de decaimento de cosseno, que havia sido cuidadosamente ajustado para cada duração específica de treinamento. Os resultados foram impressionantes. Os novos métodos, que usavam ou uma taxa de aprendizado constante com média ou uma taxa que decai lentamente com média, acompanharam o desempenho dos melhores cronogramas de cosseno ajustados quase perfeitamente. Em todo o intervalo de treinamento, desde execuções curtas até as durações mais longas possíveis, os métodos livres de horizonte alcançaram resultados finais virtualmente indistinguíveis da abordagem tradicional.

Um dos aspectos mais convincentes deste trabalho é sua praticidade. Os pesquisadores mostraram que um único conjunto de configurações, escolhido no início do treinamento, pode ser usado durante toda a duração de um projeto, mesmo que esse projeto se expanda subitamente. Eles demonstraram que, se um modelo for ajustado para um ponto intermediário específico, como quatro vezes a quantidade de dados padrão, essas mesmas configurações continuariam a funcionar bem conforme o treinamento se estendesse para 32 vezes esse valor. Isso elimina a necessidade de interromper e reajustar o modelo toda vez que o horizonte de treinamento muda. Além disso, eles testaram um método alternativo popular conhecido como warmup-stable-decay, que tenta imitar o melhor dos dois mundos mantendo a taxa constante durante a maior parte do treinamento e depois realizando o decaimento no final. Embora este método tenha tido um bom desempenho, ele ainda exigia saber quando iniciar a fase de decaimento, tornando-o menos flexível do que a abordagem verdadeiramente livre de horizonte proposta pelos autores.

O estudo também explorou como esses métodos se comportam quando o conjunto de dados de treinamento é muito grande, um cenário onde o ruído no processo de aprendizado é naturalmente menor. Nessas condições, os pesquisadores descobriram que a taxa de aprendizado não precisava decair de forma alguma. Uma taxa de aprendizado constante, combinada com a média de pesos, era suficiente para alcançar o desempenho máximo. Isso se alinha com a previsão teórica de que, quando a variância, ou ruído, nos dados é pequena, o modelo se beneficia mais de manter um ritmo constante para reduzir o viés, ou erro, em vez de desacelerar. Essa percepção sugere que, à medida que o poder computacional cresce e os modelos podem processar lotes de dados maiores, a necessidade de cronogramas de decaimento complexos pode diminuir inteiramente, sendo substituída por estratégias mais simples e robustas.

Em última análise, esta pesquisa fornece um caminho claro para o futuro do treinamento de inteligência artificial. Ela sugere que os cronogramas rígidos e pré-calculados que dominaram o campo por anos não são a única maneira, ou talvez nem a melhor maneira, de treinar modelos em uma era de dados contínuos. Ao provar que cronogramas simples, livres de horizonte, combinados com a média de pesos, podem igualar o desempenho dos métodos tradicionais mais cuidadosamente ajustados, os autores ofereceram uma solução prática para o aprendizado de horizonte aberto. Esta abordagem permite que os modelos se adaptem a qualquer quantidade de dados disponível, tornando o processo de treinamento mais flexível e eficiente. As descobertas indicam que o futuro do treinamento de grandes modelos de linguagem pode não residir em algoritmos de agendamento mais complexos, mas em estratégias mais simples e resilientes que podem aprender continuamente sem um fim predeterminado.

Resumo Técnico: Pré-treinamento Anytime com Cronogramas de Taxa de Aprendizado Livres de Horizonte

Declaração do Problema

Grandes modelos de linguagem (LLMs) estão sendo treinados cada vez mais em configurações contínuas ou de horizonte aberto, onde o horizonte total de treinamento (o número total de tokens a serem processados) não é conhecido antecipadamente. Apesar dessa mudança, as receitas padrão de pré-treinamento dependem de cronogramas de taxa de aprendizado dependentes do horizonte, nomeadamente o decaimento de cosseno (cosine decay). O decaimento de cosseno exige saber o comprimento total de treinamento $N$ de antemão para definir a curva de decaimento, tornando-o inadequado para cenários onde os dados chegam continuamente ou onde os orçamentos de treinamento são estendidos dinamicamente.

Alternativas "quase-anytime" existentes, como o cronograma Warmup-Stable-Decay (WSD), reduzem essa dependência, mas ainda exigem overhead adicional (armazenamento de checkpoints em intervalos específicos) e reajuste ou re-decaimento ao estender o treinamento, o que introduz custos computacionais e quebra a propriedade "anytime". O desafio central é identificar um cronograma de taxa de aprendizado que:

Não dependa do horizonte de treinamento $N$ .
Alcance um desempenho competitivo (seguindo o "envelope de cosseno") em qualquer checkpoint intermediário $T < N$ sem conhecimento prévio de $N$ .

Metodologia

Análise Teórica

Os autores fornecem uma análise teórica usando regressão linear sobreparametrizada em dados gaussianos com espectros de lei de potência. Isso serve como um proxy para o pré-treinamento de LLMs.

Configuração: O estudo considera o gradiente estocástico (SGD) com média de iterantes (média de pesos) em uma função de perda quadrática. A matriz de covariância dos dados $H$ e o vetor alvo $w^*$ seguem distribuições de lei de potência caracterizadas por um expoente de capacidade $a$ (decaimento dos autovalores $\lambda_k \sim k^{-a}$ ) e um expoente de fonte $b$ (decaimento das coordenadas do alvo $(w^*_k)^2 \sim k^{-b}$ ).
Insight Principal: Os autores analisam a decomposição viés-variância do risco. Eles demonstram que, embora taxas de aprendizado constantes com média possam ser ótimas em certos regimes ( $b \le a$ ), elas frequentemente requerem escalonamento dependente do horizonte para $b > a$ .
Cronograma Proposto: O artigo deriva que um cronograma de taxa de aprendizado polinomial da forma $\eta_t = \eta / t^\gamma$ $η_{t} = η / t^{γ}$ combinado com média de iterantes (especificamente, Média Móvel Exponencial, EMA) pode alcançar taxas de convergência minimax ótimas sem conhecer $N$ $N$ .
- Para o regime $1 < a < b \le 2a$ , o expoente de decaimento ótimo é derivado como $\gamma^* = 1 - a/b$ .
- Um caso especial notável é $\gamma = 1/2$ (ou seja, $1/\sqrt{t}$ ), que é mostrado como sendo anytime-ótimo até fatores logarítmicos e constantes sob condições espectrais específicas.
Média de Pesos: A análise destaca que a média de pesos é central para alcançar essas taxas. Sem a média, o SGD padrão com decaimento polinomial frequentemente falha em atingir taxas ótimas na configuração de regressão linear.

Avaliação Empírica

As prescrições teóricas são testadas sob estresse no pré-treinamento de LLMs usando o código base do OLMo.

Modelos: Dois modelos foram treinados: 150M e 300M de parâmetros.
Escala: O treinamento foi conduzido até 32 $\times$ a contagem de tokens Chinchilla-otimizada para o modelo de 150M e 16 $\times$ para o de 300M.
Baselines:
- Envelope de Cosseno: Um baseline "padrão ouro" construído ao ajustar independentemente um cronograma de cosseno para cada horizonte de potência de 2 (1 $\times$ a 32 $\times$ ) e selecionar o melhor erro de validação em cada ponto.
- WSD: O cronograma Warmup-Stable-Decay, implementado salvando checkpoints aos 90% dos horizontes alvo e decaindo nos 10% finais.
Candidatos:
- Taxa de Aprendizado Constante + EMA: Uma taxa de aprendizado fixa com uma janela de EMA crescendo proporcionalmente ao tempo ( $f=25$ ).
- $1/\sqrt{t}$ + EMA: Um cronograma de decaimento polinomial $\eta_t = \eta \sqrt{\alpha/(t+\alpha)}$ com EMA.
Protocolo: Os autores avaliam se uma única configuração fixa (hiperparâmetros escolhidos uma única vez) consegue acompanhar o envelope de cosseno em todos os checkpoints intermediários, em vez de reajustar para cada horizonte.

Contribuições Principais

Derivação Teórica de Cronogramas Anytime: O artigo prova que, para regressão linear com dados de lei de potência, um cronograma de taxa de aprendizado da forma $1/t^\gamma$ combinado com média de iterantes alcança taxas minimax ótimas sem dependência do horizonte de treinamento. Especificamente, estabelece o $\gamma$ ótimo como uma função dos expoentes de fonte e capacidade ( $a$ e $b$ ).
Papel da Média de Pesos: O trabalho destaca que a média de pesos (model merging) não é apenas uma heurística de generalização, mas uma necessidade teórica para alcançar taxas de convergência ótimas com cronogramas livres de horizonte em configurações sobreparametrizadas.
Validação Empírica em Escala: Os autores demonstram que cronogramas simples e livres de horizonte (Constante + EMA e $1/\sqrt{t}$ + EMA) podem acompanhar o desempenho de um envelope de cosseno cuidadosamente ajustado através de um vasto intervalo de treinamento (até 32 $\times$ Chinchilla) usando uma única configuração de hiperparâmetros.
Transferência Prospectiva: O estudo mostra que hiperparâmetros ajustados em um checkpoint intermediário (ex: 4 $\times$ Chinchilla) podem ser transferidos com sucesso para execuções de treinamento significativamente mais longas (até 32 $\times$ ) sem necessidade de novo ajuste, oferecendo um protocolo prático para treinamento de horizonte aberto.

Resultados

Desempenho vs. Cosseno: Em todo o intervalo de treinamento (1 $\times$ a 32 $\times$ ), os cronogramas anytime propostos (Constante + EMA e $1/\sqrt{t}$ + EMA) alcançam erros de validação comparáveis ao envelope de cosseno ajustado independentemente. A diferença é mínima (frequentemente dentro de 0,005 unidades de erro de validação).
Sucesso de Trajetória Única: Ao contrário do decaimento de cosseno, que exige reajuste para diferentes horizontes para evitar desempenho subótimo em etapas intermediárias, uma única execução dos cronogramas anytime acompanha o "envelope de cosseno" de forma eficaz.
Regime de Lote Grande (Large Batch): Em um experimento de lote grande (Tamanho de Lote 4096), onde o ruído do gradiente é suprimido, a taxa de aprendizado constante com média superou o decaimento de cosseno e o cronograma $1/\sqrt{t}$ . Isso se alinha à previsão teórica de que, quando a variância é baixa, o decaimento é desnecessário e uma taxa constante maior acelera a redução do viés.
Comparação com WSD: O cronograma WSD apresenta desempenho comparável ao de cosseno e aos métodos anytime propostos. No entanto, o WSD não é estritamente livre de horizonte, pois exige salvar checkpoints aos 90% da execução para iniciar a fase de decaimento, enquanto os métodos propostos não exigem tal intervenção.

Significância e Alegações

O artigo afirma que a média de pesos combinada com tamanhos de passo simples e livres de horizonte oferece uma alternativa prática e eficaz para o pré-treinamento de grandes modelos de linguagem em relação aos cronogramas de taxa de aprendimento de decaimento de cosseno.

Praticidade: O método proposto elimina a necessidade de conhecer o orçamento total de treinamento antecipadamente, facilitando o treinamento verdadeiramente contínuo e de horizonte aberto.
Simplicidade: Os cronogramas são computacionalmente mais baratos que o WSD (sem overhead de checkpoint para iniciar o decaimento) e mais fáceis de implementar do que o recuo de cosseno dependente do horizonte.
Fundamentação Teórica: O sucesso empírico é sustentado por uma análise teórica rigorosa no regime de regressão linear, sugerindo que os benefícios desses cronogramas não são meros artefatos empíricos, mas derivam de propriedades fundamentais de otimização em configurações sobreparametrizadas.

Os autores mantêm a modéstia, observando que seus limites teóricos coincidem com as taxas minimax apenas até constantes e fatores logarítmicos, e que suas conclusões empíricas são atualmente limitadas a tamanhos de modelos específicos (150M/300M) e otimizadores (AdamW sem decaimento de peso). Eles identificam como trabalhos futuros a compreensão de como selecionar automaticamente o ponto de ajuste ideal (ex: 4 $\times$ Chinchilla) e a extensão dessas descobertas para escalas maiores e diferentes otimizadores.