📊 statistics

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

Este artigo apresenta o ScheduleFree+, um método livre de taxa de aprendizado e livre de cronograma que escala com êxito a Aprendizagem Livre de Cronograma para modelos de linguagem grandes, superando significativamente cronogramas de treinamento de última geração como Warmup-Stable-Decay, particularmente em cenários de treinamento de longa duração.

Autores originais: Aaron Defazio

Publicado 2026-05-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aaron Defazio

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô gigante e superinteligente (um Modelo de Linguagem Grande) a falar a língua humana. Para fazer isso, você mostra a ele bilhões de frases e o deixa adivinhar a próxima palavra, corrigindo seus erros repetidamente.

Por muito tempo, a maneira padrão de ensinar esse robô foi usar um Cronograma de Taxa de Aprendizado. Pense nisso como um professor rigoroso que começa a aula com uma voz muito alta e energética (alta taxa de aprendizado) para chamar a atenção do robô, mas depois sussurra lentamente e se apaga (baixa taxa de aprendizado) conforme a aula termina. O problema? Você precisa adivinhar exatamente quando começar a sussurrar e quão rápido se apagar. Se você adivinhar errado, o robô aprende mal.

Este artigo apresenta um novo método chamado ScheduleFree+. Em vez de um professor que muda o volume da voz ao longo do tempo, este método usa uma técnica de "média inteligente" que permite que o robô aprenda a um ritmo constante e confiante, sem precisar de um cronograma complexo.

Veja como o artigo explica a magia por trás do ScheduleFree+, usando analogias simples:

1. O Truque da "Média Inteligente" (A Ideia Central)

No treinamento tradicional, o robô atualiza seu cérebro com base no último coisa que viu. Isso é como um aluno que só se lembra da última pergunta feita na aula.

O Schedule-Free muda isso. Ele mantém duas versões do cérebro do robô:

O Cérebro "Ativo" ( $z$ ): Este é o robô atualizando-se em tempo real, aprendendo com os erros mais recentes.
O Cérebro "Médio" ( $x$ ): Esta é uma versão calma e estável que lembra da média de tudo o que o robô aprendeu até agora.

A mágica acontece porque o robô não olha apenas para o cérebro "Ativo" para decidir o que fazer a seguir. Ele olha para uma mistura do cérebro "Ativo" e do cérebro "Médio".

Analogia: Imagine que você está navegando um navio. O cérebro "Ativo" é o capitão olhando para as ondas agora (muito reativo). O cérebro "Médio" é o navegador olhando para o mapa de toda a jornada até agora (muito estável). O novo método diz ao capitão para governar com base numa mistura de ambos. Isso impede que o navio desvie violentamente quando bate numa onda pequena, levando a uma jornada muito mais suave e rápida.

2. Por Que Falhou Antes (O Problema do "Lote Grande")

Os autores descobriram que, embora essa "Média Inteligente" funcionasse muito bem para robôs pequenos, ela quebrava quando tentavam treinar robôs gigantes com lotes enormes de dados.

O Problema: Quando você alimenta o robô com muitos dados de uma vez (um "lote" grande), o cérebro "Ativo" fica confuso e começa a oscilar, fazendo o treinamento colapsar.
A Correção: Eles adicionaram Momento Interno. Pense nisso como dar ao robô um pouco de "inércia" ou "momento". Assim como um caminhão pesado é mais difícil de parar e virar do que uma bicicleta, adicionar momento ajuda o robô a manter o curso mesmo quando os dados são enormes e ruidosos. Isso permitiu que eles escalassem o método para modelos massivos.

3. A Velocidade "Autoajustável" (Sem Mais Adivinhações)

Geralmente, os humanos precisam ajustar manualmente a velocidade com que o robô aprende. O artigo introduz um Tamanho de Passo Polyak, que é como um velocímetro de carro autônomo.

Como funciona: Em vez de um humano definir a velocidade, o robô olha para o quão "confuso" ele está (o tamanho de seus erros) e ajusta automaticamente sua velocidade. Se os erros forem grandes, ele diminui a velocidade para pensar com cuidado. Se os erros forem pequenos, ele acelera.
O Resultado: Você não precisa mais adivinhar a taxa de aprendizado. O método é "livre de taxa de aprendizado", o que significa que ele descobre a velocidade perfeita por conta própria.

4. Corrigindo os Pesos "Desviados"

O artigo descobriu um efeito colateral estranho: ao usar esse novo método, os "pesos" internos do robô (a força de suas conexões) às vezes cresciam demais ou encolhiam demais, tornando o robô instável.

A Analogia: Imagine que as células cerebrais do robô estão ficando grandes demais, esticando os fios até que eles arrebentem.
A Correção: Eles aplicaram uma correção especial de "gradiente inverso". Pense nisso como um regulador inteligente que aperta os parafusos sempre que as células cerebrais do robô tentam ficar grandes demais, mantendo tudo estável e impedindo que os fios arrebentem. Isso permite que o robô treine por muito mais tempo sem quebrar.

5. Os Ajustes de "Aquecimento" e "Resfriamento"

Para fazer isso funcionar perfeitamente em sessões de treinamento longas, eles adicionaram dois toques finais:

Início Aquecido: No início, eles deixaram o robô aprender normalmente, sem o truque de "média", por um curto período. Isso é como deixar um corredor fazer algumas voltas de trote antes de começar a corrida, para que ele não tropece na linha de partida.
Annealing de Beta: À medida que o treinamento avança, eles mudam lentamente a "mistura" entre os cérebros Ativo e Médio. No início, eles ouvem mais o cérebro Ativo (para aprender rápido). Mais tarde, ouvem mais o cérebro Médio (para ser preciso). Isso é como um aluno que começa a tomar notas freneticamente, mas no final do semestre, confia mais em seu guia de estudos bem organizado.

O Grande Resultado

Quando testaram o ScheduleFree+ em modelos de linguagem massivos:

Foi mais rápido: Para atingir o mesmo nível de inteligência, levou 31% menos tempo do que os melhores métodos existentes.
Foi mais estável: A curva de aprendizado foi suave e previsível, ao contrário das curvas irregulares e acidentadas dos métodos antigos.
Funciona para treinamento "A Qualquer Momento": Você pode parar o treinamento a qualquer segundo, e o robô estará no melhor estado possível para aquele momento. Você não precisa esperar por um "fim de cronograma" específico para obter um bom modelo.

Em resumo: O artigo mostra que, ao misturar os pensamentos atuais do robô com seus pensamentos médios, adicionando um pouco de momento para estabilidade e deixando o robô ajustar sua própria velocidade, podemos treinar modelos de IA gigantes mais rápido, mais suavemente e sem precisar que humanos ajustem constantemente as configurações.

Resumo Técnico: Escalonando o Aprendizado Livre de Taxa de Aprendizado e Livre de Cronograma para Grandes Modelos de Linguagem com ScheduleFree+

1. Declaração do Problema

A otimização tradicional de aprendizado de máquina depende fortemente de cronogramas de taxa de aprendizado (por exemplo, Decaimento Linear, Cosseno, Aquecimento-Estabilidade-Decaimento) para garantir a convergência. Embora eficazes, esses métodos exigem ajuste significativo e frequentemente resultam em curvas de treinamento instáveis ou imprevisíveis. Métodos recentes de aprendizado "Livre de Cronograma", que substituem cronogramas por média agressiva de iterações, mostraram promessa em benchmarks de pequena escala, mas historicamente falharam em escalar para o treinamento de Grandes Modelos de Linguagem (LLM). Especificamente, implementações anteriores de Schedule-Free sofreram com:

Divergência em grandes tamanhos de lote: O desempenho degradou-se significativamente à medida que os tamanhos de lote aumentavam além dos limites de pequena escala.
Deriva da norma do gradiente: O método requeria valores de decaimento de peso inusualmente pequenos para funcionar, levando a normas de peso instáveis e desempenho pobre em treinamentos de longa duração.
Convergência subótima em execuções longas: O método não aproveitava totalmente os benefícios da média em horizontes de treinamento estendidos (por exemplo, 1000 tokens por parâmetro).

O artigo aborda o desafio de escalar o Aprendizado Livre de Cronograma para igualar ou superar o desempenho de métodos baseados em cronograma de última geração (SOTA) para pré-treinamento de LLMs, visando um procedimento de treinamento estável, "a qualquer momento", que não requer ajuste de taxa de aprendizado.

2. Metodologia: ScheduleFree+

Os autores propõem o ScheduleFree+, um método composto que integra várias modificações específicas ao algoritmo base Schedule-Free para torná-lo robusto para LLMs. Os componentes principais são:

A. Reintrodução do Momento Interno

Enquanto o trabalho original de Schedule-Free removeu o momento interno (por exemplo, $\beta_1$ do Adam) para economizar memória, os autores descobriram que isso era prejudicial para grandes tamanhos de lote.

Correção: Reintroduzir o momento interno (por exemplo, $\beta_1 = 0,75$ ou $0,9$) no otimizador base.
Efeito: Isso restaura a robustez para tamanhos de lote maiores e permite taxas de aprendizado mais altas sem divergência, abordando o "abismo de escalabilidade" observado no AdamW Schedule-Free padrão.

B. Pesagem Inversa da Norma do Gradiente (Tamanho do Passo de Polyak)

O aprendizado Schedule-Free padrão frequentemente requeria decaimento de peso pequeno para compensar o aumento das normas de gradiente, o que causava instabilidade. Os autores derivam uma correção teórica baseada no tamanho do passo de Polyak.

Mecanismo: O tamanho do passo $\gamma_t$ é escalado inversamente proporcional à norma L1 do gradiente ( $\gamma_t \propto 1/\|g_t\|_1$ ).
Implementação: Uma Média Móvel Exponencial (EMA) da norma L1 do gradiente é usada para estimar o denominador, aproximando a ponderação ótima derivada de limites de arrependimento convexo.
Resultado: Essa correção contrabalança a deriva da taxa de aprendizado efetiva causada pelas camadas de normalização, permitindo o uso de valores de decaimento de peso padrão e maiores (por exemplo, 0,05–0,5), que estabilizam as normas de peso e previnem o fenômeno de "norma de peso encolhendo" que desestabiliza execuções longas.

C. Otimização Livre de Taxa de Aprendizado via Passo de Polyak

Com base na pesagem inversa do gradiente, os autores implementam uma variante totalmente livre de taxa de aprendizado usando um tamanho de passo de Polyak modificado:
$\gamma_t = \frac{f(y_t) - f^* + \beta \langle \nabla f(y_t), z_t - x_t \rangle}{\sqrt{\pi/2} \| \nabla f(y_t) \|_1}$

Estabilidade: O numerador usa uma estimativa da lacuna de valor da função ( $f(z_t) - f^*$ ) em vez da iteração atual ruidosa, e o denominador usa a norma L1 suavizada. Isso evita problemas de denominador desaparecente comuns em passos de Polyak estocásticos.
Adaptatividade: Essa abordagem escala automaticamente a taxa de aprendizado com o tamanho do lote (seguindo a escala $\sqrt{b}$ para AdamW) e elimina a necessidade de buscas manuais em grade de taxa de aprendizado.

D. Estratégias de Início Quente e Recozimento

C-Warmup: Para evitar que o buffer de média dilua as fases iniciais de convergência rápida, os autores atrasam a atualização da média ( $c_t = 1$ ) por um período inicial (por exemplo, $2\times$ a duração do aquecimento da taxa de aprendizado).
Recozimento Beta: O parâmetro de interpolação $\beta$ (misturando a iteração atual $z_t$ e a média $x_t$ ) é recozido de um valor mais baixo (por exemplo, 0,9) para um valor mais alto (por exemplo, 0,965) ao longo da execução do treinamento. Isso captura a convergência inicial rápida enquanto otimiza a redução de perda a longo prazo.
Média Ponderada ( $r=1$ ): Para execuções longas, os pesos de média são definidos como $r=1$ (pesos aumentando linearmente) em vez do padrão $r=0$ , o que acelera a convergência para problemas não estritamente convexos.

3. Resultados Principais

Os autores conduziram experimentos de escalonamento extensivos em LLMs variando de 120M a 1B de parâmetros, treinados com até 1000 tokens por parâmetro.

Treinamento de Longa Duração (1000 TPP): Nessa escala, o ScheduleFree+ supera significativamente tanto os cronogramas de Aquecimento-Estabilidade-Decaimento (WSD) quanto os de Decaimento Linear.
- Eficiência: Alcança a mesma perda final que um cronograma de Decaimento Linear em 31% menos tempo de treinamento (uma redução de 45% nos tokens necessários para atingir a perda alvo).
- Estabilidade: O método produz curvas de perda suaves e previsíveis que seguem uma taxa de decaimento teórica de $1/\sqrt{t}$ , permitindo a previsão precisa da perda final a partir de dados de treinamento iniciais.
Treinamento de Curta Duração (20–100 TPP): O ScheduleFree+ supera os cronogramas WSD em todos os tamanhos de modelo. Em comparação com o Decaimento Linear, ele iguala ou performa ligeiramente pior em horizontes muito curtos (20 TPP) devido ao tempo necessário para atingir um estado estável, mas geralmente performa de forma competitiva.
Escalonamento de Tamanho de Lote: Com o momento interno, o ScheduleFree+ escala robustamente para tamanhos de lote de 8M, igualando o desempenho do AdamW padrão com Decaimento Linear.
Estabilidade da Norma de Peso: Ao usar o tamanho do passo de Polyak e decaimento de peso maior, o método mantém normas de peso estáveis, evitando problemas de divergência e quantização associados aos valores de decaimento de peso pequenos exigidos por métodos Schedule-Free não modificados.

4. Significado e Afirmações

O artigo afirma que o ScheduleFree+ fornece uma fundação teórica para a média de modelos e mesclagem de checkpoints durante o pré-treinamento, fechando a lacuna entre otimização online e "sopas" de modelos offline.

Treinamento a Qualquer Momento: Diferentemente dos cronogramas WSD, que exigem uma fase específica de recozimento no final do treinamento para realizar ganhos, o ScheduleFree+ oferece uma verdadeira capacidade "a qualquer momento". O modelo é utilizável e ótimo em qualquer ponto de parada sem uma fase de decaimento dedicada.
Eliminação de Ajuste: O método remove a necessidade de buscas em grade de taxa de aprendizado, confiando no tamanho do passo de Polyak e na pesagem inversa do gradiente para se adaptar automaticamente ao tamanho do lote e à duração do treinamento.
Previsibilidade: Os autores argumentam que as curvas de perda do Aprendizado Livre de Cronograma não são apenas empiricamente estáveis, mas fundamentadas teoricamente, seguindo de perto a taxa de convergência $1/\sqrt{t}$ prevista pela teoria de otimização convexa, mesmo no cenário não convexo de LLM.

Em resumo, o artigo demonstra que, com modificações específicas — momento interno, pesagem inversa do gradiente e recozimento adaptativo — o Aprendizado Livre de Cronograma pode ser escalado para se tornar uma alternativa superior, estável e livre de ajuste aos cronogramas tradicionais de taxa de aprendizado para o treinamento de Grandes Modelos de Linguagem.