🤖 machine learning

Learning Rate Transfer in Normalized Transformers

Este artigo apresenta o $\nu$ GPT, uma nova parametrização do Transformer Normalizado que aproveita expoentes de alinhamento para realizar transferência da taxa de aprendizagem através da largura, profundidade e horizonte de tokens do modelo, abordando uma limitação fundamental do nGPT original.

Autores originais: Boris Shigida, Boris Hanin, Andrey Gromov

Publicado 2026-05-01

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Boris Shigida, Boris Hanin, Andrey Gromov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema da "Raparida"

Imagine que você está assando um bolo gigante (um modelo de IA massivo). Você tem uma receita para um cupcake pequeno (um modelo minúsculo). Você sabe exatamente quanto açúcar e calor (hiperparâmetros como a taxa de aprendizado) funcionam para o cupcake.

O problema? Se você apenas dobrar cegamente os ingredientes para um bolo maior, ele pode queimar ou ficar cru. Na IA, quando os pesquisadores tornam os modelos maiores (mais largos ou mais profundos), as configurações "perfeitas" para o modelo pequeno geralmente param de funcionar para o grande. Você precisa começar do zero e adivinhar as novas configurações, o que é lento e caro.

Este artigo apresenta uma nova maneira de assar esses "bolos" (chamados modelos nGPT) para que as configurações que você encontra para um modelo pequeno funcionem perfeitamente para um gigante, sem nenhuma adivinhação extra. Eles chamam essa nova receita de νGPT (pronuncia-se "nu-GPT").

Os Ingredientes: O que é nGPT?

Primeiro, os autores estão trabalhando com um tipo específico de IA chamado nGPT (Transformador Normalizado).

O Jeito Antigo: Modelos de IA tradicionais são como um carro com um motor muito sensível. Se você pisar demais no acelerador (alta taxa de aprendizado), o motor explode. Se você pisar muito devagar, ele não vai a lugar nenhum. Para mantê-lo seguro, você precisa de um "freio" chamado decaimento de peso e precisa "aquecer" o motor lentamente antes de dirigir rápido.
O Jeito nGPT: O modelo nGPT é como um carro com uma suspensão autoestabilizadora. Ele naturalmente mantém sua velocidade e equilíbrio sob controle. Por causa disso, ele não precisa dos "freios" (decaimento de peso) ou do "aquecimento". Ele treina mais rápido e é mais eficiente.

O Pulo do Gato: Mesmo que o nGPT seja ótimo, os autores descobriram que suas configurações de "velocidade" (taxas de aprendizado) ainda não se transferiam bem. Se você ajustasse a velocidade para um nGPT pequeno e depois tentasse usar as mesmas configurações para um nGPT enorme, o grande teria um desempenho ruim.

A Solução: A Receita νGPT

Os autores criaram o νGPT. Pense nisso como um novo conjunto de instruções sobre como escalar seus ingredientes com base no tamanho do bolo.

Eles descobriram três regras específicas para fazer as configurações se "transferirem" perfeitamente:

1. A Regra do Horizonte de Tokens (A Regra da "Distância")

O Conceito: Imagine que você está ensinando um cachorro. Se você só passear com ele por 10 minutos, pode correr rápido. Se planeja passear com ele por 10 horas, precisa começar mais devagar para que ele não se exaure.
A Descoberta: O artigo descobriu que, à medida que a IA "passeia" por mais tempo (processa mais tokens de dados), a taxa de aprendizado não deve cair tão rápido quanto as pessoas pensavam. Em vez de cair como uma pedra pesada, ela deve cair como uma pena flutuando para baixo.
A Matemática: Eles descobriram que a velocidade deve diminuir pela raiz cúbica do tempo caminhado (especificamente, potência $1/3$ ), e não pela raiz quadrada ( $1/2$ ) que outras teorias sugeriam.

2. A Regra da Largura (A Regra do "Tamanho da Equipe")

O Conceito: Imagine um coral. Se você dobrar o número de cantores (largura), o som fica mais alto. Se você não ajustar o volume do maestro (taxa de aprendizado), o coral pode ficar muito alto e distorcer, ou muito baixo para ouvir.
A Descoberta: Os autores perceberam que, nesses modelos específicos, as "vozes" (ativações) e os "cantores" (pesos) não estão perfeitamente alinhados. Eles estão parcialmente alinhados.
O Ajuste: Eles ajustaram a taxa de aprendizado para as partes ocultas do modelo para cair em uma quantidade específica (potência $3/4$ ) à medida que o modelo fica mais largo. Isso é diferente de teorias anteriores (como $\mu$ P), que assumiam que as vozes e os cantores estavam perfeitamente alinhados. Ao assumir que eles estão apenas parcialmente alinhados, eles encontraram um "ponto ideal" que funciona melhor.

3. A Regra da Profundidade (A Regra da "Camada")

O Conceito: Imagine uma corrida de revezamento. Se você adicionar mais corredores (camadas) à equipe, a passagem do bastão fica mais rápida ou mais lenta?
A Descoberta: Surpreendentemente, para este tipo específico de modelo, a taxa de aprendizado para as camadas ocultas não precisa mudar muito à medida que você adiciona mais camadas. O modelo é naturalmente estável. No entanto, eles descobriram que as configurações de "início" (inicialização) para a primeira e a última camadas precisam de um pequeno ajuste para manter a corrida suave.

Os Resultados: Por Que Isso Importa

Os autores testaram essa nova receita νGPT contra a antiga.

O Jeito Antigo (nGPT): Quando eles tornaram o modelo maior, a curva de desempenho ficou bagunçada. A "melhor" taxa de aprendizado para um modelo pequeno era a "pior" para um modelo grande.
O Jeito Novo (νGPT): Quando eles tornaram o modelo maior, a curva de desempenho ficou perfeita. A taxa de aprendizado que funcionava para o modelo pequeno funcionava para o modelo grande, e o modelo maior performou tão bem (ou ligeiramente melhor) quanto se eles o tivessem ajustado do zero.

Analogia de Resumo

Pense na Taxa de Aprendizado como o botão de volume de um rádio.

Teoria Antiga: "Se você comprar um alto-falante maior (modelo mais largo), você deve girar o botão de volume para baixo pela metade."
A Descoberta do Artigo: "Na verdade, devido à forma como este alto-falante específico funciona, você só precisa girar o botão de volume para baixo em uma quantidade específica e calculada (a regra $3/4$ ) para obter o som perfeito. Se você seguir esta regra, pode comprar um alto-falante 100 vezes maior, e a mesma configuração de volume soará perfeita."

O Que Eles NÃO Afirmaram

Eles não disseram que isso torna a IA mais inteligente ou capaz de fazer coisas novas (como curar doenças).
Eles não disseram que isso funciona para todo tipo de modelo de IA (é específico para Transformadores Normalizados/nGPT).
Eles não afirmaram que isso elimina a necessidade de ajuste completamente; significa apenas que você pode ajustar um modelo pequeno e confiar que funcionará para um grande.

Em resumo: O artigo fornece um "guia de tradução" matemático que permite aos engenheiros pegar as configurações de uma IA pequena e rápida e aplicá-las a uma IA massiva com confiança, economizando tempo e poder de computação.

1. Declaração do Problema

O artigo aborda o desafio da transferência de hiperparâmetros (HP) em Transformadores Normalizados (nGPT), uma variante da arquitetura Transformer introduzida por Loshchilov et al. (2025).

Contexto: O nGPT alcança acelerações significativas no treinamento e elimina a necessidade de decaimento de peso e aquecimento da taxa de aprendizado, normalizando extensivamente pesos e ativações (usando normas $\ell_2$ em vez de LayerNorm/RMSNorm).
O Problema: Embora o nGPT possua hiperparâmetros que escalam com o tamanho do modelo, os autores observam que ele falha em exibir transferência de taxa de aprendizado através da largura do modelo (dimensão), profundidade (número de camadas) e horizonte de tokens (iterações de treinamento).
Limitações dos Métodos Existentes: Técnicas padrão de transferência, como $\mu$ P (Parametrização de Atualização Máxima), dependem de suposições teóricas específicas sobre o alinhamento de pesos e ativações (especificamente, que eles estão totalmente alinhados ou desalinhados de maneiras específicas). Os autores constatam que essas suposições não se sustentam para o nGPT, levando a desempenho subótimo ao escalar.

2. Metodologia

Os autores propõem uma nova parametrização chamada $\nu$ GPT (nu-GPT). Sua abordagem combina experimentos numéricos com um quadro teórico principiado baseado em expoentes de alinhamento (Everett et al., 2024).

A. Quadro Teórico: Expoentes de Alinhamento

Em vez de assumir os regimes de "alinhamento total" ( $\alpha=1$ ) ou "sem alinhamento" ( $\alpha=1/2$ ) usados no $\mu$ P, os autores medem empiricamente os expoentes de alinhamento ( $\alpha, \omega, \nu$ ), que descrevem como as atualizações de peso e as ativações escalam em relação à dimensão do modelo $d_{model}$ .

Eles definem expoentes para como a mudança em um produto matriz-vetor escala: $\|\Delta W h\| \sim d^{\alpha} \|\Delta W\| \|h\|$ .
Descoberta Chave: No nGPT, observa-se o regime de "meio-alinhamento", onde $\max\{\alpha, \nu\} \approx 3/4$ . Isso contradiz a suposição do $\mu$ P de $\max\{\alpha, \nu\} = 1$ (alinhamento total) ou $1/2$ (sem alinhamento).

B. A Parametrização $\nu$ GPT

Com base na hipótese de "meio-alinhamento" ( $\max\{\alpha, \nu\} = 3/4$ ) e em leis de escala empíricas, os autores derivam regras de escala específicas para taxas de aprendizado ( $\eta$ ) e parâmetros de inicialização. Seja $m_{width}$ , $m_{depth}$ e $m_{data}$ os multiplicadores para largura, profundidade e contagem de tokens em relação a um modelo base.

Regras de Escala Chave no $\nu$ GPT:

Taxa de Aprendizado Global: Escala como $m_{data}^{-1/3}$ . Isso corrige o horizonte de tokens, diferindo do $m_{data}^{-1/2}$ sugerido por teorias anteriores baseadas em EDE.
Pesos de Embedding ( $\eta_{input}$ ): Escala como $m_{width}^{-1/2}$ .
Pesos Ocultos/Desembedding ( $\eta_{hidden}, \eta_{output}$ ): Escala como $m_{width}^{-3/4}$ . Esta é a desvio crítico em relação ao $\mu$ P (que usa $m_{width}^{-1}$ ou $m_{width}^{-1/2}$ dependendo da variante).
Correções de Profundidade:
- Os vetores de redimensionamento treináveis $\alpha_{A, init}$ e $\alpha_{M, init}$ são escalados por $m_{depth}^{-1}$ .
- Diferentemente do "Depth- $\mu$ P" (que escala as taxas de aprendizado ocultas por $m_{depth}^{-1/2}$ ), o $\nu$ GPT descobre que as taxas de aprendizado ocultas não devem ser escaladas com a profundidade no nGPT, pois os redimensionadores treináveis lidam naturalmente com a estabilidade da profundidade.
Constantes de Inicialização: Constantes fixas (por exemplo, 0,03) são usadas para parâmetros de escala ( $\alpha_{scale}$ ) em vez de escalar com $d_{model}^{-1/2}$ .

3. Contribuições Principais

Identificação da Falha do $\mu$ P no nGPT: Demonstrou que as suposições padrão do $\mu$ P sobre o alinhamento peso-ativação são inválidas para arquiteturas normalizadas, levando a uma transferência de taxa de aprendizado deficiente.
Proposta do $\nu$ GPT: Introduziu uma nova parametrização que visa explicitamente o regime de "meio-alinhamento" ( $\approx 3/4$ ) observado no nGPT.
Escala de Horizonte de Tokens: Estabeleceu que a taxa de aprendizado ótima no nGPT escala com a contagem de tokens como $T^{-1/3}$ , refinando previsões teóricas anteriores de $T^{-1/2}$ .
Insight sobre Transferência de Profundidade: Mostrou que, para modelos normalizados com redimensionadores treináveis, a escala explícita da profundidade da taxa de aprendizado oculta é desnecessária e potencialmente prejudicial; em vez disso, escalar a inicialização dos redimensionadores é suficiente.

4. Resultados Experimentais

Os autores validaram o $\nu$ GPT no conjunto de dados FineWeb-Edu usando o tokenizador OLMo 2.

Transferência de Largura:
- nGPT Baseline: Não mostrou transferência de taxa de aprendizado; o desempenho degradou à medida que a largura aumentava.
- Correções estilo $\mu$ P: Mostraram leve desvio nas taxas de aprendizado ótimas.
- $\nu$ GPT: Alcançou transferência perfeita de taxa de aprendizado através da largura (de 0,26B para 3,22B de parâmetros) sem perda na perda de validação em comparação com a baseline ajustada.
Transferência de Profundidade:
- O nGPT baseline mostrou transferência de profundidade decente, mas tornou-se instável em profundidades extremas.
- O $\nu$ GPT manteve estabilidade e desempenho através de profundidades (8 a 128 camadas), mostrando menor sensibilidade às escolhas de taxa de aprendizado em grandes profundidades.
Transferência de Horizonte de Tokens:
- Experimentos confirmaram a lei de escala $T^{-1/3}$ para a taxa de aprendizado ótima à medida que o número de iterações de treinamento aumentava.
Verificação do Expoente de Alinhamento:
- Medições empíricas confirmaram que $\omega_{hidden} = \omega_{output} = 1/2$ e $\max\{\alpha, \nu\} \approx 0,75$ (meio-alinhamento), validando a base teórica do $\nu$ GPT.

5. Significado

Impacto Prático: O $\nu$ GPT permite que pesquisadores treinem Transformadores Normalizados em grande escala, ajustando simplesmente hiperparâmetros em modelos pequenos e transferindo-os diretamente para escalas massivas, economizando recursos computacionais significativos.
Avanço Teórico: O artigo desafia a universalidade do $\mu$ P, demonstrando que diferentes escolhas arquiteturais (especificamente esquemas de normalização) exigem diferentes suposições de alinhamento e leis de escala.
Eficiência: Ao remover a necessidade de decaimento de peso e aquecimento, ao mesmo tempo que permite uma escala robusta, o $\nu$ GPT oferece um pipeline de treinamento mais simplificado e eficiente para modelos fundacionais de próxima geração.

Em resumo, o artigo fornece uma solução rigorosa e fundamentada empiricamente para o problema de escalabilidade em transformadores normalizados, substituindo a abordagem "tamanho único" do $\mu$ P por uma parametrização sob medida ( $\nu$ GPT) que respeita a dinâmica única das arquiteturas normalizadas.