🤖 machine learning

Training nGPT

Este artigo apresenta uma receita de treinamento prática para o Transformer normalizado (nGPT) que incorpora técnicas como Logit Gradient Preconditioning e GatedAdamW, permitindo que modelos MoE híbridos Mamba-Transformer de 14 bilhões de parâmetros alcancem a mesma perda de validação de seus equivalentes não normalizados usando aproximadamente metade dos tokens de treinamento.

Autores originais: Ilya Loshchilov, Boris Ginsburg

Publicado 2026-08-04

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ilya Loshchilov, Boris Ginsburg

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da inteligência artificial como uma biblioteca gigante e movimentada, onde os computadores estão tentando aprender a escrever histórias, resolver problemas matemáticos e conversar como humanos. Para fazer isso, eles usam estruturas matemáticas especiais chamadas "redes neurais", que são como teias massivas e interconectadas de neurônios. Dentro dessas teias, a informação viaja como números, e a rede aprende ajustando a força das conexões entre esses neurônios. Por muito tempo, os cientistas notaram que esses números podem ficar bagunçados — às vezes crescem demais, às vezes encolhem até o nada, e todo o sistema pode ficar confuso sobre qual direção seguir para se tornar mais inteligente. Isso é um pouco como tentar subir uma montanha íngreme e com neblina carregando uma mochila que muda de peso constantemente; você pode dar um passo à frente e, logo em seguida, escorregar de volta para baixo. O objetivo desta pesquisa é encontrar uma maneira melhor de carregar essa mochila para que o computador possa subir a montanha do aprendizado de forma muito mais rápida e eficiente.

O artigo que você está prestes a ler vem da equipe da NVIDIA, liderada por Ilya Loshchilov e Boris Ginsburg. Eles estão enfrentando um problema específico: como fazer com que seus modelos de IA aprendam melhor, forçando todos os seus números internos a permanecerem em uma esfera perfeita e invisível. Pense nisso como uma regra que diz: "Não importa o quão longe você caminhe, deve sempre permanecer exatamente a uma milha de distância do centro da cidade". Esta regra, chamada "normalização", mantém os números de não ficarem grandes ou pequenos demais, o que ajuda o computador a manter o foco. Os autores basearam-se em uma ideia anterior chamada "nGPT" (GPT normalizado) e testaram em um tipo de IA moderna e poderosa que mistura duas tecnologias diferentes: "Mamba-2" (que é ótima para lembrar sequências longas) e "Transformers" (que são excelentes para entender o contexto). Eles queriam ver se esse novo conjunto de regras de treinamento poderia fazer com que esses modelos híbridos aprendessem mais rápido do que o método padrão.

A Grande Ideia: Uma Nova Receita de Treinamento

Os autores não apenas ajustaram uma coisa; eles prepararam toda uma nova "receita de treinamento" para esses modelos de IA. Imagine que você está ensinando um robô a andar. O modo antigo (usando um método padrão chamado AdamW) é como deixar o robô tropeçar, às vezes dando passos gigantes e desajeitados e outras vezes passos minúsculos e hesitantes, enquanto espera que ele eventualmente encontre o caminho. A nova receita, que eles chamam de receita de treinamento nGPT, é como colocar o robô em uma esteira com um conjunto muito específico de regras para manter seus passos perfeitos.

Aqui está como eles fizeram isso, dividido em conceitos simples e cotidianos:

1. O "Precondicionamento do Gradiente de Logit" (O Botão de Volume)
Quando a IA tenta adivinhar a próxima palavra em uma frase, ela produz uma lista de pontuações chamadas "logits". No sistema antigo, o volume dessas pontuações podia ficar estranhamente alto ou baixo conforme o treinamento avançava, confundindo o robô sobre o quanto ele deveria se esforçar. Os autores adicionaram um "botão de volume" especial (um vetor de escala aprendível) que eles poderiam ajustar. Mas aqui está a parte inteligente: eles perceberam que, se apenas girassem o botão, isso atrapalharia a memória do robô sobre como andar. Então, eles inventaram um truque chamado Precondicionamento do Gradiente de Logit. É como ter um botão de volume que altera o som que você ouve, mas quando o robô tenta aprender com um erro, o sistema automaticamente volta o volume ao normal para que o robô não fique confuso. Isso mantém o processo de aprendizado constante, mesmo que a "intensidade" das previsões mude.

2. O "Decaimento da Taxa de Aprendizado Logarítmica" (O Piloto de Corrida)
Geralmente, ao treinar uma IA, você começa com uma velocidade de aprendizado rápida e a diminui lentamente, como um piloto de corrida tirando o pé do acelerador. Os autores descobriram que a forma padrão de diminuir a velocidade (como uma curva suave) não era a melhor para o seu novo sistema de "esfera". Em vez disso, eles usaram um "Decaimento da Taxa de Aprendizado Logarítmica". Imagine um carro de corrida que arranca na largada, desacelera muito rapidamente no início para entender suas posições e depois segue em uma velocidade constante e prolongada pelo resto da corrida. Esse cronograma "antecipado" permite que o modelo aprenda o básico rapidamente e depois refine suas habilidades ao longo de um longo período, o que se mostrou muito mais eficiente.

3. "GatedAdamW" (O Porteiro Inteligente)
A forma padrão de atualizar o céreã do robô é chamada AdamW. Os autores atualizaram isso para GatedAdamW. Pense no método padrão como um porteiro que deixa todas as atualizações passarem, mesmo que sejam atualizações minúsculas e quase imperceptíveis. Às vezes, essas atualizações minúsculas são apenas ruído. O novo GatedAdamW tem um "portão inteligente" que observa cada atualização. Se uma atualização for muito pequena (como um sussurro), o porteiro gentilmente diz: "Hoje não", e a bloqueia. Se a atualização for um grito (uma mudança significativa), o portão se abre totalmente. Isso evita que o robô desperdice energia com ajustes minúsculos e inúteis e o ajuda a focar nas mudanças grandes e importantes.

4. O "Limite de Passo Angular" (A Coleira de Segurança)
Como o robô está caminhando em uma esfera, dar um passo que seja grande demais poderia fazê-lo perder o controle ou saltar para o lado errado do mundo. Os autores adicionaram um "Limite de Passo Angular", que é como uma coleira de segurança. Se o rob em tentar dar um passo que seja muito grande, a coleira o puxa gentilmente de volta para um ângulo menor e seguro. Isso garante que o robô nunca dê um salto selvagem e perigoso, mantendo sua jornada suave e estável.

Os Resultados: Aprendendo de Forma Mais Eficiente

A equipe testou esta nova receita em uma série de modelos de IA, variando de 1 bilhão a 14 bilhões de parâmetros (o "tamanho do cérebro" do robô). Eles compararam seus novos modelos nGPT contra os modelos GPT padrão treinados com os métodos antigos.

Os resultados foram impressionantes. Os novos modelos nGPT alcançaram consistentemente taxas de erro menores (medidas por "perda de validação") do que os modelos padrão. Especificamente, o modelo nGPT de 14 bilhões de parâmetros alcançou o mesmo nível de habilidade que o modelo padrão de 14 bilhões, mas exigiu aproximadamente metade dos tokens de treinamento (a quantidade de texto que o modelo lê) para chegar lá. Em outras palavras, para alcançar o mesmo destino, o modelo nGPT precisou ler cerca de metade do texto comparado ao modelo padrão.

O artigo sugere que essa melhoria vem da combinação de todas essas novas regras trabalhando juntas, e não apenas de um único truque. Eles também testaram uma configuração específica para o seu "portão inteligente" (chamado parâmetro de nitidez $a$ ) e descobriram que um portão mais suave ( $a=0.5$ ) funcionou ligeiramente melhor do que um rigoroso, mas a maior vitória veio de todo o novo sistema de treinamento, não apenas do portão em si.

O Que Isso Significa

Os autores observam cuidadosamente que não tentaram todas as variações possíveis de essas regras (eles não fizeram um "estudo de ablação completo"), portanto, pode haver configurações ainda melhores que eles não encontraram. No entanto, os resultados que eles encontraram são sólidos: ao forçar a IA a caminhar em uma esfera perfeita e usar uma maneira mais inteligente e controlada de dar passos, podemos ensinar esses modelos massivos a serem mais inteligentes usando significativamente menos dados e tempo. É uma receita prática que sugere que podemos construir uma IA melhor sem precisar alimentá-la com toda a internet, apenas com uma porção muito mais eficiente dela.

Resumo Técnico: Treinamento de nGPT em Modelos Híbridos MoE Modernos

Declaração do Problema

O framework do Transformer normalizado (nGPT) propõe representar os parâmetros e as ativações do modelo em uma hiperesfera unitária para facilitar o aprendizado de representação hiperesférica. Embora a formulação original do nGPT (Loshchilov et al., 2024) tenha demonstrado a viabilidade desta abordagem em configurações de Transformers densos, a aplicação ao modelos híbridos modernos de larga escala — especificamente aqueles que combinam modelos de espaço de estado Mamba-2 com Transformer Mixture-of-Experts (MoE) — requer uma receita de treinamento robusta. Otimizadores padrão como o AdamW, projetados para espaços euclidianos não restritos, podem não interagir de forma otimizada com as restrições geométricas do nGPT, particularmente no que diz respeito ao escalonamento de gradientes, cronogramas de taxa de aprendizado e o tratamento de estatísticas de segundo momento pequenas.

Metodologia

Os autores propõem uma "receita de treinamento nGPT" abrangente, adaptada para modelos híbridos Mamba-2–Transformer MoE (especificamente a arquitetura Nemotron-3). Esta receita integra restrições de normalização com modificações de otimização específicas para estabilizar o treinamento e melhorar a convergência.

1. Normalização e Escalonamento

Restrições de Parâmetros: Todos os vetores de parâmetros que formam matrizes são restritos a uma norma unitária ao longo da dimensão de incorporação (embedding).
Normalização de Ativação: Os estados ocultos são re-normalizados após a recombinação com as saídas de atenção/SSM e MLP/MoE.
Vetores de Escalonamento Aprendíveis: Para evitar a sobre-restrição em camadas não lineares, o modelo emprega vetores de escalonamento aprendíveis:
- $s_{qk}$ para reescalar queries e keys normalizadas.
- $s_u$ para reescalar ativações intermediárias de MLP/MoE.
- $s_z$ para reescalar os logits de saída para controlar a nitidez da distribuição.
Especificidades de Mamba-2 e MoE: Escalares treináveis ( $s_{mamba}$ , $s_{moe}$ ) são introduzidos para reescalar as entradas para as funções SiLU e sigmoid, respectivamente, substituindo camadas de normalização padrão como o RMSNorm.

2. Ingredientes de Otimização

A receita introduz vários componentes inovadores ao processo de otimização:

Pré-condicionamento de Gradiente de Logit (LGP): No nGPT, o vetor de escala de logit aprendido $s_z$ cresce logaritmicamente durante o treinamento, atuando como um multiplicador oculto e variante no tempo sobre os gradientes. O LGP desacopla esse efeito ao normalizar a escala do gradiente retroativo: $\partial L / \partial u \leftarrow (s_z / \text{mean}(s_z))^q \odot \partial L / \partial z$ . Com $q=1$ , isso remove a escala média global enquanto preserva as variações relativas por vocabulário, estabilizando o fluxo de gradiente sem alterar o passo à frente (forward pass).
Decaimento de Taxa de Aprendizado Logarítmico: Em vez do decaimento de cosseno padrão, os autores empregam um cronograma de decaimento logarítmico. Isso concentra o orçamento da taxa de aprendizado no início, permitindo uma diminuição inicial mais acentuada seguida de uma cauda longa, o que se alinha melhor com a dinâmica de parâmetros restritos do nGPT.
GatedAdamW: Este otimizador estende o AdamW ao separar a estabilidade numérica da supressão de atualização.
- Ele utiliza uma constante numérica $\epsilon_{num}$ estritamente para estabilidade.
- Introduz um portão suave (soft gate) $\gamma_t = \sigma(a \log(d_t / \epsilon_{gate}))$ baseado na escala do segundo momento $d_t$ .
- Isso permite o controle explícito sobre quais coordenadas recebem atualizações quando as estatísticas do segundo momento são pequenas, evitando a supressão de atualizações que poderia ocorrer com um único valor $\epsilon$ no AdamW padrão.
Controles Geométricos:
- Limite de Passo Angular (ASC): Limita o deslocamento angular dos vetores de parâmetros não-embedding normalizados para garantir a estabilidade geométrica.
- Clamping de Crescimento de Segundo Momento (SMGC): Uma salvaguarda contra picos extremos de gradiente ao limitar o crescimento dos segundos momentos.
- Ruído de Exploração Pós-Momento (PMEN): Adiciona ruído para encorajar a exploração em regiões de baixa variância.

Principais Resultados

Os autores avaliaram a receita em modelos híbridos Mamba-2–Transformer MoE variando de 1B a 14B de parâmetros totais, utilizando uma mistura de dados de nível industrial.

Eficiência de Dados: O principal achado é uma melhoria significativa na eficiência de dados. Especificamente, o modelo nGPT de 14 bilhões de parâmetros atinge a mesma perda de validação que um baseline GPT não normalizado (treinado com AdamW) usando aproximadamente metade do número de tokens de treinamento. Este resultado é derivado da interpolação das curvas de perda–token na Figura 7, e não de uma comparação direta em tabela entre todos os tamanhos de modelo.
Escalabilidade Consistente: Os ganhos de desempenho são consistentes em todos os tamanhos de modelo (1B, 2B, 4B, 7B e 14B). As variantes nGPT alcançam consistentemente perdas de validação aproximadamente 2,5% menores do que seus contrapartes não normalizados treinados com AdamW.
Dinâmica de Convergência: O nGPT exibe uma diminuição inicial de perda mais lenta seguida por uma convergência mais rápida no decorrer do treinamento, um comportamento atribuído ao cronograma de taxa de aprendizado que controla mais diretamente o passo efetivo na ausência de interações de decaimento de peso (weight decay).
Análise de Componentes: Estudos de ablação sobre o parâmetro de nitidez de portão $a$ no GatedAdamW sugerem que, embora $a=0,5$ ofereça uma vantagem modesta sobre $a=1$ (que recupera o comportamento padrão do Adam), o grosso do ganho de desempenho provém da parametrização normalizada e da receita de treinamento completa, e não apenas do mecanismo de portão.

Significância e Alegações

O artigo afirma fornecer uma receita de treinamento prática que expande com sucesso o nGPT de Transformers densos para arquiteturas híbridas MoE de larga escala. Os autores enfatizam que a melhoria central na eficiência de dados não é específica para modelos MoE, mas sim um resultado da sinergia entre a normalização e a otimização.

O trabalho é apresentado com modéstia quanto ao seu escopo:

Os experimentos foram conduzidos com um orçamento de computação limitado, focando em uma receita que "funcionou na prática", em vez de um estudo de ablação exaustivo de cada hiperparâmetro.
Os autores declaram explicitamente que ablações detalhadas por componente e leis de escala de hiperparâmetros são deixadas para trabalhos futuros.
A significância reside em demonstrar que o aprendizado de representação hiperesférica pode ser escalado para modelos de 14 bilhões de parâmetros com ganhos substanciais em eficiência de treinamento, ofereando uma alternativa viável aos pipelines de treinamento de Transformers padrão.