🤖 machine learning

Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention

Este artigo apresenta o Full-Stack FP4, um framework modular que estende a quantização NVFP4 para além de projeções lineares para incluir estados de otimizadores estáveis, computações Root/Muon e atenção de precisão mista, alcançando um desempenho de pré-treinamento próximo ao BF16 com ganhos significativos de memória e velocidade em uma única RTX 5090.

Autores originais: Siyu Ding, Mingchuan Ma, Jiabo Tong, Xingrun Xing, Ziming Wang, Guoqi Li

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Siyu Ding, Mingchuan Ma, Jiabo Tong, Xingrun Xing, Ziming Wang, Guoqi Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um cérebro digital gigante a falar, escrever e pensar. Esse "cérebro" é um Grande Modelo de Linguagem (LLM) e, para aprender, ele precisa processar montanhas de informações. Mas há um porém: quanto mais ele aprende, mais faminto fica por memória de computador e eletricidade. É como tentar rodar um filme massivo em alta definição em um notebook antigo e pequeno; a tela fica borrada e o ventilador começa a gritar. Para resolver isso, cientistas têm tentado encolher os números que o computador usa para fazer seus cálculos. Em vez de usar números superprecisos e pesados (como uma fotografia detalhada), eles passaram a usar números menores e mais leves (como um esboço pixelado). Isso é chamado de "treinamento de baixa precisão". Recentemente, um novo tipo de número minúsculo chamado "FP4" (ponto flutuante de 4 bits) chegou, prometendo tornar esses cérebros gigantes muito menores e mais rápidos. Mas aqui está o problema: embora as partes principais do cérebro consigam lidar com esses números minúsculos, as partes "ajudantes" — como a memória que ele guarda para aprender o que viu ontem e os cálculos complexos que faz para entender frases — continuam travando ou ficando confusas quando forçadas a usar números tão pequenos. É como ter o motor de um carro de corrida, mas tentar rodá-lo com uma corrente de bicicleta; o motor está pronto, mas o resto da máquina não consegue acompanhar.

Este artigo introduz um novo kit de ferramentas inteligente chamado Full-Stack FP4, que atua como um mestre mecânico para esses cérebros digitais. Os pesquisadores perceberam que você não pode simplesmente usar as mesmas regras de números minúsculos para cada parte do cérebro. Algumas partes, como as conexões principais, conseguem lidar com os números minúsculos sem problemas. Mas outras partes, como a "memória" que o computador usa para lembrar o que aprendeu ontem, são muito sensíveis e precisam de um cuidado especial. A equipe criou um sistema modular onde utilizam diferentes "receitas" para diferentes partes do cérebro. Para as conexões principais, eles usam um truque chamado LoRA-SVD, que é como manter um esboço de alta resolução dos detalhes mais importantes enquanto usa blocos pixelados para o restante. Para a memória, eles inventaram uma maneira de "suavizar" os números antes de espremê-los em caixas minúsculas para que não se percam. Para a matemática que ajuda o cérebro a focar nas palavras certas (atenção), eles decidiram manter as partes mais sensíveis em alta definição enquanto deixam o resto permanecer pixelado.

Quando testaram este sistema completo em um modelo de 3 bilhões de parâmetros (um cérebro digital de tamanho médio) usando 64 bilhões de palavras de dados de treinamento, os resultados foram impressionantes. O cérebro "Full-Stack FP4" aprendeu quase exatamente tão bem quanto a versão tradicional e robusta. A diferença em suas pontuações de aprendizado foi de apenas 0,838%, o que é quase imperceptível. Na verdade, quando testaram o quão bem o cérebro respondia a perguntas que nunca tinha visto antes, a nova versão de números minúsculos foi, na verdade, ligeiramente melhor em adivinhar as palavras certas, mesmo usando muito menos memória. Em uma única placa de vídeo poderosa (uma RTX 5090), este novo método tornou o processo de aprendizado do cérebro de 2,5 a 2,8 vezes mais rápido para certas tarefas e usou 38% a 42% menos memória do que o método padrão de alta precisão.

Os pesquisadores fazem questão de notar que, embora isso funcione muito bem para modelos de até 3 bilhões de parâmetros, eles ainda não provaram se funcionará para cérebros ainda maiores ou por períodos de treinamento muito mais longos. Eles também descobriram que você não pode simplesmente jogar números minúsculos em tudo; se tentar forçar as partes mais sensíveis do cérebro a usar os menores números sem essas receitas especiais, o aprendizado entra em colapso. Mas, por enquanto, essa abordagem "Full-Stack" mostra que podemos construir IAs mais inteligentes, rápidas e baratas ao tratar diferentes partes do cérebro com o nível de precisão específico que elas realmente precisam, em vez de forçar todo o sistema a ser um tamanho único para todos.

Resumo Técnico: Full-Stack FP4: Pré-treinamento de LLM com Projeções, Otimizadores e Atenção Quantizados

1. Definição do Problema

Avanços recentes nas GPUs NVIDIA Blackwell tornaram o suporte nativo aos Tensor Cores NVFP4 (4 bits) um alvo prático para o pré-treinamento de Large Language Models (LLMs). Embora pesquisas existentes tenham demonstrado com sucesso o pré-treinamento estável de 4 bits para projeções lineares de Transformers, lacunas significativas permanecem em outros módulos críticos de treinamento. A maioria das receitas NVFP4 atuais mantém uma precisão superior (por exemplo, BF16 ou FP8) para estados do otimizador, computações do otimizador e mecanismos de atenção.

O desafio primário é que esses módulos possuem estruturas numéricas distintas que uma regra de quantização uniforme não consegue abordar:

Projeções Lineares: Os sinais de gradiente enfraquecem ao longo do treinamento enquanto o ruído de quantização permanece constante, reduzindo a eficácia do treinamento de baixa precisão contínuo.
Estados AdamW: O momento do segundo momento é não-negativo, de cauda pesada, persistente e sensível aos valores do denominador, tornando o armazenamento direto em 4 bits propenso a distorções.
Otimizadores Root/Muon: Estes dependem de produtos de matriz Newton–Schulz repetidos, onde erros de iteração de baixa precisão podem se acumular e desestabilizar a convergência.
Atenção: O operador contém caminhos sensíveis ao softmax (ex: $PV$, $dOV^\top$ ) que exigem alta precisão, enquanto outros caminhos (ex: $QK^\top$ ) são mais robustos à quantização.

Consequentemente, há uma falta de um framework unificado e modular que permita o pré-treinamento nativo em NVFP4 em todo o stack de treinamento (projeções, otimizadores e atenção) sem depender de recuos (fallbacks) de precisão mista para componentes críticos.

2. Metodologia: Full-Stack FP4

Os autores apresentam o Full-Stack FP4, um framework modular composto por quatro receitas independentes e composáveis projetadas para abordar as dificuldades numéricas específicas de cada módulo de treinamento.

2.1 Projeções Lineares LoRA-SVD

Para mitigar a degradação dos sinais de gradiente nas fases tardias do treinamento, os autores propõem o LoRA-SVD.

Mecanismo: Este método parametriza os pesos como $W = W_{res} + \beta L_2 L_1$ . Ele mantém um subespaço principal compacto ( $L_2 L_1$ ) em BF16 enquanto computa o resíduo dominante ( $W_{res}$ ) em NVFP4.
Passagem Backward: Uma passagem backward restrita ao subespaço utiliza uma restrição Cholesky-QR para garantir que a atualização do ramo de baixo rank em BF16 se alinhe com o subespaço principal, enquanto o resíduo atualiza o componente NVFP4.
Realinhamento: O subespaço é periodicamente realinhado (a cada 2.048 passos) usando SVD aleatorizado para resetar os componentes, garantindo que o subespaço BF16 permaneça ideal.

2.2 AdamW de Estado Quantizado (Q-AdamW)

Para estabilizar o armazenamento de estados de momento persistentes e de cauda pesada em NVFP4:

Primeiro Momento ( $m_t$ ): Aplica mistura de Hadamard para suavizar a distribuição antes da Quantização Estocástica (SR) e quantização adaptativa de 4/6 bits.
Segundo Momento ( $v_t$ ): Utiliza um pipeline de pré-processamento de três estágios antes do armazenamento em NVFP4:
1. Raiz Quadrada: Encurta a cauda pesada.
2. Média de Bloco (Tile Mean): Separa o componente comum positivo (armazenado em BF16) de um resíduo aproximadamente de média zero.
3. Transformada de Hadamard: Espalha a energia localizada no resíduo para torná-lo mais simétrico.
Reconstrução: O estado é reconstruído invertendo a transformada e a separação de média, e então elevando o resultado ao quadrado. Este pipeline evita a necessidade de operações de subespaço baseadas em SVD.

2.3 Otimizador Root NVFP4 (Q-Root)

Para as iterações de Newton–Schulz (NS) usadas no otimizador Root:

Execução Direta em NVFP4: Em vez de uma rota de precisão mista, os produtos de matriz NS são executados diretamente em NVFP4.
Estabilização: A estabilidade é alcançada através de coeficientes dependentes da forma (coeficientes $a, b, c$ otimizados para razões de aspecto de matriz específicas) e clipping de p99 outliers. Esta abordagem limita a amplificação de erro através de sucessivos passos de NS sem exigir caminhos auxiliares de precisão mista.

2.4 Atenção de Precisão Mista (Q-Attn)

Para equilibrar precisão e eficiência na atenção:

Divisão de Precisão: O framework atribui NVFP4 aos caminhos robustos ( $QK^\top$ e $dS$) e retém BF16 para caminhos sensíveis ao softmax ($PV$, $P^\top dO$ e $dOV^\top$ ).
Consistência: Visões quantizadas de $Q, K, V$ são reutilizadas entre as passagens forward e backward para garantir a consistência de tensores e evitar tráfego de memória redundante.

3. Principais Contribuições

Projeções LoRA-SVD: Uma reparametrização fundível que reduz o gap de perda apenas linear de 1,40% para 0,61% em comparação ao NVFP4 padrão, protegendo um subespaço compacto em BF16.
AdamW de Estado Quantizado: A primeira demonstração de armazenamento estável de estado de momento AdamW em NVFP4 em uma execução de pré-treinamento integrada, utilizando um pipeline de estado transformado que reduz o erro de reconstrução do segundo momento em ~60%.
Root NVFP4: Um caminho direto de baixa precisão para Newton–Schulz habilitado por coeficientes conscientes da forma e clipping, reduzindo o erro de iteração de ~10% para ~3%.
Atenção de Precisão Mista Treinável: Uma estratégia que protege caminhos sensíveis ao softmax em BF16 enquanto quantiza caminhos forward e backward adequados, permitindo um operador de pré-treinamento consistente em NVFP4.

4. Resultados Experimentais

Os autores avaliaram o framework em um Transformer de 3 bilhões de parâmetros treinado por 64 bilhões de tokens.

Perda de Treinamento: O baseline BF16 atingiu uma perda de 2,267, enquanto o Full-Stack FP4 atingiu 2,286, resultando em um gap relativo de 0,838%.
Desempenho Downstream: A avaliação zero-shot mostrou que o Full-Stack FP4 teve uma perplexidade média de 26,665 (vs. 26,675 para o BF16) e uma acurácia média 0,10 pontos percentuais inferior ao baseline BF16.
Estudos de Ablação:
- O LoRA-SVD sozinho reduziu o gap de perda apenas linear de 1,40% para 0,61%.
- As receitas modulares podem ser habilitadas independentemente ou combinadas, com o "Full-Stack" representando a cobertura agregada.
Eficiência de Hardware Nativo (RTX 5090):
- Aceleração do Root: O Full-Stack FP4 alcançou acelerações de 2,50×–2,83× sobre o BF16 otimizado e 1,83×–2,17× sobre o NVIDIA Transformer Engine (TE) para o passo do otimizador Root.
- Economia de Memória: O framework reduziu o pico de memória do AdamW em 37,9%–42,5% em comparação ao BF16.
- Economia de Tempo: As economias de tempo de perda equivalente foram calculadas em 56,9%–61,9% ao considerar a redução no tempo de passo e o leve aumento nos tokens necessários para igualar a perda do BF16.

5. Significância e Limitações

Significância:
O artigo demonstra que uma abordagem "Full-Stack" para o pré-treinamento NVFP4 é viável, cobrindo projeções, estados do otimizador, computação do otimizador e atenção. Estabelece que o pré-treinamento nativo de 4 bits pode alcançar um desempenho comparável ao BF16 (dentro de um gap de perda <1%) enquanto oferece benefícios substanciais de memória e throughput em hardware da classe Blackwell. O trabalho fornece um conjunto de receitas modulares que permite aos praticantes adotar a baixa precisão de forma incremental.

Limitações:

Escala: Os experimentos são limitados a modelos de até 3B de parâmetros e 64B de tokens. O artigo não estabelece o comportamento em escalas de 7B+ ou em horizontes de treinamento mais longos.
Medição de Eficiência: A eficiência de hardware nativa foi medida em quatro blocos de decodificador em uma única RTX 5090, não em um modelo distribuído completo.
Estimativas: Os cálculos de economia de tempo são estimativas baseadas em configurações fixas de batch size e não levam em conta potenciais ganhos de throughput através do aumento do batch size usando a memória liberada.
Fusão de Kernels: Alguns kernels (backward de LoRA, atenção) ainda não estão totalmente fundidos, e a implementação ainda não utiliza todas as otimizações do FlashAttention-4.
Especificidade de Formato: As receitas e medições são específicas para NVFP4 e não alegam transferibilidade para MXFP4.