🤖 machine learning

QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides

O artigo propõe o QUADS, um método de alinhamento de erro de quantização de dois lados que estabiliza o aprendizado por reforço NVFP4 para modelos Mixture-of-Experts ao abordar erros de ativação por meio de treinamento consciente de quantização assimétrico e compensação de ativação residual, alcançando assim uma precisão de nível BF16 com throughput significativamente melhorado em comparação ao FP8.

Autores originais: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Publicado 2026-07-20

📖 4 min de leitura☕ Leitura rápida

CC0 1.0

Autores originais: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a resolver quebra-cabeças complexos, como problemas matemáticos ou escrita de código. Para se tornar realmente bom nisso, o robô não apenas memoriza respostas; ele pratica tentando milhares de soluções diferentes, recebendo feedback sobre o que funcionou e, então, ajustando seu cérebro para fazer melhor na próxima vez. Esse processo é chamado de Aprendizado por Reforço. No entanto, há um detalhe: a parte do robô que pensa e aprende (o treinador) é frequentemente separada da parte que gera as respostas (o motor de rollout). Para que o aprendizado funcione, essas duas partes precisam falar exatamente a mesma língua. Se o treinador pensa em alta definição (como um filme em 4K), mas o gerador é forçado a falar uma versão de baixa resolução e borrada (como um jogo de 8 bits pixelado), o robô fica confuso. Ele começa a cometer erros porque a "importância" de suas ações é distorcida pelo borrão. Esse descompasso é um grande problema porque atrasa todo o processo de aprendizado, fazendo com que o robô leve uma eternidade para ficar esperto.

Imagine agora que queremos fazer o robô pensar mais rápido. Poderíamos encolher seu cérebro ainda mais, usando um formato de resolução superbaixa chamado "NVFP4". Isso é como tentar correr uma corrida de alta velocidade em uma pista de terra feita de pedregulhos minúsculos e grosseiros. Isso promete ser incrivelmente rápido — muito mais rápido que o padrão atual — mas os pedregulhos são tão ásperos que as rodas do carro (a lógica do robô) começam a deslizar e girar fora de controle. O robô tenta aprender, mas a pista áspera faz com que ele bata após apenas algumas voltas. A grande questão é: podemos fazer essa pista super-rápida e áspera funcionar sem que o robô bata?

É exatamente isso que os pesquisadores deste artigo se propuseram a resolver. Eles descobriram que simplesmente colocar o robô nesta pista rápida e áspera faz com que ele falhe espetacularmente em cerca de 150 passos de treinamento. As pontuações de confiança do robô (log-probabilidades) se afastam de forma tão selvagem que ele para de aprender completamente. Através de experimentos cuidadosos, eles descobriram por que isso acontece. Acontece que o problema não são os pesos (o conhecimento armazenado do robô), que podem ser sincronizados facilmente. O verdadeiro culpado são as ativações — os cálculos frescos, feitos na hora, que o robô realiza enquanto pensa. Como a pista áspera (NVFP4) é tão grosseira, esses cálculos frescos são distorcidos de uma forma que o treinador não consegue corrigir apenas olhando para os pesos.

Para consertar isso, a equipe inventou uma estratégia inteligente de duas partes chamada QUADS (Alinhamento de Erro de Quantização entre Lados Duplos). Pense nisso como uma dança entre o treinador e o gerador. No lado do treinador, eles usam uma técnica especial chamada "Treinamento Consciente de Quantização Assimétrica". Em vez de tentar forçar o treinador a falar a linguagem áspera do gerador, eles mantêm o "pensamento" (ativações) do treinador em alta definição, mas forçam sua "memória" (pesos) a corresponder ao formato áspero do gerador. Dessa forma, o treinador sabe exatamente o que o gerador está vendo quando olha para os pesos, evitando a confusão.

Mas isso não foi suficiente por si só. O gerador ainda estava tropeçando nos pedregulhos ásperos quando tentava calcular novos pensamentos. Então, no lado do gerador, eles adicionaram uma "Compensação de Ativação Residual". Imagine que o gerador está caminhando na pista áspera e percebe: "Ei, meu pé está escorregando neste pedregulho específico!" Em vez de parar toda a corrida para consertar a pista, ele dá um passo pequeno e rápido para corrigir apenas esse escorregão específico antes de seguir em frente. Eles identificaram as partes específicas do cálculo que tinham mais probabilidade de escorregar (os "canais de alto resíduo") e deram a elas um pequeno impulso extra para manter o trajeto, tudo isso enquanto mantinham o resto da corrida super-rápido.

Os resultados são impressionantes. Ao usar essa dança de dois lados, o robô não apenas sobreviveu na pista áspera; ele performou quase tão bem quanto se estivesse correndo em uma pista suave e de alta definição. Em seus testes, o novo método melhorou a taxa de sucesso do robô em cerca de 21,5 pontos em comparação com o uso da pista áspera sem qualquer ajuda. Melhor ainda, ele manteve a vantagem de velocidade, rodando cerca de 16% mais rápido que o método padrão anterior. O artigo mostra que, embora a pista áspera seja perigosa por si só, com o alinhamento correto e um pouco de correção extra para os pontos escorregadios, podemos finalmente fazer esses modelos de IA de baixa precisão e super-rápidos funcionarem de forma confiável.

Resumo Técnico: QUADS - Estabilização de Aprendizado por Reforço NVFP4 para MoE via Alinhamento de Erro de Quantização

1. Declaração do Problema

O Aprendizado por Reforço (RL) para Modelos de Linguagem de Grande Escala (LLMs) do tipo Mixture-of-Experts (MoE) enfrenta um gargalo crítico: a geração de rollouts costuma consumir mais de 70% do tempo de execução total (wall-clock time). Para acelerar isso, pesquisadores exploraram a inferência de baixa precisão, com o FP8 servindo como uma linha de base estável que equilibra throughput e o descompasso entre treinamento e inferência. No entanto, a arquitetura Blackwell da NVIDIA introduz o NVFP4, um formato nativo W4A4 (pesos de 4 bits, ativações de 4 bits) que oferece até ~4× o throughput de GEMM em relação ao BF16 e ~2× em relação ao FP8.

O artigo identifica que aplicar diretamente o rollout NVFP4 W4A4 ao RL de MoE com treinamento em BF16 causa instabilidade imediata. Em experimentos, o RL com NVFP4 ingênuo colapsa após aproximadamente 150 passos de treinamento, caracterizado por um crescimento rápido no gap entre as log-probabilidades do rollout e do treinador, levando a razões de importância corrompidas e colapso de recompensa. O desafio central é que a grade E2M1 grosseira do FP4 (apenas 8 níveis positivos representáveis por sinal) amplifica o viés numérico de forma muito mais severa que o FP8, tornando as correções padrão de amostragem de importância insuficientes.

2. Metodologia: QUADS

Os autores propõem o QUantization-error Alignment across Dual Sides (QUADS), um framework projetado para estabilizar o RL com NVFP4 ao abordar as fontes específicas de descompasso entre treinamento e inferência. A metodologia fundamenta-se em uma análise detalhada de erro, decompondo o gap de log-probabilidade ( $\delta_t$ ) em erro de peso ( $\delta^{weight}_t$ ), erro de ativação ( $\delta^{act}_t$ ) e diferenças de caminho numérico ( $\delta^{num}_t$ ).

2.1 Análise de Erro e Diagnóstico

Através de ablações controladas, os autores determinam que a quantização de ativação é a fonte dominante de instabilidade, não a quantização de pesos.

Pesos: Podem ser sincronizados entre os motores de inferência e treinamento. Como os pesos são replicados, aplicar o mesmo caminho de quantização-desquantização (QDQ) no lado do treinador elimina efetivamente o descompasso induzido pelo peso.
Ativações: São recomputadas online durante a inferência. A grade E2M1 grosseira introduz um erro de quantização significativo ( $\Delta X_q$ ) que é ainda mais exacerbado pelo drift inerente de motor ( $\eta$ ) entre os kernels de inferência e treinamento. O Treinamento com Consciência de Quantização (QAT) simétrico W4A4, que faz a fake-quantização de ambos os pesos e ativações no treinador, falha porque amplifica o drift em vez de reduzi-lo.

2.2 Estratégia de Alinhamento de Lados Duplos

O QUADS aborda essa assimetria através de dois componentes complementares:

A. Treinamento com Consciência de Quantização Assimétrico (Lado do Treinador)
Em vez do QAT W4A4 simétrico, os autores propõem o Asymmetric W4A16 QAT:

Pesos: Fake-quantizados para NVFP4 (W4) no lado do treinador para alinhar o caminho de quantização com o motor de rollout.
Ativações: Mantidas em BF16 (A16) no lado do treinador.
Racional: Isso evita que o treinador introduza um erro de quantização de ativação adicional que não pode ser alinhado com as ativações de inferência online. O otimizador atualiza os pesos mestres em BF16, mas cada passagem direta (forward pass) vê os pesos discretizados usados pelo rollout, eliminando $\delta^{weight}_t$ sem amplificar $\delta^{act}_t$ .

B. Compensação de Ativação Residual (Lado do Rollout)
Para abordar o erro de ativação restante ( $\delta^{act}_t$ ) que não pode ser corrigido pelo treinador, o motor de rollout emprega uma correção direcionada:

Mecanismo: O sistema identifica canais de "alto resíduo" onde o erro de quantização FP4 é maior. Ele aplica uma segunda passagem de quantização a esses canais específicos, computando um termo de correção residual ( $\Delta X_q$ ) e adicionando-o de volta à saída quantizada.
Implementação: Uma máscara de canal binária seleciona os top $k\%$ dos canais (ex: 50%) com base na magnitude do resíduo. Esta correção é implementada via kernels Triton fundidos para minimizar o overhead, preservando o throughput de GEMM W4A4 nativo para a maioria das computações.
Objetivo: Reduzir a distância entre a saída do rollout e a referência BF16, fechando o gap de log-probabilidade sem retornar à inferência BF16 completa.

3. Principais Contribuições

Diagnóstico de Falha do NVFP4 RL: O artigo demonstra empiricamente que a quantização de ativação, e não a de pesos, é o principal motor da divergência de log-probabilidade e do colapso de recompensa no RL com NVFP4 ingênuo.
Esquema de QAT Assimétrico: Introdução de uma estratégia no lado do treinamento que realiza a fake-quantização de pesos para FP4 enquanto mantém as ativações em BF16, alinhando efetivamente o caminho de pesos sem exacerbar o drift de ativação.
Compensação de Ativação Residual: Uma técnica no lado do rollout que visa canais de ativação de alto erro com uma correção de segunda passagem, preservando o throughput W4A4 nativo enquanto mitiga o descompasso induzido pela ativação.
Validação Empírica: Demonstração de que o pipeline QUADS permite o treinamento estável de MoE de parâmetros totais com GRPO em hardware NVFP4, alcançando precisão de nível BF16.

4. Resultados Experimentais

Experimentos foram conduzidos em um modelo MoE de 25 bilhões de parâmetros (2.8B especialistas ativos) usando GPUs Blackwell, treinado com GRPO em tarefas de raciocínio matemático e geração de código.

Precisão: O pipeline QUADS alcançou um pass@1 médio de 72,86% em quatro benchmarks de teste (AIME 2024/25, HMMT 2025, LiveCodeBench). Isso corresponde aos 73,15% alcançados pela linha de base BF16 completa e supera significativamente o RL com NVFP4 ingênuo (51,37%) e o RL com FP8 (72,88%).
Estabilidade: Enquanto o RL com NVFP4 ingênuo colapsou após ~150 passos, o QUADS manteve curvas de treinamento estáveis comparáveis ao BF16. O gap máximo de log-probabilidade por passo foi reduzido de ~1,3 (ingênuo) para ~0,86 (QUADS), aproximando-se do piso de drift de motor irredutível de ~0,74 observado no BF16.
Throughput: O QUADS entregou aproximadamente 16% mais throughput de rollout em comparação ao FP8. Embora a compensação residual tenha adicionado um overhead de ~5–9% em relação ao plain W4A4, o ganho de velocidade líquido sobre o FP8 permaneceu substancial.
Estudos de Ablação:
- Remover a compensação residual (apenas W4A16 QAT) estabilizou o treinamento, mas deixou um gap de precisão perceptível em relação ao BF16.
- O QAT W4A4 simétrico (quantizando tanto pesos quanto ativações no treinador) resultou em descompassos maiores do que a abordagem assimétrica, confirmando a necessidade de manter as ativações do treinador em BF16.

5. Significância e Alegações

O artigo afirma que o QUADS é o primeiro método a permitir o treinamento estável de RL de MoE de parâmetros totais usando GEMMs W4A4 FP4 nativos em hardware Blackwell.

A significância reside em resolver o problema de "alinhamento de erro de quantização" específico da extrema grosseria da grade E2M1 do FP4. Ao reconhecer que pesos e ativações requerem estratégias de alinhamento fundamentalmente diferentes (sincronização vs. compensação online), os autores demonstram que é possível aproveitar os ganhos massivos de throughput do FP4 sem sacrificar a estabilidade numérica necessária para a otimização de gradiente de política. O trabalho estabelece que, com o alinhamento duplo correto, o NVFP4 pode servir como uma alternativa de alto throughput viável ao FP8 para cargas de trabalho de RL, oferecendo uma vantagem de throughput de ~16% enquanto mantém o desempenho do modelo de nível BF16.