🤖 machine learning

Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training

Este artigo identifica e resolve dois modos de falha distintos no treinamento consciente de quantização HiF8 W8A8 — saturação de amax e esquecimento catastrófico — introduzindo uma estratégia de estimativa de escala de janela máxima e um cronograma de aquecimento BF16, alcançando assim desempenho quase sem perdas no modelo OpenPangu-Embedded-1B.

Autores originais: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma bibliotecária brilhante e bem lida (o modelo de IA) que passou anos memorizando uma vasta biblioteca de livros. Agora, você quer reduzir essa enorme biblioteca para que caiba em uma pequena mochila portátil (um dispositivo de baixo consumo) sem perder nenhuma das histórias ou fatos contidos nela. Esse processo é chamado de Quantização.

O artigo descreve um experimento específico onde os pesquisadores tentaram reduzir um modelo de IA com 1 bilhão de parâmetros usando um novo formato compacto chamado HiF8 (Float 8 de alta precisão). Pense no HiF8 como uma "compressão inteligente" que mantém os detalhes mais importantes nítidos enquanto comprime o restante.

No entanto, os pesquisadores descobriram que simplesmente reduzir a biblioteca não era suficiente. Eles encontraram duas "armadilhas" ocultas que poderiam arruinar a memória do modelo, mesmo que o processo de treinamento parecesse perfeito no papel.

Aqui está a explicação de sua jornada, apresentada de forma simples:

As Duas Armadilhas Ocultas

1. A Armadilha do "Ponto Cego" (Saturação Amax)
Imagine que a bibliotecária está tentando organizar livros em uma prateleira, mas está usando uma régua um pouco curta demais.

O Problema: A IA precisa saber o número "mais alto" ou "maior" que vê para definir a escala de compressão. Os pesquisadores usaram um método chamado Escalonamento de Tensores Atrasado (DTS). Isso é como a bibliotecária olhar para o livro anterior para adivinhar o tamanho do livro atual.
O Fracasso: Se o livro atual for repentinamente enorme (um "pico" nos dados), a suposição da bibliotecária (baseada no livro anterior) será muito pequena. O livro fica "cortado" ou truncado na borda da prateleira.
A Astúcia: A "planilha de pontuação" interna da IA (perda de treinamento) não mostrou isso acontecendo. Era como a bibliotecária dizer: "Estou organizando bem!", enquanto secretamente rasgava páginas dos livros. O dano só apareceu mais tarde, quando testaram o conhecimento da bibliotecária em questionários específicos (como ARC ou MMLU).

2. A Armadilha do "Estudante Excessivamente Eager" (Esquecimento Catastrófico)
Imagine que a bibliotecária está tão ansiosa para aprender novas histórias de um novo conjunto de livros que começa a apagar os clássicos antigos de sua memória para fazer espaço.

O Problema: Os pesquisadores estavam ensinando o modelo com uma "taxa de aprendizado" (velocidade de aprendizado) muito agressiva.
O Fracasso: O modelo estava aprendendo os novos dados tão rápido que esquecia completamente o senso comum e os fatos aprendidos durante seu treinamento original.
A Astúcia: Isso aconteceu mesmo sem a compressão. Se eles apenas treinassem o modelo normalmente nessa alta velocidade, ele ainda esqueceria tudo. Mas como também estavam comprimindo o modelo, culparam a compressão pelo fracasso, e não a velocidade.

A Solução: Um Fixo de Duas Partes

Os pesquisadores realizaram oito experimentos diferentes para descobrir como corrigir essas armadilhas. Eles descobriram que corrigir apenas uma não era suficiente; eles tiveram que corrigir ambas simultaneamente.

Correção #1: A "Rede de Segurança" (Estratégia de Janela Máxima)
Para impedir o "Ponto Cego", eles mudaram como a bibliotecária adivinha os tamanhos dos livros.

Em vez de olhar apenas para o livro anterior, eles disseram à bibliotecária para olhar para o maior livro visto nos últimos 64 livros.
Esta é uma abordagem "conservadora". Faz a prateleira ligeiramente maior do que estritamente necessário (um pouco excessivamente conservadora), mas garante que nenhum livro seja cortado. Esse pequeno "espaço extra" na verdade ajudou o modelo a permanecer estável, atuando como um regularizador suave.

Correção #2: O "Resfriamento" (Aquecimento e Aprendizado Mais Lento)
Para impedir o "Estudante Excessivamente Eager", eles alteraram o cronograma de treinamento.

O Aquecimento: Nos primeiros 500 passos, eles não comprimiram o modelo de forma alguma. Permitiram que ele se acomodasse com os novos dados em seu formato completo e de alta qualidade (BF16). Isso permitiu que o modelo se estabilizasse em um estado estável antes que a compressão da "mochila" fosse aplicada.
A Desaceleração: Eles desaceleraram drasticamente a velocidade de aprendizado (reduzindo a taxa de aprendizado). Isso impediu que o modelo sobrescrevesse freneticamente seu antigo e valioso conhecimento com novos dados.

O Resultado

Quando combinaram essas duas correções, o resultado foi quase sem perdas.

O modelo comprimido (HiF8) performou quase exatamente tão bem quanto o modelo completo e não comprimido.
A queda de desempenho em questionários difíceis foi mínima (menos de 0,5% na maioria dos casos).
Crucialmente, eles provaram que se você usasse apenas a "Rede de Segurança" mas mantivesse a velocidade "Excessivamente Eager", o modelo ainda falharia. E se você desacelerasse a velocidade mas mantivesse a régua do "Ponto Cego", também falharia. Ambas as correções foram necessárias.

O Que Não Funcionou (e Por Que)

Olhar apenas para o último livro: Causou que livros fossem cortados.
Suavizar a suposição: Tentou calcular a média dos livros passados, mas falhou quando os dados mudaram de forma imprevisível.
Verificar o livro atual instantaneamente: Isso exigia uma segunda olhada nos dados, o que era muito lento e causava que o tamanho da prateleira oscilasse demais, confundindo o modelo.
Treinamento de alta velocidade: Mesmo sem compressão, isso fez o modelo esquecer tudo.

A Conclusão

O artigo nos ensina que, ao reduzir um modelo de IA inteligente, você não pode olhar apenas para a "pontuação de treinamento" para ver se está funcionando. Você deve ter cuidado com como mede os dados (para evitar truncamento) e com a velocidade com que o ensina (para evitar esquecimento). Ao usar uma "rede de segurança" para o tamanho dos dados e um ritmo de aprendizado "lento e constante", você pode caber um cérebro gigante em uma mochila minúscula sem perder a sanidade.

Resumo Técnico: Estimativa de Escala Max-Window para Treinamento Consciente de Quantização Near-Lossless HiF8 W8A8

Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) em ambientes com recursos limitados exige quantização agressiva, particularmente usando formatos de ponto flutuante de 8 bits (FP8) como HiF8 (Float 8 de Alta Precisão). Embora o Treinamento Consciente de Quantização (QAT) vise adaptar modelos pré-treinados a representações de baixo bit, ele introduz modos de falha sutis que são invisíveis para métricas de treinamento padrão, como a perda de entropia cruzada.

Especificamente, aplicar QAT a modelos pré-treinados envolve um compromisso complexo: preservar o conhecimento pré-treinado enquanto se adapta as representações internas ao ruído de quantização. Os autores identificam que a perda de treinamento padrão frequentemente falha em sinalizar degradação, levando a dois modos de falha distintos e ortogonais no QAT HiF8 W8A8:

Saturação de $A_{max}$ : Causada pelo atraso temporal na Escalonamento de Tensor Atrasado (DTS), onde o fator de escala estimado baseia-se em dados históricos. Se o máximo de ativação verdadeiro do passo atual exceder a escala prevista, os valores são cortados, corrompendo as ativações forward, enquanto o Estimador Straight-Through (STE) passa gradientes incorretamente como se nenhum corte tivesse ocorrido.
Esquecimento Catastrófico: Causado por uma taxa de aprendizado excessivamente agressiva durante o pré-treinamento contínuo, que sobrescreve o conhecimento de senso comum pré-treinado independentemente do esquema de quantização.

Metodologia

O estudo foca no modelo OpenPangu-Embedded-1B (1 bilhão de parâmetros) usando o formato HiF8 W8A8. A metodologia envolve uma investigação sistemática através de oito experimentos controlados para desvendar as causas da degradação de desempenho.

Configuração de Quantização

Formato: O HiF8 usa precisão de mantissa em camadas baseada na magnitude do valor (3 bits para $|x| \le 8$ , 2 bits para $|x| \le 128$ , 1 bit para valores maiores).
Seleção de Módulos: Para equilibrar eficiência e estabilidade, apenas as camadas MLP (projeções gate, up e down) nos 21 blocos Transformer do meio são quantizadas. Projeções de atenção, embeddings, normalizações de camada e os blocos de fronteira (primeiros 3 e últimos 2) permanecem em BF16 para preservar o tratamento de outliers e a precisão de saída.
Protocolo de Treinamento: Os experimentos utilizam o conjunto de dados FineWeb com um tamanho de lote global de 1024 e comprimento de sequência de 1024 ao longo de 10.000 passos.

Variáveis Experimentais

O núcleo da investigação compara diferentes algoritmos de estimativa de $A_{max}$ e taxas de aprendizado:

Algoritmos de $A_{max}$ :
- Mais Recente (DTS): Usa o máximo do passo anterior.
- Suavização Exponencial (DTS): Usa uma média móvel.
- Janela Máxima (DTS): Usa o valor máximo sobre uma janela de histórico de 64 passos.
- Escalonamento de Tensor Atual (CTS): Calcula o máximo a partir do passo atual (requer uma segunda passagem forward).
Taxas de Aprendizado: Os experimentos testaram $10^{-4}$ (inicialmente considerada segura para baselines BF16) e $10^{-5}$ .
Warmup: Uma fase de warmup BF16 de 500 passos foi introduzida em experimentos posteriores para estabilizar os pesos e popularizar o histórico de $A_{max}$ antes de ativar a quantização.

Principais Contribuições

O artigo faz quatro contribuições primárias baseadas na desvinculação dos modos de falha:

Identificação de Modos de Falha Ortogonais: Os autores demonstram que a degradação de benchmark no QAT HiF8 decorre de duas fontes independentes: saturação de $A_{max}$ (um problema específico de quantização) e esquecimento catastrófico (um problema de dinâmica de treinamento). Crucialmente, nenhum é detectável apenas via perda de treinamento; ambos manifestam-se apenas na avaliação downstream.
Estratégia Conservadora Max-Window: Para abordar a saturação de $A_{max}$ , o artigo propõe substituir algoritmos padrão por um algoritmo max sobre uma janela de histórico de 64 passos. Isso fornece uma garantia rígida contra saturação induzida por escala para qualquer passo dentro da janela de observação. O ligeiro excesso de conservadorismo atua como regularização benéfica.
Protocolo de Treinamento em Duas Fases: Para mitigar o esquecimento catastrófico, os autores introduzem um protocolo envolvendo um warmup BF16 de 500 passos seguido por QAT com uma taxa de aprendizado reduzida de $10^{-5}$ . O warmup garante que o modelo atinja um regime de pesos estável e popule o histórico de $A_{max}$ com valores representativos, enquanto a taxa de aprendizado mais baixa previne a sobrescrita do conhecimento pré-treinado.
Análise Abrangente de Falhas: O estudo documenta por que abordagens anteriores falharam:
- Mais Recente sofre de saturação com atraso de 1 passo.
- Suavização Exponencial falha sob dinâmicas de ativação não monotônicas.
- CTS introduz flutuações por passo que corrompem representações estáveis.
- Altas Taxas de Aprendizado ( $10^{-4}$ ) causam esquecimento significativo independentemente da quantização.

Resultados

A configuração final (algoritmo Max-Window + warmup de 500 passos + $lr=10^{-5}$ ) alcança quantização near-lossless comparada a uma baseline BF16 correspondente treinada na mesma taxa de aprendizado:

MMLU: Queda de 0,43% (43,17% vs. 43,36% baseline).
HellaSwag: Queda de 0,58%.
ARC-Challenge: Queda de 0,22%.
Perda de Treinamento: O Erro Porcentual Médio (APE) entre o QAT HiF8 e a baseline BF16 é de apenas 0,11% ao longo de 10.000 passos.

Notavelmente, os experimentos mostraram que nenhum dos ajustes isoladamente foi suficiente. Usar o algoritmo Max com $lr=10^{-4}$ ainda resultou em quedas de ~3% nas tarefas ARC devido ao esquecimento. Por outro lado, usar $lr=10^{-5}$ com um algoritmo padrão mais recente ainda sofreria de saturação.

Significado e Afirmações

O artigo afirma que o QAT HiF8 bem-sucedido para modelos pré-treinados exige abordar a interação entre estabilidade de escala e dinâmicas de aprendizado simultaneamente. O significado do trabalho reside em:

Diagnosticar a Falha "Invisível": Destacar que a perda de treinamento padrão é uma métrica insuficiente para a qualidade do QAT, pois mascara saturação e esquecimento que só aparecem em benchmarks downstream.
Fornecer uma Solução Robusta: Demonstrar que uma estratégia conservadora de estimativa de $A_{max}$ combinada com uma taxa de aprendizado mais baixa e warmup pode alcançar desempenho near-lossless (queda sub-1% em benchmarks principais) para modelos de 1 bilhão de parâmetros.
Clarificar Eixos de Design: Estabelecer que a escolha do algoritmo de $A_{max}$ e da taxa de aprendizado são eixos de design críticos e interdependentes, em vez de hiperparâmetros isolados.

Os autores concluem que, embora a configuração atual seja eficaz para modelos de 1 bilhão, trabalhos futuros podem explorar taxas de aprendizado por camada, warmups adaptativos e aumentar o número de camadas de alta precisão para fechar ainda mais as lacunas remanescentes.