An Empirical Study of OpenPangu Quantization on Ascend NPUs

Resumo Técnico: Um Estudo Empírico da Quantização OpenPangu em NPUs Ascend

Definição do Problema

Os modelos OpenPangu representam uma família significativa de grandes modelos de linguagem (LLMs) domésticos destinados à implantação privada e de domínio específico. No entanto, sua robustez sob quantização agressiva de pós-treinamento (PTQ), especificamente em NPUs Huawei Ascend, não foi sistematicamente caracterizada. Embora existam métodos de PTQ maduros para ambientes centrados em CUDA, o contexto de sistema único das NPUs Ascend — que abrange suporte específico de operadores, restrições de memória de dispositivo e compatibilidade de framework — exige um reexame de se as receitas de quantização padrão permanecem confiáveis. O desafio central é identificar quais larguras de bits e métodos mantêm a credibilidade sob um protocolo de calibração e avaliação consistente orientado a NPU, particularmente para as variantes de 1B e 7B de parâmetros do OpenPangu.

Metodologia

Os autores conduziram um estudo empírico controlado avaliando o OpenPangu-1B e o OpenPangu-7B em NPUs Huawei Ascend 910B1 (64GB HBM). O estudo utilizou um protocolo unificado em 18 tarefas de avaliação, incluindo modelagem de linguagem (WikiText2, C4), raciocínio de senso comum em inglês (PIQA, ARC, HellaSwag, Winogrande, BoolQ), benchmarks de conhecimento em chinês (CMMLU, C-Eval), raciocínio matemático (GSM8K, MATH-500), geração de código (MBPP, HumanEval) e seguimento de instruções.

Métodos de Quantização Avaliados:
O estudo cobriu um amplo espectro de técnicas de PTQ variando de 1 a 8 bits:

• Apenas Pesos (Weight-Only): Round-To-Nearest (RTN), GPTQ, AWQ, GPTAQ.
• Peso-Ativação (Weight-Activation): SmoothQuant (avaliado em W8A8 e W4A4).
• Precisão Ultra-Baixa: BiLLM (binário) e SliM-LLM (2-bit).

Protocolo Experimental:

• Calibração: Métodos que exigem calibração utilizaram 128 amostras de instrução estilo Alpaca (comprimento de sequência 512). O RTN não utilizou dados de calibração.
• Configuração: Métodos de apenas pesos empregaram quantização simétrica por grupo (tamanho de grupo 128) com ativações de 16 bits. O GPTQ utilizou act-order, amortecimento de 0.01 e bloco de tamanho 128. O SmoothQuant utilizou quantização de peso por canal e de ativação por token com um coeficiente de suavização de 0.8.
• Ablação de Granularidade: Um estudo de ablação específico comparou o escalonamento por canal versus por grupo para determinar a granularidade ideal para o erro de reconstrução de peso e desempenho da tarefa.
• Stack de Software: PyTorch 2.5.1, torch-npu 2.5.1, Transformers 4.53.2 e lm-evaluation-harness.

Principais Resultados

1. A Quantização de Apenas Pesos de 8 bits é Efetivamente Sem Perdas

Em ambos os tamanhos de modelo, a quantização de apenas pesos de 8 bits (W8A16) demonstrou um desempenho quase indistinguível da linha de base FP16. Métodos como RTN, AWQ e GPTQ preservaram a perplexidade e a precisão dos benchmarks com degradação negligenciável, estabelecendo o W8 como um padrão seguro e de baixo risco para implantação.

2. Quantização de 4 bits: Viabilidade Dependente do Modelo

• OpenPangu-7B: A quantização de apenas pesos de 4 bits provou ser prática. O AWQ-W4 manteve a perplexidade do C4 próxima ao FP16 (80.60 vs. 80.43) e mostrou quedas mínimas no raciocínio de senso comum. O RTN-W4 também performou competitivamente sem exigir dados de calibração.
• OpenPangu-1B: A quantização de 4 bits resultou em degradação visível de desempenho, particularmente em tarefas de raciocínio, matemática e código. Embora a classificação de senso comum tenha permanecido relativamente estável, as capacidades em GSM8K, MATH-500, MBPP e HumanEval colapsaram significativamente (por exemplo, HumanEval caindo de ~20% para ~9%). Isso indica que o modelo 1B carece de redundância para suportar compressão W4 agressiva para tarefas de uso geral.

3. Falha de Precisão Ultra-Baixa

Configurações em 2-bit, binário (1-bit) e W4A4 (peso de 4 bits, ativação de 4 bits) falharam amplamente:

• Colapso para Aleatoriedade: A maioria das configurações de 2-bit e binárias resultou em comportamento quase aleatório, com valores de perplexidade tornando-se não-finitos ou extremamente grandes e as precisões das tarefas aproximando-se do nível do acaso.
• Instabilidade W4A4: O SmoothQuant W4A4 produziu perplexidade não-finita em ambos os modelos. Embora o W8A8 fosse utilizável para o modelo 7B, a transição para o W4A4 causou falha imediata, destacando que o erro de quantização de ativação é um gargalo mais significativo do que a compressão de peso isolada neste contexto.

4. Sensibilidade de Método e Granularidade

• Escalonamento por Grupo: Estudos de ablação confirmaram que o escalonamento por grupo (tamanho de grupo 128) superou consistentemente o escalonamento por canal em termos de erro de reconstrução de peso (ganho de SQNR de ~2.6–3.2 dB na faixa W3–W7) e precisão de tarefas downstream.
• Ranking de Métodos: Em W4, o AWQ emergiu como o método de apenas pesos mais forte para o modelo 7B. Em W3, apenas o AWQ manteve o modelo 7B em um regime parcialmente utilizável; outros métodos colapsaram. Para o modelo 1B, mesmo o AWQ-W3 foi insuficiente para uso de propósito geral.

Significância e Alegações

O artigo fornece um mapa de precisão orientado para NPU para selecionar configurações de quantização do OpenPangu, oferecendo orientação concreta para profissionais que implantam esses modelos em hardware Ascend.

• Recomendações Práticas: Os autores concluem que a quantização de apenas pesos W8 é o padrão mais seguro para ambos os modelos. A quantização de apenas pesos W4 é viável para o modelo 7B (preferencialmente com AWQ), mas deve ser tratada como específica para tarefas no caso do modelo 1B, sendo adequada apenas para classificação leve em vez de raciocínio complexo ou geração de código.
• Identificação de Gargalos: O estudo destaca que a quantização de ativação continua sendo o principal gargalo não resolvido. A falha das configurações W4A4 sugere que os fluxos atuais não conseguem preservar a precisão de forma confiável ao comprimir ativações para 4 bits, necessitando de trabalhos futuros em kernels conscientes de ativação e tratamento de outliers.
• Realidade da Precisão Ultra-Baixa: Os resultados indicam que configurações de baixíssima bitagem (W2, binário) não são atualmente confiáveis para o OpenPangu sem mecanismos adicionais de recuperação, pois levam consistentemente ao colapso do modelo.

Os autores declaram explicitamente que estes achados baseiam-se em uma avaliação focada em precisão usando quantização simulada e não reivindicam melhorias de latência ou throughput. Eles enfatizam que, embora os resultados forneçam uma linha de base robusta de precisão, as decisões de implantação total exigem validação adicional com kernels empacotados e perfilamento de throughput de ponta a ponta.