Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats

Este trabalho avalia os formatos HiFloat (HiF8 e HiF4) para inferência de LLMs em NPUs Ascend, demonstrando que sua abordagem hierárquica supera as limitações de precisão dos formatos inteiros em baixos bits e é totalmente compatível com frameworks de quantização de ponta.

O essencial

Imagine que você tem uma biblioteca gigante de livros (os Modelos de Linguagem, ou LLMs, como o ChatGPT). Para ler esses livros rapidamente, você precisa de uma estante muito grande e um caminhão de entrega rápido. Mas, à medida que os livros ficam mais espessos e complexos, a estante não cabe mais e o caminhão fica lento.

Para resolver isso, os cientistas tentam "resumir" os livros, tirando detalhes que não são essenciais. Isso é chamado de quantização. A ideia é transformar números complexos (que ocupam muito espaço) em números menores e mais simples.

O problema é: como resumir sem perder a história?

Se você usar apenas números inteiros simples (como contar de 1 a 10), você perde a precisão em momentos importantes. Se usar números decimais muito complexos, você gasta espaço demais.

Esta pesquisa da Huawei (sobre chips Ascend) testou uma nova família de formatos de números chamada HiFloat (HiF8 e HiF4) para ver se eles são a solução perfeita.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A "Caixa de Ferramentas" Errada

Imagine que você tem duas tarefas:

• Tarefa A (Pesos): Organizar uma caixa de parafusos que são todos do mesmo tamanho e muito parecidos.
• Tarefa B (Ativações): Organizar uma caixa de ferramentas onde há desde um alfinete minúsculo até um martelo gigante, e de repente aparece um caminhão de carga (os "outliers" ou valores extremos).

O estudo descobriu que:

• Para a Tarefa A (Pesos), usar números inteiros simples (INT8) é melhor. É como usar uma régua com marcas uniformes; funciona perfeitamente porque os parafusos são previsíveis.
• Para a Tarefa B (Ativações), números inteiros falham. Se você tem um martelo gigante e um alfinete na mesma caixa, uma régua uniforme vai esmagar o alfinete para caber o martelo. Aqui, você precisa de uma régua flexível (formato de ponto flutuante) que estica e contrai.

2. A Solução: O Formato HiFloat (O "Camaleão")

Os autores criaram o HiFloat, que é como uma caixa de ferramentas inteligente que muda de forma dependendo do que você está guardando.

• HiF8 (8 bits): É como uma régua que tem marcas finas no começo (para os detalhes pequenos) e marcas mais grossas no final (para os valores grandes).

  • Resultado: Para os "parafusos" (pesos), ele é um pouco menos eficiente que a régua simples (INT8), mas para as "ferramentas variadas" (ativações), ele é excelente porque não perde os detalhes pequenos nem explode com os grandes.

• HiF4 (4 bits): Aqui é onde a mágica acontece. Tentar guardar tudo em apenas 4 bits é como tentar colocar uma casa inteira em uma caixa de sapatos.

  • Os formatos antigos (INT4) falharam miseravelmente: a casa desmoronou (o modelo perdeu a inteligência).
  • O HiF4 usa uma técnica chamada Escala Hierárquica. Imagine que, em vez de tentar medir a casa inteira de uma vez, você divide a casa em quartos, depois em paredes, e depois em tijolos.
  • Ele usa uma "régua mestre" para o bloco todo, e "réguas menores" para cada grupo de peças dentro desse bloco. Isso permite que ele guarde tanto o alfinete quanto o martelo na mesma caixa pequena sem perder a precisão.

3. Os Resultados: O Que Eles Descobriram?

O estudo comparou o HiFloat com outras soluções famosas (como as da NVIDIA e da Microsoft) em três cenários:

1. Memória (Pesos): O formato inteiro (INT8) ainda é o rei aqui. O HiFloat é bom, mas não ganha de quem usa números inteiros simples para dados estáticos.
2. Processamento (Ativações): O HiFloat brilha. Ele lida com os "picos" de dados (aqueles valores estranhos e grandes que confundem os modelos) muito melhor que os inteiros.
3. A Memória de Curto Prazo (KV Cache): Quando o modelo está conversando com você, ele precisa lembrar do que foi dito há 10 linhas atrás. Guardar essa memória em 4 bits é um pesadelo.
   • O Veredito: O HiF4 foi o vencedor absoluto. Enquanto os outros formatos (INT4 e MXFP4) "alucinavam" e esqueciam tudo quando tentavam usar 4 bits para tudo, o HiF4 manteve a conversa coerente, perdendo muito pouca inteligência.

4. A Grande Conclusão (A Metáfora Final)

Pense na Inteligência Artificial como um chef de cozinha.

• Formatos Inteiros (INT4): É como tentar cozinhar um banquete usando apenas uma colher de sopa. Você consegue fazer o básico, mas se o prato exigir uma pitada de sal ou um corte fino, o prato fica estragado.
• Formatos Antigos de Ponto Flutuante: São como ter 100 colheres diferentes, mas todas do mesmo tamanho. Você gasta muito tempo trocando de colher e ainda assim não consegue medir o sal direito.
• HiFloat (HiF4): É como ter um kit de utensílios magnético. Se você precisa de uma colher grande, ele vira uma concha. Se precisa de uma pitada, ele vira um pires. Ele se adapta instantaneamente ao que o chef precisa.

Resumo para levar para casa:
Se você quer rodar modelos de IA gigantes em chips mais baratos e rápidos (como os da Huawei Ascend), usar o formato HiFloat (especialmente o HiF4) é como encontrar o "Santo Graal". Ele permite que você reduza o tamanho do modelo em 4 vezes (ou mais) sem que ele perca a capacidade de raciocinar, algo que os métodos antigos não conseguiam fazer sem "quebrar" o modelo.

É um passo gigante para ter assistentes de IA superinteligentes rodando em dispositivos mais acessíveis, sem precisar de supercomputadores.

Resumo técnico

Resumo Técnico: Avaliação Abrangente dos Formatos HiFloat para Inferência de LLMs em NPUs Ascend

1. O Problema

Com a escalada exponencial dos Grandes Modelos de Linguagem (LLMs), surgem desafios críticos relacionados ao throughput computacional e à largura de banda de memória. A quantização tornou-se uma solução essencial para reduzir a sobrecarga de memória sem sacrificar significativamente o desempenho.

• Limitações Atuais: A literatura predominante foca em métodos baseados em inteiros (INT8, INT4). Embora eficientes para dados com distribuição estável (como pesos), os formatos inteiros sofrem com o colapso de precisão em dados de alta variância (como ativações e KV cache) quando reduzidos a 4 bits, devido ao espaçamento uniforme e à incapacidade de lidar com outliers (valores extremos).
• Necessidade de Novos Formatos: Formatos de ponto flutuante de baixa precisão (como MXFP e NVFP4) emergem como alternativas promissoras, mas sua eficácia específica em NPUs (Unidades de Processamento Neural) da Huawei (Ascend) e sua integração com frameworks de quantização pós-treinamento (PTQ) ainda não foram totalmente explorados.

2. Metodologia

Os autores realizaram uma avaliação sistemática da família de formatos HiFloat (HiF8 e HiF4), projetada nativamente para NPUs Ascend, comparando-a com padrões da indústria (INT8, MXFP, NVFP4).

• Formatos Avaliados:
  • HiF8 (8-bit): Utiliza um código prefixo dinâmico que adapta a alocação de bits entre mantissa e expoente, oferecendo flexibilidade para diferentes distribuições numéricas.
  • HiF4 (4-bit): Emprega uma estrutura de escalonamento hierárquico de três níveis (64 elementos compartilham um fator de escala, refinado em sub-blocos de 8 e 4 elementos), permitindo capturar variância local e lidar com outliers sem colapso de precisão.
• Tarefas de Avaliação:
  • Pesos (Weights): Análise de fidelidade e SQNR (Signal-to-Quantization-Noise Ratio).
  • Ativações (Activations): Avaliação de dados dinâmicos com outliers.
  • KV Cache: Quantização dos estados de Chave e Valor para inferência de longo contexto.
• Sinergia com PTQ: Os formatos foram testados em conjunto com frameworks de estado da arte como SmoothQuant (suavização de magnitude) e SVDQuant (absorção de outliers via componentes de baixo posto).
• Modelos e Benchmarks: Avaliação realizada nos modelos Qwen3-8B e openPangu-7B usando datasets como Wikitext-2, C4, MMLU, GSM8K e LongBench.

3. Principais Contribuições

1. Formulação Matemática: Definição formal das lógicas de quantização e dequantização para a família HiFloat.
2. Análise Distribucional: Demonstração de que:
   • INT8 é superior para pesos (distribuições estáticas e de faixa estreita) devido à densidade uniforme de representação.
   • Formatos de Ponto Flutuante (HiF8/HiF4) são superiores para ativações e KV cache (dados de alta variância com outliers), pois o escalonamento dinâmico evita o desperdício de bits em regiões vazias da distribuição.
3. Descoberta Crítica em 4-bits: Em regimes de 4 bits, os formatos inteiros uniformes (INT4) sofrem um colapso catastrófico de precisão. A estrutura hierárquica do HiF4 é essencial para isolar outliers e manter a precisão local, superando significativamente o INT4 e competindo com o NVFP4.
4. Integração com PTQ: Demonstração de que o HiFloat é totalmente compatível e sinérgico com técnicas de mitigação de outliers (SmoothQuant/SVDQuant), resultando em benefícios compostos para a compressão do modelo.

4. Resultados Chave

• Regime 8-bit (W8A8):

  • Para pesos, o INT8 mantém a melhor fidelidade (SQNR mais alto), superando formatos de ponto flutuante devido à ausência de desperdício de bits em expoentes.
  • Para ativações, formatos como HiF8 e MXFP8 superam o INT8, pois conseguem acomodar melhor os picos de magnitude sem degradar a resolução perto de zero.
  • O HiF8, quando combinado com SmoothQuant ou SVDQuant, atinge desempenho quase equivalente ao baseline BF16.

• Regime 4-bit (W4A4) - O Ponto de Virada:

  • INT4: Sofre falha catastrófica. Mesmo com técnicas avançadas de PTQ, a precisão cai drasticamente (ex: perda de >60% de acurácia no openPangu-7B).
  • MXFP4: Melhora em relação ao INT4, mas ainda sofre quedas significativas de precisão.
  • HiF4 e NVFP4: Mantêm a integridade do modelo.
    • No Qwen3-8B, o HiF4 preserva >96.5% da linha de base BF16 apenas com RTN (Round-to-Nearest).
    • No openPangu-7B, o HiF4 limita a degradação a apenas 3.0% (RTN) e 2.7% (com SmoothQuant/SVDQuant).
  • KV Cache: O HiF4 demonstra resiliência superior na quantização de KV Cache em 4 bits, mantendo a estabilidade em tarefas de longo contexto (LongBench), onde outros formatos falham.

5. Significado e Conclusão

O trabalho estabelece que a escolha do formato de quantização não é "tamanho único", mas depende criticamente da natureza dos dados:

• Pesos: Beneficiam-se da densidade uniforme do INT8.
• Ativações e Cache: Exigem a flexibilidade dinâmica do ponto flutuante.

A principal inovação é a validação do HiF4 como um formato robusto para inferência de ultra-baixa precisão (4 bits) em NPUs Ascend. A estrutura hierárquica do HiF4 resolve o problema fundamental do "colapso de binning" dos inteiros em 4 bits, permitindo a execução eficiente de LLMs de grande escala com perda de precisão mínima. Isso posiciona o HiFloat como uma solução viável e superior para a próxima geração de inferência de LLMs em hardware especializado, equilibrando eficiência de memória e fidelidade do modelo.