Resumo Técnico: RaZeR – Expandindo os Limites da Quantização NVFP4 com Remapeamento de Zero Redundante

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos em implantação devido às substanciais demandas de largura de banda de memória e computação. Embora a quantização seja uma solução primária para inferência eficiente, o formato NVFP4 recentemente introduzido (suportado por GPUs NVIDIA Blackwell) apresenta uma limitação específica: o conjunto restrito de valores representáveis no formato de elemento FP4 de 4 bits.

Os autores identificam duas fontes específicas de redundância na codificação NVFP4 atual que estão subutilizadas:

1. Zeros FP4 Redundantes: O formato de elemento FP4 (FP4-E2M1) utiliza uma representação de sinal-magnitude, resultando em zeros positivos e negativos. Um desses zeros é redundante para a representação de valores numéricos.
2. Bit de Sinal Redundante do Fator de Escala de Bloco: O fator de escala de bloco no NVFP4 é um valor FP8-E4M3. No entanto, como os fatores de escala são derivados de máximos absolutos de tensores positivos, eles são sempre positivos. Consequentemente, o bit de sinal do fator de escala FP8 não é utilizado, desperdiçando efetivamente 1 bit de precisão por bloco (ou 2 bits para pesos onde um formato de escala mais compacto é viável).

Essas redundâncias limitam a precisão da quantização de 4 bits, particularmente para cenários de apenas-pesos (weight-only) e peso-ativação, uma vez que o conjunto FP4 padrão $\{ \pm 0, \pm 0.5, \pm 1, \pm 1.5, \pm 2, \pm 3, \pm 4, \pm 6 \}$ não consegue cobrir otimamente a distribuição de pesos e ativações de LLMs.

2. Metodologia: Remapeamento de Zero Redundante (RaZeR)

O artigo propõe o RaZeR, um formato numérico aprimorado que reaproveita essas redundâncias para aumentar a precisão da quantização sem aumentar a pegada de memória (memory footprint).

2.1. Explorando a Redundância do Fator de Escala

Os autores primeiro analisam os requisitos de largura de bits para os fatores de escala de bloco. Através de avaliação empírica em modelos Llama e Qwen, eles descobrem que os pesos de LLM são tolerantes a fatores de escala de precisão reduzida.

• Pesos: O fator de escala do bloco pode ser reduzido do padrão E4M3 (8 bits) para E3M3 (6 bits) sem perda de precisão, liberando 2 bits por bloco.
• Ativações: As ativações possuem um intervalo dinâmico maior e são menos tolerantes; portanto, os autores mantêm o formato E4M3 (7 bits efetivos, 1 bit de sinal redundante), liberando 1 bit por bloco.

2.2. Remapeando o Zero Redundante

O RaZeR utiliza os bits liberados do fator de escala para codificar metadados que selecionam um "Valor Especial" para substituir o zero redundante na representação do elemento FP4.

• Seleção de Valor Especial: Em vez de representar um zero, a codificação FP4 redundante é remapeada para um valor específico não nulo (ex: $\pm 5$).
• Otimização: Para cada bloco, o algoritmo seleciona o valor especial ideal a partir de um conjunto pré-definido para minimizar o erro quadrático médio de quantização.
  • Pesos: Com 2 bits livres, o RaZeR pode selecionar entre 4 valores especiais (2 pares). Estes são pré-computados offline.
  • Ativações: Com 1 bit livre, o RaZeR seleciona entre 2 valores especiais (1 par). Isso requer uma etapa de quantização online leve (quantização dupla) para comparar erros, adicionando menos de 2% de overhead ao tempo de quantização.
• Restrições de Valor: Para manter a eficiência de hardware, os valores especiais são restritos a múltiplos de 0.5 (correspondendo à granularidade FP4). A análise empírica mostra que $\pm 5$ é o par de valores especiais ideal, pois preenche a lacuna entre os maiores valores representáveis do FP4 ($\pm 4$ e $\pm 6$).

2.3. Implementação

• Kernels de GPU: Os autores implementaram kernels GEMM de alto desempenho para apenas-pesos e peso-ativação para GPUs NVIDIA Blackwell. Eles utilizam um método de duas passagens para as ativações para lidar com a lógica de remapeamento dentro dos tensor cores existentes e empregam estratégias de auto-ajuste (auto-tuning) para otimizar o particionamento de blocos de threads para pequenos tamanhos de lote (batch sizes).
• Design de Hardware: Um tensor core NVFP4 modificado é proposto para suportar nativamente o RaZeR. Este design inclui decodificadores de peso e ativação que utilizam registradores de offset para reconstruir os valores especiais a partir dos bits de metadados antes de realizar as operações de Multiplicação e Acúmulo (MAC).

3. Principais Contribuições

1. Formato RaZeR: Um formato NVFP4 aprimorado que reaproveita os bits de zero redundantes e os bits de sinal do fator de escala para introduzir valores especiais adaptativos, melhorando a precisão da quantização com a mesma pegada de memória.
2. Kernels de GPU Eficientes: Implementação de kernels de inferência de apenas-pesos e peso-ativação em GPUs Blackwell que alcançam desempenho comparável ou superior a kernels de 4 bits anteriores (ex: Marlin, AWQ).
3. Arquitetura de Hardware: Um design para um tensor core modificado que adiciona suporte nativo ao RaZeR com overhead de silício mínimo.
4. Avaliação Abrangente: Benchmarks extensos demonstrando a superioridade do RaZeR sobre métodos de 4 bits existentes em vários tamanhos de modelo (Llama, Qwen) e configurações de quantização.

4. Resultados Experimentais

O artigo avalia o RaZeR contra métodos de estado da arte, incluindo NVFP4, FourOverSix, MR-GPTQ e NF4.

• Redução de Perplexidade:
  • Em relação ao NVFP4 nativo, o RaZeR reduz a perda média de perplexidade em 34,6% (apenas-pesos) e 31,2% (peso-ativação).
  • Comparado ao FourOverSix, que é o estado da arte, o RaZeR reduz a perda média de perplexidade em 29,2% (apenas-pesos) e 23,3% (peso-ativação).
• Acurácia Zero-Shot: O RaZeR melhora a acurácia média de tarefas zero-shot em 0,63% sobre o formato base NVFP4 em todos os modelos testados.
• Tarefas de Raciocínio: Em tarefas como GSM8K e MMLU, o RaZeR mostra ganhos significativos, superando algoritmos recentes baseados em NVFP4 (MR-GPTK, FourOverSix) por margens de até 4,47% em configurações de peso-ativação.
• Eficiência de Hardware:
  • Área/Potência: Resultados de síntese na tecnologia TSMC 28nm mostram que o tensor core RaZeR incorre em apenas 3,7% de área e 13,5% de potência em relação ao núcleo NVFP4 base. Dado que as unidades MAC são uma fração pequena do design total do acelerador, o overhead total do chip é estimado em 0,37% de área e 1,35% de potência.
  • Throughput: Em GPUs Blackwell, os kernels RaZER alcançam velocidades de decodificação de lote único (single-batch decoding) próximas ao melhor da categoria e superam substancialmente outros kernels de apenas-pesos em tamanhos de lote moderados a grandes.

5. Significância e Alegações

O artigo afirma que o RaZeR representa um passo significativo à frente na quantização de LLMs de baixa precisão, demonstrando que a inovação algorítmica pode ser alcançada explorando redundâncias estruturais em formatos já suportados por hardware, em vez de exigir novos tipos de dados complexos.

As principais alegações incluem:

• O RaZeR expande os limites do NVFP4, alcançando maior precisão do que os métodos atuais de 4 bits sem aumentar o uso de memória.
• A abordagem é prática para implantação imediata em hardware atual (via kernels de software) e em hardware futuro (via a proposta modificação do tensor core).
• O overhead mínimo de hardware (sub-1% de área total do chip) torna a adoção do RaZeR altamente viável para aceleradores de próxima geração.
• Ao reduzir o custo operacional e o consumo de energia da implantação de LLMs através de uma quantização mais eficiente, o trabalho contribui para tornar os sistemas de IA mais acessíveis.

Os autores enfatizam que seu trabalho foca em refinar o padrão NVFP4 para melhor se adequar às distribuições de tensores de LLM, oferecendo um caminho para uma quantização de 4 bits "quase sem perdas" que era anteriormente inalcançável com formatos FP4 ou inteiros padrão.