Resumo Técnico: HyperQuant

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) e transformers de difusão enfrentam um gargalo crítico durante a inferência autorregressiva: a largura de banda de memória. À medida que os comprimentos de contexto crescem, o cache Key-Value (KV) e os pesos do modelo dominam o uso de memória, forçando o sistema a transmitir conjuntos de dados massivos para produtos matriz-vetor esparsos. Isso mantém a intensidade aritmética bem abaixo das razões de computação-para-largura de banda do hardware. Embora a Quantização Pós-Treinamento (PTQ) ofereça uma solução ao enquadrar a inferência como um problema de compressão taxa-distorção, os métodos de estado da arte existentes sofrem de ineficiências:

• Quantização de Pesos: Métodos como o HIGGS utilizam Transformadas de Hadamard Aleatorizadas (RHT) e codebooks de Lloyd finitos, mas transmitem índices com uma taxa de bits fixa. A teoria da informação dita que quantizadores com codificação de entropia deveriam exigir menos bits para a mesma distorção, contudo o HIGGS deixa "taxa na mesa" devido aos índices de taxa fixa.
• Quantização de Cache KV: Abordagens como TurboQuant e OCTOPUS dependem de quantização escalar ou de baixa dimensão com overheads de taxa fixa. Elas frequentemente carecem de unbiasedness (ausência de viés) estrita por vetor, levando a deslocamentos sistemáticos nas pontuações de atenção e falham em explorar totalmente os ganhos de quantização de vetores multidimensionais.

Metodologia: O Pipeline HyperQuant

O HyperQuant propõe um pipeline unificado, livre de dados (data-free) e de pós-treinamento, que aplica um tríptico otimizado para taxa-distorção — RHT por tile, quantização de rede (lattice) e codificação de entropia — tanto para pesos quanto para caches KV. O pipeline consiste em quatro componentes principais:

1. Transformada de Hadamard Aleatorizada (RHT) por Tile

Antes da quantização, as entradas (pesos ou vetores KV) são particionadas em tiles (ex: tamanho 128) e transformadas via $RHT_n(x) = H_n D x$, onde $H_n$ é a matriz de Walsh-Hadamard e $D$ é um diagonal de sinais aleatórios.

• Efeito: Isso "mistura" os dados, tornando a distribuição por coordenada aproximadamente Gaussiana ($N(0, \sigma^2)$).
• Benefício: Isso redistribui o erro de quantização de coordenadas outliers para uma dispersão isotrópica, tornando os dados adequados para uma quantização de rede ótima. A transformação é ortogonal, preservando as propriedades de erro $\ell_2$.

2. Quantização de Rede (Lattice Quantization)

Em vez de codebooks finitos, o HyperQuant quantiza os tiles rotacionados para redes de baixa dimensão ótimas: E8 (8-D), D4 (4-D), A2 (2-D) ou escalar Z.

• Ganho Granular: Estas redes oferecem momentos segundos normalizados ($G(\Lambda)$) menores do que a quantização escalar, reduzendo a distorção para uma taxa fixa. A E8 é a rede de maior dimensão que admite um decodificador de tempo constante ($O(1)$) de forma fechada.
• Realização Inteira: As redes são mapeadas para embeddings inteiros (ex: $E^8_{int} \subset \mathbb{Z}^8$) para se ajustarem a restrições de armazenamento de 8 bits, com fatores de escala ($\alpha$) calibrados para evitar overflow.

3. Bit-Stripping e Codificação de Rice

Para alcançar taxas próximas da otimalidade de entropia, o HyperQuant emprega um processo de codificação de dois estágios:

• Bit-Stripping: Restrições de membresia de rede (ex: verificações de paridade para E8) fixam deterministicamente certos bits do vetor de código inteiro. Esses bits são removidos sem perdas antes da codificação, reduzindo a entropia dos símbolos restantes.
• Codificação de Rice: Os símbolos restantes são codificados usando códigos de Rice (um código de comprimento variável ideal para distribuições geométricas). Ao contrário dos esquemas de taxa fixa, isso permite que o codebook seja efetivamente ilimitado, lidando com caudas Gaussianas sem esticar as células externas. A taxa realizada fica a cerca de $\sim0.01$ bits por escalar (bps) de qualquer alvo.

4. Correção de Viés para Cache KV

Para evitar que o viés determinístico no cache KV corrompa a semântica da atenção, o HyperQuant integra:

• Rotação Aleatória: Uma rotação por camada (seja uma matriz QJL uniforme de Haar ou um diagonal de sinal $\pm 1$ barato) para reduzir a anisotropia.
• Dither Subtrativo: Um vetor de ruído uniforme fresco $U \sim \text{Uniform}(V(\Lambda))$ é adicionado antes da quantização e subtraído depois. Os autores provam (Apêndice A) que isso resulta em unbiasedness estrita de produto interno por vetor, uma propriedade superior à unbiasedness média da distribuição das sketches QJL padrão.

Principais Contribuições

1. Pipeline Unificado de Taxa-Distorção Ótima: O HyperQuant é o primeiro pipeline livre de dados que combina RHT, redes ótimas e codificação de entropia para pesos e caches KV, alcançando taxas dentro de $\sim0.01$ bps dos alvos teóricos.
2. Quantização de Pesos Superior: Ao substituir codebooks finitos por redes ilimitadas e codificação de comprimento variável, o HyperQuant supera o HIGGS em todos os pontos operacionais (3–5 bps). O artigo decompõe este ganho em:
   • Folga de Entropia (Entropy Slack): Recuperação de bits desperdiçados por índices de taxa fixa (dominante em baixas taxas).
   • Vantagem de Codebook Ilimitado: O benefício estrutural de codebooks infinitos sobre os finitos (dominante em altas taxas).
3. Quantização KV de Dois Regimes: Os autores caracterizam a quantização KV em um regime de "alta qualidade" ($\ge 2.5$ bps) onde variantes de correção de viés convergem, e um regime de "alta compressão" ($1.7\text{--}2.5$ bps) onde a rotação QJL fornece ganhos significativos ($\sim0.5$ melhoria de PPL).
4. Integração de Hardware: O pipeline é projetado para modernos Tensor Cores (Hopper/Blackwell), integrando-se com caminhos fp8, int8, nvfp4 e mxfp4. Notavelmente, os autores descobrem que int8 supera o fp8 em dados de rede pós-RHT devido à distribuição quase-Gaussiana de cauda leve dos pesos transformados.
5. Generalização: O método transfere-se com sucesso para arquiteturas não-LLM, demonstrado no LTX-2 (video DiT de 19B parâmetros) sem artefatos perceptíveis.

Resultados Experimentais

Avaliado no Llama-3.1-8B-Instruct (WikiText-2) e LTX-2-19B:

• Quantização de Pesos: A 4 bps, o HyperQuant (rede E8) atinge uma perplexidade (PPL) de 7.434, comparado aos 7.618 do HIGGS-p2. A 3 bps, a lacuna aumenta significativamente (HyperQuant: 8.744 vs. HIGGS: 9.527).
• Quantização de Cache KV:
  • A 3 bps, o HyperQuant atinge uma PPL de 7.41 (vs. baseline bf16 de 7.16), uma redução de memória de 81%.
  • A 2 bps, o HyperQuant atinge uma PPL de 7.93 (+0.77% sobre o baseline), superando significativamente o OCTOPUS (+34.7% PPL) e o TurboQuant.
  • A 1.7 bps, o HyperQuant alcança uma razão de compressão de 7.1× com um aumento de PPL de 26.9%, enquanto o OCTOPUS estabiliza próximo de 3.0× de compressão.
• Desempenho End-to-End: Em um H100, o HyperQuant comprime pesos lineares 3.9× e o cache KV 3.79×. Embora a decodificação de comprimento variável introduza latência (sem ganho de tempo de execução/wall-clock em hardware atual), a redução de memória residente é substancial (14.96 GiB $\to$ 5.29 GiB para o modelo completo).
• Modelo de Vídeo: No LTX-2-19B, a quantização de 4 bps produz um PSNR de 22.74 dB e LPIPS de 0.20, sem artefatos visíveis, superando a quantização baseada em fp8.

Significância e Alegações

O artigo afirma que o HyperQuant estabelece um novo estado da arte para a quantização pós-treinamento livre de dados ao aplicar rigorosamente princípios da teoria da informação (codificação de entropia e teoria de redes) à inferência de transformers.

• Avanço Teórico: Demonstra que a lacuna entre o SOTA atual (HIGGS) e o desempenho ótimo deve-se amplamente à ineficiência de índices de taxa fixa e codebooks finitos. Ao mudar para codificação de comprimento variável sobre redes ilimitadas, o HyperQuant recupera essa "folga".
• Implantação Prática: O método não requer conjunto de dados de calibração nem fine-tuning, tornando-o imediatamente implantável. Ele fornece um "menu" de pontos operacionais, permitindo que praticantes troquem memória por qualidade (ex: 3 bps para cache KV oferece enormes economias de memória com mínima degradação de PPL).
• Consciência de Hardware: O trabalho desafia a suposição de que o fp8 é sempre superior para outliers; ao "gaussianizar" os dados via RHT, mostra que o int8 é frequentemente um melhor ajuste para a distribuição resultante, oferecendo melhor qualidade na mesma largura de bits.

Os autores concluem que, embora o HyperQuant atualmente troque throughput por eficiência de memória em hardwares atuais, o pipeline fornece a fundação necessária para futuras otimizações de kernel (ex: decode+MMA fundido) que poderiam desbloquear ganhos de velocidade de execução (wall-clock speedups).