🤖 machine learning

QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling

QAM-W introduz um método de quantização de código 2D conjunto para pesos de LLM que utiliza rotação de Hadamard e escalonamento consciente da ativação para preservar estruturas de coordenadas em pares, alcançando perplexidade próxima à BF16 em aproximadamente 5,5 bits por peso enquanto supera a codificação polar e iguala a qualidade do SmoothQuant com significativamente menos bits de peso.

Autores originais: Preetam Sharma, Kacper Dobek

Publicado 2026-05-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Preetam Sharma, Kacper Dobek

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva de livros (um Modelo de Linguagem de Grande Escala, ou LLM) que é incrivelmente inteligente, mas ocupa um espaço enorme. Para torná-la mais fácil de carregar, você deseja reduzir o tamanho dos livros. Esse processo é chamado de quantização.

A maioria dos métodos atuais de reduzir esses livros é como pegar um dicionário e substituir cada palavra individualmente por um código numérico curto. É simples, mas ignora o fato de que as palavras frequentemente aparecem em pares ou grupos que têm uma relação específica entre si. Se você as tratar como indivíduos isolados, perde parte da nuance da história.

Este artigo apresenta um novo método chamado QAM-W (Modulação por Amplitude em Quadratura para Pesos). Pense nele como uma maneira mais inteligente e eficiente de empacotar esses livros.

Veja como funciona, usando analogias simples:

1. O Problema: O "Dançarino Solo" vs. o "Dúo"

Imagine que os pesos em um modelo de IA são dançarinos.

Método Antigo (Quantização Escalar): A maneira antiga trata cada dançarino como se estivesse executando um solo. Ela olha para cada dançarino individualmente e diz: "Você é um '3', você é um '7'". Ignora-se que dois dançarinos podem estar de mãos dadas ou se movendo em sincronia.
A Descoberta do QAM-W: Os autores perceberam que, dentro de uma linha de dados, esses "dançarinos" na verdade dançam em pares. Eles são correlacionados. Em vez de codificá-los como dois solistas separados, o QAM-W os trata como um dueto.

2. A Solução: O "Giro Mágico" e o "Emparelhamento"

O QAM-W usa um processo de três etapas para reduzir o modelo sem perder a história:

Etapa A: O Giro Mágico (Rotação de Hadamard):
Imagine que os dançarinos estão em uma sala bagunçada e lotada. O QAM-W aplica um "Giro Mágico" (uma rotação matemática) que os rearranja. De repente, os dançarinos que se moviam aleatoriamente agora estão perfeitamente emparelhados, movendo-se em um padrão circular suave. Isso torna muito mais fácil descrevê-los matematicamente.
Etapa B: O "Dicionário de Duetos":
Em vez de dar a cada dançarino um número separado, o QAM-W olha para o par como um único ponto em um mapa. Ele usa um "mapa" pré-fabricado (um código) treinado sobre como esses pares geralmente se comportam. É como ter uma biblioteca de movimentos de dança padrão para duetos. Em vez de descrever dois passos separados, você apenas diz: "Eles fizeram o movimento 'Valsa #42'". Isso captura a relação entre os dois números, economizando espaço.
Etapa C: O "Botão de Volume" (Escalonamento Consciente da Ativação):
Às vezes, certas partes do modelo estão muito altas (altamente ativas) e outras estão quietas. Se você reduzir demais as partes altas, a música fica distorcida. O QAM-W ouve o "volume" de cada canal antes de reduzir. Ele diminui ligeiramente o volume dos canais altos para que se encaixem melhor no espaço pequeno, garantindo que a informação mais importante não seja esmagada.

3. Os Resultados: Tamanho Menor, Mesma Qualidade

O artigo testou esse novo método em cinco modelos de IA diferentes (variando de pequenos a médio-grandes).

O "Ponto Ideal": Em um nível específico de compressão (cerca de 5,5 bits por peso), o QAM-W alcançou resultados quase idênticos ao modelo original, não comprimido.
A Comparação: Um método concorrente popular chamado SmoothQuant precisou usar cerca de 8,1 bits para obter a mesma qualidade. O QAM-W obteve o mesmo resultado usando 32% menos bits.
- Analogia: É como fazer uma mala. O SmoothQuant precisa de uma mala grande para caber todas as suas roupas de forma organizada. O QAM-W dobra as roupas com tanta eficiência que você pode colocar a mesma quantidade exata em uma bolsa muito menor.

4. O Que Ele Não Faz (Os Limites)

O artigo é muito específico sobre o que ele não afirma:

Não o Menor: Se você tentar reduzir o modelo ainda mais (para 4 bits), outro método chamado QTIP na verdade performa melhor. O QAM-W é o campeão na faixa "médio-pequena" (5–6 bits), não na faixa "minúscula".
Armazenamento vs. Velocidade: O artigo mede quanto espaço o modelo ocupa em um disco rígido ou na memória. Ele ainda não afirma fazer o modelo rodar mais rápido em um chip de computador, porque o software para realmente usar esses números comprimidos em tempo real ainda está sendo construído.

Resumo

O QAM-W é uma nova "técnica de empacotamento" para modelos de IA. Ao reconhecer que os dados vêm em pares, girando-os para uma forma melhor e ajustando o volume, ele pode reduzir modelos de IA em cerca de um terço sem torná-los menos inteligentes. É uma ferramenta especializada que funciona melhor em uma faixa de tamanho específica, oferecendo uma economia significativa de espaço de armazenamento em comparação com os métodos atuais.

Resumo Técnico: QAM-W

Declaração do Problema

Os métodos atuais de quantização pós-treinamento para Modelos de Linguagem de Grande Escala (LLMs) são predominantemente escalares, mapeando cada peso independentemente para um índice inteiro. Embora simples, a codificação escalar descarta a estrutura de coordenadas em pares inerente às linhas de pesos. Os autores argumentam que, dentro de uma linha de pesos, as coordenadas são tipicamente correlacionadas; após uma rotação ortogonal, essas coordenadas aproximam uma distribuição Gaussiana circular 2D. Os codebooks escalares falham em explorar essa estrutura, deixando "folga taxa-distorção" que poderia ser recuperada quantizando pares conjuntamente como pontos em um plano, em vez de como escalares independentes.

Abordagens existentes abordam partes desse problema: métodos baseados em rotação (por exemplo, QuIP, QuIP#) homogeneízam as magnitudes das coordenadas, mas frequentemente dependem de codificação escalar ou de rede; métodos conscientes da ativação (por exemplo, AWQ) escalonam canais com base na magnitude da ativação, mas deixam a estrutura conjunta de coordenadas intocada. O artigo postula que um codec combinando rotação, codificação 2D conjunta e escalonamento consciente da ativação pode alcançar maior qualidade em taxas de bits mais baixas.

Metodologia: O Codec QAM-W

Os autores introduzem o QAM-W (Modulação por Amplitude em Quadratura para Pesos), um codec que processa matrizes de peso linha por linha através do seguinte pipeline:

Separação de Escala e Direção: A norma da linha ( $r = \|w\|_2$ ) é registrada como metadados. A linha é normalizada para um vetor unitário $u$ .
Rotação Determinística: Uma rotação em bloco de Hadamard mascarada por sinal é aplicada à linha normalizada ( $y = R_{fwd} u$ ). Esta rotação é uma isometria exata em aritmética real, o que significa que não introduz distorção matemática, mas redistribui energia para reduzir a coerência das coordenadas.
Emparelhamento e Calibração: Coordenadas rotacionadas adjacentes são agrupadas em valores complexos ( $z_k = y_{2k} + i y_{2k+1}$ ). Cada par é escalado por um fator calibrado $\sigma_k$ , estimado empiricamente a partir da amplitude média dos pares, modelando-os como Gaussianos circulares.
Quantização 2D Conjunta: Em vez de quantizar amplitude e fase independentemente (codificação polar), o QAM-W mapeia cada par normalizado para o centróide mais próximo em um único codebook 2D de Lloyd-Max treinado na distribuição Gaussiana circular unitária.
Escalonamento Consciente da Ativação: Para alinhar o erro do codec com a sensibilidade de saída da camada, o método aplica fatores de escalonamento por canal ( $s_j \propto r_j^\alpha$ ) antes da quantização, onde $r_j$ é o RMS das ativações do canal de entrada. Isso atenua a contribuição de canais de alto RMS, seguindo a lógica do AWQ.
Decodificação: O decodificador reverte o processo: desempacota índices, consulta centróides, reescala por $\sigma_k$ , aplica a rotação inversa e multiplica pela norma da linha armazenada.

Os autores analisam o sistema através de uma cadeia de limites compostos: a rotação é uma isometria; a codificação 2D conjunta minimiza a distorção melhor do que a codificação polar em taxas fixas; e o erro de saída da camada é governado por uma identidade de trilha ( $\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$ ), o que motiva o escalonamento consciente da ativação.

Principais Contribuições

Design de Codec: Um codec de Lloyd-Max 2D conjunto, rotacionado por Hadamard em bloco e fatorado por norma de linha para pesos de LLM com escalonamento consciente da ativação.
Análise Teórica: Um limite monotônico composto ligando a distorção do codec (distorção de Lloyd $D_B$ ) à divergência Kullback-Leibler (KL) entre modelos BF16 e quantizados. O limite sugere que o KL realizado deve classificar métodos de forma semelhante à distorção do codec.
Estudo Empírico Transversal: Avaliação em cinco LLMs de quatro famílias (1,1B–13B parâmetros) e oito configurações quantizadas.
Descoberta de Correlação de Rank: O artigo demonstra que, em 37 configurações (método, modelo), a divergência KL emparelhada e o $\Delta$ PPL% estão correlacionados em rank com Spearman $\rho = 0,99$ , validando o uso do KL como diagnóstico para qualidade de quantização.

Resultados

A avaliação foca em três modelos ajustados por instrução (TinyLlama-1.1B, Qwen2.5-3B, Mistral-7B) e uma comparação de fronteira no Llama-2-7B.

Qualidade em ~5,5 bpw: A variante consciente da ativação do QAM-W (QAM-W-5.5) permanece dentro de ±0,4% da perplexidade BF16 em todos os modelos testados. Isso corresponde ao envelope de qualidade do SmoothQuant W8A8 (que opera em ~8,1 bpw), mas alcança isso com aproximadamente 32% menos bits de peso.
2D Conjunta vs. Polar: Em taxa de bits igual (~4 bpw), a codificação 2D conjunta (QAM-W-4) supera a base polar (QAM-W-polar) em 1–3 pontos percentuais (pp) em $\Delta$ PPL em modelos tolerantes à quantização (TinyLlama, Mistral) e em 14,6 pp no Qwen2.5 sensível à quantização.
Comparação com QTIP: Em uma taxa estrita de 4 bpw, o método QTIP (usando treliças de rede E8) supera o QAM-W. Os autores afirmam explicitamente que a contribuição do QAM-W é a faixa de preservação de qualidade de 5–6 bpw, e não a fronteira estrita de 4 bpw.
Variante de Baixo Bit: Uma variante de 3,5 bpw (QAM-W-3.5) é competitiva em arquiteturas tolerantes à quantização (por exemplo, Mistral 7B, +1,98% $\Delta$ PPL), mas tem desempenho inferior em modelos sensíveis (Qwen 2.5, +7,5% $\Delta$ PPL) comparado ao GPTQ.
Tarefas Downstream: O codec preserva o desempenho em seis tarefas downstream (PIQA, HellaSwag, etc.) e MMLU, com o QAM-W-5.5 correspondendo ao BF16 dentro de 0,2 pp no MMLU em todos os modelos.

Significado e Alegações

O artigo afirma que o QAM-W-5.5 representa uma escolha de preservação de qualidade para compressão de LLMs, oferecendo uma redução significativa no armazenamento de pesos e largura de banda de memória (32% menos bits) comparado ao SmoothQuant W8A8, estado da arte atual, sem sacrificar perplexidade ou precisão em tarefas downstream.

Os autores são modestos quanto ao escopo de suas alegações:

Eles não afirmam superioridade em 4 bpw estrito, reconhecendo a dominância do QTIP nesse regime.
Eles observam que o pipeline atual dequantiza os pesos para BF16 antes da multiplicação de matrizes; portanto, as economias de bits por peso (bpw) relatadas aplicam-se a armazenamento e largura de banda de memória, e não à latência de inferência, até que um kernel fundido seja implementado.
O estudo é limitado a transformadores decodificadores apenas densos com atenção padrão; extensões para arquiteturas contemporâneas (por exemplo, Gemma 2, Llama 3) ou escalas de 70B+ parâmetros são deixadas para trabalhos futuros.
O codebook é treinado em uma Gaussiana circular unitária sintética, em vez de distribuições empíricas por checkpoint, embora os autores sugiram que um codebook aprendido poderia gerar ganhos adicionais.

Em resumo, o QAM-W demonstra que recuperar a estrutura de coordenadas em pares dos pesos via codificação 2D conjunta, combinada com rotação e escalonamento consciente da ativação, permite quantização de alta fidelidade no regime de 5–6 bpw, preenchendo a lacuna entre a eficiência dos métodos de 4 bits e a qualidade dos métodos de 8 bits.