💬 NLP

PolarQuant: Optimal Gaussian Weight Quantization via Hadamard Rotation for LLM Compression

O PolarQuant é um método de quantização de pesos pós-treinamento para grandes modelos de linguagem que utiliza rotação de Hadamard para transformar pesos em distribuições gaussianas, permitindo compressão quase sem perdas e melhorando o desempenho de quantizadores downstream sem necessidade de dados de calibração.

Autores originais: Caio Vicentino

Publicado 2026-04-01

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Caio Vicentino

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante de livros (o modelo de Inteligência Artificial) que ocupa uma sala inteira. Você quer levar essa biblioteca para uma mochila pequena (seu celular ou notebook), mas os livros são muito pesados e grandes.

O PolarQuant é uma técnica nova e inteligente para "compactar" esses livros sem perder o conteúdo importante, permitindo que modelos gigantes de IA rodem em computadores comuns.

Aqui está a explicação do funcionamento, usando analogias do dia a dia:

1. O Problema: A Mala Desorganizada

Normalmente, quando tentamos encaixar esses "livros" (os dados do modelo) em uma mala pequena (memória do computador), usamos um método simples chamado absmax.

A analogia: Imagine que você tem uma mala com espaço limitado. O método antigo olha para o objeto mais pesado da sua bagagem (o "peso máximo") e diz: "Ok, vamos dividir todo o espaço da mala baseado no tamanho desse objeto gigante".
O problema: A maioria dos seus pertences são pequenos e leves. Mas, por causa daquele um objeto gigante, você desperdiça muito espaço tentando acomodá-lo, deixando os objetos pequenos com muito espaço sobrando ou sendo esmagados de forma desequilibrada. O resultado é que a mala cabe, mas os itens ficam danificados (perda de qualidade na IA).

2. A Solução Mágica: O "Giro" (Rotação de Hadamard)

O segredo do PolarQuant é uma etapa chamada Rotação de Hadamard.

A analogia: Imagine que seus pertences estão bagunçados em um canto da mala, com um gigante no meio e tudo ao redor. O PolarQuant pega a mala e a gira de uma forma matemática muito específica (como se fosse um cubo mágico ou um giro de balé perfeito).
O que acontece: Após esse giro, o "gigante" se quebra em pedaços menores e se distribui uniformemente por toda a mala. Agora, em vez de ter um objeto enorme e muitos pequenos, você tem muitos objetos de tamanho médio e muito parecidos entre si.
O resultado: A distribuição dos itens se torna perfeita, como uma pilha de tijolos bem alinhada. Isso é o que os matemáticos chamam de "distribuição Gaussiana" (uma curva em forma de sino perfeita).

3. O Empacotamento Final: A Moldura Personalizada

Depois de girar e organizar os itens, o PolarQuant usa um método de empacotamento chamado Lloyd-Max.

A analogia: Agora que os itens são todos parecidos e organizados, você pode usar caixas de tamanhos exatos para cada um. Não há mais espaço desperdiçado.
O truque: O artigo descobriu uma coisa surpreendente: 98% do sucesso vem apenas do "giro" (Rotação). O método de empacotamento (as caixas) ajuda um pouquinho, mas o verdadeiro herói é a rotação que organiza a bagunça.

4. Por que isso é incrível? (Os Resultados)

Sem "Guia" de Calibração: A maioria das técnicas modernas precisa de um "treinamento" ou de exemplos de texto para aprender a comprimir. O PolarQuant não precisa disso. Ele funciona "de fábrica", apenas girando os dados. É como se você pudesse dobrar uma camisa perfeitamente sem nunca ter visto uma camisa antes, apenas seguindo uma regra geométrica.
Qualidade Quase Perfeita: Ao testar em um modelo chamado Qwen3.5-9B, a técnica conseguiu comprimir o modelo para 5 bits (metade do tamanho original) e a qualidade do texto gerado ficou quase idêntica à versão original gigante. A diferença foi tão pequena que é imperceptível para o usuário.
Funciona em Tudo: Funciona em placas de vídeo potentes (NVIDIA) e também em computadores de mesa comuns (como Macs com chip M4), permitindo que você rode IAs inteligentes em seu laptop pessoal.

5. O "Pulo do Gato" (Pré-processamento)

O artigo também mostra que o PolarQuant pode ser usado como um "pré-processador".

A analogia: Imagine que você quer enviar uma carta por um serviço de correio muito barato (quantização INT4), mas a carta está cheia de dobras e rasgos. O PolarQuant é como uma máquina que alisa e dobra a carta perfeitamente antes de ela chegar ao correio.
Quando a carta chega ao serviço de correio, ela já está tão bem organizada que o serviço barato consegue enviá-la com muito mais qualidade do que se tivesse recebido a carta bagunçada. Isso permite usar modelos ainda menores (4 bits) com qualidade surpreendente.

Resumo em uma frase

O PolarQuant é como um organizador de mala mágico que, ao girar os dados de uma forma matemática específica, transforma uma bagunça desequilibrada em uma pilha perfeita, permitindo que modelos de IA gigantes caibam em dispositivos pequenos sem perder inteligência.

E o melhor: não precisa de treinamento, é rápido e funciona em qualquer lugar.

Resumo Técnico: PolarQuant

1. O Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em hardware de consumo e de borda exige compressão agressiva de pesos. Um modelo de 9 bilhões de parâmetros em precisão FP16 requer cerca de 18 GB de memória VRAM, o que excede a capacidade da maioria das GPUs de consumo.

Limitação da Quantização Atual: O método mais comum, absmax (quantização linear baseada no valor absoluto máximo), é computacionalmente simples, mas subótimo. Ele assume uma distribuição uniforme dos pesos, desperdiçando códigos de quantização em "outliers" (valores extremos raros) e concentrando erros na região central de alta densidade da distribuição, que é tipicamente próxima de uma Gaussiana.
Desafio: Como alcançar compressão quase sem perdas (near-lossless) sem dados de calibração e sem aumentar significativamente o custo computacional ou a complexidade do modelo?

2. Metodologia: PolarQuant

O PolarQuant é um método de quantização de pesos pós-treinamento que explora a estrutura distribucional dos pesos das redes neurais. O algoritmo opera em três etapas principais, transformando os pesos para que se tornem adequados à quantização ótima:

Normalização em Bloco: Os tensores de pesos são divididos em blocos (tamanho $d=128$ ). Cada bloco é normalizado para a hipersfera unitária, extraindo a norma $\ell_2$ ( $r_i$ ) e dividindo o bloco por ela.
Rotação de Hadamard (O Núcleo da Inovação): Aplica-se uma matriz de Walsh-Hadamard normalizada ( $H_d$ $H_{d}$ ) aos blocos normalizados.
- Teoria: A rotação transforma as coordenadas dos blocos (que originalmente têm distribuições complexas e com caudas pesadas) em variáveis aleatórias aproximadamente Gaussianas ( $N(0, 1)$ ).
- Justificativa: Para vetores uniformemente distribuídos na esfera, a projeção em coordenadas rotacionadas converge para uma distribuição Gaussiana conforme o tamanho do bloco aumenta (Teorema do Limite Central para projeções esféricas).
Escalonamento e Quantização: As coordenadas rotacionadas são escalonadas para ter variância unitária e quantizadas usando centróides de Lloyd-Max, que são matematicamente ótimos para distribuições Gaussianas (minimizando o erro quadrático médio - MSE).

Dequantização: É o processo inverso exato: busca-se os centróides, escala-se, aplica-se a rotação inversa (que é a própria matriz de Hadamard, pois é auto-inversa) e restaura-se a norma do bloco.

Integração com Outros Métodos

PolarQuant + AWQ: O PolarQuant pode ser combinado com AWQ (Activation-Aware Weight Quantization). Enquanto o AWQ protege canais sensíveis a ativações, o PolarQuant normaliza os blocos. A combinação resulta em compressão quase sem perdas.
Pré-processamento para INT4: Uma contribuição chave é o uso do PolarQuant (quantizado em 5 bits, Q5) como um passo de pré-processamento. Ao dequantizar os pesos Q5 e re-quantizá-los para INT4 usando ferramentas padrão (como torchao), obtém-se resultados superiores à quantização INT4 direta. O PolarQuant atua como um "regularizador distribucional", removendo distorções causadas por outliers antes da quantização final.

3. Contribuições Principais

Compressão Quase Sem Perdas: O PolarQuant Q5 (5 bits) alcança uma perplexidade de 6.39 no modelo Qwen3.5-9B, uma diferença de apenas +0.02 em relação ao FP16 (6.37), sem utilizar dados de calibração.
Descoberta Crítica: A Rotação é a Chave: Um estudo de ablação revelou que a Rotação de Hadamard sozinha é responsável por 98% da melhoria de qualidade.
- Sem rotação (apenas absmax Q5): Perplexidade 6.90.
- Com rotação (Hadamard + centróides uniformes): Perplexidade 6.40.
- Com rotação + centróides Lloyd-Max: Perplexidade 6.39.
- Conclusão: A transformação da distribuição dos pesos para Gaussiana é muito mais impactante do que o ajuste fino dos centróides de quantização em 5 bits.
Simplicidade e Eficiência: O algoritmo central é apenas uma multiplicação de matriz por bloco. Não requer gradientes, otimização iterativa ou dados de calibração. A matriz de Hadamard é determinística e auto-inversa, não exigindo armazenamento adicional.
Compatibilidade: Funciona como um pré-processador para qualquer quantizador downstream (INT4, GGUF, MLX), melhorando a qualidade final sem alterar a arquitetura do modelo.

4. Resultados Experimentais

Os testes foram realizados no modelo Qwen3.5-9B em GPUs NVIDIA (RTX PRO 6000) e Apple Silicon (Mac mini M4).

Desempenho em FP16 (Dequantizado): PolarQuant Q5 dequantizado atinge perplexidade 6.39 (vs 6.37 do FP16 puro), mantendo a mesma velocidade de inferência (45.9 tok/s).
Desempenho em INT4 (Inferência Eficiente):
- Método Direto (torchao INT4 absmax): Perplexidade 6.68.
- PolarQuant Q5 + torchao INT4: Perplexidade 6.56.
- Resultado: Redução da lacuna de perplexidade em 39% em comparação com a quantização INT4 direta, mantendo o mesmo throughput (43.1 tok/s) e uso de VRAM (~6.5 GB).
Hardware de Borda (Apple Silicon): No Mac mini M4 (16 GB), o PolarQuant executa o modelo a 19.7 tok/s com apenas 4.8 GB de memória, demonstrando viabilidade prática em dispositivos de consumo.
Ablação: A rotação de Hadamard reduziu a perplexidade de 6.90 para 6.40 (melhoria de 98%). Os centróides de Lloyd-Max trouxeram apenas uma melhoria marginal adicional (0.01) no nível Q5.

5. Significado e Impacto

O PolarQuant representa um avanço significativo na compressão de LLMs por:

Desmistificar a complexidade: Mostra que uma transformação geométrica simples (rotação de Hadamard) é mais eficaz do que métodos complexos de calibração ou otimização de centróides para quantização de 5 bits.
Viabilizar LLMs de 9B+ em Dispositivos de Consumo: Permite rodar modelos de alta qualidade em GPUs de desktop e laptops Apple Silicon com memória limitada, sem sacrificar significativamente a qualidade do modelo.
Novo Paradigma de Quantização em Cascata: Estabelece que a quantização de pré-processamento (em bits mais altos, como Q5) pode atuar como um "denoiser" distribucional, melhorando a eficácia de quantizadores downstream de baixa precisão (INT4), superando a intuição de que múltiplas etapas de quantização apenas somariam erros.

O código e os modelos estão disponíveis publicamente, facilitando a adoção imediata pela comunidade de código aberto.