💬 NLP

UniSVQ: 2-bit Unified Scalar-Vector Quantization

O UniSVQ é um novo framework de quantização unificada de 2 bits que faz a ponte entre a quantização escalar e a vetorial ao parametrizar os codewords como transformações afins de redes inteiras, alcançando desempenho e eficiência de inferência superiores para grandes modelos de linguagem em comparação com os métodos existentes.

Autores originais: Haoyu Wang, Haiyan Zhao, Xingyu Yu, Zhangyang Yao, Xu Han, Zhiyuan Liu, Maosong Sun

Publicado 2026-06-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haoyu Wang, Haiyan Zhao, Xingyu Yu, Zhangyang Yao, Xu Han, Zhiyuan Liu, Maosong Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca de conhecimento massiva e incrivelmente detalhada (um Grande Modelo de Linguagem) que é pesada demais para carregar no bolso. Para torná-la portátil, você precisa encolhê-la. Esse processo é chamado de quantização.

O artigo apresenta um novo método chamado UniSVQ para encolher esses modelos para apenas 2 bits (um tamanho extremamente pequeno) sem perder sua capacidade de pensar com clareza. Veja como eles fizeram isso, explicado através de analogias simples.

O Problema: Duas Opções Ruins

Ao tentar encolher esses modelos, os pesquisadores geralmente tinham que escolher entre duas ferramentas imperfeitas:

Quantização Escalar (A "Régua"): Este método trata cada número no modelo individualmente, como medir cada grão de areia com uma régua.
- O Bom: É muito rápido e fácil de usar porque a "régua" é simples.
- O Ruim: A 2 bits, a régua é muito bruta. Ela não consegue capturar os detalhes finos, fazendo com que o modelo perca sua inteligência (como tentar desenhar um retrato usando apenas quatro giz de cera).
Quantização Vetorial (O "Álbum de Figurinhas"): Este método olha para grupos de números juntos e os substitui por uma "figurinha" pré-fabricada (um código/codeword) de um álbum gigante.
- O Bom: Captura os detalhes muito melhor do que a régua.
- O Ruim: O álbum de figurinhas é enorme. Carregá-lo por aí te deixa lento porque você tem que ficar folheando páginas constantemente para encontrar a figurinha certa, e isso ocupa muito espaço no seu bolso (memória).

A Solução: UniSVQ (A "Grade Mágica")

O UniSVQ é um híbrido inteligente que combina o melhor dos dois mundos. Em vez de usar uma régua simples ou um álbum de figurinhas gigante, os autores criaram uma Grade Mágica.

Pense na Grade Mágica como um mapa flexível e pré-desenhado.

Como funciona: Em vez de armazenar um álbum gigante de todas as possíveis figurinhas, o UniSVQ armazena um pequeno conjunto de instruções (uma "transformação afim"). Essas instruções dizem ao computador como esticar e deslocar uma grade simples de pontos para corresponder à forma dos dados.
A Analogia: Imagine que você precisa encaixar um tapete grande e de formato irregular em uma mala pequena.
- A Escalar tenta cortar o tapete em pequenos quadrados rígidos (fica bagunçado).
- A Vetorial tenta enfiar o tapete inteiro fazendo a compra de uma mala enorme e personalizada (é pesada).
- O UniSVQ dobra o tapete usando um padrão específico e eficiente (a transformação afim) que se encaixa perfeitamente em uma mala padrão e pequena.

Por que é um Grande Avanço

O artigo afirma que o UniSVQ alcança três grandes vitórias:

É mais Inteligente que a Régua: Ao usar esta grade flexível, o modelo mantém muito mais de sua "capacidade cerebral" do que os métodos tradicionais de 2 bits. Ele performa quase tão bem quanto os métodos pesados e complexos de álbuns de figurinhas.
É Mais Leve que o Álbum de Figurinhas: Como a "grade" é definida por algumas instruções matemáticas simples, em vez de uma lista massiva de figurinhas, ele economiza uma quantidade tremenda de espaço. O artigo observa que ele reduz o armazenamento extra necessário em cerca de 64 vezes em comparação com os métodos vetoriais padrão.
É Mais Rápido: Como a grade é estruturada e previsível, os computadores podem usar seus motores existentes e super-rápidos (kernels otimizados) para processá-la. Não é necessário parar para folhear um álbum pesado. Isso leva a velocidades de leitura (throughput de inferência) mais rápidas.

Como Eles Construíram Isso

Para fazer essa Grade Mágica funcionar, os autores usaram uma receita de três etapas:

Embaralhar o Baralho (Transformada de Hadamard Aleatória): Antes de encolher, eles "embaralharam" os dados do modelo. Isso espalha os números estranhos e extremos (outliers) para que eles não quebrem a grade.
Desenhar o Mapa (Quantização): Eles usaram uma técnica matemática (LDLQ) para encontrar a melhor maneira de mapear os dados em sua grade.
Ajustar o Encaixe (Fine-Tuning): Finalmente, eles fizeram pequenos ajustes na forma da grade com base em dados reais para garantir que o ajuste fosse o mais perfeito possível.

Os Resultados

Quando testaram isso em modelos de IA famosos (como Qwen e Llama), o UniSVQ:

Venceu todos os métodos "Régua" (Escalares) por uma margem ampla.
Igualou ou superou ligeiramente os métodos de "Álbum de Figurinhas" (Vetoriais) em precisão.
Rodou significativamente mais rápido e usou menos memória do que os métodos Vetoriais pesados.

Em resumo, o UniSVQ encontrou uma maneira de tornar um modelo de IA gigante pequeno e rápido sem torná-lo "burro", substituindo um pesado álbum de figurinhas por um mapa inteligente e dobrável.

Resumo Técnico: UniSVQ: Quantização Unificada Escalar-Vetorial de 2 bits

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) exigem recursos computacionais substanciais, criando barreiras para a implantação no mundo real. A quantização pós-treinamento (PTQ) é uma solução primária para compressão. Embora a quantização de 4 bits ou superior tenha se tornado relativamente estável, a quantização de 2 bits permanece um desafio crítico para maximizar a aceleração da inferência e a redução de memória.

As abordagens atuais de 2 bits enfrentam um compromisso fundamental entre Quantização Escalar (SQ) e Quantização Vetorial (VQ):

Quantização Escalar (SQ): Converte pesos individuais em valores discretos. É computacionalmente eficiente e compatível com núcleos de tensores otimizados, mas sofre de uma degradação severa de desempenho em 2 bits (frequentemente excedendo 30% de perda) devido à sensibilidade a outliers e à flexibilidade limitada para ajustar distribuições de pesos.
Quantização Vetorial (VQ): Quantiza grupos de pesos contíguos usando um codebook (livro de códigos). Alcança um desempenho superior de 2 bits ao modelar melhor as distribuições de pesos, mas incorre em um overhead de armazenamento significativo (para o codebook) e latência computacional (devido a buscas no codebook e falhas de cache), muitas vezes anulando os ganhos de velocidade de inferência.

O problema central abordado é como alcançar a flexibilidade e o desempenho da VQ a 2 bits, mantendo o baixo overhead de armazenamento e computação da SQ.

2. Metodologia: UniSVQ

Os autores propõem o UniSVQ, um framework de quantização unificada de 2 bits que faz a ponte entre SQ e VQ ao parametrizar os codewords como uma transformação afim de redes inteiras (integer lattices).

Insight Central

O método baseia-se na observação de que a natureza não estruturada dos codebooks de VQ é a principal causa de seu overhead. O UniSVQ substitui o codebook não estruturado por uma grade de quantização com restrição linear. Esta grade é definida de tal forma que todos os valores quantizados possíveis são obtidos via uma transformação afim de um grupo de vetores de coordenadas inteiras.

Formulação Matemática: A função de quantização $\Phi$ para um vetor de pesos $[w_1, ..., w_d]^T$ é definida como:
$\Phi([w_1, ..., w_d]^T) = A[\bar{w}_1, ..., \bar{w}_d]^T + B$
onde $\bar{w}_i \in \mathbb{Z}$ são índices inteiros, $A$ é uma matriz afim e $B$ é um vetor de viés (bias).
Estrutura: Esta estrutura preserva a regularidade da SQ (permitindo o reuso de kernels de multiplicação de matrizes otimizados) enquanto retém a flexibilidade da VQ (ao permitir que a grade se adapte à distribuição dos dados via $A$ e $B$ ).

Pipeline de Implementação

O UniSVQ opera em três estágios:

Pré-processamento (Transformada de Hadamard Aleatória - RHT):
- Os pesos são transformados usando RHT ( $R(W) = US_U W S_V V$ ) para eliminar outliers.
- Este passo garante que a distribuição de pesos aproxime uma Gaussiana multidimensional padrão, o que é um pré-requisito para que a grade de restrição linear seja eficaz.
- A transformada é reversível e computacionalmente eficiente ( $O(n \log n)$ ).
Quantização de Pesos (LDLQ):
- O método utiliza a abordagem LDLQ (Decomposição Baseada em Rede para Quantização de Rede).
- Realiza a quantização coluna por coluna, ajustando sequencialmente os pesos não quantizados restantes para compensar erros usando a decomposição da matriz Hessiana ( $H = LDL^T$ ).
- A grade de quantização é inicializada usando uma matriz ortogonal aleatória $G$ e fatores de escala derivados da largura de bits, garantindo uma grade centralmente simétrica que corresponde à distribuição Gaussiana dos pesos pré-processados.
Ajuste Fino Baseado em Dados (Data-Driven Fine-Tuning):
- Para minimizar o erro de reconstrução, os parâmetros afins ( $A$ e $B$ ) são ajustados camada a camada.
- O processo de desquantização é reformulado como uma multiplicação de matrizes, permitindo o uso de backpropagation para otimizar $A$ e $B$ diretamente contra a saída do modelo FP16 original usando a perda de Erro Quadrático Médio (MSE).
- Esta estratégia adapta a grade de quantização à heterogeneidade específica das distribuições de peso e ativação.

Eficiência

Armazenamento: Para um vetor de 4 dimensões ( $d=4$ ) em quantização de 2 bits, o UniSVQ requer apenas 20 parâmetros de ponto flutuante adicionais (matriz $4\times4$ + 4 vieses) por matriz de pesos. Isso reduz o armazenamento auxiliar de ~2048 bytes (VQ padrão) para ~40 bytes (uma redução de ~64x).
Inferência: A transformação afim pode ser pré-aplicada às ativações, permitindo o reuso de kernels de Matmul de quantização escalar altamente otimizados sem lógica de decodificação complexa.

3. Principais Contribuições

Framework Unificado: Introdução do UniSVQ, que une a quantização escalar e vetorial via parametrização de rede afim, alcançando a flexibilidade da VQ com parâmetros auxiliares mínimos.
Superioridade de Desempenho: Demonstração de que o UniSVQ supera consistentemente os baselines de quantização escalar de estado da arte (SoTA) e atinge desempenho comparável ou superior aos métodos avançados de quantização vetorial.
Ganhos de Eficiência: Prova de que o UniSVQ melhora o throughput de inferência ao reduzir o tráfego de memória relacionado ao codebook, levando a velocidades de inferência prática mais altas em comparação tanto com FP16 quanto com outros baselines quantizados.

4. Resultados Experimentais

Experimentos foram conduzidos nas famílias de modelos Qwen-3 (4B a 32B) e Llama-3 (8B) usando quantização de 2 bits.

Acurácia vs. Baselines Escalares: O UniSVQ supera significativamente os métodos escalares (GPTQ, QuIP, SpinQuant, OSTQuant).
- No Qwen-3-32B, o UniSVQ retém 98% do desempenho de precisão total (FP16), enquanto os baselines escalares frequentemente caem abaixo de 60-70%.
- Notavelmente, o UniSVQ de 2 bits (32B) supera o modelo Qwen-3-4B em FP16 em acurácia média de QA, sugerindo que modelos maiores de 2 bits podem ser mais eficazes do que modelos menores de precisão total quando a memória é restrita.
Acurácia vs. Baselines Vetoriais: O UniSVM alcança acurácia comparável ou superior aos métodos VQ (AQLM, QuIP#).
- No Qwen-3-8B, o UniSVQ supera o QuIP# (que usa uma rede E8P matematicamente ótima).
- Ele supera o AQLM (baseado em clustering) em todos os benchmarks.
Throughput de Inferência:
- No Llama-3-8B (GPU A100), o UniSVQ alcança 1.68x mais rápido na inferência do que o FP16.
- Reduz o uso de memória de pico da GPU em mais de 75% em comparação ao FP16.
- Supera o AQLM e o QuIP# tanto em throughput quanto em pegada de memória devido à sua estrutura mais simples e ausência de grandes buscas em codebook.
Estudos de Ablação:
- Ajuste Fino (Fine-tuning): Desativar o ajuste fino dos parâmetros afins causa uma queda perceptível na acurácia (ex: de 67.95% para 66.99% no Qwen-3-8B).
- Inicialização: Usar uma matriz ortogonal aleatória para inicialização é superior ao uso do gerador de rede D4 matematicamente ótimo, provavelmente porque a matriz aleatória preserva a natureza isotrópica necessária para as restrições lineares.
- RHT: Remover a Transformada de Hadamard Aleatória faz com que o desempenho colapse para níveis próximos ao aleatório, confirmando sua necessidade para a supressão de outliers.
- Dimensionalidade: Aumentar a dimensão do vetor de $d=4$ para $d=8$ produz apenas ganhos marginais de acurácia, que não justificam o aumento do custo computacional. Assim, $d=4$ é o equilíbrio ideal.

5. Significância e Alegações

O artigo afirma que o UniSVQ representa um passo significativo à frente na quantização de baixíssimo bit (2 bits). Ao unificar a simplicidade estrutural da quantização escalar com a flexibilidade de distribuição da quantização vetorial, o UniSVQ resolve o tradicional compromisso entre acurácia e eficiência.

Os autores enfatizam que:

A grade de quantização com restrição linear é o mecanismo chave que liga esses métodos, permitindo que a desquantização seja tratada como uma simples transformação afim.
O método é escalável e generalizável, performando bem em diferentes arquiteturas de modelos (Qwen, Llama) e larguras de bits (estendendo-se para 3 bits com mudanças estruturais mínimas).
A abordagem permite a implantação de modelos maiores (ex: 32B) em ambientes com recursos limitados com desempenho que rivaliza com modelos menores de precisão total, um feito não alcançável com os métodos atuais de quantização escalar.

O artigo conclui com uma nota modesta sobre limitações: o trabalho atual foca em quantização apenas de pesos (weight-only) e ainda não aborda a quantização de ativações ou do KV-cache, que também são críticos para a eficiência de ponta a ponta. Além disso, a interação entre a transformação afim e kernels GEMM altamente otimizados continua sendo uma área para exploração futura.