🤖 machine learning

ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models

ADMM-Q é um algoritmo de quantização de pesos pós-treinamento, inovador e modular, baseado em uma variante combinatória do Método de Direção Alternada dos Multiplicadores, que melhora significativamente a utilidade dos Modelos de Linguagem Grandes em níveis agressivos de quantização abaixo de 4 bits, minimizando o erro de reconstrução por camada enquanto impõe restrições de quantização.

Autores originais: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Encolhendo Cérebros Gigantes

Imagine os Modelos de Linguagem de Grande Escala (LLMs) como Qwen ou LLaMA como bibliotecas massivas e altamente detalhadas. Essas bibliotecas contêm bilhões de livros (parâmetros) que permitem à IA escrever, raciocinar e conversar. No entanto, como essas bibliotecas são tão enormes, são difíceis de carregar (alto uso de memória) e levam muito tempo para serem lidas (computação lenta).

A Quantização é o processo de encolher essas bibliotecas. Em vez de manter cada livro escrito em tinta de alta definição e cor completa (precisão de 32 bits ou 16 bits), tentamos reescrevê-los usando menos cores ou símbolos mais simples (4 bits ou até 2 bits). O objetivo é tornar a biblioteca pequena o suficiente para caber em uma mochila sem perder a história.

O Problema: Os "Avarentos" Encolhedores

Os métodos existentes para encolher esses modelos, como o GPTQ (o padrão atual da indústria), funcionam como um editor ganancioso.

Como funcionam: Eles olham para a primeira frase, encolhem-na e seguem em frente. Depois, olham para a segunda frase, encolhem-na e seguem em frente.
O defeito: Quando o editor encolhe a primeira frase, ele pode cometer um pequeno erro. Como ele segue em frente imediatamente, nunca volta para corrigir esse erro. Quando chega ao final do livro, todos aqueles pequenos erros se acumularam, tornando a história confusa ou sem sentido. Isso é especialmente ruim ao tentar encolher os livros muito agressivamente (até 2 ou 3 bits).

A Solução: ADMM-Q (A Abordagem do "Encontro em Roda")

Os autores propõem um novo método chamado ADMM-Q. Em vez de um editor ganancioso trabalhando sozinho, imagine uma equipe de editores realizando uma reunião em roda para cada capítulo.

O Encontro em Roda (Otimização Conjunta):
Em vez de corrigir uma frase de cada vez, a equipe olha para o capítulo inteiro de uma vez. Eles perguntam: "Se mudarmos esta palavra aqui, como isso afeta aquela palavra ali?" Eles ajustam todas as palavras simultaneamente para encontrar a melhor combinação possível que mantém a história clara, mesmo usando muito poucas cores.
A Dança entre "Suave" e "Blocado" (ADMM):
A matemática por trás disso é chamada de ADMM (Método de Direção Alternada de Multiplicadores). Pense nisso como uma dança entre dois passos:
- Passo A (O Deslize Suave): A equipe faz pequenos ajustes contínuos nas palavras para melhorar o fluxo da história.
- Passo B (O Encaixe na Grade): De repente, eles precisam encaixar essas palavras em valores específicos e permitidos (como encaixar um tijolo de Lego no lugar).
- Eles continuam alternando entre deslizar e encaixar. Com o tempo, esse processo força as palavras a se estabelecerem nas melhores possíveis "posições de Lego" sem quebrar a história.
O Problema dos "Valores Extremos" (Escalonamento Diagonal):
Nestes modelos, algumas palavras são "altas" (outliers) e algumas são "baixas". Se você tentar encolhê-las todas de uma vez, as palavras altas dominam a conversa e as baixas se perdem.
- A correção do ADMM-Q: Eles usam uma técnica chamada Escalonamento Diagonal. Imagine dar um microfone às palavras baixas e diminuir o volume das palavras altas apenas para a sessão de edição. Isso garante que cada palavra tenha uma chance justa de ser otimizada, levando a uma história final muito mais clara.
O Polimento Final (Busca Local):
Assim que a equipe termina seu encontro, eles fazem uma rápida "verificação pontual". Eles procuram pares de palavras que podem ter sido trocados por acidente e veem se trocá-los de volta melhora a história. Isso é um polimento rápido e final para pegar quaisquer erros de última hora.

Por Que Isso Importa: Os Resultados

O artigo testou esse novo método em vários modelos (Qwen e LLaMA) e descobriu que:

Melhores Histórias: Quando encolheram os modelos para tamanhos muito pequenos (como 3 bits ou 2 bits), os antigos métodos "gananciosos" (GPTQ) produziam algarismos ou respostas muito confusas. O ADMM-Q manteve os modelos inteligentes e coerentes.
- Exemplo: Em um teste chamado "WikiText-2", o método antigo teve uma pontuação de 12,85 (quanto maior, pior), enquanto o ADMM-Q reduziu para 10,06. Isso é uma enorme melhoria na clareza.
Funciona com Outras Ferramentas: O ADMM-Q não é um substituto para tudo; é um substituto direto para a parte do "encolhedor". Funciona perfeitamente junto com outros truques que as pessoas usam, como rotacionar os dados ou escaloná-los.
Mesma Velocidade: Uma vez que o modelo é encolhido, ele roda tão rápido quanto os métodos antigos. O tempo extra que o ADMM-Q leva ocorre apenas durante o processo de encolhimento "offline" (como editar um livro antes de publicar), não enquanto você está realmente usando a IA.

O Problema (Limitações)

Leva mais tempo para editar: Como o ADMM-Q realiza um complexo "encontro em roda" para cada camada, leva mais tempo de computador para encolher o modelo inicialmente em comparação com os métodos gananciosos simples. No entanto, os autores dizem que essa espera única vale a pena pela qualidade muito superior.
Precisa de uma amostra: Como todos esses métodos, ele precisa de uma pequena amostra de texto (dados de calibração) para entender o que o modelo está tentando dizer antes de começar a encolher.

Resumo

O ADMM-Q é uma maneira mais inteligente de comprimir modelos de IA. Em vez de correr pela etapa de compressão passo a passo e cometer erros ao longo do caminho, ele adota uma abordagem holística e matemática para ajustar todas as partes do modelo juntas. O resultado é uma IA muito menor que ainda lembra como pensar com clareza, mesmo quando espremida em um espaço muito apertado.

Resumo Técnico: ADMM-Q para Quantização Pós-Treinamento de LLMs

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) enfrentam desafios significativos de implantação devido aos seus requisitos computacionais e de memória. A quantização, especificamente a Quantização Pós-Treinamento (PTQ), é uma estratégia primária para comprimir esses modelos reduzindo a precisão dos pesos (por exemplo, de 16 bits para 4 bits ou menos) sem retreinamento.

Os métodos atuais de quantização de pesos padrão, como Round-to-Nearest (RTN) e Quantização Gananciosa por Coluna (GPTQ), apresentam limitações, particularmente em larguras de bits agressivas (sub-4 bits):

RTN arredonda os pesos independentemente, ignorando as dependências entre pesos e a estrutura da paisagem do erro de reconstrução.
GPTQ incorpora informações do Hessiano para compensar erros, mas processa os pesos de forma gananciosa, coluna por coluna. Essa abordagem sequencial é sensível à ordem de processamento e acumula erros entre as colunas.

O desafio central é formular a quantização por camada como um problema de otimização com restrições que minimize o erro de reconstrução, respeitando ao mesmo tempo as restrições de quantização discretas, um problema que se torna cada vez mais difícil à medida que as larguras de bits diminuem.

Metodologia: ADMM-Q

Os autores propõem o ADMM-Q, um algoritmo de quantização de pesos inovador baseado no Método de Direção Alternada dos Multiplicadores (ADMM). Diferentemente da abordagem gananciosa por coluna do GPTQ, o ADMM-Q trata a quantização por camada como um problema de otimização conjunta.

1. Formulação do Problema

O algoritmo formula a quantização de uma camada com pesos pré-treinados $\hat{W}$ e ativações de entrada $X$ como um problema de otimização com restrições ponderado pelo Hessiano:
$\min_{W} \frac{1}{2} \text{Tr}\left((W - \hat{W})^\top H (W - \hat{W})\right) \quad \text{s.t.} \quad W \in \mathcal{Q}$
onde $H = X^\top X + \lambda I$ é a matriz Hessiana e $\mathcal{Q}$ é o conjunto de matrizes de pesos quantizados.

2. Componentes Algorítmicos Chave

Para resolver esse problema não convexo de forma eficiente na escala de LLMs, o ADMM-Q incorpora vários aprimoramentos:

Escalonamento Diagonal para Estabilidade Numérica: As ativações de LLMs frequentemente contêm "outliers de canal" (dimensões com magnitudes desproporcionalmente grandes), levando a um Hessiano mal condicionado. O ADMM-Q aplica uma matriz de escalonamento diagonal $\Sigma = \text{Diag}(H)^{-1/2}$ para normalizar o problema, garantindo que todos os canais contribuam comparavelmente para as atualizações. Isso é crítico; estudos de ablação mostram que a remoção desse escalonamento degrada significativamente o desempenho (por exemplo, aumentando a perplexidade de 10,06 para 14,68 em W3A16 no Qwen3-8B).
Divisão ADMM: O algoritmo introduz uma variável auxiliar $D$ $D$ para desacoplar o objetivo contínuo ponderado pelo Hessiano da restrição de quantização discreta. Ele alterna entre:
1. Atualização W: Uma atualização contínua minimizando a distância ponderada pelo Hessiano, resolvida eficientemente via decomposição espectral de $H$ .
2. Atualização D: Uma projeção discreta sobre a grade de quantização (equivalente ao RTN, mas considerando o escalonamento).
3. Atualização Dual: Ajuste do multiplicador de Lagrange para impor consistência.
Atualização da Grade: Diferentemente do GPTQ, que fixa a grade de quantização durante a otimização, o ADMM-Q reajusta dinamicamente os parâmetros da grade (escala e ponto zero) com base na iteração contínua atual. Isso permite que a projeção permaneça alinhada com o alvo em movimento, evitando a obsolescência de uma grade fixa.
Refinamento por Busca Local: Para abordar soluções discretas subótimas causadas por arredondamentos correlacionados, uma etapa de pós-processamento realiza uma busca local eficiente de troca de pares. Esta etapa avalia movimentos discretos (troca de valores entre linhas) que reduzem diretamente o erro de reconstrução, aproveitando a paralelização em GPU para velocidade.
Garantias de Convergência: Os autores estendem as provas de convergência existentes do ADMM (anteriormente estabelecidas para restrições de esparsidade) ao cenário de quantização, provando que as iterações contínua e discreta convergem para o mesmo ponto limite sob um cronograma específico de penalidade ( $\rho_t = \rho_0 \cdot \gamma^t$ ).

3. Modularidade e Integração

O ADMM-Q é projetado como uma substituição direta para RTN ou GPTQ dentro de pipelines de PTQ existentes. É totalmente composável com:

Transformações de escalonamento (por exemplo, SmoothQuant, AWQ).
Transformações de rotação (por exemplo, SpinQuant, QuaRot).
Heurísticas de clipping (por exemplo, busca de grade baseada em MSE).

Resultados Experimentais

Os autores avaliaram o ADMM-Q em três cenários: quantização apenas de pesos, quantização de pesos e ativações com SpinQuant, e quantização de pesos e ativações com SmoothQuant.

1. Quantização Apenas de Pesos (Família Qwen3)

Através dos modelos Qwen3 (de 1,7B a 32B), o ADMM-Q superou consistentemente o GPTQ e o AWQ em perplexidade e precisão zero-shot, com ganhos aumentando em larguras de bits mais baixas:

W3A16 (Qwen3-8B): A perplexidade no WikiText-2 melhorou de 12,85 (GPTQ) para 10,06 (ADMM-Q).
W2A16 (Qwen3-8B): A perplexidade no WikiText-2 melhorou de 32,88 (GPTQ) para 17,69 (ADMM-Q).
Análise por Camada: O ADMM-Q reduziu o erro de reconstrução em todas as camadas do decodificador, alcançando até 10% do erro do GPTQ nas camadas iniciais.

2. Quantização de Pesos e Ativações

SpinQuant (WbA4KV4): Nos modelos LLaMA-3 e Qwen3, substituir o GPTQ pelo ADMM-Q produziu melhorias consistentes. Por exemplo, no LLaMA-3 8B em W2A4KV4, a perplexidade caiu de 50,27 (GPTQ) para 15,65 (ADMM-Q).
SmoothQuant (WbA8): No Qwen3-8B, o ADMM-Q melhorou a perplexidade W3A8 de 16,00 para 12,21.

3. Desempenho de Inferência

Quando integrado à pilha de inferência vLLM, o ADMM-Q produziu matrizes de pesos no mesmo formato que o GPTQ. Consequentemente, alcançou mesmo throughput de inferência e benefícios de memória. Por exemplo, no Qwen3-32B com SpinQuant W8A8, ambos os métodos alcançaram um aumento de velocidade de ~1,52× sobre a base densa.

4. Custo Computacional

O processo de quantização offline do ADMM-Q é mais intensivo computacionalmente que o GPTQ devido à otimização iterativa. No entanto, os autores observam que a quantização é uma etapa única, e o tempo de execução permanece prático (por exemplo, menos de duas horas para um modelo de 32B em uma única GPU). O uso máximo de memória GPU é ligeiramente superior (aproximadamente 6%) ao do GPTQ.

Significado e Alegações

O artigo afirma que o ADMM-Q representa uma mudança principista da quantização sequencial e gananciosa para uma otimização conjunta e com restrições para LLMs. Suas principais contribuições são:

Inovação Algorítmica: Adapta com sucesso o ADMM ao problema combinatório difícil da quantização de pesos, introduzindo estabilizações necessárias (escalonamento diagonal) e refinamentos (atualização da grade, busca local) para escalas de LLM.
Ganhos de Desempenho: Demonstra melhorias substanciais na utilidade do modelo (perplexidade e precisão), particularmente em regimes agressivos de baixo bit (W3 e W2) onde métodos anteriores lutam.
Versatilidade: Atua como um componente modular e de substituição direta que aprimora pipelines existentes (incluindo aqueles que usam rotações e escalonamento) sem alterar o formato ou a velocidade final de inferência.

Os autores reconhecem limitações, observando que o ADMM-Q incorre em custos de quantização offline mais altos e depende da representatividade do conjunto de calibração. Além disso, a avaliação atual é limitada a LLMs autoregressivos densos apenas de decodificador, e a adaptação para misturas de especialistas ou modelos de difusão exigiria trabalho adicional.