🤖 machine learning

KronQ: LLM Quantization via Kronecker-Factored Hessian

O KronQ é um framework de quantização pós-treinamento que melhora a compressão de grandes modelos de linguagem ao incorporar a covariância do gradiente no objetivo de quantização via aproximação de Hessiano fatorado por Kronecker, permitindo o processamento de incoerência bidirecional e métricas de sensibilidade aprimoradas que alcançam uma perplexidade superior em comparação com métodos existentes como o GPTQ, particularmente em cenários de baixíssima bitagem.

Autores originais: Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro robótico gigante e incrivelmente inteligente (um Grande Modelo de Linguagem) que consegue escrever histórias, resolver problemas matemáticos e conversar como um humano. O problema? Esse cérebro é tão massivo que precisa de um armazém cheio de computadores apenas para caber em uma prateleira. Para fazê-lo rodar em um notebook comum ou em um celular, cientistas tentam "encolhê-lo" comprimindo sua memória, um processo chamado quantização. Pense nisso como arrumar uma mala: você quer colocar todas as suas roupas (o conhecimento do modelo) em uma bolsa minúscula sem perder nada importante.

Por um tempo, a melhor maneira de arrumar essa mala foi um método chamado GPTQ. Funcionava analisando como o "input" do robô (as palavras que ele lê) variava e ajustando os pesos de acordo. Mas os autores deste novo artigo, KronQ, perceberam uma falha nessa estratégia. Eles perceberam que o GPTQ estava olhando apenas para o lado do input, assumindo que cada possível output (as palavras que o robô pode dizer a seguir) era igualmente importante.

O Grande Erro: Ignorar o Lado do "Output"
O artigo argumenta que essa suposição é como tentar arrumar uma mala olhando apenas para o peso das roupas, enquanto ignora o quão frágeis elas são. Na realidade, algumas partes do cérebro do robô são super sensíveis. Se você as esmagar demais, tudo desmorona.

Os autores mediram isso e descobriram algo impressionante: em um modelo massivo como o LLaMA-3-70B, os canais de "output" (os caminhos que o robô usa para gerar respostas) variam drasticamente em importância. Alguns são como vidro delicado; outros são como tijolos resistentes. Os métodos antigos tratavam todos da mesma forma, o que fazia o robô enlouquecer quando era comprimido demais. De fato, quando tentaram encolher o LLaMA-3-70B para apenas 2 bits (uma quantidade mínima de memória), os métodos antigos falharam completamente, produzindo algo sem sentido com uma "perplexidade" (uma pontuação de quão confuso o modelo está) de mais de 2000. Isso é como um robô esquecendo como falar inglês inteiramente.

A Nova Solução: KronQ
Entra o KronQ. Os autores propõem uma nova maneira de arrumar a mala que olha para ambos os lados: o input e o output. Eles usam um truque matemático chamado aproximação de Hessiano fatorado por Kronecker.

Aqui está a analogia: Imagine que o cérebro do robô é um tambor gigante.

Método Antigo (GPTQ): Você bate no tambor pela frente (input) e ajusta a tensão baseando-se em como a frente vibra. Você assume que a parte de trás do tambor é apenas uma imagem espelhada.
KronQ: Você bate no tambor pela frente e pela parte de trás. Você percebe que a parte de trás vibra de forma diferente! Algumas partes de trás estão soltas e instáveis, enquanto outras estão apertadas. O KronQ mede essa "vibração traseira" (a covariância do gradiente) e o utiliza para arrumar a mala com muito mais cuidado.

Dois Superpoderes do KronQ
O artigo mostra que o KronQ faz duas coisas inteligentes:

Incoerência Bidirecional (O "Embaralhamento"):
Antes de arrumar, o KronQ embaralha os pesos em duas direções (input e output) para garantir que nenhum ponto único seja sobrecarregado com itens pesados ou frágeis. É como pegar uma pilha bagunçada de livros e espalhá-los uniformemente para que a mala não fique estufada em um só ponto. O artigo mostra que isso reduz a "variabilidade" dos pesos, tornando-os muito mais fáceis de comprimir sem quebrar.
Alocação Inteligente de Bits (O "Passe VIP"):
Nem todas as partes do robô precisam da mesma quantidade de espaço. O KronQ calcula uma "pontuação de sensibilidade" para cada subcamada do cérebro. Ele dá mais bits (mais espaço de memória) para as camadas "VIP" (as mais sensíveis) e menos bits para as menos importantes. Crucialmente, porque ele olha para o lado do output, ele consegue distinguir entre camadas que parecem idênticas pelo lado do input, mas que agem de forma muito diferente.

Os Resultados: Salvando o Dia
Os autores testaram isso em vários modelos, de 7 bilhões a 70 bilhões de parâmetros. Os resultados foram dramáticos, especialmente quando tentaram encolher os modelos ao limite extremo de 2 bits.

A Falha: No enorme modelo LLaMA-3-70B, os métodos antigos (GPTQ e GPTAQ) divergiram ou produziram resultados inúteis (perplexidade > 2000).
O Sucesso: O KronQ conseguiu comprimir esse mesmo modelo de 70 bilhões de parâmetros para 2 bits e o manteve funcionando perfeitamente, alcançando uma perplexidade de 7.93 no conjunto de dados WikiText-2. Essa é uma diferença enorme entre um "robô quebrado" e um "robô inteligente".

Mesmo nas configurações de 4 e 3 bits, o KronQ superou consistentemente a concorrência, mostrando pontuações de confusão menores e melhor precisão em testes de raciocínio como PiQA e Arc-Challenge. Por exemplo, no LLaMA-2-7B a 2 bits, o KronQ obteve uma perplexidade de 8.15, enquanto o GPTQ lutou com 31.11.

O Custo
Existe uma pegadinha? O artigo admite que, para obter esses dados de "vibração de output", o KronQ precisa fazer uma passagem de retropropagação (backward pass) extra através do modelo antes de empacotar. Isso leva um pouco mais de tempo e memória durante a fase de configuração (cerca de 8–11 segundos a mais por camada em comparação ao GPTAQ). No entanto, uma vez que o modelo é empacotado, a velocidade de execução real e o uso de memória durante o uso são tão eficientes quanto os métodos antigos. O trabalho extra é um custo de configuração única que compensa ao permitir que o modelo seja muito mais reduzido sem quebrar.

O Que Eles Descartaram
O artigo argumenta explicitamente contra a ideia de que você pode ignorar o lado do output na matemática. Eles mostem que assumir que todas as direções de saída são iguais (definindo a covariância do gradiente como uma matriz identidade) é uma "aproximação suboptimal" que leva ao fracasso em cenários de bits ultra baixos. Eles também mostram que métodos que olham apenas para estatísticas de input (como o GPTQ padrão) não conseguem distinguir entre diferentes subcamadas que compartilham o mesmo input, levando a decisões ruins sobre onde alocar memória.

O Quão Certos Eles Estão?
Os autores estão muito confiantes nesses resultados porque eles se baseiam em medições reais, não apenas em simulações. Eles realizaram esses testes em hardware real (GPUs A100) com modelos reais (LLaMA-2, LLaMA-3, Gemma, DeepSeek) e mediram pontuações reais de perplexidade e precisão. Eles não apenas sugeriram que poderia funcionar; eles mostraram que, nestes experimentos específicos, os métodos antigos literalmente falharam em produzir um modelo funcional a 2 bits, enquanto o KronQ teve sucesso.

Em resumo, o KronQ é como um mestre de organização que percebeu que, para caber um cérebro gigante em uma caixa pequena, você tem que entender como o cérebro gera informações (outputs), não apenas como ele recebe informações (inputs). Ao fazer isso, ele desbloqueia a capacidade de rodar modelos de IA massivos em dispositivos que antes consideravam isso impossível.

Resumo Técnico: KronQ: Quantização de LLM via Hessiano Fatorado por Kronecker

Declaração do Problema

A quantização pós-treinamento (PTQ) é uma técnica crítica para implantar Grandes Modelos de Linguagem (LLMs) em hardware com recursos limitados sem a necessidade de retreinamento. Embora os métodos existentes de PTQ de segunda ordem, como o GPTQ e seus sucessores (ex: GPTAQ), tenham se tornado o padrão para quantização de passo único (one-shot), eles dependem de uma limitação fundamental: eles constroem objetivos de quantização exclusivamente a partir das estatísticas de ativação de entrada ( $H_X$ ).

Sob a aproximação fatorada por Kronecker (K-FAC), o Hessiano completo dos pesos ( $H$ ) fatoriza no produto de Kronecker da covariância de ativação de entrada ( $H_X$ ) e da covariância de gradiente de saída ( $H_G$ ). Os métodos baseados em compensação, como o GPTQ, assumem implicitamente que $H_G = I$ (a matriz identidade), tratando todas as direções de saída como igualmente importantes. Os autores argumentam que esta é uma aproximação subótima, pois a Figura 1(a) demonstra que os canais de saída exibem magnitudes de gradiente heterogêneas. Essa negligência leva à degradação do desempenho, particularmente em regimes de bits ultra-baixos (ex: 2 bits), onde métodos como GPTQ e GPTAQ frequentemente divergem ou produzem quantizações degeneradas em modelos como o LLaMA-3-70B.

Metodologia

O artigo propõe o KronQ, um framework de PTQ que incorpora explicitamente a covariância do gradiente ( $H_G$ ) no pipeline de quantização sob a aproximação K-FAC ( $H \approx H_X \otimes H_G$ ). A metodologia opera em dois níveis complementares:

1. Processamento de Incoerência Bidirecional (BiIP)

O processamento de incoerência padrão (ex: em QuIP#) aplica transformações ortogonais aleatórias para suprimir outliers na dimensão de entrada ( $H_X$ ) para reduzir o erro de quantização. O KronQ estende isso para a dimensão de saída usando $H_G$ .

Mecanismo: O método aplica reescalonamento diagonal e transformações ortogonais tanto para as dimensões de entrada ( $V$ ) quanto de saída ( $U$ ). Os fatores de reescalonamento são derivados das entradas diagonais de $H_X$ e $H_G$ em relação às normas dos pesos.
Invariância: Crucialmente, embora o $H_G$ seja usado para determinar as transformações de pré-processamento, ele se cancela algebricamente durante as atualizações de compensação de peso do Optimal Brain Surgeon (OBS) por coluna (Proposição 1). Isso permite que o KronQ mantenha a eficiência computacional do solver base do GPTAQ enquanto se beneficia do melhor distribuição de pesos.
Resultado: O BiIP reduz o coeficiente de variação (CV) das magnitudes dos pesos em ambas as dimensões de entrada e saída, levando a limites de erro de quantização mais estreitos.

2. Alocação de Precisão Mista Inter-Camadas

O KronQ introduz uma nova métrica de sensibilidade para alocar larguras de bits entre subcamadas.

Métrica: O escore de sensibilidade é definido como o produto dos traços dos dois fatores do Hessiano: $s_\ell = \text{tr}(H_G^{(\ell)}) \cdot \text{tr}(H_X^{(\ell)})$ .
Vantagem: Métodos existentes que utilizam apenas $\text{tr}(H_X)$ não conseguem diferenciar subcamadas que compartilham estatísticas de entrada idênticas (ex: projeções de Query, Key e Value em blocos de atenção). O escore do KronQ quebra essa degenerescência porque o $H_G$ varia entre essas subcamadas devido aos diferentes gradientes subsequentes. Isso permite uma alocação de largura de bits mais ótima, atribuindo maior precisão às subcamadas com maior sensibilidade conjunta.

Principais Contribuições

Erro de Quantização Fatorado por Kronecker: Os autores estendem o objetivo de quantização por camada para incorporar o $H_G$ sob a aproximação K-FAC. Eles demonstram que o $H_G$ pode ser utilizado para o processamento de incoerência bidirecional sem aumentar o custo computacional do loop de atualização de quantização, pois ele se cancela algebricamente.
Sensibilidade do Traço do Hessiano Conjunto: Uma nova métrica para alocação de precisão mista é derivada dos traços conjuntos de $H_X$ e $H_G$ . Esta métrica resolve a degenerescência encontrada em métricas baseadas apenas em ativação, permitindo classificações de sensibilidade distintas para as projeções Q, K e V.
Validação Empírica: Experimentos extensos mostram que o KronQ alcança resultados de estado da arte em modelos LLaMA-2 e LLaMA-3 (7B a 70B) nas larguras de bits W2/W3/W4. Os ganhos mais significativos são observados em 2 bits, onde métodos concorrentes frequentemente falham.

Resultados Experimentais

O artigo avalia o KronQ no LLaMA-2 (7B, 13B, 70B) e LLaMA-3 (8B, 70B), bem como em modelos mais novos como Gemma-3 e DeepSeek-R1.

Precisão Uniforme: No LLaMA-3-70B com quantização de peso apenas de 2 bits, o GPTQ e o GPTAQ divergem (produzindo perplexidade >2000 no WikiText-2), enquanto o KronQ alcança uma perplexidade de 7.93. Uma robustez semelhante é observada nas configurações de 3 e 4 bits.
Quantização de Grupo: Na quantização de grupo de 2 bits (g=128), o KronQ supera significativamente o GPTQ (ex: 7.61 PPL vs. 274.0 PPL no LLaMA-2-7B).
Quantização de Peso e Ativação: Usando o framework QuaRot para ativações, o KronQ consistentemente reduz a perplexidade em comparação com os baselines (ex: reduzindo PPL de 36.74 para 9.38 no LLaMA-2-7B em W2A4).
Precisão Mista: O escore de sensibilidade do KronQ produz tradeoffs de perplexidade–largura de bits estritamente melhores em comparação com escores baseados apenas em ativação. Por exemplo, no LLaMA-2-7B, atualizar a subcamada "down proj" primeiro (conforme o KronQ) resulta em menor perplexidade do que atualizar a "gate proj" primeiro (conforme métricas de apenas ativação) com a mesma largura de bits média.
Generalização: O método generaliza-se para novas famílias de modelos (Gemma-3, DeepSeek-R1, Phi-4) e benchmarks mais difíceis (LiveCodeBench, AIME-2024), muitas vezes dobrando o desempenho dos baselines em tarefas de raciocínio generativo.

Significância e Alegações

O artigo afirma que o KronQ aborda um ponto cego crítico na literatura atual de PTQ: a negligência das estatísticas de gradiente do lado da saída. Ao aproveitar a estrutura fatorada por Kronecker, o KronQ fornece uma maneira fundamentada de lidar com a heterogeneidade do lado da saída sem incorrer nos altos custos computacionais associados à estimativa de Hessiano completo ou aos solvers iterativos usados em trabalhos relacionados como o YAQA.

Os autores enfatem que o método é particularmente vital para a quantização de bits ultra-baixos (2 bits), onde a suposição de igual importância de saída ( $H_G = I$ ) leva a falhas catastróficas em modelos grandes. A capacidade de alcançar quantização estável de 2 bits em modelos de 70 bilhões de parâmetros representa um passo significativo para a implantação de LLMs em hardware de borda (edge hardware).

Limitações: Os autores reconhecem que o KronQ requer uma única passagem de retropropagação (backward pass) sobre o conjunto de calibração para estimar o $H_G$ , introduzindo um overhead de latência offline moderado e uso temporário de pico de memória durante a etapa de pré-processamento BiIP. No entanto, uma vez pré-computado, o $H_G$ é liberado, e o loop de quantização permanece tão eficiente quanto o GPTAQ. O overhead de inferência é limitado pelas transformações ortogonais, que são idênticas às do QuIP#.