🤖 machine learning

Statistically-Lossless Quantization of Large Language Models

Este artigo apresenta a Quantização Estatisticamente Imperdível (SLQ), um método de quantização assimétrica camada a camada que alcança tanto a precisão livre de perda de tarefa abaixo de 4 bits por parâmetro quanto a fidelidade livre de perda de distribuição em 5–6 bits, ao mesmo tempo em que entrega acelerações de inferência de 1,7–3,7x em relação ao FP16.

Autores originais: Michael Helcig, Eldar Kurtic, Dan Alistarh

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Michael Helcig, Eldar Kurtic, Dan Alistarh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da inteligência artificial como uma biblioteca enorme e movimentada onde os livros não são feitos de papel, mas de matemática pura. Esses "livros" são os Grandes Modelos de Linguagem (LLMs), os computadores superinteligentes que podem escrever histórias, resolver equações e conversar como humanos. Mas há um porém: essas bibliotecas são enormes. Para ler um livro, você precisa de um supercomputador gigante, caro e que consome muita energia. A maioria das pessoas não tem um desses em sua sala de estar. Por isso, cientistas têm tentado encolher esses livros — tornando-os menores e mais leves para que possam caber em telefones ou laptops comuns. Esse processo é chamado de "quantização". Pense nisso como pegar uma foto em alta definição e comprimi-la em um arquivo menor. Geralmente, quando você encolhe demais um arquivo, a imagem fica borrada ou pixelada (isso é compressão "com perda"). Se você quiser que a imagem permaneça perfeita, o arquivo continua enorme (isso é compressão "sem perda"). A grande questão que os cientistas têm feito é: Podemos encolher esses cérebros de IA tanto a ponto de caberem em um telefone, mas ainda mantê-los inteligentes o suficiente para passar em um teste, sem fazê-los gaguejar ou alucinar?

Este artigo, intitulado "Statistically-Lossless Quantization of Large Language Models" (Quantização Estatisticamente Sem Perda de Grandes Modelos de Linguagem), mergulha diretamente nesse meio-termo complicado. Os autores, Michael Helcig, Eldar Kurtic e Dan Alistarh, argumentam que não precisamos escolher entre um modelo minúsculo e borrado ou um gigante e perfeito. Em vez disso, eles propõem uma nova maneira de encolher esses modelos que é "estatisticamente sem perda". Aqui está o truque de mágica: eles perceberam que, quando humanos (ou até mesmo a própria IA) respondem a perguntas, sempre há um pequeno toque de aleatoriedade. Se você fizer a mesma pergunta à mesma IA duas vezes, ela pode dar respostas ligeiramente diferentes, assim como você pode responder à pergunta de um amigo de forma diferente dependendo do seu humor. Os autores descobriram que, se o modelo encolhido permanecer dentro dessa faixa de "mudança de humor" natural, é o suficiente. Eles criaram um método chamado SLQ (Quantização Estatisticamente Sem Perda) que atua como um mestre alfaiate. Em vez de cortar cada parte do cérebro da IA para o mesmo tamanho pequeno, ele mede exatamente o quão sensível cada parte é. Algumas partes recebem um pouco de espaço (tão baixo quanto 3,3 bits por parâmetro), enquanto outras recebem um pouco mais.

O artigo apresenta algumas descobertas muito específicas que mudam nossa forma de pensar sobre o encolhimento da IA. Primeiro, eles provaram que uma maneira específica de medir o "encolhimento" é crucial. Eles introduziram uma métrica chamada EAR (Taxa de Aceitação Esperada), que é como uma "pontuação de acordo de tokens". Se a IA original e a IA encolhida concordarem em 99 de cada 100 palavras que escolheriam, isso é uma vitória. Eles descobriram que, para obter esse acordo perfeito, é preciso ter cuidado com como você encolhe os números. Eles demonstraram matematicamente que usar uma forma de encolhimento "simétrica" (que trata números positivos e negativos da mesma forma) na verdade cria mais ruído e erros do que uma forma "assimétrica" (que desloca a escala para se ajustar perfeitamente aos dados). É como tentar encaixar uma mala desproporcional em uma caixa quadrada; se você forçá-la para o centro, ela não fechará direito. Você tem que deslocar a mala para se ajustar ao formato da caixa.

Os resultados são bastante impressionantes. Usando o método SLQ, eles conseguiram encolher modelos como o Llama-3.3-70B e o Qwen3 para uma média de 3,3 a 4,7 bits por parâmetro, mantendo sua precisão "sem perda de tarefa" (significa que eles ainda passam nos mesmos testes que a versão grande). Se quisessem ser ainda mais rigorosos e garantir que o "humor" interno da IA (sua distribuição de probabilidade) fosse quase idêntico ao original, precisariam de cerca de 5 a 6 bits. Mas a melhor parte? Como os modelos são tão menores, eles rodam muito mais rápido. Os autores testaram isso em hardware real e descobriram que seus modelos encolhidos eram de 1,7 a 3,7 vezes mais rápidos do que as versões originais de tamanho total, e eles podiam até caber em menos placas de vídeo. Eles também mostraram que métodos mais antigos, como GPTQ ou AWQ, frequentemente perdem o alvo nesse objetivo de ser "estatisticamente sem perda", sendo ou muito borrados ou não comprimindo o suficiente. Em resumo, este artigo sugere que, ao sermos mais espertos sobre onde e como encolhemos a IA, podemos tornar esses cérebros gigantes pequenos, rápidos e ainda incrivelmente precisos, sem precisar sacrificar a qualidade de suas respostas.

Resumo Técnico: Quantização Estatisticamente Inofensiva de Grandes Modelos de Linguagem

Declaração do Problema

As abordagens atuais de quantização de Grandes Modelos de Linguagem (LLMs) enfrentam um compromisso binário: métodos com perda (ex: GPTQ, AWQ) alcançam alta compressão e aceleração de inferência, mas degradam a precisão do modelo, enquanto métodos sem perda (ex: ZipNN, representações codificadas por entropia) preservam a fidelidade, mas frequentemente falham em fornecer aceleração de inferência ou alcançar altas taxas de compressão.

Este artigo identifica uma lacuna entre esses extremos: o regime de Quantização Estatisticamente Inofensiva (SLQ - Statistically-Lossless Quantization). Os autores argumentam que, como a maioria dos LLMs de pesos abertos é implantada com parâmetros de amostragem estocástica (ex: temperatura > 0), seus outputs exibem naturalmente variância de execução para execução. Um modelo quantizado que permaneça dentro dessa variância de amostragem natural é, para fins práticos, inofensivo (sem perda). O desafio é definir e alcançar a compressão que preserve as características de saída do modelo sob amostragem padrão sem exigir reconstrução bit a bit exata.

Metodologia

O framework SLQ proposto utiliza quantização escalar não uniforme camada por camada com grades de quantização assimétricas. A metodologia é construída sobre três pilares principais:

1. Fundamentação Teórica: Quantização Assimétrica vs. Simétrica

O artigo prova que a quantização assimétrica é um pré-requisito para a fidelidade inofensiva da distribuição, enquanto a quantização simétrica é insuficiente para este objetivo rigoroso.

Ineficiência de Centralização ( $\gamma$ ): Definida como $\gamma = 2M/R$ , onde $M$ é a magnitude absoluta máxima e $R$ é a faixa dinâmica. Para distribuições simétricas, $\gamma=1$ ; para distribuições assimétricas (típicas em LLMs), $\gamma > 1$ .
Lei da Variância Gamma-Quadrado: Os autores provam que a quantização simétrica infla a variância do ruído de saída por um fator de $\gamma^2$ $γ^{2}$ em relação à quantização assimétrica.
- $\sigma^2_{sym} = \gamma^2 \sigma^2_{asym}$
Impacto: Esta inflação de variância leva a maiores probabilidades de "trocas de decisão" (mudança no argmax do token), particularmente em regiões de baixa entropia onde o modelo é mais confiante. Consequentmente, a quantização simétrica requer significativamente mais bits (até 1,5 bits por parâmetro a mais) para alcançar a mesma fidelidade de distribuição que a quantização assimétrica.

2. Métricas de Fidelidade

Para navegar no regime quase inofensivo, o artigo introduz duas definições distintas de inofensividade e métricas correspondentes:

Inofensividade de Tarefa (TL - Task-Lossless): Preserva a precisão de benchmarks zero-shot dentro da variância de amostragem natural.
- Métrica: Taxa de recuperação (porcentagem da precisão BF16 retida).
- Estratégia de Busca: Calibração de ponto único. Aproveitando a relação linear observada entre a divergência KL e a recuperação de tarefa no regime quase inofensivo, os autores derivam um limiar de KL de uma única medição de benchmark para prever os requisitos de largura de bits sem busca exaustiva.
Inofensividade de Distribuição (DL - Distribution-Lossless): Requer que a distribuição do próximo token do modelo quantizado seja praticamente indistinguível da original.
- Métrica: Taxa de Aceitação Esperada (EAR - Expected Acceptance Rate). Inspirada em decodificação especulativa, a EAR mede a probabilidade máxima de concordância de tokens entre as distribuições original e quantizada sob acoplamento ótimo.
- Definição: $EAR = \frac{1}{N} \sum_{i} \sum_{k=1}^{K} \min(p_i(k), q_i(k))$ , restrita aos top- $K$ tokens. Um EAR de 0,99 implica 99% de concordância sob acoplamento ótimo.
- Estratégia de Busca: Otimização direta nas restrições de EAR usando dados de calibração.

3. O Pipeline SLQ

Estimativa de Sensibilidade: Utiliza Estimativa de Shapley Multi-Bitwidth para avaliar o impacto marginal de atribuir larguras de bits específicas (de um conjunto $\{2, \dots, 8\}$ ) a diferentes grupos de camadas. Isso estende métodos anteriores de escolha binária para um intervalo completo de largura de bits inteiras.
Alocação de Bitwidth: Formula a alocação como um Problema da Mochila de Escolha Múltipla resolvido via Programação Linear Inteira (ILP). O solver minimiza a degradação prevista sujeito a um orçamento de largura de bits ou restrição de fidelidade.
Implementação: O método utiliza quantização de grupo inteira assimétrica (tamanho de grupo 128) e é compatível com kernels de inferência padrão (ex: kernels Humming em vLLM).

Principais Resultados

Os autores avaliaram o SLQ em quatro modelos (Qwen3-8B, Qwen3-32B, Qwen3.5-27B e Llama-3.3-70B-Instruct) usando quantização de apenas pesos.

Precisão e Compressão

Inofensividade de Tarefa (TL): Alcançada em larguras de bits agressivas variando de 3,3 a 4,7 bits por parâmetro (bpp).
- Exemplo: Llama-3.3-70B alcançou 99,1% de recuperação com 3,59 bpp, superando a quantização uniforme de 4 bits.
- Exemplo: Qwen3.5-27B alcançou 99,1% de recuperação com 3,30 bpp.
Inofensividade de Distribuição (DL): Alcançada em 5,0 a 6,6 bpp com EAR $\ge 0,99$ $\geq 0, 99$ .
- Exemplo: Qwen3-32B atingiu 100,1% de recuperação com 4,98 bpp.
- Exemplo: Llama-3.3-70B atingiu 99,9% de recuperação com 6,55 bpp.
Comparação: O SLQ supera significativamente métodos de estado da arte como QTIP e YAQA no regime de inofensividade de distribuição. Por exemplo, no Llama-3.1-8B, o QTIP a 4 bits alcançou um EAR de 0,9519, enquanto o SLQ alcançou uma divergência KL muito menor (0,004) a 5,59 bpp.

Aceleração de Inferência

Usando kernels otimizados Humming em GPUs NVIDIA L40s, as configurações SLQ forneceram 1,7× a 3,7× de throughput sobre as bases BF16.

Eficiência de Hardware: A redução no tamanho do modelo permitiu que modelos maiores coubessem em menos GPUs (ex: Llama-3.3-70B coube em 2 GPUs em vez de 4).
Comparação: O SLQ superou consistentemente as bases FP8 em throughput por GPU.

Ablação e Análise

Assimetria: Remover a quantização assimétrica (forçando a simetria) aumentou a largura de bits necessária para alvos de DL em ~1,5 bpp.
Intervalo de Bitwidth: Restringir a busca a escolhas binárias (ex: {4, 8}) resultou em larguras de bits médias mais altas em comparação com a busca no intervalo completo {2–8}.
Análise ao Nível de Token: Em configurações de DL, 98,1% dos tokens coincidiram exatamente com a base; as divergências limitaram-se a variações estilísticas menores (sinônimos, pontuação) sem erros factuais.
Tokens de Pensamento (Thinking Tokens): Configurações de DL não introduziram overhead adicional de "tokens de pensamento" em comparação ao BF16, enquanto configurações com perda (TL e Uniform-4) aumentaram os tokens de pensamento em 2,2–2,9%.

Significância e Alegações

O artigo afirma estabelecer um novo paradigma para a compressão de LLMs ao formalizar a quantização estatisticamente inofensiva. Suas principais contribuições são:

Formalização da Lacuna: Distinguir entre inofensividade de nível de tarefa e de nível de distribuição, argumentando que esta última é necessária para a verdadeira fidelidade em cenários de decodificação estocástica.
A Lei $\gamma^2$ : Fornecer a primeira prova formal conectando o design de quantização assimétrica a trocas de decisão ao nível de token, demonstrando que a quantização simétrica é fundamentalmente ineficiente para objetivos de inofensividade de distribuição.
A Métrica EAR: Introduzir uma métrica de fidelidade diretamente interpretável (Taxa de Aceitação Esperada) que complementa a divergência KL.
Eficiência Prática: Demonstrar que a compressão estatisticamente inofensiva é alcançável em larguras de sub-4-bits (para inofensividade de tarefa) e ~5–6 bits (para inofensividade de distribuição), entregando simultaneamente acelerações significativas de inferência, efetivamente unindo a lacuna entre compressão com perda e armazenamento sem perda.

Os autores posicionam o SLQ não como um substituto para todos os métodos de quantização, mas como uma abordagem fundamentada para o regime "quase inofensivo" onde pequenos desvios distributivos são críticos, oferecendo uma solução Pareto-dominante sobre quantizadores uniformes.