🤖 machine learning

RDQ: Residual Distribution Quantization for Large Language Models

Este artigo introduz o RDQ, um framework de quantização pós-treinamento que mitiga a acumulação superlinear de ruído de quantização em grandes modelos de linguagem ao empregar Compensação de Erro em Cascata para ajustar escalas por canal contra distribuições residuais desviadas, alcançando assim a perplexidade de estado da arte em precisão de 3 e 4 bits com zero overhead de inferência.

Autores originais: Prateek Singh

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Prateek Singh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando enviar uma mensagem secreta por um longo túnel sinuoso composto por 32 salas conectadas. Na versão original de alta qualidade deste túnel (chamada FP16), a mensagem viaja perfeitamente clara do início ao fim. Mas quando tentamos encolher a mensagem para caber em um formato comprimido e minúsculo (quantização) para economizar espaço no seu telefone ou dispositivo de borda, as coisas começam a dar errado.

Por muito tempo, os cientistas pensaram que o problema era apenas que cada sala estava um pouco bagunçada por si só. Eles pensavam: "Se apenas limparmos a Sala 1, depois a Sala 2, depois a Sala 3, tudo ficará bem". Mas este novo artigo, RDQ (Quantização de Distribuição Residual), descobriu que essa abordagem de "limpar cada sala separadamente" é, na verdade, a maneira errada de pensar sobre isso.

O Verdadeiro Culpado: O Efeito "Bola de Neve"

Os autores descobriram que o verdadeiro problema é um efeito de bola de neve. Toda vez que uma mensagem passa por uma sala, um pouco de "ruído" ou estática é adicionado a ela. Em um túnel normal, isso não importa. Mas em um túnel comprimido, esse pequeno ruído não desaparece; ele é carregado para a próxima sala, onde se mistura com o novo ruído daquela sala.

Quando a mensagem chega à 32ª sala, essa pequena estática se transformou em um estrondo massivo. Os autores mediram esse "acúmulo de ruído" (que eles chamam de deriva do fluxo residual) e descobriram algo incrível: a quantidade de ruído prevê perfeitamente o quão ruim a mensagem soará. Na verdade, eles encontraram uma correlação tão forte (Pearson r=0,999) que, se você souber o quanto o sinal derivou, pode prever exatamente o quão confuso o computador ficará.

A Grande Descoberta: O Túnel Não é Suave

Antes deste artigo, a maioria dos especialistas assumia que o ruído nesses túneis parecia uma colina suave e previsível (uma distribuição "Gaussiana"). Eles construíram suas ferramentas de limpeza baseadas nessa colina suave.

Mas os autores entraram e deram uma olhada. Eles descobriram que 84% das salas no modelo LLaMA-3-8B não possuem colinas suaves! Em vez disso, o ruído é irregular, estranho e, às vezes, possui dois picos (bimodal). É como esperar um lago calmo e encontrar um oceano agitado com ondas repentinas. Como o ruído é tão estranho, as antigas ferramentas de limpeza de "colina suave" estavam falhando miseravelmente, especialmente quando tentavam encolher a mensagem para apenas 3 bits (um tamanho muito pequeno).

A Solução: "Compensação de Erro Cascata" (CEC)

Então, como consertar um túnel onde o ruído muda conforme você avança? Os autores propõem um novo método chamado Compensação de Erro Cascata (CEC).

Em vez de limpar cada sala fingindo que a mensagem ainda está fresca e limpa (que é o que os métodos antigos faziam), o CEC diz: "Vamos percorrer o túnel primeiro, ver exatamente como a mensagem está quando chega a cada sala e, então, limpá-la."

Veja como funciona:

O Percurso: O computador executa uma mensagem de teste pelo túnel. Ele deixa as primeiras salas ficarem "sujas" (quantizadas) exatamente como ficariam na vida real.
O Aspecto Real: Quando a mensagem chega à Sala 10, ela já está um pouco ruidosa devido às Salas 1 a 9. O sistema captura esse sinal real e bagunçado.
O Ajuste Personalizado: Em vez de usar uma ferramenta de limpeza genérica, o sistema constrói uma ferramenta de limpeza personalizada especificamente para aquele sinal bagunçado. Ele ajusta o "volume" (escalas) da mensagem ali mesmo, na sala.
A Dobra Mágica: Uma vez construída a ferramenta de limpeza, ela é dobrada no batente da porta da sala (os pesos RMSNorm). Isso significa que, quando a mensagem real viajar mais adiante, a limpeza acontece automaticamente, com zero perda de tempo ou velocidade adicional.

Os Resultados: Uma Melhoria Massiva

A equipe testou isso em três modelos de IA famosos: LLaMA-3-8B, Qwen-2.5-7B e Mistral-7B.

O Jeito Antigo: Quando tentaram encolher o LLaMA-3-8B para 3 bits usando o método padrão (RTN), a mensagem tornou-se quase ininteligível, com uma pontuação (Perplexidade) saltando de 5,83 para 14,09. Isso é uma queda enorme de qualidade.
O Jeito RDQ: Usando seu novo método de "percurso", eles conseguiram reduzir a pontuação para 7,55. Isso é uma melhoria de 46,4% sobre o método antigo!
A 4 bits: Eles também obtiveram os melhores resultados já registrados, superando os campeões anteriores por uma margem ampla (ex: 5,62 vs 6,92 para o LLaMA).

O Que Isso Significa

Os autores são muito claros: isso não é apenas uma ferramenta melhor; é uma nova forma de enxergar o problema. Eles provaram que a "deriva" é a principal razão pela qual esses modelos falham em larguras de bits baixas. Eles também mostraram que a antiga ideia de "limpar cada sala de forma independente" é um beco sem saída porque ignora a bola de neve de ruído vinda das salas anteriores.

Embora não consigam resolver o problema para a compressão de 2 bits ainda (o ruído é forte demais ali), eles mostraram que, para a compressão de 3 bits e 4 bits, podemos manter os modelos inteligentes e rápidos. O melhor de tudo? Este novo método funciona com as ferramentas padrão que os engenheiros já usam, então pode ser implantado em telefones e computadores agora mesmo, sem precisar de nenhum hardware especial ou lento.

Em resumo: o túnel estava ficando bagunçado porque estávamos limpando as salas na ordem errada. Ao limpá-las na ordem em que a mensagem realmente viaja, podemos manter o sinal claro até o fim.

Resumo Técnico: RDQ (Residual Distribution Quantization) para Large Language Models

1. Declaração do Problema: A Barreira de Degradação Sub-4-bit

A quantização pós-treinamento (PTQ) de Large Language Models (LLMs) enfrenta um declínio abrupto de desempenho ao reduzir a precisão abaixo de 4 bits. Enquanto métodos de 4 bits frequentemente se aproximam da qualidade FP16, a quantização de 3 bits frequentemente resulta em uma degradação catastrófica. Por exemplo, no LLaMA-3-8B, a perplexidade (PPL) do método Round-to-Nearest (RTN) salta de 5,83 em W4 para 14,09 em W3 — um aumento de 2,42× para apenas uma redução de 1,33× na largura de bits.

O artigo identifica a causa raiz deste fracasso como o desvio de distribuição do fluxo residual (residual stream distributional drift). Em arquiteturas transformer, o fluxo residual $h_l$ é uma representação compartilhada que é lida e escrita por cada camada. Quando uma camada $l$ é quantizada, ela introduz um erro $\epsilon_l$ que persiste no fluxo residual $h_{l+1}$ . Este erro se acumula através das camadas, fazendo com que a distribuição das ativações nas camadas mais profundas derive significativamente da linha de base FP16 original.

Principais achados empíricos que diagnosticam este problema incluem:

Acúmulo de Desvio Superlinear: A divergência de Kullback-Leibler (KL) total entre as distribuições residuais quantizadas e FP16 correlaciona-se com o log-perplexidade em uma correlação de Pearson de $r=0,999$ ( $p<0,001$ ) em todos os métodos e larguras de bits testados.
Distribuições Não-Gaussianas: 84% das camadas no LLaMA-3-8B exibem distribuições residuais não-gaussianas (teste de Kolmogorov-Smirnov, $p \le 0,05$ ), invalidando as suposições gaussianas implícitas em muitas análises teóricas de PTQ existentes.
Explosão de Variância: A variância do fluxo residual por camada cresce por um fator de 6.548× ao longo da profundidade do modelo, indicando que as camadas posteriores são categoricamente mais sensíveis aos erros de quantização upstream.

2. Metodologia: Compensação de Erro em Cascata (CEC)

A solução proposta, RDQ (Residual Distribution Quantization), introduz um framework centrado na Compensação de Erro em Cascata (CEC - Cascaded Error Compensation). Diferente de métodos de PTQ anteriores (ex: GPTQ, AWQ, SpinQuant) que otimizam cada camada independentemente contra entradas limpas de FP16, o CEC reconhece que, durante a inferência, uma camada $l$ recebe entradas que já foram distorcidas pela quantização de todas as camadas anteriores $0 \dots l-1$ .

O Pipeline CEC

O CEC emprega um procedimento de calibração sequencial:

Processamento Sequencial: As camadas são quantizadas uma a uma de $l=0$ até $L-1$ .
Captura de Ativação com Desvio (Drifted Activation Capture): Antes de quantizar a camada $l$ , dados de calibração passam pelo modelo onde as camadas $0 \dots l-1$ já estão quantizadas. Isso captura as distribuições de ativação reais e desviadas ( $\hat{h}_l$ ) que a camada $l$ encontrará durante a inferência.
Ajuste de Escala por Canal (Per-Channel Scale Fitting): Usando essas entradas desviadas capturadas, o método ajusta escalas ideais por canal usando uma busca em grade (grid search) no estilo AWQ. O objetivo é minimizar o erro de reconstrução da saída dado a distribuição específica de entrada desviada.
Equivalência Matemática via Folding: As escalas aprendidas são incorporadas (folded) nos pesos do RMSNorm precedente. Isso garante que o método seja matematicamente exato e incorra em zero overhead de tempo de execução. O passo de propagação direta (forward pass) permanece idêntico a um modelo quantizado padrão, compatível com stacks de inferência existentes (Qualcomm AIMET, GGUF, etc.).

Distinção Chave de Trabalhos Anteriores

O artigo enfatiza que a inovação crítica não é a fórmula de escala em si (que permanece no estilo AWQ), mas a fonte dos dados de calibração. Métodos padrão calam contra entradas FP16 idealizadas, que não existem na inferência para camadas mais profundas. O CEC calibra contra a distribuição desviada real.

3. Principais Contribuições

Identificação do Desvio do Fluxo Residual: Os autores estabelecem que o desvio do fluxo residual é o mecanismo dominante para a degradação sub-4-bit, evidenciado pela correlação quase perfeita ( $r=0,999$ ) entre o desvio KL e o log-PPL.
Caracterização da Distribuição: O artigo documenta que 84% das camadas do LLaMA-3-8B são não-gaussianas e que a variância residual cresce 6.548× através da profundidade, desafiando suposições padrão de PTQ.
Compensação de Erro em Cascata (CEC): Um procedimento de calibração sequencial que corrige o acúmulo de desvio entre camadas, alcançando uma redução de 46,4% no PPL em comparação ao RTN em W3 no LLaMA-3-8B.
Desempenho de Estado da Arte: O RDQ alcança os melhores resultados em três arquiteturas diversas (LLaMA-3-8B, Qwen-2.5-7B, Mistral-7B) tanto em W3A16 quanto em W4A16, superando os melhores baselines publicados (LeanQuant, SpinQuant) em todas as configurações testadas.
Implantação com Zero-Overhead: O resultado é uma quantização assimétrica de grupo-128 com escalares RMSNorm modificados, não exigindo kernels customizados ou overhead de tempo de execução.

4. Resultados Experimentais

O método foi avaliado no WikiText-2 usando 32 sequências de calibração.

Métricas de Desempenho (Perplexidade):

LLaMA-3-8B:
- W3A16: 7,55 (vs. RTN 14,09, LeanQuant 7,61).
- W4A16: 5,62 (vs. FP16 5,557, LeanQuant 6,92).
Qwen-2.5-7B:
- W3A16: 7,46 (vs. RTN 8,20, LeanQuant 8,30).
- W4A16: 6,38 (vs. FP16 6,158, LeanQuant 7,25).
Mistral-7B:
- W3A16: 6,88 (vs. RTN 7,44, LeanQuant 7,30).
- W4A16: 5,73 (vs. FP16 5,632, LeanQuant 6,20).

Estudos de Ablação:

Calibração Sequencial vs. Escalonamento: O artigo demonstra que a calibração sequencial isolada (sem o escalonamento AWQ) na verdade degrada o desempenho em comparação ao RTN no Qwen (10,31 PPL vs. 8,20 PPL). Inversamente, aplicar o escalonamento AWQ à calibração estática de FP16 também apresenta desempenho inferior (9,49 PPL). A combinação de calibração consciente do desvio sequencial e escalonamento estilo AWQ é necessária para os ganhos observados.
Generalização: O método generaliza para arquiteturas com diferentes mecanismos (GQA, RoPE, Sliding Window), sugerindo que o mecanismo de correção de desvio é agnóstico à arquitetura.

5. Significância e Alegações

O artigo posiciona o RDQ não meramente como uma melhoria de engenharia em PTQ, mas como um insight fundamental sobre a dinâmica de distribuição de transformers sob quantização.

Previsibilidade: Os autores afirmam que a qualidade da quantização é previsível a partir de um único escalar (desvio KL total), e que controlar este desvio controla a perplexidade.
Correção de Modo de Falha: O trabalho identifica que o modo de falha dominante da PTQ sub-4-bit não é o erro de peso por camada, mas o acúmulo de desvio entre camadas. Métodos de calibração estática falham porque otimizam para uma distribuição (FP16 limpa) que a camada nunca vê durante a inferência.
Robustez: Ao ajustar as escalas às ativações desviadas reais, o CEC evita heurísticas específicas de arquitetura (como a detecção de canais salientes do AWQ) que podem falhar em modelos com diferentes distribuições de peso (ex: Qwen).
Limitações Teóricas: O artigo nota modestamente que, embora exista um limite teórico para regimes Gaussianos, ele não se aplica ao cenário real onde 84% das camadas são não-Gaussianas. Os ganhos de desempenho observados são empíricos, impulsionados pelo mecanismo de correção de desvio, em vez de um limite teórico estrito.

Em conclusão, o RDQ estabelece que abordar o "desvio" no fluxo residual é a chave para desbloquear uma quantização de 3 bits robusta, oferecendo uma solução escalável e de zero-overhead que supera os métodos atuais de estado da arte em múltiplas famílias de modelos.