💬 NLP

Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall

Este artigo investiga o impacto da quantização na recuperação de conhecimento factual em modelos de linguagem grandes, revelando que, embora a quantização geralmente cause perda de informações e degradação de desempenho — particularmente em modelos menores —, nem sempre prejudica a recuperação e pode ocasionalmente aprimorá-la, com o BitSandBytes demonstrando a maior preservação das capacidades originais.

Autores originais: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Publicado 2026-04-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante e incrivelmente detalhada de fatos dentro de um cérebro de computador (um Modelo de Linguagem de Grande Porte). Este cérebro sabe tudo, desde "Quem é o pai da Beyoncé?" até "Qual é a capital da França?".

Agora, imagine que você quer encolher esta biblioteca para que caiba em uma prateleira menor, tornando-a mais rápida e barata de executar. Este processo é chamado de quantização. É como tirar uma foto de alta resolução e comprimi-la para um tamanho de arquivo menor. Geralmente, você perde um pouco de detalhe no processo, mas a imagem ainda parece boa.

Este artigo faz uma pergunta muito específica: Quando comprimimos esses cérebros de IA, eles começam a esquecer os fatos que antes conheciam?

Aqui está o que os pesquisadores descobriram, explicado através de analogias simples:

1. O Processo de "Encolhimento"

Pense no modelo de IA como uma equipe de trabalhadores. Na versão original de "precisão total", cada trabalhador tem uma calculadora de ponta e um caderno grosso.
A quantização é como forçar os trabalhadores a usar calculadoras menores e mais baratas e cadernos mais finos.

O Objetivo: Economizar espaço e acelerar o trabalho.
O Risco: Os trabalhadores podem deixar cair algumas informações porque suas novas ferramentas não são tão precisas.

2. A Principal Descoberta: "As Crianças Pequenas Esquecem Mais"

Os pesquisadores testaram três maneiras diferentes de comprimir os modelos (como usar marcas diferentes de calculadoras baratas) em três modelos de IA diferentes (dois pequenos e um de tamanho médio).

A Descoberta: Quando você encolhe o modelo, ele geralmente perde alguns fatos. No entanto, os modelos menores (como as versões de 7B ou 8B) são muito mais frágeis.
A Analogia: Imagine uma criança pequena tentando carregar uma mochila pesada. Se você deixar a mochila um pouco mais pesada (ou, neste caso, apertar as informações mais forte), a criança deixa cair coisas. Um adulto maior (o modelo maior de 14B) consegue lidar com o aperto muito melhor e mantém seus fatos seguros.

3. A Surpresa: Às vezes a Compressão Ajuda!

Você pode pensar que tornar uma ferramenta "mais burra" (menos precisa) sempre a torna pior. Mas os pesquisadores descobriram algo estranho: Às vezes, comprimir o modelo na verdade faz com que ele lembre dos fatos melhor.

A Analogia: É como um aluno que está tão estressado por ter informações demais que não consegue se concentrar. Se você der a ele um livro didático ligeiramente mais simples (quantização), ele pode realmente se sair melhor porque o "ruído" desapareceu. A compressão atuou como um filtro, ajudando o modelo a focar nos fatos certos.

4. Para Onde Vai a Memória?

Os pesquisadores não verificaram apenas a resposta final; eles olharam dentro do modelo para ver onde a memória foi perdida.

O Problema da "Última Camada": Eles descobriram que a perda de informação ocorre principalmente nas últimas etapas do processo de pensamento do modelo.
A Analogia: Imagine uma corrida de revezamento. Os corredores (camadas) passam o bastão (informação) ao longo da linha. Os pesquisadores descobriram que o bastão geralmente é deixado cair logo na linha de chegada quando o modelo é comprimido. Os corredores iniciais estão bem, mas o corredor final luta para segurar o fato.

5. O "Melhor" Método de Compressão

O artigo testou três técnicas diferentes de compressão:

GPTQ
AWQ
BitSandBytes (bib)

O Vencedor: BitSandBytes foi o melhor em manter os fatos intactos. Foi como usar um selador a vácuo de alta qualidade que removeu o ar, mas manteve a comida fresca.
O Perdedor: Alguns métodos, especialmente ao comprimir para precisão muito baixa (4 bits), fizeram o modelo esquecer muito, particularmente para modelos menores.

6. O Teste da "Ponte"

Para testar o quão bem os modelos conseguiam conectar pontos (como: "Quem é a mãe da cantora de 'Superstition'?"), eles usaram um teste de "multi-pulo".

O Resultado: A compressão prejudicou mais o primeiro passo do raciocínio. Se o modelo não conseguisse lembrar o primeiro fato (quem canta 'Superstition'), ele não conseguia resolver o quebra-cabeça inteiro. No entanto, se ele passasse pelo primeiro passo, era surpreendentemente bom em completar a cadeia.

A Conclusão

Comprimir modelos de IA é um pouco como fazer uma mala para uma viagem.

Se você empacotar muito apertado (alta compressão), pode deixar algumas meias para trás (esquecer fatos).
Malas menores (modelos menores) são mais difíceis de empacotar sem perder coisas.
Alguns métodos de empacotamento (como BitSandBytes) são muito melhores do que outros.
Ocasionalmente, empacotar mais apertado ajuda você a encontrar o que precisa mais rápido, mesmo que você tenha perdido uma ou duas meias.

No geral, o artigo conclui que, embora a compressão cause alguma perda de informação, ela ainda é uma estratégia muito eficaz. Os modelos não quebram; eles apenas ficam um pouco mais "embaçados" nas bordas, e para muitos usos, essa embaçagem é uma troca justa pelas economias de velocidade e espaço.

1. Declaração do Problema

Embora a quantização seja amplamente adotada para acelerar a inferência de Modelos de Linguagem de Grande Porte (LLMs) e reduzir os custos de implantação, seu impacto na Recordação de Conhecimento Factual (FKR) permanece pouco explorado. Estudos anteriores examinaram os efeitos da quantização em multilinguismo, viés e alinhamento, mas há uma falta de compreensão abrangente sobre como a redução da precisão dos parâmetros afeta a capacidade de um modelo acessar e recuperar conhecimento factual armazenado. Especificamente, não está claro se a quantização causa perda sistemática de informações, como essa perda se manifesta em diferentes arquiteturas e camadas de modelos, e se modelos de menor precisão de bits performam consistentemente pior do que suas contrapartes de precisão completa em tarefas intensivas em conhecimento.

2. Metodologia

Os autores conduziram um estudo empírico abrangente, combinando benchmarks de desempenho com análise orientada à interpretabilidade.

Modelos e Técnicas de Quantização:
- Modelos: Llama3-8B, Qwen2.5-7B e Qwen2.5-14B.
- Técnicas: Três métodos de Quantização Pós-Treinamento (PTQ) foram avaliados em várias larguras de bits (4 bits e 8 bits):
  - GPTQ: Otimização baseada em Hessiana de segunda ordem.
  - AWQ: Quantização de pesos consciente de ativação, lidando com valores atípicos (outliers).
  - BitSandBytes (bib): Quantização inteira usando kernels de baixo bit otimizados (bib4 e bib8).
- Linha de Base: Modelos de precisão completa.
Conjuntos de Dados:
- LRE (Knowledge Probing): Um conjunto de dados de tripletos de conhecimento $(s, r, o)$ usado para medir a precisão direta da recordação factual.
- TwoHop-Fact: Um conjunto de dados projetado para testar o Raciocínio Latente Multi-hop (LMHR), exigindo que o modelo conecte dois fatos (por exemplo, $e_1 \to e_2 \to e_3$ ) para responder a uma consulta.
Análise de Interpretabilidade:
- Análise de Memorização de Conhecimento: Utilizando a Teoria dos Neurônios de Conhecimento, os autores rastrearam a perda de informações para neurônios e camadas específicos. Eles calcularam "pontuações de contribuição" (aumento na probabilidade logarítmica de tokens corretos) para neurônios em modelos de precisão completa versus quantizados, a fim de identificar quais neurônios perdem influência.
- Análise de Raciocínio Latente Multi-hop: Avaliada usando três métricas:
  1. Pontuação de Recordação de Entidade (ENTREC): Capacidade de recordar a entidade de ponte ( $e_2$ ) em uma cadeia de dois saltos.
  2. Pontuação de Consistência (CNSTSCORE): Similaridade entre as distribuições de saída de prompts de um salto e de dois saltos.
  3. Precisão FKR: Previsão correta do objeto alvo final.

3. Principais Contribuições

Avaliação Sistemática de FKR: Fornecimento da primeira análise abrangente de como diferentes técnicas de PTQ e larguras de bits degradam ou preservam especificamente a recordação de conhecimento factual em múltiplas famílias de modelos.
Insights em Nível de Camada e Neurônio: Mapeamento da degradação do conhecimento para componentes arquitetônicos específicos, revelando que a quantização impacta principalmente as camadas finais da rede, onde o conhecimento factual é frequentemente consolidado.
Descobertas Contra-Intuitivas: Demonstração de que a quantização de menor precisão de bits nem sempre leva a um desempenho pior; em alguns casos, a quantização atua como um regularizador, inadvertidamente melhorando a recordação factual.
Comparação de Métodos: Identificação do BitSandBytes (bib) como a técnica mais eficaz para preservar a FKR em comparação com GPTQ e AWQ, particularmente em configurações de 8 bits.

4. Principais Resultados

A. Tendências Gerais de Desempenho

Perda de Informação: A quantização geralmente causa perda de informações, levando à redução da precisão da FKR. Esse efeito é amplificado em modelos menores (por exemplo, 7B/8B) dentro da mesma família em comparação com variantes maiores (14B).
Sensibilidade à Largura de Bits:
- Modelos de 4 bits: Mostraram consistentemente quedas significativas de precisão, especialmente com GPTQ e AWQ.
- Modelos de 8 bits: Geralmente mantiveram desempenho comparável aos modelos de precisão completa.
- BitSandBytes (bib): Mostrou a maior preservação das capacidades originais de FKR. Em muitos casos, bib8 e até mesmo bib4 mantiveram a precisão próxima à precisão completa.

B. Análise Granular (Neurônios e Camadas)

Impacto por Camada: A degradação não é uniforme. O estudo descobriu que a quantização afeta principalmente as últimas camadas do modelo.
- No Qwen2.5-7B, a queda mais significativa nas pontuações de contribuição dos neurônios ocorreu nas duas últimas camadas.
- No Llama3-8B, o declínio ocorreu nas camadas do meio até o final, com alguma recuperação nas camadas finais, sugerindo diferenças arquitetônicas na forma como o conhecimento é armazenado.
Contribuição dos Neurônios: O número de neurônios de "alta contribuição" (aqueles críticos para respostas corretas) diminuiu significativamente após a quantização, particularmente para relações onde o modelo de precisão completa ainda não havia saturado (por exemplo, "pai da pessoa", "marco no continente").

C. Raciocínio Multi-hop (TwoHop-Fact)

Sensibilidade do Primeiro Salto: A quantização afeta desproporcionalmente o primeiro salto ( $r_1$ ) das cadeias de raciocínio. A degradação no primeiro salto correlaciona-se fortemente (Spearman $\rho = 0.93$ ) com a falha em prever a entidade de ponte, o que subsequentemente causa a falha do segundo salto.
Imprevisibilidade: O impacto da quantização é heterogêneo. Embora alguns modelos quantizados tenham performado pior, outros (especificamente variantes bib) ocasionalmente superaram modelos de precisão completa, provavelmente devido a um efeito de regularização ou injeção benéfica de ruído.

D. Fragilidade Específica de Relações

Tipos de conhecimento que não estavam totalmente saturados no modelo de precisão completa (por exemplo, fatos biográficos específicos) foram mais frágeis sob quantização do que o conhecimento comum (por exemplo, "capital do país").

5. Significado e Implicações

Viabilidade de Implantação: O estudo confirma que a quantização permanece uma estratégia de compressão viável para LLMs. Embora alguma perda de precisão seja inevitável, ela é geralmente modesta e não compromete a utilidade do modelo para tarefas factuais, especialmente ao usar quantização de 8 bits ou o método BitSandBytes.
Seleção de Modelos: Para aplicações que exigem alta fidelidade na recordação factual, o BitSandBytes (bib) é recomendado em vez de GPTQ ou AWQ, particularmente para restrições de 4 bits.
Compreensão Arquitetural: As descobertas sugerem que o conhecimento factual é armazenado de maneira diferente entre famílias de modelos (Llama vs. Qwen) e está concentrado nas camadas posteriores da rede. Isso fornece um novo alvo para pesquisas futuras sobre compressão de modelos e edição de conhecimento.
Melhoria Paradoxal: A observação de que a quantização pode às vezes melhorar a recordação desafia a suposição de que a compressão é estritamente prejudicial, sugerindo que o ruído controlado ou a regularização provenientes da quantização podem ajudar a filtrar correlações espúrias.

Limitações

Escopo de Idioma: Os experimentos foram limitados a conjuntos de dados em inglês; a FKR multilíngue pode ser afetada de maneira diferente.
Tamanho do Modelo: Análises baseadas em gradiente foram restritas a modelos $\le$ 14B devido a restrições de memória da GPU.
Escopo da Quantização: O estudo focou em PTQ apenas de pesos. Quantização de ativação, compressão de cache KV e Treinamento Consciente de Quantização (QAT) não foram incluídos.