Resumo Técnico: A Ilusão de Equivalência na Quantização de LLMs

Declaração do Problema

A quantização pós-treinamento (PTQ) é uma técnica padrão para implantar Grandes Modelos de Linguagem (LLMs) em ambientes com recursos limitados, reduzindo a precisão numérica de parâmetros e ativações. No entanto, as práticas atuais de avaliação baseiam-se quase exclusivamente em métricas agregadas, como acurácia e perplexidade. Os autores argumentem que essas métricas falham em capturar mudanças comportamentais induzidas pela quantização. Especificamente, modelos com escores de acurácia ou perplexidade semelhantes podem exibir divergências substanciais em suas previsões em exemplos individuais. Isso cria uma "ilusão de equivalência", onde um modelo quantizado parece funcionalmente idêntico ao seu homólogo original, apesar de distorções estruturais subjacentes e inconsistências ao nível de decisão.

Metodologia

O estudo formaliza a quantização pós-treinamento como uma família de operadores que atuam sobre os parâmetros do modelo e analisa seu impacto conjunto nos pesos de atenção internos e no comportamento de decisão. A pesquisa emprega uma abordagem analítica de dois estágios:

1. Análise Estrutural: Os autores tratam a quantização como um operador estrutural nas matrizes de projeção de atenção ($W^Q, W^K, W^V, W^O$). Eles quantificam as desvios estruturais usando:

   • Funcional Estatístico: Momentos (média, desvio padrão, assimetria, curtose) computados nas distribuições de pesos.
   • Divergência Distribucional: Métricas incluindo similaridade de Cosseno, distância Euclidiana, estatística de Kolmogorov–Smirnov (KS) e divergência de Kullback–Leibler (KL) entre os vetores de peso base e desquantizados.
   • Granularidade: A análise é realizada ao nível do modelo (agregada em todos os blocos) e ao nível da camada (isolando as projeções Q, K, V e O).

2. Avaliação Comportamental: O estudo introduz a Concordância de Correção (CA - Correctness Agreement), uma métrica de nível de decisão definida como a fração de exemplos onde tanto o modelo base quanto a variante quantizada produzem previsões corretas. Diferente da acurácia agregada, a CA mede a sobreposição de decisões corretas, desconsiderando casos em que ambos os modelos falham.

Configuração Experimental:

• Modelos: Llama-3.2-3B, Vicuna-7B-v1.5, Mistral-7B-v0.1 e Llama-3.1-8B.
• Esquemas de Quantização: Implementados via llama.cpp, cobrindo métodos Legados (Q8_0, Q5_0, Q4_0) e métodos de K-quantização (Q6_K através de Q2_K).
• Datasets: WikiText-2 e C4 para perplexidade; HellaSwag, Winogrande e ARC para desempenho em tarefas zero-shot subsequentes.

Principais Contribuições

1. Formalização da Quantização como um Operador: O trabalho modela a PTQ como uma transformação $T_c(\theta)$ e estuda seu efeito conjunto nos pesos de projeção de atenção e no comportamento de decisão.
2. Análise de Sensibilidade Baseada em Estatística e Divergência: Os autores propõem um framework para quantificar o desvio estrutural por camada usando momentos estatísticos e distâncias distribucionais, revelando pontos de ruptura não lineares em larguras de bits baixas.
3. Introdução da Concordância de Correção (CA): Uma nova métrica que complementa a acurácia e a perplexidade ao medir a consistência das previsões corretas entre o modelo base e o modelo quantizado.
4. Varredura Empírica Abrangente: Tanto quanto é do conhecimento dos autores, este é o primeiro estudo controlado que realiza uma varredura de 8-bit a 2-bit através de esquemas legados e de K-quantização, vinculando o desvio de projeção de atenção por bloco às mudanças no comportamento de decisão.

Resultados Experimentais

1. Distorções Estatísticas e Estruturais

• Larguras de Bits Altas/Moderadas (8-bit a 5-bit): A quantização preserva amplamente as propriedades estatísticas (assimetria próxima de zero, curtose estável, desvio padrão basal). A quantização legada (ex: Q5_0) mostra impacto estrutural mínimo.
• Larguras de Bits Baixas (4-bit a 2-bit): A quantização agressiva, particularmente Q3_K e Q2_K, introduz distorções pronunciadas. Estas incluem aumento da assimetria, redução da curtose, deslocamentos sistemáticos de média e maior variância.
• Sensibilidade de Camada: As projeções de Query (Q) e Key (K) são consistentemente mais sensíveis à quantização do que as projeções de Value (V) e Output (O). Sob compressão agressiva (Q3_K, Q2_K), as camadas Q e K exibem assimetria volátil e colapso de curtose, enquanto V e O permanecem relativamente estáveis até as larguras de bits mais baixas.
• Métricas de Divergência: A similaridade de Cosseno degrada gradualmente, enquanto a divergência KL e as estatísticas KS mostram aumentos abruptos em larguras de bits menores, indicando uma redistribuição significativa da massa de peso.

2. Avaliação Comportamental

• Perplexidade e Acurácia: Essas métricas de superfície muitas vezes permanecem estáveis sob quantização moderada (ex: Q4_K, Q5_K) ou apresentam comportamento não monotônico. Em alguns casos, larguras de bits menores (ex: Q3_K) geram menor perplexidade sem garantir consistência comportamental.
• Concordância de Correção (CA): A CA é consistentemente inferior à acurácia agregada e diminui conforme a precisão cai. Mesmo quando a acurácia parece preservada, a sobreposição nas previsões corretas entre o modelo base e o quantizado cai drasticamente. Isso indica que a quantização altera quais exemplos o modelo acerta, mesmo que a contagem total de respostas corretas permaneça semelhante.

Significância e Alegações

O artigo afirma expor uma desconexão fundamental entre as métricas de desempenho convencionais e a fidelidade comportamental real dos modelos quantizados.

• A Ilusão de Equivalência: Os autores demonstram que uma alta acurácia ou baixa perplexidade não garantem que um modelo quantizado preserve a lógica de decisão do modelo base. Um modelo pode parecer performante enquanto diverge fundamentalmente em suas previsões específicas.
• Pontos de Ruptura Não Lineares: O estudo identifica limiares específicos onde a integridade estrutural colapsa. O Q4_K é identificado como o limite superior de quantização "segura", o Q3_K marca o início da degradação significativa, e o Q2_K representa um regime de ruptura onde a consistência estrutural e comportamental é severamente comprometida.
• Vulnerabilidade de Componentes: As descobertas destacam que as projeções Q e K são os principais gargalos para a quantização de baixa bitagem, sugerindo que futuras estratégias de quantização devem considerar a alocação de precisão adaptativa (ex: preservar maior precisão para Q/K enquanto se comprime V/O).
• Mudança de Paradigma de Avaliação: O trabalho motiva uma mudança na avaliação além de métricas agregadas, defendendo a avaliação comportamental (como a Concordância de Correção) e a análise estrutural para garantir que modelos quantizados não sejam apenas estatisticamente similares, mas comportamentalmente alinhados com seus modelos base.