Resumo Técnico: Modelos Menores, Custos Inesperados: Trade-offs na Quantização de LLMs para Reparação Automática de Programas

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) tornaram-se ferramentas poderosas para tarefas complexas de engenharia de software, incluindo a Reparação Automática de Programas (APR). No entanto, o crescente número de parâmetros nesses modelos impõe requisitos substanciais de memória e custos operacionais, dificultando a implantação local e a integração em pipelines existentes. Embora a quantização seja uma técnica popular para reduzir a pegada de memória ao diminuir a precisão dos pesos (por exemplo, de ponto flutuante de 32 bits para inteiros de 8 bits), seu impacto na APR não é totalmente compreendido. Estudos existentes sobre quantização para tarefas relacionadas a código são frequentemente limitados a benchmarks únicos, métodos de quantização únicos ou focam em apenas uma métrica de eficiência (por exemplo, memória ou energia). Os escores de benchmarks padrão muitas vezes mascaram mudanças no comportamento do modelo e sobrecargas não funcionais, como tempo de inferência e consumo de energia. Há uma falta de evidência empírica abrangente sobre os trade-offs entre eficácia (capacidade de reparação e consistência comportamental) e eficiência (memória, tempo, energia) ao aplicar a quantização à APR.

Metodologia

Os autores conduziram um estudo empírico extensivo avaliando 13 configurações de quantização em seis LLMs representativos (variando de 6,7B a 70B parâmetros) de três famílias de modelos: Llama, DeepSeek-Coder e Mistral. O estudo utilizou dois benchmarks de APR: HumanEval-Java (164 problemas de codificação) e Defects4J (525 bugs de função única).

Configurações de Quantização:
O estudo focou em métodos de Quantização Pós-Treinamento (PTQ), categorizados por seus componentes alvo:

1. Quantização de Pesos do Modelo: Cinco métodos foram avaliados:
   • AQLM: Additive Quantization of Language Models (consciente de dados, 2-bit).
   • AWQ: Activation-aware Weight Quantization (consciente de dados, 4-bit).
   • BNB: BitsAndBytes (sem calibração, 4-bit).
   • HQQ: Half-Quadratic Quantization (sem calibração, 2/3/4/8-bit).
   • Quanto: Método integrado do Hugging Face (sem calibração, 2/4/8-bit).
2. Quantização de KV Cache: HQQ e Quanto foram aplicados exclusivamente ao cache de Chave-Valor (2/4/8-bit), mantendo os pesos do modelo em precisão total.

Métricas de Avaliação:

• Eficácia:
  • Plausibilidade: Medida via pass@10 (se qualquer um dos 10 patches gerados passa em todos os testes).
  • Consistência: Introduziu uma nova métrica, a Taxa de Consistência de Jaccard (JCR), para distinguir entre uma simples redução no número de problemas resolvidos versus uma mudança em quais problemas são resolvidos (deriva comportamental).
• Eficiência:
  • Tempo de inferência (segundos).
  • Consumo de energia da GPU (Joules).
  • Pegada de memória (tamanho do modelo em memória e memória de pico de inferência).

Configuração Experimental:
Os experimentos foram conduzidos em um cluster de HPC com GPUs Nvidia GH200 Hopper. O estudo utilizou configurações padrão "out-of-the-box" para refletir o uso típico de praticantes. O rigor estatístico foi garantido usando intervalos de confiança via bootstrap (10.000 iterações) para mudanças relativas, e os trade-offs foram analisados usando dominância de Pareto.

Principais Contribuições

1. Estudo Empírico Abrangente: Uma avaliação de 13 configurações de quantização em seis LLMs e dois benchmarks de APR, cobrindo configurações de peso de modelo e de KV-cache de 2 a 8 bits.
2. Nova Métrica de Consistência: A proposta da Taxa de Consência de Jaccard (JCR) para revelar que contagens de plausibilidade semelhantes podem mascarar mudanças substanciais no conjunto específico de bugs que um modelo pode reparar.
3. Quantificação de Eficiência: Relato detalhado de efeitos não funcionais (tempo de inferência, energia, memória) usando intervalos de confiança via bootstrap, revelando que a quantização frequentemente aumenta o tempo e a energia, apesar de reduzir a memória.
4. Análise de Trade-offs: Uma análise de dominância de Pareto mostrando que quase metade das configurações avaliadas é estritamente dominada por alternativas, destacando a sensibilidade dos trade-offs à arquitetura do modelo e complexidade da tarefa.
5. Pacote de Replicação: Liberação pública de todos os scripts, patches gerados e métricas de eficiência.

Principais Resultados

Eficácia (RQ1)

• Plausibilidade: Contrariamente às expectativas, a quantização não necessariamente degrada o desempenho. Em 11 de 12 casos de modelos, pelo menos uma configuração quantizada gerou patches mais plausíveis do que o modelo base. Por exemplo, hqq4(KV) melhorou o desempenho do Llama-70B no HumanEval, e quanto4(M) melhorou o DeepSeek-6.7B em 19%.
• Consistência (JCR): Embora as contagens agregadas possam permanecer semelhantes, o conjunto de bugs reparados frequentemente muda significamente. Valores baixos de JCR indicam que os modelos quantizados reparam um conjunto diferente de problemas do que o modelo base, não apenas um subconjunto. Configurações de bits mais altos (ex: 8-bit) geralmente mostraram melhor consistência do que a quantização extrema (2-3 bits), embora mesmo a quantização de 8 bits possa introduzir uma deriva não trivial.

Eficiência (RQ2)

• Tempo de Inferência e Energia: Todas as configurações de quantização aumentaram o tempo de inferência e o consumo de energia em comparação com o modelo base. Isso é atribuído à utilização suboptimal de hardware (GPUs são otimizadas para FP32/FP16, não para inteiros de baixo bit) e ao overhead de desquantização.
  • hqq3 mostrou consistentemente o pior desempenho, aumentando o tempo de inferência em até +885,99% e a energia em até +1524,46%.
  • quanto4(M) foi a configuração mais eficiente em 50% dos cenários, apresentando os menores aumentos de tempo e energia.
• Pegada de Memória: A quantização reduziu com sucesso as pegadas de memória em até 85%.
  • A quantização de pesos do modelo (ex: aqlm2) foi altamente eficaz, reduzindo significativamente o tamanho em memória.
  • A quantização do KV-cache ofereceu economia de memória mínima (frequentemente <5%) porque o tamanho do KV-cache depende do comprimento do prompt, que não era sempre grande o suficiente para dominar o uso de memória nesta configuração.

Trade-offs (RQ3)

• Dominância de Pareto: 48% das configurações de quantização avaliadas foram estritamente dominadas por outras configurações (seja pelo modelo base ou por outro método de quantização) em termos das métricas combinadas de eficácia e eficiência.
• Sensibilidade de Configuração: Não existe uma única "melhor" configuração.
  • awq4 e bnb4 geralmente ofereceram trade-offs equilibrados entre os modelos.
  • quanto4 e quanto8 performaram bem em modelos específicos (ex: DeepSeek), mas foram menos consistentes de forma generalizada.
  • hqq3 e hqq4 (pesos do modelo) foram frequentemente dominados devido aos altos custos de tempo/energia.

Significância e Alegações

O artigo alega que, embora a quantização seja eficaz para reduzir pegadas de memória, ela não se traduz automaticamente em melhoria de eficiência em termos de velocidade ou energia; de fato, ela frequentemente degrada essas métricas para tarefas de APR. O estudo enfatiza que os trade-offs são altamente sensíveis à arquitetura subjacente do modelo e à tarefa específica.

Os autores argumentam que os praticantes não devem assumir um método de quantização "ótimo" universal. Em vez disso, devem selecionar cuidadosamente as configurações com base em suas restrições específicas (ex: memória vs. tempo). A introdução do JCR destaca que confiar apenas em taxas de reparação agregadas é insuficiente; a mudança comportamental (quais bugs são corrigidos) é um fator crítico para a implantação. As descobertas sugerem que, para restrições estritas de tempo ou energia, os modelos quantizados podem ser prejudiciais para APR no momento, enquanto para ambientes com restrição de memória, a seleção cuidadosa de configurações (como awq4 ou quanto4) pode proporcionar economias de memória significativas com eficácia de reparação igual ou até melhorada.

O artigo conclui que trabalhos futuros devem focar em políticas de roteamento para despachar tarefas para o modelo mais adequado (quantizado ou de precisão total) e em investigações adicionais sobre as mudanças específicas induzidas pela quantização nas capacidades de resolução de problemas.