On the Quantization Robustness of Diffusion Language Models in Coding Benchmarks

Resumo Técnico: Robustez à Quantização de Modelos de Linguagem Difusivos em Benchmarks de Codificação

1. Problema e Motivação

Os Modelos de Linguagem de Grande Escala (LLMs) baseados em arquiteturas auto-regressivas (AR), como o GPT-4 e o Qwen, demonstram alto desempenho em tarefas de codificação, mas enfrentam desafios significativos de custo de memória e latência de inferência, especialmente em sequências longas.

• Solução Alternativa: Modelos de Linguagem baseados em Difusão (d-LLMs) oferecem custos de inferência limitados através de processos de denoising iterativos.
• O Gap de Pesquisa: Embora técnicas de Quantização Pós-Treinamento (PTQ) sejam amplamente utilizadas para reduzir o tamanho e o custo de LLMs auto-regressivos, sua aplicação e robustez em d-LLMs são pouco exploradas.
• Questão Central: Os modelos de linguagem baseados em difusão são mais robustos à quantização (especialmente em baixas precisões de 2 a 4 bits) do que seus equivalentes auto-regressivos?

2. Metodologia

Os autores realizaram uma comparação empírica padronizada entre um modelo d-LLM (CoDA 1.7B) e seu contraparte auto-regressivo (Qwen3-1.7B), mantendo a mesma arquitetura base e pipeline de avaliação para isolar o efeito do paradigma de geração.

Técnicas de Quantização Aplicadas:

1. GPTQ (GPT-Quantization): Um método de PTQ baseado em pesos que utiliza uma matriz Hessiana aproximada para minimizar o erro de reconstrução das ativações.
   • Configuração: Quantização de pesos apenas (weight-only) com tamanhos de grupo de 128.
   • Precisões Testadas: 2, 3, 4 e 8 bits.
   • Dataset de Calibração: WikiText.
2. HAWQ (Hessian-Aware Quantization): Uma abordagem de quantização mista que atribui diferentes precisões a diferentes camadas com base na sensibilidade (curvatura da superfície de perda).
   • Adaptação: Os autores adaptaram o algoritmo original (feito para CNNs menores) para modelos de 1.7B parâmetros, utilizando aproximações de diferenças finitas para o produto Hessiano-Vetor e amostragem esparsa para viabilidade computacional.
   • Estratégia: Atribuição de 16, 8 ou 4 bits às camadas com base na sensibilidade calculada.

Benchmarks de Avaliação:

• HumanEval e MBPP (Mostly Basic Programming Problems), incluindo versões "Instruct" e "Plus".
• Métrica Principal: pass@1 (taxa de sucesso em uma única geração).
• Medição de Latência: Tempo médio por passo de geração (token para Qwen3, passo de denoising para CoDA) em GPU NVIDIA L40S.

3. Contribuições Principais

1. Comparação Padronizada: Primeira avaliação empírica direta da robustez à PTQ entre um d-LLM e seu equivalente AR sob o mesmo pipeline.
2. Descoberta de Robustez: Evidência de que modelos baseados em difusão (CoDA) sofrem degradação de desempenho significativamente menor em baixas precisões (2-4 bits) em comparação com modelos AR (Qwen3).
3. Otimização Mista (HAWQ): Demonstração de que configurações de precisão mista derivadas do HAWQ permitem trade-offs suaves entre precisão, latência e uso de memória, traçando uma fronteira de Pareto eficiente.

4. Resultados Chave

A. Desempenho e Robustez (Precisão vs. Acurácia):

• Qwen3 (AR): Sofreu um colapso catastrófico de desempenho em 3 bits e degradação severa em 4 bits. A perda de acurácia ao reduzir de 16 bits para 4 bits foi de aproximadamente 40% em média nos benchmarks.
• CoDA (Difusão): Mantiveu a funcionalidade até 4 bits com uma degradação média de apenas 8%.
  • Exemplo (HumanEval): Em 4 bits, o Qwen3 caiu de 0.671 para 0.439, enquanto o CoDA caiu de 0.481 para 0.421.
  • Em 2 e 3 bits, o Qwen3 colapsou completamente (0.000), enquanto o CoDA manteve alguma funcionalidade (ex: 0.317 em 3 bits).
• Hipótese: A maior robustez do CoDA pode estar ligada à sua taxa de dados/parâmetros de treinamento. O Qwen3 foi treinado com muito mais dados (36 trilhões de tokens vs. 180 bilhões do CoDA), possivelmente tornando-o "super-treinado" e mais sensível à quantização, conforme sugerido por leis de escala recentes.

B. Latência e Eficiência:

• Linha de Base (16-bit): O Qwen3 foi ligeiramente mais rápido (26.8 ms vs 28.3 ms) devido a kernels otimizados para decodificação auto-regressiva.
• Quantizado (4/8 bits): O CoDA quantizado tornou-se competitivo ou superou o Qwen3.
  • O CoDA em 4 e 8 bits manteve latência similar à sua versão de 16 bits, enquanto o Qwen3 viu um aumento de 5-10 ms.
  • Motivo: Em baixas precisões, os custos de overhead do sistema (configuração de atenção causal, projeção de saída) tornam-se dominantes em relação ao custo aritmético reduzido. Como o CoDA executa um passo de denoising auto-contido sobre a sequência inteira, ele se beneficia mais da redução de custo aritmético, superando o Qwen3 em 25-40% de velocidade em 4 e 8 bits.

C. Quantização Mista (HAWQ):

• Configurações 50/50 (ex: 50% das camadas em 16-bit, 50% em 8-bit) seguiram bem a fronteira de Pareto, permitindo ajustes finos de memória com perda mínima de acurácia.
• Combinações mais complexas (16/8/4 bits) levaram ao colapso do modelo, sugerindo a necessidade de fine-tuning pós-quantização para recuperação de desempenho em misturas muito heterogêneas.

5. Significado e Conclusão

O estudo sugere que os Modelos de Linguagem baseados em Difusão podem oferecer vantagens significativas para implantação eficiente em ambientes com restrições de recursos.

• Resiliência à Quantização: A arquitetura de difusão demonstra ser inerentemente mais resiliente à redução de precisão (até 4 bits) do que a arquitetura auto-regressiva padrão.
• Eficiência Operacional: Em cenários de baixa precisão, os modelos de difusão podem oferecer não apenas menor consumo de memória, mas também latência de inferência superior devido à redução da sobrecarga de sistema em relação ao custo computacional.
• Futuro: Os autores recomendam treinar modelos AR e de difusão a partir do zero com os mesmos dados para isolar completamente o efeito do paradigma, além de explorar Quantization-Aware Training (QAT) para mitigar colapsos em misturas de precisão complexas.

Em suma, este trabalho abre um novo caminho para a implantação de LLMs em dispositivos com recursos limitados, indicando que a mudança de paradigma de auto-regressivo para difusivo pode ser uma estratégia viável para manter a qualidade do código enquanto se reduz drasticamente o custo de hardware.