Resumo Técnico: Leis de Escalonamento de Confiabilidade para Grandes Modelos de Linguagem Quantizados

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado um desempenho notável em benchmarks padrão, seu implantação prática enfrenta desafios significativos relacionados a restrições de recursos e confiabilidade. Técnicas de compressão de modelos, particularmente a quantização, são amplamente utilizadas para reduzir a latência de inferência e os requisitos de memória. No entanto, as avaliações existentes de LLMs quantizados focam predominantemente no desempenho de tarefas "benignas" (ex: acurácia e perplexidade em entradas não perturbadas), frequentemente negligenciando dimensões críticas de confiabilidade, como quantificação de incerteza, calibração e robustez a variações de entrada do mundo real.

Além disso, trabalhos anteriores sobre leis de escalonamento (ex: Dettimes & Zettlemoyer, 2023) estabeleceram que a acurácia geralmente escala monotonicamente com o número total de bits do modelo. Não está claro se essa monotonicidade se mantém para métricas de confiabilidade, ou se existe um nível de precisão ideal que maximiza o equilíbrio entre confiabilidade e eficiência. Esta lacuna é crítica porque os modelos implantados na prática devem lidar com perturbações de entrada semanticamente preservadoras (ex: erros de digitação, gírias, emojis) e fornecer estimativas de incerteza confiáveis.

Metodologia

Os autores propõem uma estrutura abrangente de avaliação de confiabilidade para LLMs quantizados, analisando como a confiabilidade escala com o número total de bits do modelo (definido como o produto do número de parâmetros e a precisão dos pesos em bits).

1. Estrutura de Avaliação de Confiabilidade

O estudo avalia modelos quantizados em três dimensões principais:

• Incerteza: Medida usando entropia por token (entropia de Shannon) e log-verossimilhança dos tokens de verdade fundamental (ground-truth) para avaliar a confiança e a confiabilidade do modelo.
• Calibração: Avaliada usando o Escore de Brier para determinar quão bem as distribuições de probabilidade previstas se alinham com os resultados reais (ou seja, se a baixa incerteza correlaciona-se com alta acurácia).
• Robustez: Avaliada introduzindo 15 perturbações naturais e semanticamente preservadoras nas instruções (prompts) de entrada. Estas incluem:
  • Nível de caractere: Inserção de emoji, substituição de caracteres (teclas adjacentes no teclado), leetspeak, inserção de ruído, deleção, troca, repetição e mudança de caixa (maiúsculas/minúsculas).
  • Nível de palavra: Inserção de gírias, deleção de palavras, troca de palavras, repetição de palavras, inserção de palavras e tradução para outros idiomas sem tradução reversa.
  • As perturbações são aplicadas em níveis de intensidade variados (4 e 16) para simular o ruído realista da comunicação digital.

2. Configuração Experimental

• Modelos: O estudo abrange quatro famílias de modelos base (LLaMA-3.2-1B/3B, LLaMA-3-8B/70B, OPT e Qwen3) variando de 1 bilhão a 70 bilhões de parâmetros.
• Quantização: Seis métodos de ponta de Quantização Pós-Treinamento (PTQ) são avaliados: BitsandBytes (BNB), AWQ, GPTQ, HQQ, Quanto e AQLM (incluindo a variante AQLM-PV para 2 bits).
• Benchmarks: A avaliação é conduzida no TriviaQA, CoQA, CommonsenseQA e benchmarks adicionais para modelagem de linguagem (WikiText-2, PTB, C4) e raciocínio (MMLU, HellaSwag, etc.).
• Análise de Escalonamento: Os autores ajustam funções log-quadráticas para caracterizar a relação entre os bits totais do modelo e as métricas de desempenho/confiabilidade, indo além de pontos de dados individuais para identificar tendências subjacentes.

Principais Contribuições

1. Estrutura de Avaliação de Confiabilidade: Introdução de uma estrutura que integra incerteza, calibração e robustez a perturbações de entrada semanticamente preservadoras tanto para LLMs de precisão total quanto para os quantizados.
2. Leis de Escalonamento de Nível de Bit para Confiabilidade: A primeira caracterização abrangente de como a confiabilidade escala com o número total de bits do modelo através de diferentes arquiteturas, conjuntos de dados e métodos de quantização.
3. Identificação do "Ponto Doce" de 4 Bits: Evidência empírica de que a quantização de 4 bits oferece o equilíbrio ideal entre confiabilidade e eficiência, superando tanto os regimes de maior precisão (8/16 bits) quanto os de baixíssima densidade (2/3 bits) em termos de métricas de confiabilidade.
4. Melhoria da Robustez: Demonstração de que a quantização pode aumentar a robustez do modelo a perturbações naturais de entrada em comparação com as bases de precisão total.
5. Análise Comparativa: Extensão da análise de escalonamento para estratégias de poda (pruning) (SparseGPT, Wanda) e Treinamento com Consciência de Quantização (EfficientQAT), fornecendo um contexto mais amplo para técnicas de compressão.

Principais Resultados

1. Escalonamento de Confiabilidade Não Monotônico

Ao contrário da acurácia, que escala monotonicamente, a confiabilidade segue uma tendência não monotônica:

• Acurácia: Escala monotonicamente com o número total de bits do modelo.
• Confiabilidade: Atinge o pico na quantização de 4 bits.
  • Modelos quantizados para 4 bits alcançam o melhor equilíbrio entre confiabilidade e eficiência.
  • A quantização extrema (2 bits) leva a mudanças comportamentais significativas (medidas via Divergência KL) e baixa confiabilidade, apesar de alguma recuperação de desempenho em modelos maiores.
  • Modelos de maior precisão (8 bits, 16 bits) frequentemente exibem estimativas de incerteza e calibração piores do que seus equivalentes de 4 bits quando pareados pelo orçamento total de bits, provavelmente devido ao menor número de parâmetros.

2. Robustez a Perturbações

• Modelos quantizados, particularmente na precisão de 4 bits, demonstram robustez aprimorada a perturbações naturais de entrada (ex: erros de digitação, gírias, emojis) em comparação com seus equivalentes de precisão total.
• Os escores AUCROC (Entropia), uma medida de confiabilidade sob perturbação, são frequentemente maiores para modelos de 4 bits do que para modelos de 16 bits com orçamentos totais de bits equivalentes.

3. Mudança Comportamental (Divergência KL)

• O estudo mede a Divergência de Kullback-Leibler (KL) entre as distribuições de tokens dos modelos base e dos modelos comprimidos.
• Modelos de 2 bits exibem uma mudança comportamental substancial, contribuindo para o baixo desempenho.
• Modelos de 3 bits mostram uma mudança perceptível que diminui conforme o tamanho do modelo aumenta.
• Modelos de 4 bits mantêm uma divergência KL pequena em diversas escalas de modelos, sugerindo que retêm capacidades de generalização enquanto alcançam compressão significativa.

4. Consistência entre Arquiteturas e Métodos

• O "ponto doce de 4 bits" é consistente entre diferentes famílias de modelos (LLaMA, OPT, Qwen) e métodos de quantização (HQQ, GPTQ, AWQ, etc.).
• Embora métodos específicos performem melhor em larguras de bits específicas (ex: HQQ para 3 bits, AWQ/GPTQ para 4 bits), a tendência geral de otimalidade de 4 bits se mantém.
• Poda vs. Quantização: A poda (SparseGPT, Wanda) não produz os mesmos ganhos de confiabilidade que a quantização; a confiabilidade degrada conforme a esparsidade aumenta, e o erro induzido pela quantização é geralmente menor que o erro induzido pela esparsificação.

Significância e Alegações

O artigo afirma que a confiabilidade não escala necessariamente de forma monotônica com o tamanho ou a precisão do modelo. Os autores argumentam que confiar apenas em métricas de acurácia é insuficiente para uma implantação segura. Em vez disso, eles postulam que:

• A quantização de 4 bits representa um regime ideal onde os modelos estão suficientemente próximos de seus equivalentes de precisão total (baixa mudança comportamental) enquanto se beneficiam de um maior número de parâmetros dentro de um orçamento fixo de bits.
• A quantização não é meramente uma ferramenta para eficiência, mas pode aumentar a confiabilidade do modelo e a robustez contra ruídos de entrada do mundo real.
• Esta descoberta desafia a suposição de que maior precisão ou modelos maiores são sempre superiores para uma IA confiável, sugerando que a quantização moderada é uma estratégia viável para implantar LLMs confiáveis em ambientes com restrição de recursos.

O estudo conclui que trabalhos futuros devem explorar como a calibração, o prompting de múltiplas tentativas (multi-shot) e o Treinamento com Consciência de Quantização (QAT) influenciam ainda mais essas tendências de escalonamento, particularmente para regimes de baixíssima densidade de bits.