Resumo Técnico: Preservando a Equidade e a Segurança em LLMs Quantizados através da Proteção de Pesos Críticos

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios sensíveis, como saúde e educação, exigindo uma adesão rigorosa aos padrões de equidade e segurança. No entanto, as massivas contagens de parâmetros desses modelos criam barreções computacionais e de memória significativas. A quantização, o processo de redução da precisão numérica (por exemplo, de ponto flutuante de 16 bits para inteiros de 4 bits), é a solução padrão para permitir a implantação eficiente.

Embora o impacto da quantização no desempenho de tarefas gerais (ex: perplexidade, acurácia) seja bem documentado, suas implicações para a equidade (igualdade entre grupos) e a segurança (prevenção de saídas prejudiciais) permanecem subexploradas. A literatura existente foca frequentemente na quantização estática dentro de contextos de língua inglesa, deixando lacunas críticas em relação a:

1. Quantização Dinâmica vs. Estática: Como diferentes paradigmas de quantização afetam o alinhamento.
2. Contextos Multilíngues: Se a segurança e a equidade degradam de forma diferente entre idiomas (ex: Inglês vs. Coreano, Árabe, Francês).
3. Mitigação: Se é possível preservar as propriedades de alinhamento sem o custo de retreinamento ou realinhamento.

Os autores postulam que a quantização ingênua pode inadvertidamente distorcer os mecanismos de alinhamento, afetando desproporcionalmente os parâmetros responsáveis por filtrar conteúdo prejudicial ou garantir o tratamento equitativo entre grupos demográficos.

Metodologia

1. Estrutura de Avaliação Sistemática

Os autores conduziram uma avaliação abrangente em três famílias de modelos (Gemma-7B-Instruct, Llama-3.1-8B-Instruct, Qwen-2.5-7B-Instruct) utilizando cinco métodos de quantização:

• Estática: GPTQ, AWQ, SmoothQuant.
• Dinâmica: FP8, LLM.int8().

Avaliação de Equidade:

• Viés Intrínseco: Medido via StereoSet (Inglês) e CrowS-Pair (Inglês/Francês) para avaliar associações estereotipadas.
• Viés Extrínseco: Medido via Jigsaw (classificação de toxicidade) e MBBQ (perguntas e respostas em Inglês, Holandês, Espanhol e Turco) para avaliar disparidades de desempenho em tarefas de downstream.

Avaliação de Segurança:

• Os benchmarks incluíram SafetyBench (segurança de múltipla escolha), Do-Not-Answer (recusa de instruções prejudiciais), HEx-PHI (prompts prejudiciais com diversas estratégias de decodificação) e MultiJail (tentativas de jailbreak multilíngues em Inglês, Coreano e Árabe).

2. Solução Proposta: Proteção de Pesos Críticos

Para abordar a degradação da confiabilidade, os autores propõem a Proteção de Pesos Críticos, uma estratégia de quantização de precisão mista inspirada na análise de sensibilidade em imagens médicas.

• Conceito Central: Nem todos os pesos contribuem igualmente para a equidade e a segurança. O método identifica e preserva "pesos críticos" em sua precisão original elevada (FP16) enquanto quantiza os demais pesos para uma precisão inferior (INT4).
• Mecanismo de Pontuação:
  • Cálculo de Sensibilidade: A importância de um peso $\theta$ é determinada pelo gradiente ao quadrado da função de perda em relação a esse peso. Isso aproxima a diagonal da Matriz de Informação de Fisher.
  • Pontuação de Equidade (FAIRSCORE): Calculada como a diferença entre a sensibilidade à perda de equidade ($I_{fair}$) e a perda de capacidade geral ($I_{gen}$), escalonada por um hiperparâmetro $\beta$:
    $$FAIRSCORE(\theta) = I_{fair}(\theta) - \beta \cdot I_{gen}(\theta)$$
    Onde $I_{fair}$ é derivado do dataset StereoSet (incentivando a probabilidade igual para conclusões estereotipadas e anti-estereotipadas).
  • Pontuação de Segurança (SAFESCORE): Calculada de forma semelhante usando a perda específica de segurança (derivada de AdvBench) e a perda geral (derivada de Databricks Dolly).
  • Ranking Final: O score final para o ranking dos pesos é a soma: $FAIRSCORE + SAFESCORE$.
• Execução: Os $k\%$ superiores de pesos com as maiores pontuações são mantidos em FP16. Os pesos restantes são quantizados para INT4. Esta abordagem não requer retreinamento ou ajuste de alinhamento.

Principais Resultados

1. Impacto da Quantização na Equidade e Segurança

• Degradação Geral: A quantização degrada consistentemente a equidade e a segurança em comparação com as bases de precisão total.
• Estática vs. Dinâmica: Métodos de quantização dinâmica (FP8, LLM.int8()) demonstraram maior estabilidade e maior proximidade com o desempenho de precisão total do que os métodos estáticos (GPTQ, AWQ, SmoothQuant).
• Disparidades Linguísticas:
  • Segurança: A deterioração foi especialmente pronunciada em ambientes não ingleses (Coreano e Árabe), onde os mecanismos de segurança foram menos robustos após a quantização.
  • Equidade: O viés intrínseco (ex: CrowS-Pair) mostrou maior sensibilidade à quantização em Inglês, enquanto o viés extrínseco (MBBQ) mostrou maior instabilidade em tarefas de downstream não inglesas.
• Sensibilidade do Modelo: Modelos menores (faixa de 7B-8B) exibiram maior divergência no desempenho de segurança sob quantização em comparação com modelos maiores.

2. Eficácia da Proteção de Pesos Críticos

O método proposto (denotado como AWQ-trust quando aplicado à quantização AWQ) mitigou significativamente esses riscos:

• Equidade: Os modelos protegidos mantiveram ou melhoraram os scores de equidade (ex: StereoSet ICAT, Jigsaw BiasAUC) em comparação com os modelos quantizados padrão, muitas vezes igualando ou excedendo as bases de precisão total.
• Segurança: O método aumentou substancialmente a resistência a instruções prejudiciais. Notavelmente, ele reverteu a degradação de segurança observada em línguas não inglesas (Coreano e Árabe), alcançando ganhos significativos nos scores de segurança do MultiJail.
• Utilidade Geral: A avaliação no AlpacaEval confirmou que a preservação de pesos críticos não comprometeu as capacidades gerais de seguimento de instruções ou as taxas de vitória contra modelos de referência.
• Comparação: A abordagem de sensibilidade de gradiente superou os métodos de identificação baseados em SNIP (usados em trabalhos anteriores como Q-resafe), particularmente em taxas de compressão mais altas.

Significância e Alegações

O artigo afirma que a quantização não é neutra em relação à confiabilidade da IA; ela amplifica sistematicamente o viés e enfraquece o alinhamento de segurança, particularmente em contextos multilíngues.

A principal contribuição é a demonstração de que a quantização consciente do alinhamento é viável sem o custo computacional de retreinamento. Ao preservar seletivamente os pesos críticos para a equidade e segurança, os autores mostram que:

1. Eficiência e Confiabilidade não são mutuamente exclusivas: É possível alcançar uma compressão significativa do modelo mantendo altos padrões de segurança e equidade.
2. A Língua Importa: Implantações não inglesas são mais vulneráveis a falhas de segurança induzidas pela quantização, necessitando de estratégias de mitigação específicas.
3. Escalabilidade: A proposta "Proteção de Pesos Críticos" é uma técnica prática de pós-treinamento que pode ser integrada em pipelines de quantização existentes (demonstrada aqui com AWQ e GPTQ) para salvaguardar a implantação responsável da IA.

Os autores concluem que, embora seu estudo seja limitado a famílias de modelos específicas e benchmarks padrão, os achados fornecem diretrizes práticas para a compressão responsável de LLMs, instando uma mudança da compressão uniforme para estratégias conscientes do alinhamento.