Resumo Técnico: Adaptando-se a Qualquer Largura de Bits: Quantização de Precisão Mista por Canal para LLMs

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos de implantação em dispositivos de borda devido aos seus massivos tamanhos de parâmetros, que impõem requisitos substanciais de memória. Embora a Quantização Pós-Treinamento (PTQ) apenas de pesos ofereça uma solução ao reduzir a precisão (ex: de FP16 para 3 bits), as abordagens existentes sofrem de duas limitações primárias:

1. Rigidez de Bits Inteiros: A maioria dos métodos de PTQ de última geração (ex: GPTQ, AWQ) foca na quantização de bits inteiros uniforme em todas as camadas. Isso restringe sua adaptabilidade a dispositivos que poderiam suportar larguras médias de bits fracionários (ex: 2,2 ou 3,8 bits), levando à subutilização do armazenamento disponível.
2. Estratégias de Precisão Mista Ineficazes: Métos de precisão mista existentes, como o LLM-MQ, frequentemente dependem da estimativa de sensibilidade de camada usando informação de primeira ordem (gradientes). No entanto, em LLMs convergidos, os gradientes são aproximadamente zero, tornando difícil diferenciar as sensibilidades das camadas de forma eficaz. Além disso, a alocação por camada pode concentrar a perda de informação em camadas específicas, degradando o desempenho geral. Adicionalmente, métodos que retêm passivamente outliers em FP16 frequentemente incorrem em aumento de latência de inferência sem ganhos proporcionais de desempenho.

2. Metodologia: Quantização de Precisão Mista por Canal (CMPQ)

Os autores propõem o CMPQ, um framework de PTQ projetado para adaptar LLMs a qualquer restrição de largura média de bits, incluindo valores não inteiros, sem sacrificar o desempenho. O método opera através de três componentes principais:

A. Quantização Não Uniforme por Canal

Ao contrário da quantização uniforme, que divide os intervalos de peso em bins igualmente espaçados, o CMPQ emprega quantização não uniforme (via agrupamento K-means) para lidar melhor com as distribuições de peso não uniformes típicas de LLMs.

• Alocação de Precisão: Em vez de atribuir uma largura de bits fixa a uma camada inteira, o CMPQ aloca a precisão ao nível de canal.
• Heurística Baseada em Ativação: O método calcula a norma L2 das ativações para cada canal durante uma passagem direta (forward pass) em um conjunto de calibração.
  • Se a largura média alvo $b > 3$, canais com grandes normas de ativação (canais salientes) recebem maior precisão (ex: 4 bits) para preservar informações críticas.
  • Se $b < 3$, canais menos críticos recebem menor precisão (ex: 2 bits) para minimizar o armazenamento.
  • Para $b = 3$, uma pequena fração (~1%) dos canais salientes é protegida com precisão de 4 bits, enquanto o restante utiliza 3 bits.
• Algoritmo: A alocação é determinada pelo Algoritmo 1, que utiliza quantis do vetor de norma de ativação para atribuir larguras de bits $c_i \in \{2, 3, 4\}$ a cada canal $i$.

B. Proteção Dupla de Outliers

Para mitigar a degradação causada por valores extremos (outliers), o CMPQ integra duas técnicas distintas de extração de outliers que preservam pesos específicos em FP16:

1. Outliers Baseados em Ativação ($O_{act}$): Canais correspondentes aos top 0,45% das normas L2 de ativação são identificados e preservados em FP16. Isso aborda a observação de que os outliers frequentemente exibem um padrão por canal.
2. Outliers Conscientes de Quantização ($O_q$): Após a remoção de $O_{act}$, os pesos restantes passam pela quantização não uniforme por canal. Os top 0,05% dos pesos com os maiores erros de quantização absolutos ($|W' - W'_q|$) são identificados e preservados em FP16. Isso garante que os centroides de agrupamento usados para a quantização representem a maioria da distribuição de peso, em vez de serem distorcidos por valores extremos.

• Overhead Total: A razão combinada de outliers é mantida em 0,5%, consistente com os métodos de base, garantindo comparações justas de armazenamento.

C. Eficiência e Implantação

• Sem Backpropagation: O CMPQ requer apenas uma única passagem direta para calibração, evitando as passagens inversas (backward passes) intensivas em memória exigidas por métodos como o SqueezeLLM.
• Inferência: O framework lida com a multiplicação de matrizes de precisão mista decompondo os pesos em submatrizes baseadas na alocação de canais. Os outliers são processados via kernels esparsos CSR padrão, enquanto o grosso dos pesos é processado via kernels de baixa bitagem.

3. Principais Contribuições

1. Framework Adaptável: Introdução do CMPQ, um framework de quantização pós-treinamento que suporta larguras de bits médias arbitrárias (incluindo valores fracionários) via alocação de precisão por canal.
2. Mecanismo Inovador: Integração de quantização não uniforme com uma estratégia dupla de tratamento de outliers (baseada em ativação e consciente de quantização) que fornece controle refinado com baixo overhead.
3. Ganhos de Desempenho: Demonstração de que o CMPQ supera métodos anteriores tanto em configurações de bits inteiros quanto de bits fracionários, alcançando melhorias significativas de desempenho com aumentos modestos no uso de memória.

4. Resultados Experimentais

Experimentos foram conduzidos em nove LLMs (OPT, LLaMA2, LLaMA3) através de várias larguras de bits (2, 3, 4 bits) e conjuntos de dados (WikiText-2, C4, PIQA, HellaSwag, MMLU).

• Desempenho de Bits Inteiros: O CMPQ alcança pontuações de perplexidade competitivas ou de estado da arte em comparação com baselines como GPTQ, AWQ, QuIP e LLM-MQ. Por exemplo, no OPT-2.7B a 3 bits, o CMPQ alcança uma perplexidade de WikiText-2 de 13,38, superando o LLM-MQ (18,09) e o GPTQ (17,09).
• Desempenho de Bits Fracionários: O CMPQ demonstra adaptabilidade superior a larguras de bits fracionários (ex: 2,2, 3,4 bits). No LLaMA2-7B, mover de 2 para 2,2 bits de precisão média gera uma melhoria de 30% na perplexidade (de 15,97 para 11,11), um ganho inalcançável com métodos de apenas inteiros.
• Robustez: O CMPQ mostra maior robustez a variações no conjunto de calibração em comparação com métodos baseados em Hessiano como o QuIP, que podem divergir quando o conjunto de avaliação difere do conjunto de calibração.
• Eficiência:
  • Memória: O overhead para armazenar metadados de alocação de bits e centroides de cluster é mínimo (<0,03 bits por peso).
  • Latência: A latência de inferência e o uso de pico de memória são comparáveis aos métodos de quantização de apenas inteiros como o SqueezeLLM, com apenas um aumento modesto (aprox. 11-12%) para modelos maiores (13B) devido ao caminho auxiliar de alta precisão.
  • Calibração: O CMPQ é altamente eficiente em termos de dados, alcançando o desempenho desejado com apenas 1-2 amostras de calibração, enquanto outros métodos frequentemente requerem mais de 50.

5. Significância e Alegações

O artigo afirma que o CMPQ representa um passo significativo à frente na quantização de LLMs ao preencher a lacça entre a eficiência teórica de armazenamento e as restrições práticas de implantação.

• Adaptabilidade: Permite o "uso estruturado de precisão de bits fracionários", permitindo que desenvolvedores utilizem totalmente os orçamentos de memória disponíveis nos dispositivos, em vez de ficarem restritos a esquemas de bits inteiros.
• Otimização de Trade-off: O método alcança um trade-off superior entre memória e precisão ao alocar proativamente a precisão para canais de baixa bitagem enquanto mantém a pegada FP16 fixa, evitando as penalidades de latência associadas à retenção passiva de outliers.
• Praticidade: Ao eliminar a necessidade de backpropagation e exigir o mínimo de dados de calibração, o CMPQ oferece uma solução escalável e eficiente, adequada para cenários de implantação do mundo real onde recursos computacionais e de memória são limitados.

Os autores reconhecem limitações, incluindo o foco na quantização apenas de pesos, a dependência de um conjunto discreto de níveis de precisão ({2, 3, 4}) e a suposição de que o conjunto de calibração é representativo da distribuição de uso alvo. No entanto, eles afirmam que o CMPQ fornece uma abordagem altamente adaptável e eficaz para a quantização de LLMs em diversas capacidades de dispositivos.