Resumo Técnico: AAAC (Codebooks Adaptativos Conscientes de Ativação)

1. Declaração do Problema

Os Modelos de Linguagem de Grande Porte (LLMs) enfrentam restrições significativas de memória e computação, tornando a quantização pós-treinamento apenas de pesos para 4 bits (W4A16/W4A8) uma estratégia crítica de implantação. Os métodos existentes de Quantização Pós-Treinamento (PTQ) geralmente operam sob uma hipótese de grade fixa. Eles tentam melhorar a precisão otimizando como os pesos são mapeados em uma grade escalar 4 bits pré-definida e estática (por exemplo, formatos INT4 padrão ou NVFP4) por meio de técnicas como escalonamento de canal (AWQ), limitação (clipping) ou compensação de erro (GPTQ).

Os autores argumentam que essa abordagem deixa qualidade potencial na mesa. Embora o formato de 4 bits fixe o número de códigos armazenados e a estrutura de escala por grupo, ele não exige que a própria grade de reconstrução escalar seja fixa. Os valores dequantizados, que determinam os pesos reais utilizados durante a inferência, são restringidos por essa tabela fixa. Os métodos atuais melhoram o mapeamento para a tabela, mas não adaptam a tabela em si à distribuição específica de pesos e às estatísticas de ativação de uma determinada camada.

2. Metodologia: AAAC

O artigo propõe AAAC (Codebooks Adaptativos Conscientes de Ativação), um método leve e sem gradiente que substitui a única tabela escalar fixa $T$ por dois codebooks escalares aprendidos ($T_0$ e $T_1$) por camada.

Mecanismo Central

1. Codebooks Adaptativos: Em vez de uma única grade fixa, o AAAC aprende dois pequenos codebooks escalares por camada. Esses codebooks possuem a mesma cardinalidade que o formato base de 4 bits (por exemplo, 15 entradas para NVFP4, 16 para INT4), mas seus valores são otimizados a partir de dados de calibração, em vez de serem fixados pela especificação do formato.
2. Seleção Consciente de Ativação: Para cada grupo de pesos, o método seleciona o codebook ($T_0$ ou $T_1$) que minimiza o erro de reconstrução ponderado por ativação. A importância de cada peso é determinada pela energia de ativação ao quadrado de sua coluna correspondente no conjunto de calibração ($I_k = \sum X_{t,k}^2$).
3. Armazenamento sem Sobrecarga:
   • Tamanho do Codebook: Cada codebook contém apenas ~15–16 valores BF16, totalizando aproximadamente 64 bytes por camada. Para um modelo de 7B, isso adiciona apenas ~14 KB de armazenamento, o que é negligenciável.
   • Bit de Seleção: A escolha do codebook para um grupo é codificada no bit de sinal não utilizado do fator de escala positivo do grupo (já que as escalas são sempre positivas). Isso permite seleção por grupo com sobrecarga de armazenamento zero quando o tamanho do grupo de seleção ($S$) coincide com o tamanho do grupo de escala ($g$).
4. Algoritmo de Aprendizado:
   • Inicialização: $T_0$ e $T_1$ são inicializados usando quantis uniformemente espaçados da distribuição normalizada de pesos, com $T_1$ deslocado por meio passo para fornecer pontos de partida distintos.
   • Otimização Alternada: O algoritmo alterna entre:
     • Atribuição: Atribuir cada grupo de pesos ao codebook que minimiza o erro ponderado por ativação.
     • Refinamento: Atualizar as entradas do codebook usando k-means ponderado por ativação (calculando o centróide ponderado da célula de Voronoi para cada entrada).
   • Eficiência: O processo não requer retropropagação, não requer computação de Hessiana e não requer gradientes de modelo completo. Ele processa camadas independentemente usando apenas ativações de passagem direta.

3. Contribuições Principais

• Redefinição do Objetivo do PTQ: O AAAC desloca o foco do mapeamento de pesos para uma grade fixa para aprender a própria grade, introduzindo um novo grau de liberdade na quantização.
• Otimização Leve sem Gradiente: Diferentemente de métodos assistidos por gradiente (por exemplo, OmniQuant, SqueezeLLM) que exigem horas de retropropagação e sobrecarga massiva de memória (2–4× o tamanho do modelo), o AAAC aprende via k-means simples em ativações de passagem direta.
• Sobrecarga de Armazenamento Zero: Ao aproveitar o bit de sinal não utilizado do fator de escala, o AAAC alcança seleção adaptativa de codebook sem aumentar a pegada de memória do modelo.
• Velocidade: A quantização é concluída em 3–30 minutos em uma única GPU, ordens de magnitude mais rápido que as bases assistidas por gradiente.

4. Resultados Experimentais

Os autores avaliaram o AAAC nas famílias de modelos Llama (1B–13B) e Qwen (0.5B–32B), utilizando ambos os layouts NVFP4 ($g=16$) e INT4 ($g=128$).

• vs. Métodos sem Gradiente: O AAAC supera consistentemente RTN, IF4, AWQ e GPTQ.
  • No WikiText-2, o AAAC alcançou uma recuperação de lacuna de 59,2% (vs. RTN) em média para NVFP4, superando significativamente a AWQ (28,1%) e a IF4 (12,3%).
  • Em configurações INT4 ($g=128$), o AAAC com sobrecarga zero ($S=128$) já superou a AWQ na maioria dos modelos; adicionar uma sobrecarga negligenciável de 0,0625 bpw ($S=16$) melhorou ainda mais o desempenho.
• vs. Métodos Assistidos por Gradiente: O AAAC iguala ou supera o desempenho de métodos que exigem horas de otimização e alta memória.
  • O AAAC alcançou 60,0% de recuperação média de lacuna, igualando o QuIP# com ajuste fino (60,0%) e superando o OmniQuant (55,0%), o SqueezeLLM (55,0%) e o GPTVQ (25,0%).
  • Crucialmente, o AAAC alcança isso com memória de pico não maior que o tamanho original do modelo e em minutos, em vez de horas.
• Tarefas de Downstream: Em 8 tarefas de downstream (raciocínio, conhecimento, senso comum, matemática) usando modelos Qwen3.5, o AAAC alcançou a maior precisão média (64,21%) entre todos os métodos quantizados, recuperando 49,3% da lacuna em relação à linha de base BF16.
• Combinação com AWQ: Quando combinado com AWQ (escalando pesos antes da quantização), o AAAC recupera 70,5% da lacuna de quantização em média, demonstrando compatibilidade com outras técnicas de PTQ.

5. Significado e Alegações

O artigo alega que o AAAC desafia a suposição predominante de que gradientes são necessários para fechar a lacuna de qualidade entre modelos quantizados em 4 bits e bases de precisão total. Ao demonstrar que um método leve e sem gradiente pode igualar ou superar o desempenho de algoritmos complexos assistidos por gradiente, os autores sugerem que codebooks aprendidos em escala mínima representam uma direção prática e eficiente para a quantização de LLMs em 4 bits.

O significado reside no trade-off: o AAAC oferece precisão próxima ao estado da arte (rivalizando com métodos que exigem 100 horas de GPU) com custo computacional mínimo (minutos) e sobrecarga de memória zero, tornando a quantização de alta qualidade em 4 bits acessível para uma gama mais ampla de cenários de implantação.

Limitações notadas pelos autores:

• A avaliação é limitada a modelos de até 32B parâmetros; dinâmicas de 70B+ não foram testadas.
• As comparações com métodos assistidos por gradiente são restritas a LLaMA 7B/13B devido à consistência de protocolo na literatura anterior.
• O método visa quantização apenas de pesos (W4A16/W4A8) e não aborda quantização conjunta de pesos-ativação (W4A4).