Resumo Técnico: OASIS

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) demandam recursos substanciais de memória e computação durante a inferência. Embora a quantização seja um método primário para compressão, as abordagens existentes enfrentam um compromisso entre eficiência e precisão:

• Quantização de Apenas Pesos (WOQ): Reduz a memória, mas requer uma desquantização custosa dos pesos para FP16 antes da execução, consumindo frequentemente 20–90% do tempo total de execução.
• Quantização de Peso e Ativação Inteira (INT-WAQ): Permite computação totalmente de baixa precisão, mas sofre de uma degradação significativa de precisão devido às capacidades de representação limitadas.
• Quantização de Peso e Ativação Não Uniforme (NU-WAQ): Utiliza codebooks aprendidos para melhor se ajustar às distribuições de dados, melhorando a precisão. No entanto, seu formato codificado por índices é incompatível com o hardware padrão de baixa precisão, necessitando de desquantização para FP16 e anulando os benefícios computacionais.

Além disso, os outliers de ativação em LLMs são mais numerosos e de maior magnitude do que os outliers de peso, causando alto ruído de quantização. Identificar dinamicamente esses outliers durante a inferência normalmente introduz overhead de latência ao colocar a detecção no caminho crítico da operação de Multiplicação de Matrizes Generalizada (GEMM).

Metodologia

O artigo propõe o OASIS (Outlier-Aware LUT-Based GEMM with Dual-Side Quantization), um framework de co-design algoritmo-arquitetura que permite GEMM eficiente entre pesos e ativações quantizados não uniformemente sem desquantização.

1. WAQ LUT-Based GEMM

O OASIS aproveita três oportunidades específicas na NU-WAQ (Non-Uniform WAQ) para otimizar a computação baseada em Tabela de Consulta (LUT):

• Pré-computação Offline: Diferente dos métodos WOQ onde as LUTs dependem de ativações de streaming, a NU-WAQ utiliza centroides aprendidos offline tanto para pesos quanto para ativações. Isso permite que toda a LUT seja pré-computada e armazenada no chip antes da inferência.
• LUTs de Produto Cartesiano: Em vez de armazenar produtos internos completos (que exigem LUTs grandes dependentes do comprimento de redução), o OASIS armazena o Produto Cartesiano dos centroides de peso e ativação. Isso reduz drasticamente o tamanho da LUT.
• Alto Paralelismo: A LUT de Produto Cartesiano é independente do comprimento de redução (contagem de canais de entrada), permitindo GEMMs de grande granularidade e paralelismo computacional significativamente maior em comparação com os métodos de LUT por grupo existentes.

2. Quantização Sensível a Outliers com Look-Ahead

Para lidar com outliers de ativação sem penalidades de tempo de execução, o OASIS introduz um esquema de computação de dois ramos:

• Ramo Principal (Look-Ahead): Realiza o WAQ LUT-GEMM em todo o vetor de ativação, tratando os outliers como se fossem quantizados normalmente. Este ramo ignora inicialmente o erro de quantização dos outliers.
• Ramo de Outlier (Compensação de Erro): Identifica outliers concorrentemente e calcula seus erros de quantização (resíduos). Esses resíduos são multiplicados pelos pesos desquantizados e acumulados para compensar os erros introduzidos no ramo principal.
• Resultado: O output final é a soma dos resultados do look-ahead e da compensação de erro, matematicamente equivalente à detecção dinâmica de outliers convencional, mas com o processo de detecção removido do caminho crítico.

3. Arquitetura de Hardware

O acelerador OASIS inclui:

• Orizuru: Um mecanismo de detecção top-k leve, baseado em árvore, que identifica os maiores e menores valores de ativação em tempo real. Utiliza árvores binárias de duas vias com nós folha compartilhados para minimizar comparações e latência.
• Elementos de Processamento (PE): Utilizam "Unidades de Concatenação" para mesclar índices de peso e ativação, alimentando-os em Contadores de Índice para determinar a frequência de cada par de índices único.
• Redução: Uma Árvore MAC realiza somas ponderadas usando as contagens de índice e os valores de Produto Cartesiano pré-armazenados da LUT.

Principais Contribuições

1. WAQ LUT-GEMM: Um método inovador que permite GEMM eficiente entre pesos e ativações quantizados não uniformemente sem desquantização, utilizando LUTs de Produto Cartesiano pré-computadas para reduzir o tamanho da LUT em 64× e aumentar o paralelismo em 1024× em comparação com os métodos WOQ LUT existentes (FIGLUT, LUT Tensor Core, LUT-GEMM).
2. Esquema Sensível a Outliers: Um mecanismo de computação look-ahead e compensação de erro concorrente que lida com outliers de ativação sem incorrer em overhead adicional de tempo de execução.
3. Acelerador OASIS: Um design de arquitetura que suporta eficientemente o esquema proposto de WAQ LUT-GEMM.
4. Engine Orizuru: Um mecanismo de detecção top-k leve para identificação em tempo real de outliers de ativação em fluxos de dados.

Resultados Experimentais

Os autores avaliaram o OASIS em vários LLMs (OPT, LLaMA, Mistral) e tarefas (perplexidade, acurácia zero-shot) em uma GPU NVIDIA A100 para benchmarks algorítmicos e um simulador de ciclo preciso para métricas de hardware.

• Desempenho Algorítmico:

  • Comparado à linha de base FP16, o OASIS apresenta uma queda média de acurácia de apenas 1,94% (medida por perplexidade), o que é 6,34% menor que a linha de base Atom.
  • Em precisão W4A4, o OASIS melhora a acurácia em 6,44% sobre o Atom e 6,92% sobre o QuaRot.
  • A detecção dinâmica de outliers (OASIS) supera o limiar estático (OASIS-S), reduzindo a perplexidade em 0,05 (W4A4) e 0,27 (W4A3).

• Desempenho de Hardware:

  • Comparado ao acelerador ASIC FIGLUT, o OASIS alcança um aceleração média de 3,00× e uma melhoria de 1,44× na eficiência energética.
  • Comparado à GPU A100 e ao QuaRot, o OASIS alcança acelerações de 5,41× e 3,12×, respectivamente, em throughput.
  • O OASIS reduz os tamanhos de LUT em 62,1× a 994,2× e os FLOPs de redução em 248,6× a 497,1× em comparação com os designs de WOQ LUT-GEMM existentes (FIGLUT, LUT Tensor Core, LUT-GEMM).

Significância

O artigo afirma que o OASIS preenche a lacuna entre a eficiência algorítmica e a implementação de hardware para a Quantização de Peso e Ativação Não Uniforme. Ao eliminar a necessidade de desquantização e permitir um paralelismo massivo através de LUTs de Produto Cartesiano, o OASIS alcança alta acurácia do modelo com ganhos substanciais de throughput e eficiência energética. O trabalho demonstra que a NU-WAQ, anteriormente dificultada pela incompatibilidade de hardware, pode ser executada eficientemente em aceleradores customizados mantendo a qualidade do modelo comparável às linhas de base FP16.