🤖 machine learning

EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture

Este artigo apresenta o EVA, uma arquitetura co-otimizada em hardware e software que acelera a decodificação de LLMs ao transformar buscas de quantização vetorial limitadas por memória em operações GEMM eficientes e sem conflitos, alcançando até 11,17× de aceleração e 7,17× de maior eficiência energética em comparação com os métodos mais avançados.

Autores originais: Bowen Duan, Cong Guo, Chiyue Wei, Haoxuan Shan, Yuzhe Fu, Xinhua Chen, Yifan Xu, Ziyue Zhang, Changchun Zhou, Hai Li, Yiran Chen

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bowen Duan, Cong Guo, Chiyue Wei, Haoxuan Shan, Yuzhe Fu, Xinhua Chen, Yifan Xu, Ziyue Zhang, Changchun Zhou, Hai Li, Yiran Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva de conhecimento (um Modelo de Linguagem Grande, ou LLM) que pode escrever histórias, resolver problemas de matemática e conversar com você. Para fazer essa biblioteca funcionar, o computador precisa fazer duas coisas principais: ler um grande bloco de texto de uma só vez (a etapa de "preenchimento" ou "prefill") e escrever uma palavra de cada vez, repetidamente (a etapa de "decodificação" ou "decoding").

O artigo argumenta que, embora a leitura seja rápida, escrever uma palavra de cada vez é incrivelmente lento e desperdiçador nos computadores atuais. Os autores, uma equipe da Universidade Duke, construíram um novo sistema chamado EVA para corrigir isso.

Veja como o EVA funciona, explicado através de analogias simples:

O Problema: O Engarrafamento de "Uma Palavra de Cada Vez"

Pense no cérebro do computador (o processador) como uma fábrica gigante com milhares de trabalhadores (unidades de processamento) prontos para fazer matemática.

A Etapa de Preenchimento (Leitura): Imagine que a fábrica recebe um grande carregamento de 1.000 caixas. Todos os trabalhadores podem pegar uma caixa e trabalhar nela simultaneamente. Isso é rápido e eficiente.
A Etapa de Decodificação (Escrita): Agora, imagine que a fábrica precisa produzir apenas um item minúsculo, depois esperar, produzir mais um, depois esperar. Mesmo que a fábrica tenha milhares de trabalhadores, apenas um ou dois estão ocupados a qualquer momento. O resto fica parado, sem fazer nada. Este é o problema "GEMV" mencionado no artigo: o computador está limitado pela memória (esperando dados) em vez de limitado pelo processamento (fazendo matemática), levando a um engarrafamento massivo.

A Solução Antiga: O Gargalo da "Consulta ao Dicionário"

Para tornar a fábrica mais rápida, os engenheiros tentaram encolher o "manual de instruções" (os pesos do modelo) usando uma técnica chamada Quantização Vetorial (VQ).

A Analogia: Em vez de escrever a instrução completa para cada palavra, eles substituíram instruções longas por códigos curtos (como "A1", "B2") que apontam para um dicionário compartilhado (o Codebook).
O Novo Problema: Embora isso encolha o manual, cria um novo engarrafamento. Toda vez que a fábrica precisa produzir uma palavra, ela precisa correr até o dicionário, procurar o código e pegar a instrução.
O Conflito: Imagine 100 trabalhadores correndo todos para a mesma prateleira no dicionário exatamente ao mesmo tempo. Eles esbarram uns nos outros, causando um conflito de memória. Eles precisam esperar na fila, atrasando tudo. O artigo chama isso de "Ineficiência de Memória".

A Solução EVA: Mudando o Fluxo de Trabalho

Os autores do EVA perceberam que não precisavam mudar o dicionário; precisavam apenas mudar como os trabalhadores o usavam. Eles introduziram um truque mágico de duas etapas:

Etapa 1: Faça a Matemática Antes de Procurar o Código

Em vez de procurar o código primeiro e depois fazer a matemática, o EVA inverte a lógica.

A Analogia: Imagine que os trabalhadores não esperam pelo dicionário. Em vez disso, eles pegam a entrada (a pergunta) e a processam contra o dicionário inteiro de uma só vez.
O Resultado: Isso transforma o problema matemático "um por um" em um problema matemático de "grande lote". Em termos de computador, eles transformaram uma operação lenta GEMV (Matriz-Vetor) em uma operação rápida GEMM (Matriz-Matriz). Agora, todos os trabalhadores da fábrica estão ocupados novamente, fazendo matemática em paralelo.

Etapa 2: A Consulta "Sem Conflitos"

Uma vez que a matemática é feita, os trabalhadores têm uma lista de "resultados intermediários" (um Codebook de Saída).

A Analogia: No sistema antigo, todos corriam para a mesma prateleira. No EVA, os resultados são pré-classificados em diferentes, separados, recipientes. Quando um trabalhador precisa de um resultado específico, ele vai para o seu próprio recipiente dedicado. Ninguém esbarra em ninguém.
O Resultado: O "conflito de memória" desaparece completamente. A consulta torna-se instantânea e paralela.

O Hardware: Um Chão de Fábrica Inteligente

O artigo também descreve a máquina física (o chip) construída para executar este sistema:

Trabalhadores Reconfiguráveis: Os trabalhadores da fábrica são inteligentes. Eles podem mudar de modo. Quando o computador está "lendo" (preenchimento), eles trabalham com números simples e rápidos de 8 bits. Quando está "escrevendo" (decodificação), eles mudam para números mais precisos de 16 bits para manter a qualidade alta.
Somadores Especializados: A etapa final de escrever uma palavra envolve apenas somar números. O EVA adiciona uma estação especial de "somador" no final da linha que é super rápida e não precisa de ferramentas matemáticas complexas, mantendo a linha fluindo suavemente.

Os Resultados: Velocidade e Eficiência

O artigo testou o EVA contra os melhores sistemas existentes (como FIGLUT e GPUs padrão) usando modelos de IA populares (como LLaMA).

Velocidade: O EVA foi até 11 vezes mais rápido na geração de texto do que os melhores sistemas baseados em consulta existentes.
Energia: Ele usou 7 vezes menos energia para fazer o mesmo trabalho.
Qualidade: Apesar de comprimir o modelo tão pesadamente (até precisão de 2 bits, o que é como comprimir uma foto de alta resolução em um ícone minúsculo), a qualidade do texto permaneceu excelente, com quase nenhuma perda de precisão.

Resumo

EVA é como redesenhar uma fábrica para que, em vez de ter trabalhadores fazendo fila para pegar instruções uma por uma, eles processem as instruções em um lote massivo e organizado, onde todos têm sua própria faixa. Isso elimina os engarrafamentos, mantém todos os trabalhadores ocupados e faz a IA escrever texto significativamente mais rápido e com mais eficiência.

Resumo Técnico: EVA - Aceleração da Decodificação de LLMs via uma Arquitetura de Quantização Vetorial Eficiente

1. Declaração do Problema

Os Modelos de Linguagem de Grande Porte (LLMs) sofrem de ineficiências significativas de inferência durante a fase de decodificação autoregressiva. Diferentemente da etapa de preenchimento (prefill), que utiliza operações de Multiplicação de Matriz Geral (GEMM) limitadas por computação, a decodificação gera tokens sequencialmente, resultando em uma série de operações de Multiplicação de Matriz-Vetor Geral (GEMV) em pequena escala. Essa mudança leva a dois gargalos primários em aceleradores de hardware modernos:

Ineficiência Computacional: As operações GEMV subutilizam os elementos de processamento (PEs) em aceleradores otimizados para cargas de trabalho GEMM de grande porte, deixando a maioria das faixas (lanes) ociosa.
Ineficiência de Memória: Embora a Quantização Vetorial Apenas de Pesos (VQ) comprima efetivamente os pesos do modelo (até 2 bits) para reduzir a largura de banda de memória, o processo padrão de decodificação requer consultas ao livro de códigos (codebook lookups). Essas consultas envolvem padrões de acesso à memória irregulares e não coalescidos que causam conflitos frequentes de bancos de memória, serialização e redução da eficiência de cache. Consequentemente, implementações convencionais de VQ frequentemente falham em superar, e podem até ser mais lentas que, a inferência padrão FP16.

2. Metodologia: A Arquitetura EVA

O artigo propõe o EVA, uma arquitetura co-projetada para hardware e software que reestrutura o processo de decodificação VQ para eliminar tanto os gargalos computacionais quanto os de memória. A ideia central é transformar o fluxo de trabalho de decodificação de um GEMV limitado por memória com consultas propensas a conflitos em um GEMM eficiente em computação e livre de conflitos.

A. Reformulação Algorítmica: De GEMV para GEMM

O EVA introduz uma reformulação em duas etapas da computação de decodificação:

Produtos Escalar Entrada-Livro de Códigos (GEMV $\to$ GEMM): Em vez de reconstruir a matriz de pesos completa a partir de índices e, em seguida, realizar GEMV, o EVA calcula diretamente os produtos escalares entre os vetores de ativação de entrada e o Livro de Códigos de Pesos (WC).
- A entrada é remodelada em vetores de tamanho $d$ .
- Esses vetores são multiplicados pelo WC (contendo $2^n$ centróides) para gerar um Livro de Códigos de Saída (OC) intermediário.
- Isso transforma a operação de 1 GEMV ( $M=1$ ) em um GEMM compacto ( $O = X \times B$ ), aumentando significativamente a intensidade aritmética e o paralelismo.
Consulta Livre de Conflitos: A saída final é obtida consultando valores no OC usando a matriz de Índice de Pesos (WI).
- Diferentemente da VQ padrão, onde consultas ao WC causam conflitos de banco, o OC é estruturado de modo que linhas diferentes (derivadas de diferentes vetores de entrada) mapeiem para bancos de memória diferentes.
- Isso garante que acessos simultâneos a índices (por exemplo, índices 5 e 3) mapeiem para bancos distintos, eliminando completamente os conflitos de memória.

B. Arquitetura de Hardware

O EVA implementa essa reformulação em um acelerador especializado:

Unidade GEMM de Precisão Mista Reconfigurável: O núcleo utiliza uma matriz sístólica que suporta tanto INT8 (para a etapa de preenchimento/prefill) quanto FP16 (para decodificação VQ). Isso é alcançado reconfigurando uma matriz INT8 $32 \times 32$ em uma matriz FP16 $32 \times 8$ , decompondo multiplicações FP16 em quatro operações INT8. Isso permite a troca contínua entre os modos de preenchimento e decodificação sem duplicação de hardware.
Unidade de Epílogo (EU): Uma unidade dedicada e leve opera nas operações pós-GEMM. Ela realiza consultas livres de conflitos no OC e acumula os resultados usando árvores de somadores. A EU é projetada para ser escalável e opera em paralelo com o pipeline GEMM para ocultar a latência.
Estratégia de Fragmentação (Tiling): A arquitetura emprega uma abordagem de pesos estacionários, onde o Livro de Códigos de Pesos e o Livro de Códigos de Saída permanecem on-chip, enquanto os tensores de entrada e índice são transmitidos em fragmentos (tiles). Isso minimiza o tráfego de memória off-chip.

3. Contribuições Principais

Formulação GEMM Orientada a Livros de Códigos: O artigo propõe uma reformulação matemática inovadora que substitui a decodificação de pesos por produtos escalares diretos entrada-livro de códigos. Isso desloca o paradigma de decodificação de GEMV limitado por memória para GEMM eficiente em computação.
Consulta ao Livro de Códigos de Saída Livre de Conflitos: Foi desenvolvido um mecanismo que reorganiza o acesso à memória para eliminar conflitos de banco, uma limitação primária dos métodos de quantização baseados em consultas existentes.
Arquitetura Co-Otimizada Hardware-Software: O EVA foi projetado especificamente para decodificação de LLMs, mantendo compatibilidade com a execução convencional de preenchimento (prefill). Possui uma matriz sístólica reconfigurável e uma unidade de epílogo especializada para maximizar a utilização em diferentes precisões de quantização.

4. Resultados Experimentais

Os autores avaliaram o EVA usando os modelos LLaMA-1, LLaMA-2, LLaMA-3, Mixtral-8x7B e Qwen3-30B-A3B contra bases de comparação de última geração (Matriz Sístólica, ANT, FIGNA e FIGLUT) em um processo TSMC de 28nm a 500MHz.

Aceleração: O EVA alcança até 11,17× de aceleração na latência de decodificação em comparação com a arquitetura baseada em consultas de última geração (FIGLUT).
Eficiência Energética: O EVA demonstra 7,17× maior eficiência energética em comparação com o FIGLUT.
Precisão: O EVA preserva a precisão aritmética após a quantização vetorial. Na precisão de 2 bits, o EVA (usando AQLM) mantém precisão competitiva, superando bases de comparação não analíticas como GPTQ por margens significativas (por exemplo, ~19 pontos percentuais em média em benchmarks downstream para 2 bits).
Desempenho End-to-End: Em conjuntos de dados pesados em decodificação (por exemplo, Dolly), o EVA alcança uma aceleração end-to-end média de 8,20× a 24,49× sobre as bases de comparação.

5. Significado e Alegações

O artigo alega que o EVA representa uma mudança fundamental na forma como a inferência de LLMs quantizados vetorialmente é executada em hardware. Ao abordar as causas raiz da ineficiência — especificamente a subutilização do GEMV e os conflitos de banco de memória inerentes à quantização baseada em consultas —, o EVA permite a implantação prática de modelos altamente comprimidos (2 bits) sem sacrificar a velocidade de inferência.

Os autores enfatizam que sua abordagem é agnóstica ao algoritmo em relação ao método específico de quantização (por exemplo, AQLM, GPTVQ), mas depende das propriedades estruturais da quantização vetorial. Eles afirmam que o EVA é o primeiro acelerador em nível de arquitetura projetado especificamente para resolver os gargalos do sistema de memória da inferência de LLMs quantizados vetorialmente, oferecendo uma solução escalável que preenche a lacuna entre a compressão agressiva de modelos e a execução de hardware de alto desempenho.