🤖 AI

DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation

Este artigo introduz o DeVIT, um método de aceleração de baixo consumo para Vision Transformers que explora a localidade de valores em modelos quantizados para permitir a multiplicação de matrizes sem multiplicadores por meio de computação diferencial.

Autores originais: Reyhaneh Hosseinzadeh, Parham Zilouchian Moghaddam, Mehdi Modarressi

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Reyhaneh Hosseinzadeh, Parham Zilouchian Moghaddam, Mehdi Modarressi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô superinteligente a reconhecer imagens, como identificar um gato em uma árvore ou um carro em uma rua. Para fazer isso, usamos programas de computador especiais que imitam o cérebro, chamados "Vision Transformers". Esses programas são incrivelmente poderosos, mas também são feras gigantescas e vorazes. Eles precisam realizar bilhões de cálculos matemáticos minúsculos toda vez que olham para uma foto, e devoram enormes quantidades de memória e bateria. Por causa disso, é muito difícil colocá-los em dispositivos pequenos, como celulares ou drones, sem que eles superaqueçam ou fiquem sem energia.

Para domar essas feras famintas, os cientistas têm tentado tornar a matemática mais simples. Um truque popular é a "quantização", que é como arredondar os números que o robô utiliza. Em vez de usar decimais precisos, o robô usa apenas um conjunto limitado de números inteiros, como 0, 1, 2, até 255. Isso economiza espaço, mas não impede o robô de fazer bilhões de multiplicações. No entanto, há um bônus oculto para esse arredondamento: como o robô é forçado a usar apenas alguns números específicos, ele acaba usando os mesmos números repetidamente. É como se um chef tivesse apenas cinco ingredientes; ele usaria o mesmo pote de tempero repetidamente. A grande questão é: podemos construir um robô que perceba quando está prestes a usar o mesmo tempero novamente e pule o trabalho, economizando energia nesse processo?

É exatamente isso que os pesquisadores por trás do DeVIT (Delta-coded Vision Transformer) se propuseram a resolver. Eles perceberam que, como esses "Vision Transformers" são forçados a usar um conjunto limitado de números, os pesos (os números que dizem ao robô o que procurar) frequentemente ficam logo ao lado uns dos outros em valor. Por exemplo, se o robô precisa multiplicar um número por 5, depois por 6, depois por 7, ele não precisa fazer três cálculos separados e difíceis. Ele pode apenas fazer o primeiro, depois somar um pouquinho para o próximo, e somar um pouquinho mais para o seguinte.

A equipe do DeVIT inventou uma maneira inteligente de organizar esses números para que o robô possa usar esse truque de "somar um pouquinho" em vez de fazer multiplicações completas e pesadas. Eles ordenam os números em uma linha, do menor para o maior, e armazenam apenas a diferença entre eles (o "delta"). Se a diferença for pequena, o robô pode apenas "deslocar" o número (o que é como multiplicar por 2 ou 4) e somá-lo, em vez de fazer uma multiplicação complexa. Se a diferença for zero (significando que o número é o mesmo do anterior), o robô não precisa fazer nada — ele apenas reutiliza a resposta anterior.

Ao usar este método, os pesquisadores mostraram que conseguiram reduzir a quantidade de matemática que o robô precisa fazer para apenas 0,53 do que uma versão não otimizada precisaria. Isso significa que o robô faz menos da metade do trabalho! Em seus testes, este novo design usou 159,57 nJ (nanojoules) de energia para um único passo principal de cálculo. Isso é cerca de 5,5% menos energia do que os melhores métodos de "deslocamento e soma" existentes com os quais eles compararam.

No entanto, há uma ressalva. Para fazer isso funcionar, os pesquisadores tiveram que ordenar os números e armazenar informações extras sobre onde eles pertencem, o que consome um pouco de espaço de memória extra. Além disso, como eles estão aproximando as diferenças, há uma pequena troca em termos de precisão. Em seus experimentos com diferentes modelos, a precisão caiu um pouco — às vezes até 3,11 pontos percentuais para classificação de imagens ou 2,53 pontos de mAP para detecção de objetos. Embora este seja um preço pequeno a pagar por uma economia de energia tão grande, isso significa que o método ainda não é perfeito para todas as situações.

Em resumo, o DeVIT é como dar ao robô uma folha de consulta. Em vez de recalcular os mesmos problemas matemáticos do zero toda vez, ele olha para sua lista ordenada de números, vê que o próximo está apenas um pequeno passo de distância e pega um atalho. Isso torna o robô mais rápido e muito mais eficiente energeticamente, nos aproximando de ter uma IA poderosa que possa rodar em dispositivos do dia a dia sem esgotar a bateria.

Resumo Técnico: DeVIT – Aceleração de Vision Transformer de Baixo Consumo Usando Computação Delta

Definição do Problema
Os Vision Transformers (ViTs) alcançaram um desempenho de estado da arte em visão computacional ao utilizar a autoatenção para modelar dependências de longo alcance. No entanto, sua implantação em dispositivos com recursos limitados é dificultada por requisitos substanciais de computação e memória. Diferente das Redes Neurais Convolucionais (CNNs), os ViTs exibem complexidade quadrática na extensão da sequência para a autoatenção, levando a cargas massivas de multiplicações e acumulações (MACs). Por exemplo, um modelo ViT-B/16 requer 17,6 bilhões de MACs para uma única imagem de 224×224, excedendo significativamente os 4,1 bilhões de MACs exigidos pela ResNet-50. A quantização (por exemplo, 8 bits) é um método padrão para reduzir o tamanho e a complexidade do modelo, mas introduz uma propriedade secundária: a localidade de valor. Em matrizes quantizadas de baixa bitagem, os pesos são restritos a uma faixa limitada de valores discretos, fazendo com que muitos pesos dentro de uma linha sejam idênticos ou muito próximos em valor. Os aceleradores de hardware existentes muitas vezes falham em explorar totalmente essa localidade para eliminar multiplicações redundantes, particularmente nas camadas lineares densas (projeções e Redes Feed-Forward) que dominam a computação do ViT.

Metodologia: DeVIT
O artigo propõe o DeVIT (Delta-coded Vision Transformer), um método de aceleração que aproveita a computação diferencial para substituir multiplicações caras por operações de deslocamento e soma (shift-and-add). A metodologia central envolve três etapas principais:

Ordenação de Pesos e Codificação Delta:
Em vez de armazenar valores absolutos de peso, o DeVIT ordena os pesos dentro de cada linha da matriz de pesos em ordem crescente. Em seguida, armazena as diferenças ( $\Delta W$ ) entre os pesos ordenados consecutivos em vez dos próprios pesos.
- Computação Delta: A multiplicação de um elemento de entrada $a$ com um peso ordenado $W_2$ é computada como $a \times W_2 = (a \times W_1) + (a \times \Delta W)$ , onde $W_1$ é o peso precedente.
- Deslocamento e Soma (Shift-and-Add): Devido à localidade de valor, os valores de $\Delta W$ são tipicamente pequenos (frequentemente 0, 1 ou 2). Esses pequenos diferenciais são aproximados como potências de dois, permitindo que a multiplicação $a \times \Delta W$ seja substituída por uma simples operação de deslocamento de bits (bit-shift).
- Pulo de Delta Zero (Zero Delta Skipping): Quando pesos consecutivos são idênticos, $\Delta W = 0$ . O sistema pula a computação para essas instâncias e reutiliza o produto parcial anterior, eliminando efetivamente as operações para pesos redundantes.
Fluxo de Dados Estacionário de Entrada (Input-Stationary Dataflow):
Para permitir o reuso dos resultados de multiplicação, o DeVIT adota uma ordem de execução estacionária de entrada. Elementos de entrada são buscados sequencialmente e reutilizados em todas as computações necessárias para uma linha específica de pesos. Isso garante que um único operando de entrada seja multiplicado por uma sequência de pesos ordenados, tornando viável a abordagem diferencial.
Estratégia de Particionamento:
Para gerenciar o tamanho dos buffers e o consumo de energia, as matrizes de pesos são particionadas em blocos menores (por exemplo, 64 ou 16 elementos) antes da ordenação e codificação.
- Compromissos (Trade-offs): Partições menores reduzem o armazenamento necessário para os índices de destino e buffers de saída, mas aumentam ligeiramente a magnitude dos deltas (reduzindo a frequência de deltas zero ou pequenos).
- Codificação de Índice: Cada delta é pareado com um índice que indica sua posição de coluna original para restaurar a ordem correta de saída. A codificação utiliza um código delta de 4 bits (sinal + magnitude de 3 bits para potências de dois) e um índice de largura variável dependendo do tamanho da partição.

Principais Contribuições

Aceleração Baseada em Delta para ViTs: O DeVIT é a primeira arquitetura a adaptar a computação diferencial (previamente explorada em CNNs como $\Delta$ NN) especificamente para o fluxo de dados denso baseado em tokens dos Vision Transformers.
Multiplicação de Matrizes Sem Multiplicador: Ao transformar as matrizes de pesos em formatos codificados por delta, a abordagem converte as operações dominantes de GEMM (General Matrix Multiply) nos ViTs em processos básicos de deslocamento e soma, reduzindo significativamente a complexidade do hardware.
Otimização Consciente do Sistema: O artigo introduz um fluxo de dados específico, estratégia de particionamento e esquema de gerenciamento de índices adaptados para as camadas de projeção densa e feed-forward dos ViTs, distinguindo-se de trabalhos anteriores focados em esparsidade ou mecanismos de atenção.
Implementação de Hardware: Os autores apresentam um design RTL sintetizado em um processo tecnológico de 15 nm, demonstrando a viabilidade prática da abordagem.

Resultados Experimentais
Os autores avaliaram o DeVIT em vários benchmarks, incluindo ViT-B/16, DeiT, Swin Transformer e DETR-ResNet-50, utilizando pesos quantizados de 8 bits.

Carga de Computação: O DeVIT reduz a carga de computação normalizada para 0,53 de uma linha de base não otimizada. Este valor é inferior às configurações de attention-skip (0,70) e FC1-skip (0,61) do método FACT, embora seja ligeiramente superior ao FC2-skip mais agressivo do FACT (0,47).
Eficiência Energética: A energia de GEMM única medida para o DeVIT é de 159,57 nJ. Isso é aproximadamente 5,5% menor do que a configuração de menor energia do ShiftAddLLM (168,84 nJ) incluída na comparação.
Acurácia: O método mantém alta acurácia com degradação mínima. Por exemplo, a acurácia Top-1 do ViT-B/16 cai de 83,71% (FP32) para 83,48% (DeVIT $\Delta$ -64). A maior queda observada de acurácia foi de 3,11 pontos percentuais para o Top-1 do Swin e 2,53 pontos mAP para o DETR na configuração de partição de 32 elementos.

Significância e Alegações
O artigo afirma que o DeVIT melhora significativamente a praticidade de implantar modelos de transformer para tarefas de processamento de imagem em uma gama mais ampla de dispositivos, reduzindo tanto a carga computacional quanto o consumo de energia além do que é alcançável apenas com a quantização. Ao explorar a localidade de valor através da computação diferencial, o DeVIT simplifica as operações essenciais de multiplicação de matrizes nas camadas de transformer em processos de deslocamento e soma, sem exigir agendamento dinâmico complexo ou predição por entrada. Os autores posicionam o DeVIT como uma otimização complementar consciente do sistema que visa as camadas lineares densas — o principal gargalo nos ViTs — oferecendo um equilíbrio entre eficiência de hardware, uso de memória e acurácia do modelo.

Mais como este