Resumo Técnico: LL-ViT – Vision Transformers Implementáveis em Edge com Neurônios de Tabela de Consulta (Look Up Table)

Declaração do Problema

Os Vision Transformers (ViTs) alcançaram um desempenho de estado da arte em visão computacional, mas enfrentam barreções significativas para implantação em dispositivos de borda (edge), particularmente em FPGAs (Field-Programmable Gate Arrays). Sua grande pegada computacional, de memória e de energia excede as capacidades de plataformas de borda comerciais. Por exemplo, variantes compactas como o DeiT-T exigem aproximadamente 20 MB de armazenamento de pesos, superando a memória on-chip de muitos FPGAs.

Estratégias de otimização existentes, como o carregamento de pesos off-chip e a quantização agressiva, introduzem compensações (trade-offs): o acesso frequente off-chip aumenta o consumo de energia, enquanto a quantização agressiva frequentemente degrada a precisão do modelo. Além disso, soluções híbridas recentes que utilizam execução em pipeline em plataformas de alto desempenho (ex: AMD/Xilinx Versal) alcançam alto throughput, mas em níveis de potência (ex: ~40W) inadequados para cenários de borda operados por bateria.

Trabalhos recentes sobre redes baseadas em Lógica e Tabelas de Consulta (LUT) (ex: LogicNets, NeuraLUT, Differentiable Weightless Neural Networks) oferecem modelos com reduzida pegada de memória e computação, mas historicamente foram limitados a conjuntos de dados pequenos e tarefas simples. Esses modelos normalmente apresentam desempenho insatisfatório em benchmarks padrão de visão computacional como CIFAR-10/100 e não foram integrados com sucesso à arquitetura complexa de Vision Transformers.

Metodologia

Os autores propõem o LL-ViT (Learned-LUT based Vision Transformers), um novo co-design algoritmo-hardware que integra neurônios baseados em LUT diretamente na arquitetura do transformer para otimizar a inferência em edge.

1. Análise de Carga de Trabalho e Motivação

Os autores caracterizam arquiteturas típicas de ViT (especificamente o DeiT-T) e identificam que as camadas Multilayer Perceptron (MLP) (misturadores de canal) são o principal gargalo. Essas camadas contribuem com mais de 60% dos pesos totais do modelo e 55% das operações de Multiply-Accumulate (MAC) totais. Essa observação motiva a substituição do bloco MLP padrão por uma alternativa mais eficiente, mantendo o token mixer Multi-Head Self-Attention (MHA), que é menos dominante em termos de peso.

2. Misturador de Canal Baseado em LUT Aprendível

Em vez de simplesmente substituir multiplicações por buscas em tabela pós-treinamento, os autores projetam um misturador de canal baseado em LUT aprendível que é treinado de ponta a ponta.

• Arquitetura: O bloco proposto substitui o padrão MLP de duas camadas. Ele utiliza codificação termômetro (thermometer encoding) para converter ativações de entrada em sequências de bits, que são então processadas através de camadas configuráveis de neurônios de LUT.
• Diferenciabilidade: Para permitir o backpropagation, os autores empregam técnicas de Diferença Finita Estendida (provenientes de Differentiable Weightless Neural Networks) para aproximar os gradientes para as entradas da LUT.
• Soma Condicional: Uma nova camada de soma condicional segue os neurônios de LUT. Ela adiciona valores codificados à saída apenas se a saída do neurônio de LUT correspondente estiver ativa (1). Esta camada permite que a rede produza saídas de valor real necessárias pelo transformer, mantendo um caminho de inferência livre de multiplicações. Durante o treinamento, esses valores codificados são aprendidos em precisão total (fp32) e quantizados pós-treinamento (ex: para int4) para corresponder ao restante da rede.

3. Design do Acelerador FPGA

Os autores co-projetam um acelerador de hardware especificamente para o LL-ViT:

• Elementos de Processamento (PE): Um PE dedicado é projetado para o misturador de canal baseado em LUT. Ele processa ativações de entrada linha a linha em um fluxo pipelined usando buffers ping-pong para evitar paradas (stalls).
• Mapeamento de Recursos: Os neurônios de LUT são mapeados diretamente para os slices de LUT dentro da estrutura lógica do FPGA, eliminando a necessidade de DSPs ou BRAMs para o armazenamento de pesos nessas camadas. Isso contrasta com aceleradores convencionais que requerem DSPs para multiplicação e BRAMs para armazenamento de pesos.
• Pesos Estacionários: Todos os pesos do modelo são armazenados on-chip em BRAMs dedicadas, eliminando o acesso à memória off-chip durante a inferência.
• Token Mixer: O bloco MHA é implementado usando um array sistólico para multiplicações de matrizes, interconectado com o PE do misturador de canal baseado em LUT.

Principais Contribuições

1. Arquitetura Inovadora: Proposta de um bloco misturador de canal baseado em LUT aprendível que se integra perfeitamente aos Vision Transformers, substituindo as camadas MLP computacionalmente pesadas.
2. Modelo Otimizado para Edge: Desenvolvimento de um ViT otimizado para edge (LL-ViT) que combina a mistura de tokens por self-attention com a mistura de canais livre de multiplicação, reduzindo significativamente a demanda computacional e o consumo de memória.
3. Co-Design de Hardware: Design de um acelerador FPGA de baixa potência que evita o movimento de pesos off-chip e aproveita os recursos nativos de LUT dos FPGAs para o misturador de canal.
4. Desempenho em Tarefas Complexas: Extensão das redes neurais baseadas em LUT de conjuntos de dados de pequena escala para tarefas complexas de visão computacional (CIFAR-10/100, TinyImageNet), demonstrando que neurônios de LUT podem aprender invariância posicional e interações de características complexas.

Resultados Experimentais

Os autores avaliaram o LL-ViT em um FPGA AMD Xilinx Virtex (xcvu9p) contra uma baseline totalmente quantizada (INT8) (I-ViT-T) e outros trabalhos anteriores.

• Acurácia: O LL-ViT atinge acurácias comparáveis à baseline:
  • CIFAR-10: 95,5% (vs. 95,4% da baseline)
  • CIFAR-100: 78,8% (vs. 79,2% da baseline)
  • TinyImageNet: 60,9% (vs. 60,4% da baseline)
  • Flowers-102: 91,6% (vs. 91,3% da baseline)
• Tamanho do Modelo & Computação:
  • Redução de 60% nos pesos do modelo (1,93 MB vs. 5,06 MB).
  • Redução de >50% nas operações de MAC (0,65 GMACs vs. 1,31 GMACs).
  • O tamanho reduzido permite que todo o modelo caiba na memória on-chip.
• Eficiência:
  • Melhoria de 1,9× na eficiência energética (2,14 mJ/inferência vs. 4,05 mJ para a baseline).
  • 1,3× menor latência (5,33 ms vs. 6,93 ms).
  • Throughput: Atinge 1083 FPS com um orçamento de potência de 10,9W.
• Comparação: O LL-ViT supera trabalhos anteriores baseados em LUT (ex: TreeLUT, DiffLogicNet), que reportam acurácias significativamente menores (40–80% no CIFAR-10), e demonstra eficiência superior em comparação com outros aceleradores de ViT (ex: HG-PIPE, ViTA) com uma fração da potência.

Significância e Alegações

O artigo afirma que o LL-ViT representa um passo significativo para tornar os Vision Transformers viáveis para implantação em edge. Ao visar as camadas MLP — a principal fonte de overhead de memória e computação — com neurônios de LUT aprendíveis, os autores demonstram que é possível:

1. Reduzir drasticamente o tamanho do modelo e o consumo de energia sem sacrificar a acurácia em benchmarks padrão de visão.
2. Utilizar plenamente os recursos de FPGA ao mapear computações neurais diretamente para os slices de LUT, eliminando o acesso à memória off-chip e reduzindo a dependência de DSPs que consomem muita energia.
3. Preencher a lacuna entre redes neurais baseadas em LUT eficientes e arquiteturas complexas de transformers, provando que neurônios de LUT podem ser treinados para lidar com as complexidades de tarefas de visão anteriormente reservadas para redes densas e pesadas em termos de multiplicação.

Os autores posicionam o LL-ViT como uma "alternativa leve promissora" aos tradicionais ViTs, pavimentando o caminho para "tiny ViTs" que podem ser implantados em dispositivos de borda restritos em recursos e operados por bateria. Eles observam que, embora a técnica tenha sido demonstrada em uma baseline de tiny ViT, os benefícios estruturais devem escalar para variantes maiores.