CascadeLUT: Information-Ordered Streaming Inference for Bandwidth-Constrained FPGAs

Resumo Técnico: CascadeLUT

Definição do Problema
Embora os FPGAs ofereçam inferência de baixa latência e eficiência energética para redes neurais (NNs), particularmente por meio de modelos baseados em Tabelas de Busca (LUTs) que eliminam multiplicadores, as arquiteturas existentes enfrentam um gargalo crítico em cenários de streaming com largura de banda limitada. As pipelines de inferência convencionais em FPGA assumem a disponibilidade total da amostra, armazenando todo o vetor de entrada antes do início da computação. Em ambientes onde os dados chegam através de links de largura de banda limitada (ex: memória off-chip, sensores ou interconexões), essa abordagem causa paralisações na pipeline e ciclos de computação ociosos. Consequentemente, o gargalo do sistema desloca-se da computação para a movimentação de dados, onde o custo de transferência de características excede o custo de avaliação, levando ao aumento da latência de ponta a ponta e à redução da eficiência energética.

Metodologia
Os autores propõem o CascadeLUT, uma estrutura de inferência de streaming ordenada por informação, projetada especificamente para FPGAs com largura de banda restrita. A inovação central é uma arquitetura de cascata agendada estaticamente que elimina o buffering de entrada completa ao particionar as características em subconjuntos ordenados.

• Streaming Ordenado por Informação: Em vez de esperar pelo input completo, as características são transmitidas em uma ordem fixa e aprendida baseada na saliência. A rede processa esses subconj 싶conjuntos conforme eles chegam, refinando progressivamente as predições. A computação começa imediatamente após a chegada do primeiro subconjunto, sobrepondo a movimentação de dados com a inferência.
• Topologia de Cascata Estática: A rede é organizada como uma cascata onde camadas específicas são designadas para consumir novas características que chegam (estágios de injeção de características), enquanto outras propagam ativações intermediárias. Esse agendamento é determinado em tempo de design, garantindo uma execução determinística e livre de desvios (branch-free) sem lógica de controle em tempo de execução.
• Saliência e Ordenação de Características: Um método de agendamento de características deriva uma ordem de transmissão analisando os pesos de um modelo substituto (surrogate model) totalmente conectado. As características são classificadas por sua contribuição para as ativações dos neurônios (máscaras top-k) e atribuídas a subconjuntos de modo que as características mais discriminativas cheguem primeiro.
• Quantização de Entrada Aprendida: Para minimizar a largura de bits sob restrições de largura de banda fixas, a estrutura integra o pré-processamento no dispositivo. Cada característica é quantizada usando limiares e escalas aprendidos, implementados diretamente como comparadores baseados em LUT. Isso permite que dados brutos de sensores (ex: int8) sejam transmitidos e quantizados no chip sem adicionar estágios de pipeline ou latência significativa.
• Co-design de Hardware: A arquitetura é implementada em um Xilinx Zynq Z-7045. A pipeline é totalmente estática, com registros inseridos apenas entre os estágios de características para atender ao tempo (timing), permitindo altas frequências de clock (200 MHz) e pipelining eficiente.

Principais Contribuições

1. Arquitetura Inovadora: Um fluxo de ferramentas de código aberto que implementa uma arquitetura de cascata agendada estaticamente, que organiza a computação em torno de um agendamento de características aprendido, permitindo a inferência diretamente em dados de streaming.
2. Agendamento de Características: Um método para derivar uma ordem de transmissão que prioriza características salientes sob restrições de largura de banda fixas, permitindo predições precisas a partir de inputs parciais.
3. Pré-processamento Integrado no Dispositivo: Uma demonstração de que o pré-processamento aprendido (quantização) pode ser implementado na lógica (fabric) do FPGA com modesta sobrecarga de área, permitindo pipelines de ponta a ponta que consomem dados brutos de sensores.
4. Validação Empírica: Resultados abrangentes em FPGA através de quatro conjuntos de dados (MNIST, FashionMNIST, KWS, ToyADMOS) demonstrando melhorias significativas em latência, throughput e eficiência energética em comparação com baselines anteriores baseados em LUT.

Resultados
Avaliado em um Xilinx Zynq Z-7045 a 200 MHz com uma restrição de entrada de 112 bits/ciclo, o CascadeLUT alcança os seguintes ganhos de desempenho sobre arquiteturas anteriores de ultra-baixa latência (incluindo baselines NeuraLUT-Assemble e DWN):

• Latência: Redução de 4,0× a 12,5×. Por exemplo, a latência de inferência do MNIST cai de 40 ns para 10 ns.
• Throughput: Aumento de 3,0× a 5,0× (ex: até 100,0M amostras/s no MNIST).
• Eficiência Energética: Até 13,8× menor energia por amostra, atribuído à redução de ciclos ativos da pipeline.
• Acurácia: Mantém acurácia comparável ou superior aos baselines (ex: 98,59% no FashionMNIST com aumento de dados) apesar de operar em subconjuntos de entrada truncados.
• Uso de Recursos: O método utiliza de 1,2× a 4,4× mais Look-Up Tables (LUTs) do que o menor baseline DWN por tarefa. Este aumento é atribuído ao fan-in necessário para a injeção de características e lógica entre estágios. No entanto, permanece significativamente mais eficiente em área do que o ULEEN (que utiliza 4–12× mais LUTs).
• Sobrecarga de Pré-processamento: A quantização no dispositivo adiciona uma modesta sobrecarga de área (ex: 0,5k LUTs para MNIST), que é reduzida pela truncagem de características (apenas os quantizadores para as características utilizadas são instanciados).

Significância
O artigo postula que o co-design de transporte de características, representação e computação em torno de restrições de streaming melhora fundamentalmente a eficiência da inferência em FPGA. Ao mudar o paradigma de "computar após o buffer completo" para "computar conforme os dados chegam", o CascadeLUT aborda o gargalo de movimentação de dados que limita os sistemas atuais baseados em LUT. Os resultados demonstram que a inferência de streaming determinística e consciente da largura de banda pode alcançar ordens de magnitude de melhoria em latência e energia sem sacrificar a acurácia, tornando-se uma solução viável para aplicações de borda (edge) em tempo real e com recursos limitados.