Data-Rate-Aware High-Speed CNN Inference on FPGAs

Este artigo apresenta uma arquitetura de acelerador de CNN para FPGAs que realiza processamento de múltiplos pixels e exploração do espaço de projeto orientada à taxa de dados, otimizando a utilização de recursos e permitindo a implementação eficiente de redes complexas em um único dispositivo.

O essencial

Imagine que você tem uma fábrica de montagem muito rápida, onde robôs (os circuitos do FPGA) montam produtos complexos (imagens de redes neurais) para carros autônomos ou reconhecimento de voz. O objetivo é fazer isso o mais rápido possível, sem que ninguém fique parado.

Este artigo apresenta uma nova forma de organizar essa fábrica para que ela seja extremamente eficiente, gastando menos energia e recursos, independentemente de quão rápido ou devagar a matéria-prima (os dados da imagem) chega.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: A Fábrica com "Buracos" na Esteira

Antes, as fábricas de IA eram projetadas de duas formas principais:

• Fábricas Gigantes: Processavam a imagem inteira de uma vez. Era super rápido, mas exigia uma fábrica enorme e cara que não cabia em chips pequenos.
• Fábricas em Série: Processavam um pedaço de cada vez. Cabia em chips menores, mas era lenta.

O problema com as abordagens anteriores que tentavam ser rápidas era que a "esteira de produção" tinha buracos.

• A Analogia: Imagine uma linha de montagem de carros. No início, você tem 100 peças chegando por segundo. Mas, depois de uma etapa (como "pooling" ou "convolução com passo"), a fábrica descarta algumas peças e só 50 passam para a próxima etapa.
• Se você construiu a fábrica inteira para lidar com 100 peças, quando a velocidade cai para 50, metade dos seus robôs fica parada, olhando para o nada. Isso é desperdício de dinheiro e energia.

2. A Solução: A Fábrica "Inteligente" e Adaptável

Os autores criaram um novo design que se adapta automaticamente à velocidade dos dados, como um chefe de cozinha que muda o número de ajudantes dependendo de quantos pedidos chegam.

• O Truque da "Multi-Pixel": Em vez de processar apenas uma "unidade" de imagem por vez, o novo sistema consegue processar dois pixels ao mesmo tempo.
• A Analogia: Pense em um caixa de supermercado.
  • Antigo: Um caixa atende um cliente por vez. Se a fila estiver vazia, o caixa fica entediado. Se a fila estiver cheia, ele não consegue dar conta.
  • Novo: O sistema é como ter dois caixas que trabalham juntos. Se a fila estiver cheia, eles atendem dois clientes simultaneamente. Se a fila estiver vazia, eles ajustam o ritmo para não gastar energia à toa.

3. Como Funciona a Mágica (Sem Matemática Chata)

O artigo descreve como eles reorganizam os "robôs" (chamados de KPU e FCU) dentro do chip:

1. Medindo o Ritmo: O sistema olha para a entrada de dados e diz: "Ok, hoje temos 3 dados para cada 2 segundos" ou "Hoje temos 6 dados por segundo".
2. Ajustando a Equipe: Em vez de tentar forçar uma configuração rígida, o sistema escolhe o número exato de robôs necessários para aquele ritmo específico.
   • Se a velocidade é alta, ele usa mais robôs trabalhando em paralelo.
   • Se a velocidade é baixa, ele usa menos robôs, mas garante que nenhum deles fique ocioso.
3. Otimização de Espaço: Eles reorganizaram como os robôs se comunicam. Em vez de cada robô ter sua própria mesa de trabalho (o que ocupa muito espaço), eles compartilham mesas e ferramentas de forma mais inteligente, como uma cozinha profissional onde os chefs compartilham os mesmos batedeiras e facas, mas em momentos diferentes.

4. Os Resultados: Mais Rápido e Mais Barato

Os testes foram feitos com modelos famosos de inteligência artificial (MobileNet). Os resultados foram impressionantes:

• Economia de Espaço: Eles conseguiram reduzir em 22% o espaço físico necessário no chip (LUTs) e em 15% a memória de armazenamento (BRAM) em comparação com designs anteriores. É como conseguir montar a mesma fábrica em um prédio 20% menor.
• Velocidade Insana: No modo mais rápido, o sistema consegue processar 16.000 quadros por segundo (imagens). Para você ter uma ideia, um carro autônomo precisa de cerca de 30 a 60 quadros por segundo. Este chip é capaz de processar a visão de 200 carros autônomos ao mesmo tempo em um único chip pequeno.
• Flexibilidade: O sistema pode ser ajustado para ser super rápido (gastando mais energia) ou super econômico (gastando menos energia e processando mais devagar), tudo no mesmo chip.

Resumo Final

Imagine que você tem um carro esportivo (o FPGA). Os designs antigos eram como colocar um motor V12 gigante nele: rápido, mas bebia muita gasolina e ocupava todo o porta-malas.

Este novo trabalho é como instalar um sistema de injeção de combustível inteligente. O motor continua sendo potente, mas ele ajusta automaticamente a quantidade de combustível e a força dos pistões dependendo se você está na estrada (dados rápidos) ou no trânsito (dados lentos). O resultado? Você tem a mesma velocidade de ponta, mas o carro é mais leve, consome menos e cabe em qualquer garagem.

Em suma: Eles criaram uma maneira de fazer chips de IA que não desperdiçam energia, cabem em dispositivos menores e são incrivelmente rápidos, adaptando-se perfeitamente ao ritmo do trabalho que precisam fazer.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Data-Rate-Aware High-Speed CNN Inference on FPGAs", apresentado em português:

Título: Inferência de Alta Velocidade em CNNs Consciente da Taxa de Dados em FPGAs

1. O Problema

As redes neurais convolucionais (CNNs) exigem inferência de baixa latência e alta taxa de transferência (throughput) em aplicações como direção autônoma e reconhecimento de fala. FPGAs são ideais para isso devido ao paralelismo granular. No entanto, arquiteturas existentes enfrentam desafios significativos:

• Desperdício de Recursos: Camadas como pooling e convoluções com stride (passo) reduzem a taxa de dados (número de pixels/elementos processados) ao longo do pipeline. Em designs totalmente desdobrados (fully unrolled), isso leva a uma subutilização severa das unidades de hardware nas camadas subsequentes.
• Limitações de Arquiteturas Anteriores: Trabalhos anteriores (como o paradigma continuous-flow em [11]) adaptavam a implementação de cada camada à sua taxa de dados local, mas eram limitados ao processamento de um único pixel por ciclo de relógio. Isso restringia o throughput máximo e a eficiência em designs de alta velocidade.
• Complexidade de Otimização: Determinar a configuração de implementação mais eficiente (equilibrando recursos e taxa de dados) permanecia um desafio, muitas vezes levando a erros de arredondamento e subutilização.

2. Metodologia

Os autores propõem uma arquitetura de acelerador de CNN consciente da taxa de dados e otimizada para processamento de múltiplos pixels simultaneamente. A abordagem baseia-se e expande o paradigma continuous-flow anterior:

• Reformulação dos Parâmetros de Implementação:

  • O trabalho condensa os parâmetros de implementação em duas variáveis principais: $j$ (número de sinais de entrada processados simultaneamente) e $h$ (número de neurônios processados sequencialmente por unidade).
  • São definidas restrições matemáticas rigorosas para $j$ e $h$ para garantir que as unidades aritméticas (FCUs e KPUs) nunca processem dados inválidos ou preenchidos (padding), eliminando ciclos ociosos de sincronização.
  • A seleção da configuração ideal é tratada como uma aproximação diofantina superior da taxa de dados de entrada ($r_{\ell-1}$), buscando o par $(j, h)$ que mais se aproxima da taxa real sem excedê-la, minimizando o desperdício.

• Adaptação para Múltiplos Pixels (Multi-pixel Processing):

  • Camadas Fully Connected (FCU): O número de unidades FCU é duplicado (ou multiplicado) para processar múltiplos pixels simultaneamente, compartilhando os sinais de entrada.
  • Camadas Convolucionais (KPU): A adaptação é mais complexa. Os autores propõem uma versão não transposta da Unidade de Processamento de Kernel (KPU).
    • Em vez de armazenar resultados parciais ponderados, a KPU bufferiza as características de entrada (que são compartilhadas entre todas as KPUs da camada).
    • Para processar múltiplos pixels (ex: 2 pixels) por ciclo, a arquitetura utiliza múltiplas KPUs com padrões de atraso (delay) e conectividade diferentes. Isso permite que cada KPU processe uma janela deslizante específica, pulando janelas inválidas devido ao stride ou processando pixels alternados.
  • Otimização de Recursos: O uso de árvores de compressão (compressor trees) para as somas finais e a reconfiguração dinâmica permitem uma utilização mais eficiente de DSPs e LUTs.

3. Contribuições Chave

1. Arquitetura Multi-pixel: Extensão do paradigma continuous-flow para processar múltiplos pixels por ciclo de relógio, aumentando drasticamente o throughput potencial.
2. Modelo Analítico Unificado: Uma reformulação matemática que define restrições claras para $j$ e $h$, permitindo uma exploração do espaço de design que evita erros de arredondamento e subutilização encontrados em trabalhos anteriores.
3. Flexibilidade de Taxa de Dados: A capacidade de ajustar a implementação para operar em uma ampla gama de taxas de dados (de centenas a milhares de FPS) mantendo a eficiência, permitindo um equilíbrio entre desempenho e consumo de recursos.
4. Redução de Recursos: Demonstração de que é possível implementar CNNs complexas em um único FPGA com uso significativamente menor de recursos lógicos (LUTs) e memória (BRAM) comparado a designs anteriores.

4. Resultados Experimentais

Os experimentos foram realizados utilizando modelos MobileNetV1 e MobileNetV2 em um FPGA Xilinx UltraScale+ (xcvu37p).

• Eficiência de Recursos (MobileNetV1):

  • Comparado ao estado da arte anterior ([11]), a nova abordagem reduziu o uso de LUTs em 22% e BRAM em 15%.
  • Houve um leve aumento nos registradores (FFs) (+7%) e uma pequena redução em DSPs, resultando em uma arquitetura mais compacta e eficiente.

• Desempenho e Escalabilidade (MobileNetV2):

  • Alto Throughput: A configuração de processamento de 2 pixels (6 características) por ciclo atingiu 16.020 FPS (quadros por segundo) com uma latência de 0,21 ms.
  • Baixo Consumo: Configurações com taxas de dados mais baixas (ex: 3 características em 32 ciclos) reduziram o uso de DSPs para apenas 212 e LUTs para 30k, operando a ~219 FPS.
  • Comparação com SOTA (Estado da Arte): O acelerador proposto superou as implementações atuais de ponta (como FINN e LUTMUL), alcançando mais de 3 vezes o frames per second (FPS) do acelerador SOTA mais próximo para o mesmo modelo MobileNetV2, mantendo precisão de 8 bits.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na implementação de CNNs em FPGAs para aplicações de alta velocidade. Ao resolver o problema de subutilização causado pela variação de taxas de dados entre camadas e ao habilitar o processamento de múltiplos pixels, os autores demonstraram que é possível alcançar:

• Latência ultrabaixa e throughput extremamente alto (até 16k FPS).
• Eficiência de recursos que permite a execução de redes complexas em FPGAs de tamanho médio.
• Flexibilidade para adaptar o hardware a diferentes requisitos de energia e desempenho sem redesenhar a arquitetura completa.

O trabalho sugere que, embora o uso de BRAM para pesos ainda seja alto (independente da taxa de dados), a arquitetura proposta oferece uma base robusta para inferência de IA em tempo real, com potencial para futuras otimizações como o descarregamento (offloading) de pesos para memória externa (DRAM/HBM) em cenários de taxa de dados muito baixa.