FPGA-Based Hardware Architecture for Contrast Maximization in Event-Based Vision

Resumo Técnico: Arquitetura de Hardware Baseada em FPGA para Maximização de Contraste em Visão Baseada em Eventos

Definição do Problema
Câmeras baseadas em eventos (Sensores de Visão Dinâmica) oferecem vantagens significativas sobre os sensores tradicionais baseados em quadros, incluindo alta resolução temporal, baixa latência e alta faixa dinâmica. No entanto, o processamento de seus fluxos de dados esparsos e assíncronos apresenta desafios. O algoritmo de Maximização de Contraste (CM) é um método robusto para estimar parâmetros de movimento ao maximizar a variância de uma Imagem de Eventos Deformados (IWE). Embora eficaz, o CM depende de otimização iterativa para encontrar os parâmetros de movimento que melhor alinham as bordas dos eventos. Este processo é computacionalmente intensivo, envolvendo deformação (warping) complexa, votação bilinear e cálculos de gradiente. Consequentemente, as implementações existentes em CPU e GPU frequentemente lutam para alcançar o desempenho em tempo real real, particularmente em aplicações embarcadas de alta velocidade e baixa potência, devido ao alto consumo de energia e latência.

Metodologia
Os autores propõem uma arquitetura de hardware dedicada, implementada em FPGAs (Field-Programmable Gate Arrays), para acelerar o algoritmo CM. A metodologia é estruturada em torno de um design profundamente pipelined e massivamente paralelo:

1. Pré-processamento de Eventos e Deformação (Warping): Os eventos de entrada são filtrados com base em uma Região de Interesse (ROI). Um tempo de referência ($t_{ref}$) é calculado como o ponto médio de um lote de eventos. Os eventos são então deformados para este tempo de referência usando um modelo de movimento de translação constante ($v_x, v_y$), ajustando as coordenadas espaciais com base na diferença de tempo ($\Delta t$).
2. Votação Bilinear e Construção da IWE: Para lidar com o fato de que os eventos deformados frequentemente caem entre localizações discretas de pixels, a arquitetura emprega um mecanismo de votação bilinear. Cada evento contribui com valores ponderados para quatro pixels vizinhos com base em coordenadas fracionárias.
3. Acumulação Paralela: Para suportar alta vazão (throughput), a arquitetura de memória utiliza 12 bancos de BRAM (Block RAM). Esses bancos são particionados para permitir a escrita simultânea de contribuições para a IWE e suas derivadas parciais em relação à velocidade ($v_x$ e $v_y$). Um buffer baseado em registradores é implementado para resolver potenciais conflitos de escrita quando múltiplos eventos visam o mesmo endereço de memória dentro de ciclos de clock consecutivos.
4. Cálculo de Gradiente e Otimização: O sistema calcula o gradiente da função de contraste (variância da IWE) em relação aos parâmetros de movimento. Isso envolve o cálculo da IWE e de suas derivadas, subtração de valores médios e operações de produto escalar (dot product). Um método de ascensão de gradiente atualiza iterativamente os parâmetros de movimento ($v_x, v_y$) ao longo de um número fixo de iterações (100 nos experimentos).
5. Atualização da ROI: Assim que o loop de otimização converge, os parâmetros de movimento calculados são usados para atualizar as coordenadas da ROI para o próximo lote de eventos, permitindo o rastreamento contínuo de objetos.

Principais Contribuições

• Primeira Implementação de Hardware: O artigo afirma apresentar a primeira arquitetura de hardware especificamente projetada para acelerar o algoritmo de Maximização de Contraste em uma plataforma FPGA.
• Arquitetura Profundamente Pipelined: O design apresenta um circuito totalmente otimizado que executa deformação, geração de IWE, cálculo de gradiente e loops de otimização simultaneamente, aproveitando o paralelismo determinístico do FPGA.
• Otimização Consciente de Hardware: Os autores detalham estratégias de implementação específicas, incluindo um esquema de memória de 12 bancos para evitar conflitos de escrita e um mecanismo de zero-write-back para limpar as BRAMs entre iterações sem exigir um reset total do hardware.
• Validação: A arquitetura foi validada usando uma aplicação de rastreamento de objetos baseada em eventos, demonstrando a capacidade do sistema de estimar componentes de velocidade horizontal e vertical em tempo real.

Resultados Experimentais
A arquitetura proposta foi implementada em um Kit Kria KV260 Vision AI Starter (Zynq UltraScale+ MPSoC) e comparada com modelos de referência em Python rodando em uma CPU Intel Core i5-11300H e uma GPU Nvidia GeForce RTX 3050 Ti.

• Desempenho: Para um lote de 5.000 eventos com uma ROI de 64×64 e 100 iterações de otimização, o FPGA alcançou um tempo de processamento de 0,92 ms. Isso representa uma aceleração de mais de 200 vezes em comparação com a CPU (185,96 ms) e aproximadamente 500 vezes em comparação com a GPU (473,51 ms).
• Utilização de Recursos: O design utilizou menos de 4% das LUTs (Look-Up Tables) e Registradores disponíveis no FPGA. O uso de BRAM foi de 17,7% e o de DSP foi de 12,1%, indicando que a arquitetura é eficiente em termos de recursos e deixa margem para ROIs maiores ou modelos mais complexos.
• Eficiência Energética: O sistema consumiu aproximadamente 0,813 W de potência interna (on-chip), destacando sua adequação para sistemas embarcados com restrição de energia.

Significância e Alegações
Os autores afirmam que este trabalho demonstra a viabilidade de acelerar o pesado algoritmo de CM usando recursos de FPGA. Ao alcançar velocidades de processamento mais de 200 vezes superiores às implementações de CPU mantendo o baixo consumo de energia, a arquitetura proposta fornece uma base sólida para a estimativa de movimento em tempo real em sistemas embarcados de alta velocidade e baixa potência. O artigo conclui que, embora o design atual seja um passo significativo, trabalhos futuros poderiam focar no aumento da frequência de operação, redução do consumo de recursos, suporte a modelos de movimento mais avançados e expansão do tamanho da ROI através da integração de memória externa.