FPGA-Based Hardware Architecture for Contrast Maximization in Event-Based Vision

Resumen Técnico: Arquitectura de Hardware Basada en FPGA para la Maximización del Contraste en Visión Basada en Eventos

Planteamiento del Problema
Las cámaras basadas en eventos (sensores de visión dinámica) ofrecen ventajas significativas sobre los sensores tradicionales basados en fotogramas, incluyendo una alta resolución temporal, baja latencia y un alto rango dinámico. Sin embargo, el procesamiento de sus flujos de datos dispersos y asíncronos presenta desafíos. El algoritmo de Maximización del Contraste (CM) es un método robusto para estimar parámetros de movimiento maximizando la varianza de una Imagen de Eventos Deformados (IWE, por sus siglas en inglés). Aunque es efectivo, el CM depende de una optimización iterativa para encontrar los parámetros de movimiento que mejor alinean los bordes de los eventos. Este proceso es computacionalmente intensivo e involucra deformación (warping) compleja, votación bilineal y cálculos de gradiente. En consecuencia, las implementaciones existentes en CPU y GPU a menudo tienen dificultades para lograr un rendimiento de tiempo real real, particularmente en aplicaciones embebidas de alta velocidad y bajo consumo de energía, debido al alto consumo de potencia y la latencia.

Metodología
Los autores proponen una arquitectura de hardware dedicada, implementada en matrices de puertas lógicas programables en campo (FPGA), para acelerar el algoritmo CM. La metodología se estructura alrededor de un diseño profundamente segmentado (pipelined) y masivamente paralelo:

1. Preprocesamiento de Eventos y Deformación (Warping): Los eventos de entrada se filtran basándose en una Región de Interés (ROI). Se calcula un tiempo de referencia ($t_{ref}$) como el punto medio de un lote de eventos. Luego, los eventos se deforman hacia este tiempo de referencia utilizando un modelo de movimiento de traslación constante ($v_x, v_y$), ajustando las coordenadas espaciales según la diferencia de tiempo ($\Delta t$).
2. Votación Bilineal y Construcción de la IWE: Para gestionar el hecho de que los eventos deformados a menudo caen entre ubicaciones de píxeles discretos, la arquitectura emplea un mecanismo de votación bilineal. Cada evento contribuye con valores ponderados a cuatro píxeles vecinos basándose en coordenadas fraccionarias.
3. Acumulación Paralela: Para soportar un alto rendimiento (throughput), la arquitectura de memoria utiliza 12 bancos de BRAM. Estos bancos están particionados para permitir la escritura simultánea de las contribuciones para la IWE y sus derivadas parciales con respecto a la velocidad ($v_x$ y $v_y$). Se implementa un búfer basado en registros para resolver posibles conflictos de escritura cuando múltiples eventos apuntan a la misma dirección de memoria dentro de ciclos de reloj consecutivos.
4. Cálculo de Gradiente y Optimización: El sistema calcula el gradiente de la función de contraste (varianza de la IWE) con respecto a los parámetros de movimiento. Esto implica calcular la IWE y sus derivadas, restar los valores medios y realizar productos punto. Un método de ascenso de gradiente actualiza iterativamente los parámetros de movimiento ($v_x, v_y$) sobre un número fijo de iteraciones (100 en los experimentos).
5. Actualización de la ROI: Una vez que el bucle de optimización converge, los parámetros de movimiento calculados se utilizan para actualizar las coordenadas de la ROI para el siguiente lote de eventos, permitiendo el seguimiento continuo de objetos.

Contribuciones Clave

• Primera Implementación de Hardware: El artículo afirma presentar la primera arquitectura de hardware diseñada específicamente para acelerar el algoritmo de Maximización del Contraste en una plataforma FPGA.
• Arquitectura Profundamente Segmentada (Deeply Pipelined): El diseño cuenta con un circuito totalmente optimizado que ejecuta la deformación, la generación de la IWE, el cálculo del gradiente y los bucles de optimización simultáneamente, aprovechando el paralelismo determinista de la FPGA.
• Optimización Consciente del Hardware: Los autores detallan estrategias de implementación específicas, incluyendo un esquema de memoria de 12 bancos para prevenir conflictos de escritura y un mecanismo de "zero-write-back" para limpiar las BRAM entre iteraciones sin requerir un reinicio completo del hardware.
• Validación: La arquitectura fue validada utilizando una aplicación de seguimiento de objetos basada en eventos, demostrando la capacidad del sistema para estimar componentes de velocidad horizontal y vertical en tiempo real.

Resultados Experimentales
La arquitectura propuesta se implementó en un kit Kria KV260 Vision AI Starter Kit (Zynq UltraScale+ MPSoC) y se comparó con modelos de referencia en Python ejecutándose en una CPU Intel Core i5-11300H y una GPU Nvidia GeForce RTX 3050 Ti.

• Rendimiento: Para un lote de 5,000 eventos con una ROI de 64×64 y 100 iteraciones de optimización, la FPGA logró un tiempo de procesamiento de 0.92 ms. Esto representa una aceleración de más de 200 veces en comparación con la CPU (185.96 ms) y aproximadamente 500 veces en comparación con la GPU (473.51 ms).
• Utilización de Recursos: El diseño utilizó menos del 4% de las tablas de búsqueda (LUTs) y registros disponibles en la FPGA. El uso de BRAM fue del 17.7% y el de DSP del 12.1%, lo que indica que la arquitectura es eficiente en recursos y deja espacio para ROIs más grandes o modelos más complejos.
• Eficiencia Energética: El sistema consumió aproximadamente 0.813 W de potencia en chip, resaltando su idoneidad para sistemas embebidos con restricciones energéticas.

Significancia y Reivindicaciones
Los autores aseguran que este trabajo demuestra la viabilidad de acelerar el pesado algoritmo CM utilizando recursos de FPGA. Al lograr velocidades de procesamiento más de 200 veces más rápidas que las implementaciones de CPU manteniendo un bajo consumo de energía, la arquitectura propuesta proporciona una base sólida para la estimación de movimiento en tiempo real en sistemas embebidos de alta velocidad y bajo consumo. El artículo concluye que, si bien el diseño actual es un paso significativo, el trabajo futuro podría centrarse en aumentar la frecuencia de operación, reducir el consumo de recursos, soportar modelos de movimiento más avanzados y expandir el tamaño de la ROI mediante la integración de memoria externa.