Continuous-Flow Data-Rate-Aware CNN Inference on FPGA

Este trabajo presenta una arquitectura de inferencia de CNN continua y consciente de la tasa de datos para FPGAs que maximiza la utilización del hardware mediante el entrelazado de señales y el uso compartido de unidades, permitiendo implementar redes complejas como MobileNet en un solo dispositivo con alto rendimiento.

Lo esencial

¡Hola! Imagina que quieres construir una fábrica de juguetes (una red neuronal) dentro de un solo edificio pequeño (un chip FPGA). El problema es que la fábrica tiene diferentes secciones: algunas producen juguetes muy rápido, y otras, como las de ensamblaje final, son más lentas.

Si intentas conectar todas las máquinas directamente una tras otra, las máquinas rápidas se quedarán esperando a que las lentas terminen, y las máquinas lentas se aburrirán porque no tienen suficiente trabajo. ¡Es un desastre de eficiencia!

Este paper presenta una solución genial para arreglar ese caos. Aquí te lo explico con analogías sencillas:

1. El Problema: La "Cuello de Botella" de la Fábrica

En las redes neuronales (como las que usan los coches autónomos o las apps de reconocimiento de fotos), hay capas que reducen la cantidad de datos.

• La analogía: Imagina que tienes 100 camiones llenos de cajas (datos) entrando a una zona de filtrado (una capa de "pooling" o convolución). Esta zona solo deja pasar 1 caja por cada 4 que entran.
• El resultado: Si tienes 100 trabajadores esperando para procesar esas cajas, 75 se quedarán parados mirando al techo porque no hay trabajo. En el mundo de los chips, esto significa que gastas mucha energía y espacio en hardware que no hace nada.

2. La Solución: El "Sistema de Trenes Interconectados"

Los autores proponen una arquitectura de flujo continuo. En lugar de tener una máquina gigante para cada tarea, crean un sistema inteligente que mezcla los datos para que nunca falte trabajo.

Imagina que en lugar de tener una sola fila de camiones, tienes varias líneas de trenes que se entrelazan:

• Interleaving (Entrelazado): Cuando una sección de la fábrica produce pocos datos (porque redujo el tamaño), el sistema toma datos de otras secciones que aún están produciendo mucho y los mezcla en una sola línea.
• La analogía: Es como si tuvieras 4 camiones pequeños que llegan cada 4 segundos. En lugar de tener 4 trabajadores esperando 4 segundos cada uno, tienes un trabajador que recibe un camión cada segundo (mezclando los 4). ¡El trabajador nunca se aburre!

3. Las Herramientas Inteligentes: "Máquinas Camaleón"

Para lograr esto, no usan máquinas fijas. Usan componentes reconfigurables, como si fueran máquinas camaleón:

• KPU (Unidades de Procesamiento de Núcleo): Son como chefs en una cocina. Si el flujo de ingredientes es lento, el chef cambia su receta rápidamente para cocinar platos de diferentes clientes en la misma olla, sin dejar de mover las manos.
• Padding (Relleno): A veces, al borde de la imagen, faltan datos. En lugar de detener la máquina, el sistema "inventa" ceros (como poner una tabla de madera vacía en el borde de la mesa) para que el flujo no se rompa. Es como rellenar un hueco en una pared con yeso para que el pintor pueda seguir trabajando sin tropezar.

4. ¿Por qué es tan importante esto?

Antes, para hacer redes neuronales complejas (como MobileNet, que es muy usada en móviles), necesitabas un chip gigante y caro, o tenías que sacrificar velocidad.

Con este nuevo método:

• Ahorro masivo: Logran hacer lo mismo con menos de la mitad de los "trabajadores" (transistores y lógica).
• Eficiencia: La fábrica trabaja al 100% todo el tiempo. Nadie está parado.
• Versatilidad: Puedes ajustar la fábrica. Si quieres más velocidad, usas más recursos. Si quieres ahorrar energía, reduces el ritmo, pero la máquina sigue funcionando sin detenerse.

En Resumen

Imagina que antes tenías que construir una autopista de 10 carriles para que 10 coches pasaran a la vez, aunque solo hubiera 2 coches. Era un desperdicio de asfalto.

Este paper dice: "No, construyamos una sola carretera inteligente con carriles dinámicos. Si hay 2 coches, usamos 2 carriles. Si hay 10, usamos 10. Y si los coches vienen de diferentes direcciones, los mezclamos en una sola fila ordenada para que el tráfico nunca se detenga".

Gracias a esto, ahora podemos poner redes neuronales muy complejas en un solo chip pequeño (como los de los teléfonos o drones), haciéndolos más rápidos, más baratos y más eficientes energéticamente. ¡Es como convertir una fábrica gigante y lenta en una pequeña oficina súper ágil y productiva!

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Continuous-Flow Data-Rate-Aware CNN Inference on FPGA", estructurado según los puntos solicitados.

1. El Problema

Las implementaciones de hardware para inferencia de redes neuronales profundas (DNN) suelen clasificarse en arquitecturas genéricas, de flujo de datos (stream) y desenrolladas (unrolled). Las arquitecturas desenrolladas, donde cada neurona tiene una unidad de hardware dedicada, ofrecen baja latencia y alto rendimiento, pero son comunes principalmente en redes totalmente conectadas (FCN) debido a su simplicidad.

El desafío principal al aplicar este enfoque a Redes Neuronales Convolucionales (CNN) es la reducción de la tasa de datos. En las CNN, las capas de convolución con stride mayor a 1 y las capas de pooling reducen drásticamente el número de datos de salida en comparación con la entrada (por ejemplo, un max-pooling 2x2 reduce la tasa de datos a 1/4).

• Consecuencia: En una implementación totalmente paralela (desenrollada), esta reducción provoca que las unidades de hardware (multiplicadores, sumadores) permanezcan inactivas (subutilizadas) la mayor parte del tiempo, ya que esperan datos que no llegan a la velocidad necesaria.
• Soluciones anteriores: Las estrategias previas incluían el uso de buffers para compartir recursos o arquitecturas serie-bits, pero estas a menudo no escalaban bien a redes grandes o introducían una sobrecarga significativa de recursos y latencia.

2. Metodología

Los autores proponen una nueva arquitectura de flujo continuo (continuous-flow) que adapta el diseño de la red a la tasa de datos específica de cada capa, asegurando que las unidades aritméticas nunca estén inactivas. La metodología se basa en los siguientes pilares:

• Análisis de Tasa de Datos: Se define una tasa de datos de entrada ($r_{\ell-1}$) y salida ($r_{\ell}$) para cada capa. La relación depende del número de canales y del stride ($s$).
• Interleaving (Entrelazado) de Datos: Para mantener un flujo continuo cuando la tasa de datos disminuye, la arquitectura entrelaza múltiples canales de entrada. En lugar de procesar un canal completo antes de pasar al siguiente, los datos de múltiples filtros se mezclan en el tiempo. Esto permite que una sola unidad de hardware procese datos de diferentes filtros en ciclos consecutivos, eliminando los tiempos muertos.
• Unidades de Procesamiento Reconfigurables:
  • KPU (Kernel Processing Unit): Unidades de convolución que pueden cambiar dinámicamente entre diferentes configuraciones de pesos (kernels) en cada ciclo de reloj. Se utiliza un padding implícito (cero) mediante multiplexores para mantener el flujo continuo en los bordes de la imagen sin interrumpir la secuencia de entrada.
  • PPU (Pooling Processing Unit): Unidades de pooling que operan de manera similar, entrelazando canales para compensar la reducción de resolución.
  • FCU (Fully Connected Unit): Unidades para capas totalmente conectadas que procesan múltiples entradas en paralelo y calculan salidas secuenciales, adaptándose a la tasa de datos de la capa anterior.
• Agregación de Datos: Cuando la tasa de datos es muy baja ($r < 1$), se introduce un circuito de agregación que acumula múltiples entradas antes de alimentar a la unidad de procesamiento, permitiendo que una sola unidad realice cálculos para múltiples neuronas o filtros, maximizando la utilización.

3. Contribuciones Clave

1. Nuevo Paradigma de Diseño: Se presenta una arquitectura de flujo continuo que cierra la brecha entre las arquitecturas de stream y las desenrolladas, permitiendo diferentes grados de paralelismo según la tasa de datos de la capa.
2. Análisis Exhaustivo de Capas: Se proporciona un análisis detallado de cómo lograr flujo continuo en capas de convolución (con y sin stride), pooling y totalmente conectadas, incluyendo la interconexión de múltiples capas.
3. Eficiencia de Recursos: La propuesta demuestra cómo reducir significativamente la lógica aritmética (multiplicadores y sumadores) mediante el reuso de hardware y el entrelazado, permitiendo implementar modelos complejos como MobileNet en un solo FPGA con alto rendimiento.
4. Generador de Código Automatizado: Se desarrolló una herramienta que calcula automáticamente el número de unidades, configuraciones y anchos de datos necesarios basándose en los parámetros del modelo CNN, facilitando la implementación.

4. Resultados

Los autores evaluaron su enfoque implementando MobileNetV1 (en sus variantes $\alpha=0.25, 0.5, 0.75, 1.0$) y ResNet18 en FPGAs (Xilinx Virtex UltraScale+).

• Reducción de Recursos: Comparado con una implementación totalmente paralela (1:1 neurona-unidad), el enfoque propuesto reduce drásticamente el número de multiplicadores y sumadores.
  • En MobileNetV1 ($\alpha=1.0$), se reduce el número de multiplicadores de ~4.3M a ~12.2k y los sumadores de ~4.3M a ~12.2k (una reducción de varios órdenes de magnitud).
  • En ResNet18, se reduce de ~11.7M multiplicadores a ~33.7k.
• Rendimiento y Eficiencia Energética:
  • En MobileNetV1, la implementación propuesta alcanzó 6,944 inferencias por segundo (FPS) con una latencia de 0.37 ms y una eficiencia energética de 3.55 mJ/inferencia, superando a otras implementaciones de estado del arte (como FINN o [18]) en latencia y eficiencia energética.
  • Se logró una precisión Top-1 del 70.5% (tras entrenamiento con cuantización consciente) en ImageNet.
• Flexibilidad (Pareto Frontier): En experimentos con el conjunto de datos JSC (subestructura de chorros), se demostró que la arquitectura puede ajustarse para operar en diferentes tasas de datos ($r_0$). Esto permite a los diseñadores elegir un punto óptimo entre utilización de recursos (LUTs) y rendimiento (throughput), extendiendo la frontera de Pareto hacia tasas de datos más bajas donde las implementaciones totalmente paralelas son ineficientes.

5. Significado e Impacto

Este trabajo es significativo porque resuelve el problema fundamental de la subutilización de hardware en aceleradores de CNN totalmente paralelos. Al adaptar la arquitectura a la tasa de datos real de la red (especialmente crítica en capas de pooling y convoluciones con stride), se logra:

• Implementación de Modelos Grandes en un Solo Chip: Permite ejecutar modelos complejos como MobileNet en un solo FPGA, algo que antes requería múltiples dispositivos o arquitecturas mucho más grandes.
• Optimización Dinámica: Ofrece a los ingenieros la capacidad de diseñar aceleradores que no están rígidos a una tasa de datos fija, permitiendo optimizar el equilibrio entre costo de hardware y velocidad de inferencia según los requisitos de la aplicación.
• Superioridad sobre el Estado del Arte: Los resultados muestran que, para una amplia gama de modelos y configuraciones, este enfoque consume menos recursos (LUTs, registros) y ofrece mejor eficiencia energética que las implementaciones convencionales totalmente paralelas o basadas puramente en LUTs.

En resumen, la propuesta transforma la limitación de la reducción de datos en las CNN en una oportunidad para reutilizar hardware de manera inteligente, logrando una utilización cercana al 100% y habilitando inferencia de alta velocidad en hardware reconfigurable de bajo costo.