CascadeLUT: Information-Ordered Streaming Inference for Bandwidth-Constrained FPGAs

Resumen Técnico: CascadeLUT

Planteamiento del Problema
Aunque las matrices de puertas lógicas programables en campo (FPGA) ofrecen inferencia de baja latencia y alta eficiencia energética para redes neuronales (NN), particularmente a través de modelos basados en tablas de búsqueda (LUT) que eliminan los multiplicadores, las arquitecturas existentes enfrentan un cuello de botella crítico en escenarios de transmisión con ancho de banda limitado. Las arquitecturas de inferencia convencionales en FPGA asumen la disponibilidad de la muestra completa, almacenando en un búfer todo el vector de entrada antes de que comience la computación. En entornos donde los datos llegan a través de enlaces de ancho de banda limitado (por ejemplo, memoria fuera del chip, sensores o interconexiones), este enfoque provoca paradas en la segmentación (pipeline stalls) y ciclos de cómputo ociosos. En consecuencia, el cuello de botella del sistema se desplaza del cómputo al movimiento de datos, donde el costo de transferir las características supera el costo de la evaluación, lo que conduce a un aumento en la latencia de extremo a extremo y una reducción de la eficiencia energética.

Metodología
Los autores proponen CascadeLUT, un marco de inferencia de transmisión ordenado por información diseñado específicamente para FPGAs con ancho de banda limitado. La innovación central es una arquitectura de cascada programada estáticamente que elimina el almacenamiento en búfer de la entrada completa mediante la partición de las características en subconjuntos ordenados.

• Transmisión Ordenada por Información: En lugar de esperar a la entrada completa, las características se transmiten en un orden fijo y aprendido basado en la prominencia (salience). La red procesa estos subconjuntos a medida que llegan, refinando progresivamente las predicciones. La computación comienza inmediatamente tras la llegada del primer subconjunto, superponiendo el movimiento de datos con la inferencia.
• Topología de Cascada Estática: La red se organiza como una cascada donde capas específicas están designadas para consumir las nuevas características que llegan (etapas de inyección de características), mientras otras propagan las activaciones intermedias. Este esquema se determina en el tiempo de diseño, asegurando una ejecución determinista y sin ramificaciones (branch-free) sin lógica de control en tiempo de ejecución.
• Prominencia y Ordenamiento de Características: Un método de programación de características deriva un orden de transmisión analizando los pesos de un modelo sustituto totalmente conectado. Las características se clasifican según su contribución a las activaciones de las neuronas (máscaras top-k) y se asignan a subconjuntos de tal manera que las características más discriminativas lleguen primero.
• Cuantización de Entrada Aprendida: Para minimizar el ancho de bits bajo restricciones de ancho de banda fijas, el marco integra el preprocesamiento en el dispositivo. Cada característica se cuantiza utilizando umbrales y escalas aprendidos, implementados directamente como comparadores basados en LUT. Esto permite que los datos brutos de los sensores (por ejemplo, int8) se transmitan y cuanticen en el chip sin añadir etapas de segmentación ni latencia significativa.
• Co-diseño de Hardware: La arquitectura se implementa en una Xilinx Zynq Z-7045. El pipeline es totalmente estático, con registros insertados únicamente entre las etapas de las características para cumplir con los tiempos (timing), lo que permite altas frecuencias de reloj (200 MHz) y una segmentación eficiente.

Contribuciones Clave

1. Arquitectura Novedosa: Un flujo de trabajo de código abierto que implementa una arquitectura de cascada programada estáticamente que organiza la computación alrededor de un esquema de características aprendido, permitiendo la inferencia directamente sobre datos de transmisión.
2. Programación de Características: Un método para derivar un orden de transmisión que prioriza las características prominentes bajo restricciones de ancho de banda fijas, permitiendo predicciones precisas a partir de entradas parciales.
3. Preprocesamiento Integrado en el Dispositivo: Una demostración de que el preprocesamiento aprendido (cuantización) puede implementarse en la matriz FPGA con una carga de área modesta, permitiendo pipelines de extremo a extremo que consumen datos brutos de sensores.
4. Validación Empírica: Resultados exhaustivos en FPGA a través de cuatro conjuntos de datos (MNIST, FashionMNIST, KWS, ToyADMOS) que demuestran mejoras significativas en latencia, rendimiento (throughput) y eficiencia energética en comparación con las bases de comparación previas basadas en LUT.

Resultos
Evaluado en una Xilinx Zynq Z-7045 a 200 MHz con una restricción de entrada de 112 bits/ciclo, CascadeLUT logra las siguientes ganancias de rendimiento respecto a arquitecturas previas de ultra-baja latencia (incluyendo las bases de comparación NeuraLUT-Assemble y DWN):

• Latencia: Reducción de 4.0× a 12.5×. Por ejemplo, la latencia de inferencia de MNIST cae de 40 ns a 10 ns.
• Rendimiento (Throughput): Incremento de 3.0× a 5.0× (por ejemplo, hasta 100.0M muestras/s en MNIST).
• Eficiencia Energética: Hasta 13.8× menos energía por muestra, atribuido a la reducción de los ciclos activos del pipeline.
• Precisión: Mantiene una precisión comparable o superior a las bases de comparación (por ejemplo, 98.59% en FashionMNIST con aumentación) a pesar de operar sobre subconjuntos de entrada truncados.
• Uso de Recursos: El enfoque utiliza de 1.2× a 4.4× más tablas de búsqueda (LUTs) que la base de comparación DWN más pequeña por tarea. Este incremento se atribuye al fan-in requerido para la inyección de características y la lógica entre etapas. Sin embargo, sigue siendo significativamente más eficiente en área que ULEEN (que utiliza de 4 a 12× más LUTs).
• Sobrecarga de Preprocesamiento: La cuantización en el dispositivo añade una carga de área modesta (por ejemplo, 0.5k LUTs para MNIST), la cual se reduce mediante la truncación de características (solo se instancian los cuantificadores para las características utilizadas).

Significado
El artículo postula que el co-diseño del transporte de características, la representación y la computación en torno a las restricciones de transmisión mejora fundamentalmente la eficiencia de la inferencia en FPGA. Al cambiar el paradigma de "computar después del búfer completo" a "computar conforme llegan los datos", CascadeLUT aborda el cuello de botella del movimiento de datos que limita a los sistemas actuales basados en LUT. Los resultados demuestran que la inferencia de transmisión determinista y consciente del ancho de banda puede lograr mejoras de órdenes de magnitud en latencia y energía sin sacrificar la precisión, lo que lo convierte en una solución viable para aplicaciones de borde (edge) en tiempo real y con recursos limitados.