Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs

Resumen Técnico: Optimización de Redes Neuronales Transformer para la Detección de Valores Atípicos en Tiempo Real en FPGAs

Declaración del Problema
Los datos de series temporales financieras, como los precios de los activos, son cada vez más voluminosos pero frecuentemente están contaminados por errores y valores atípicos (outliers). Estas anomalías hacen que las tareas de procesamiento posteriores sean ineficaces o perjudiciales para la toma de decisiones. Aunque los modelos de aprendizaje profundo, particularmente los Transformers, han demostrado un rendimiento superior al capturar dependencias de largo alcance para la detección de anomalías, su complejidad computacional plantea un desafío para las aplicaciones en tiempo real. Existe una necesidad crítica de métodos de limpieza de datos que equilibren una alta precisión con una baja latencia de inferencia. Este trabajo aborda el desafío de desplegar arquitecturas Transformer en FPGAs (Field-Programmable Gate Arrays) para lograr la detección de anomalías en tiempo real con una latencia minimizada.

Metodología
El estudio propone la implementación y optimización de dos arquitecturas basadas en Transformer en una placa FPGA PYNQ-Z2: un codificador Transformer "Vanilla" y un Transformer de Atención Lineal.

1. Arquitecturas de Modelos:

   • Transformer Vanilla: Utiliza la arquitectura de codificador estándar con autoatención de múltiples cabezales (multi-head self-attention) y redes de alimentación hacia adelante (feed-forward). Se deshabilitaron experimentalmente las codificaciones posicionales y la normalización de capa para mejorar la estabilidad del entrenamiento y el rendimiento en los conjuntos de datos específicos utilizados.
   • Transformer Lineal: Implementa mecanismos de atención lineal (usando una función de mapeo de características $\phi(x) = \text{elu}(x) + 1$) para reducir la complejidad computacional de $O(N^2)$ a $O(N)$ mediante la eliminación de la operación softmax.

2. Estrategia de Optimización de FPGA:
   Los autores utilizaron Síntesis de Alto Nivel (HLS) con C++ para cerrar la brecha entre la descripción algorítmica y la implementación de hardware. Las optimizaciones clave aplicadas a las multiplicaciones de matrices y los bucles dentro de los bloques Transformer incluyen:

   • Pipelining de Bucles (Loop Pipelining): Aplicado a los bucles internos para mejorar el rendimiento (throughput), permitiendo que nuevas iteraciones comiencen antes de que las anteriores completen.
   • Desenrollado de Bucles (Loop Unrolling): Utilizado para operaciones como la activación ReLU para ejecutar iteraciones en paralelo.
   • Particionamiento de Matrices (Array Partitioning): Empleado (cíclico, por bloques o completo) para permitir el acceso paralelo a la memoria y evitar cuellos de botella, aunque esto aumenta la utilización de recursos (LUTs y FFs).
   • Estabilidad Numérica: Se aplicó una técnica de resta de máximo a la función softmax para prevenir el desbordamiento (overflow).
   • Tipos de Datos: Se seleccionó el punto flotante de precisión simple (float) sobre el de doble precisión (double) para ajustar el modelo dentro de las restricciones de recursos de la FPGA sin sacrificar la precisión.

3. Configuración Experimental:

   • Conjuntos de Datos: Los modelos fueron evaluados utilizando el Numenta Anomaly Benchmark (NAB) con datos de demanda de taxis de NYC, el conjunto de datos de detección de anomalías KPI (KPI AIOps) y el conjunto de datos de libro de órdenes de alta frecuencia FI2010 (con la inyección de valores atípicos sintéticos).
   • Líneas Base (Baselines): El rendimiento se comparó contra un modelo simple de Regresión Lineal con características diseñadas manualmente.
   • Entrenamiento: Los modelos fueron entrenados con el optimizador Adam con búsqueda de tasa de aprendizaje (learning rate finding) y recorte de gradiente (gradient clipping) para mitigar la explosión del gradiente. El desequilibrio de clases se abordó ponderando las muestras positivas (anomalía) cinco veces más que las negativas en la función de pérdida de entropía cruzada binaria.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

1. La implementación exitosa de una arquitectura Transformer Vanilla en una placa FPGA.
2. La implementación de un Transformer de Atención Lineal en el mismo hardware FPGA.
3. Un análisis detallado del compromiso (trade-off) entre latencia y utilización de recursos para estas arquitecturas bajo optimizaciones específicas de HLS.
4. Un análisis comparativo de la precisión de las arquitecturas propuestas frente a una línea base lineal en tareas de detección de anomalías a través de múltiples conjuntos de datos.

Resultos

• Rendimiento de Inferencia: Las implementaciones optimizadas en FPGA redujeron significativamente la latencia en comparación con las versiones no optimizadas.
  • El Transformer Vanilla logró una latencia de 3,714 ciclos de reloj (37.14 $\mu$s) con optimizaciones, comparado con 34,745 ciclos (347.45 $\mu$s) sin ellas. Esto requirió un 90% de utilización de LUTs y un 30% de utilización de FFs.
  • El Transformer Lineal logró una latencia de 2,986 ciclos de reloj (29.86 $\mu$s) con optimizaciones, comparado con 68,894 ciclos (688.94 $\mu$s) sin ellas. Esto requirió un 99% de utilización de LUTs y un 43% de utilización de FFs.
• Precisión:
  • En el conjunto de datos KPI, los modelos Transformer superaron significativamente a la línea base de Regresión Lineal en la puntuación F1 (0.71–0.76 vs. 0.12–0.25).
  • En el conjunto de datos NAB, el Transformer logró un F1 de 0.23–0.47, mientras que la línea base de Regresión Lineal tuvo dificultades con un F1 de 0.16–0.33.
  • En el conjunto de datos FI2010, los modelos Transformer mostraron una mayor precisión (0.80–0.84) que la línea base (0.14–0.16), aunque la precisión y la exhaustividad (recall) se mantuvieron bajas en todos los modelos, lo que indica la dificultad de la tarea específica de inyección de anomalías.
  • En general, el Transformer Vanilla y el Transformer Lineal mostraron un rendimiento comparable, siendo el modelo Vanilla el que a menudo lograba una precisión ligeramente superior en el conjunto de datos KPI.

Significancia y Reivindicaciones
Los autores afirman modestamente que la principal significancia de este trabajo es demostrar que las arquitecturas Transformer pueden implementarse eficientemente en FPGAs para minimizar la latencia en la detección de anomalías en tiempo real, más que probar la superioridad de los Transformers sobre todos los demás métodos de detección de anomalías. El trabajo destaca que:

• Los Transformers pueden lograr un "buen rendimiento directo" (out of the box) en la detección de anomalías con un ajuste mínimo.
• La reconfigurabilidad de la FPGA permite una aceleración significativa de los cálculos de los Transformers, haciendo factible el procesamiento en tiempo real.
• Existe un compromiso tangible entre la utilización de recursos (LUTs/FFs) y la latencia, donde la optimización agresiva (pipelining y particionamiento) reduce drásticamente el tiempo de inferencia a costa de una mayor utilización de recursos.

El artículo concluye que, si bien existen arquitecturas especializadas, las arquitecturas Transformer vanilla y lineal son candidatas viables para el despliegue en FPGA en la limpieza de series temporales financieras, ofreciendo un equilibrio entre rendimiento y velocidad. Se sugiere trabajo futuro, pero no se detalla más allá de ideas generales.