Retrospective: A CORDIC Based Configurable Activation Function for NN Applications

1. El Problema

El crecimiento de las aplicaciones de Inteligencia Artificial (IA), que abarcan desde Redes Neuronales Profundas (DNN) y RNN/LSTM hasta Transformadores (Transformers) e IA Generativa, ha creado una demanda crítica de aceleración de hardware.

• Cuello de botella: Aunque la optimización de las unidades de multiplicación y acumulación (MAC) para operaciones GEMM/MVM ha sido el foco principal, las funciones de activación no lineales (AF) se han convertido en un cuello de botella significativo en la ejecución de modelos.
• Limitaciones de enfoques anteriores: Las soluciones existentes basadas en Tablas de Búsqueda (LUT), aproximaciones de series de Taylor o computación estocástica presentan desventajas como:
  • Falta de escalabilidad de precisión (requieren mucho almacenamiento a altas precisiones).
  • Alta latencia y sobrecarga de control.
  • Inflexibilidad para soportar múltiples funciones de activación en un mismo hardware sin un costo de área excesivo.
• Ineficiencia en Hardware Comercial: Se destaca que en arquitecturas como el Google TPUv4, menos del 2% de las funciones no lineales ocupan hasta el 20% del área, lo que subraya la necesidad de implementaciones de hardware más eficientes para las AF.

2. Metodología

El artículo presenta una evolución de un enfoque basado en CORDIC (Coordinate Rotation Digital Computer) hacia una arquitectura altamente configurable y escalable llamada DA-VINCI.

• Algoritmo CORDIC Unificado: Se utiliza un algoritmo CORDIC unificado que soporta operaciones circulares, lineales e hiperbólicas en modos de rotación y vectorización. Esto permite calcular funciones complejas utilizando solo sumas, restas y desplazamientos (Shift-and-Add), evitando multiplicadores costosos.
• Arquitectura DA-VINCI:
  • Es un núcleo de función de activación programable que soporta reconfigurabilidad en tiempo de ejecución.
  • Utiliza unidades CORDIC lineales e hiperbólicas integradas.
  • Soporta múltiples funciones de activación: Swish, SoftMax, SELU, GELU, Sigmoid, Tanh y ReLU.
  • Emplea un mecanismo de control (señales sel_af) para seleccionar la ruta de datos y la secuencia de operaciones adecuada para cada función.
• Optimizaciones:
  • Se integra una arquitectura HOAA-enabled (Half-Adder Optimized Architecture) para reducir el área y el consumo de energía.
  • Se utiliza una precisión dinámica de 8/16 bits (punto fijo), ajustable según la necesidad de la aplicación.
  • Se implementa un buffer para ReLU, un FIFO para SoftMax y multiplicadores adicionales para GELU, todo dentro de un sobrecosto de área mínimo ("dark-silicon" reducido).

3. Contribuciones Clave

El trabajo introduce y valida dos componentes principales:

1. Núcleo DA-VINCI (Programmable AF Core):

   • Un diseño que permite cambiar entre diferentes funciones de activación (Swish, SoftMax, etc.) con una sobrecarga de hardware casi nula.
   • Logra una alta utilidad de hardware (86% para modo hiperbólico, 72% para modo lineal).
   • Ofrece una precisión escalable y reconfigurable, superando las limitaciones de diseños anteriores fijos.

2. Motor Vectorial NEURIC (Neuron Engine):

   • Un motor vectorial basado en DA-VINCI que combina unidades MAC reconfigurables con el núcleo de función de activación.
   • Diseñado para ser un bloque fundamental en aceleradores de IA ligeros y reconfigurables.
   • Soporta arquitecturas de capas multiplexadas, permitiendo acelerar tanto capas totalmente conectadas como convolucionales.

4. Resultados

El diseño fue evaluado mediante simulación en FPGA (Xilinx Zybo) y síntesis ASIC (nodos de 45 nm y 28 nm), comparándose con el estado del arte (SoTA).

• Eficiencia de Recursos (FPGA):
  • Reducción de 4.5x en LUTs y 3.2x en Flip-Flops (FF) en comparación con trabajos SoTA como [1] y [16].
  • Reducción de potencia de hasta 4.2x a 5.4x frente a diseños anteriores.
  • Mejora en el retardo crítico de hasta un 30%.
• Eficiencia de Recursos (ASIC):
  • Reducción de área de hasta 16.2x comparado con [20] y 4x comparado con [11].
  • Reducción de potencia de 2.1x a 14.3x frente a referencias clave.
  • En el nodo de 28 nm, se logra una reducción de área de 2.5x y potencia de 1.8x frente a [13] y [16].
• Precisión y Calidad de Resultados (QoR):
  • El diseño alcanza una QoR del 98.5% en modelos estándar (VGG-16, ResNet-50, MobileViT) utilizando conjuntos de datos como CIFAR-100 e ImageNet.
  • El error medio (Mean Error) y el error absoluto medio (MAE) se mantienen bajos (alrededor de 2.78% en FPGA), superando a muchas aproximaciones PWL y LUT.
• Rendimiento del Vector Engine:
  • Logra una eficiencia energética de 8.4 GOPS/W en FPGA.
  • En aplicaciones de Transformadores, mejora la eficiencia energética hasta 17.54x frente a SIGMA y 2.5x frente a TRETA, con un aumento de velocidad de 1.8x y una mejora de precisión del 2.33%.

5. Significado e Impacto

Este trabajo representa un avance significativo en el diseño de aceleradores de IA para sistemas con recursos limitados (edge devices):

• Versatilidad: Demuestra que un único bloque de hardware puede soportar una amplia gama de funciones de activación modernas (incluyendo las complejas como GELU y Swish) sin penalizaciones significativas de área o potencia.
• Eficiencia Energética: Al eliminar la necesidad de múltiples bloques especializados o tablas de memoria grandes, el enfoque CORDIC reduce drásticamente el consumo de energía y el área de silicio, lo cual es crucial para dispositivos móviles y de borde.
• Escalabilidad: La capacidad de ajustar la precisión (8/16 bits) y reconfigurar la función en tiempo de ejecución permite adaptar el hardware a diferentes cargas de trabajo (DNN, RNN, Transformers) dinámicamente.
• Validación Industrial: Los resultados validados en FPGA y ASIC posicionan a NEURIC/DA-VINCI como una solución viable y superior para la próxima generación de aceleradores de IA, ofreciendo un equilibrio óptimo entre rendimiento, precisión y eficiencia energética.