Resumen Técnico: De la Compresión al Despliegue: FastGRNN en Tiempo Real y con Eficiencia Energética en Microcontroladores Ultra-Restringidos

Planteamiento del Problema

La trayectoria dominante en el aprendizaje automático moderno ha sido escalar el tamaño del modelo y los requisitos de memoria, una estrategia que se ve cada vez más desafiada por las restricciones globales en el suministro de semiconductores y los crecientes costos de energía y carbono de la inferencia siempre activa. Aunque el "tinyML" ha ganado tracción, la mayoría de los despliegues se dirigen a dispositivos ARM Cortex-M relativamente potentes con unidades de punto flotante y multiplicadores de hardware. Existe una brecha significativa para desplegar redes neuronales recurrentes (RNN) precisas en el extremo "bare-metal" del espectro de silicio: microcontroladores (MCU) ultra-restringidos que carecen de multiplicadores de hardware y unidades de punto flotante, como el Arduino Uno R3 (ATmega328P) de 8 bits y el MSP430G2553 de 16 bits. Estos dispositivos, ubicuos en wearables y sensores, ofrecen costos unitarios un orden de magnitud menores que los objetivos Cortex-M, pero presentan severas restricciones de memoria (512 B de SRAM) y computacionales.

Este artículo aborda el desafío de ejecutar una red recurrente con compuertas para el Reconocimiento de Actividad Humana (HAR) en estos MCU de clase kilobyte y sin multiplicador, en tiempo real y sin aceleradores especializados.

Metodología

Los autores presentan una reproducción de código abierto de extremo a extremo de FastGRNN, una celda recurrente con compuertas compacta, adaptada para el despliegue en MCUs bare-metal. El enfoque combina la compresión algorítmica con la optimización específica de hardware.

1. Arquitectura del Modelo y Pipeline de Compresión

El modelo central es una celda FastGRNN con un tamaño oculto ($H$) de 16 y una dimensión de entrada ($d$) de 3 (aceleración triaxial). El pipeline de compresión aplica tres técnicas ortogonales de forma secuencial:

• Factorización de Bajo Rango: Las matrices de pesos ($W$ y $U$) se descomponen en productos de matrices delgadas ($W_1W_2^T$, $U_1U_2^T$). Los autores seleccionaron un rango recurrente ($r_u$) de 8 y un rango de entrada ($r_w$) de 2, reduciendo los parámetros mientras se mantiene la expresividad.
• Sparsidad por Umbralización Dura Iterativa (IHT): Durante el entrenamiento, se retienen las entradas de magnitud top-$k$ de los tensores de pesos mientras las demás se ponen a cero. Un esquema cúbico aumenta la sparsidad hacia un objetivo de $s=0.5$ (50% de sparsidad) durante 50 épocas, seguido de 50 épocas de ajuste fino con una máscara fija.
• Cuantización Per-Tensor Q15 con Calibración de Activación: Los pesos se cuantizan al formato de punto fijo Q15. Crucialmente, los autores descubrieron que la cuantización Q15 ingenua de las activaciones causaba una pérdida de precisión catastrófica (el F1 cayó de 0.918 a 0.16) porque las magnitudes del estado oculto ($\sim 62$) excedían el rango Q15. Para resolver esto, implementaron la calibración de activación per-tensor: una pasada previa sobre los datos de entrenamiento registra los máximos empíricos para los tensores intermedios, aplicando un margen del 10% para asignar escalas únicas. Esto permite que los tensores, como el estado oculto, utilicen un rango efectivo más amplio (aproximándose a Q9.6) mientras preservan la resolución completa de Q15 para las compuertas acotadas.

2. Optimización Sin Multiplicador (Tablas de Búsqueda)

Para abordar la falta de multiplicadores de hardware y el alto costo de las funciones trascendentales por software ($\sigma$ y $\tanh$), los autores reemplazaron las llamadas a funciones en tiempo de ejecución con una Tabla de Búsqueda (LUT) de 256 entradas almacenada en Flash.

• La LUT cubre el dominio de entrada $[-8, +8]$. Los valores fuera de este rango saturan a $\pm 1$.
• Dentro del dominio, los valores se recuperan mediante interpolación lineal entre entradas adyacentes.
• Esto reemplaza los cálculos trascendentales costosos con comparaciones simples, cargas indexadas y un producto-suma, acelerando significativamente la inferencia en el MSP430G2553.

3. Detalles de Implementación

• Entrenamiento: Realizado en PyTorch 2.x en una CPU de escritorio utilizando el conjunto de datos HAPT (30 sujetos, 6 actividades, muestreo de 50 Hz).
• Despliegue: Un único archivo fuente de C portable (fastgrnn.cpp) se compila sin modificaciones tanto para los toolchains de AVR (Arduino) como de MSP430.
• Memoria: El modelo desplegado final ocupa 566 bytes de Flash (283 parámetros Q15 no nulos + escalas + LUTs) y utiliza $\sim 300$ bytes de SRAM para el conjunto de trabajo en tiempo de ejecución, ajustándose dentro de los 512 B de SRAM del MSP430G2553.

Contribuciones Clave

El artículo extiende el trabajo original de FastGRNN con cuatro contribuciones específicas:

1. Inferencia Determinista Bit-Equivalente Multiplataforma: El mismo código C produce trayectorias de estado oculto idénticas y un acuerdo de predicción del 100% a través de 3,399 ventanas de prueba tanto en objetivos de 8 bits como de la de 16 bits, coincidiendo con una referencia FP32 de PyTorch.
2. Receta de LUT Desplegable para Objetivos Sin Multiplicador: Una LUT de 256 entradas para $\sigma$ y $\tanh$ acelera la inferencia de ventana completa en el MSP430G2553 en 30.5× (reduciendo el tiempo de inferencia de ~54s a ~1.8s), permitiendo el streaming en tiempo real a 50 Hz.
3. Caracterización de la Latencia de Calentamiento Recurrente: El estudio cuantifica que la estabilidad de la predicción requiere una mediana de 74 muestras (1.48 s) de evolución del estado oculto, con un peor caso de 125 muestras (2.50 s). Esta latencia es una propiedad inherente de la dinámica recurrente, no del hardware.
4. Caracterización de Energía de Hardware: Utilizando un sensor INA226, los autores midieron 17.7 mW de potencia de inferencia activa y <0.09 mW de potencia en reposo. La LUT permitió una reducción del 96.7% en la energía por ventana de inferencia (31.5 mJ vs. 954 mJ sin la LUT) al reducir el tiempo activo requerido para cumplir con el plazo de 50 Hz.

Resultados

• Precisión: El modelo desplegado (Semilla 0) alcanzó una puntuación F1 macro de 0.918 en el conjunto de prueba HAPT. La media de cinco semillas para el pipeline Q15/LUT fue de 0.853 ± 0.107.
• Rendimiento en Tiempo Real: Ambas plataformas mantuvieron el streaming de 50 Hz con cero muestras fuera de presupuesto.
  • Arduino Uno R3: 9.21 ms por muestra (46% del presupuesto de 20 ms).
  • MSP430G2553: 13.0 ms por muestra (65% del presupuesto de 20 ms).
• Eficiencia: El modelo es 44× más pequeño que una línea base de MLP estándar y se ejecuta en hardware sin unidad de punto flotante.
• Rendimiento por Clase: Las clases estáticas (Sentado, De pie, Tumbado) mantuvieron un F1 alto. La clase "Bajando escaleras" fue la más difícil, consistente con la literatura de HAR, aunque se recuperó a un F1 de ~0.91 tras la cuantización calibrada.

Significancia y Reivindicaciones

El artículo afirma proporcionar una "prueba de existencia" concreta de que las arquitecturas recurrentes compactas, combinadas con cuantificación calibrada, activaciones por tablas de búsqueda y perfilado de energía medido, pueden ofrecer un reconocimiento de actividad humana preciso y energéticamente eficiente en microcontroladores ultra-restringidos sin aceleradores especializados.

Los autores enfatizan que este trabajo demuestra la viabilidad de "escalar hacia abajo" la IA para ajustarse al silicio existente (específicamente el MSP430G2553 sin multiplicador), ofreciendo un camino para reducir las huellas de energía y las dependencias de la cadena de suministro. El trabajo destaca que la latencia de "calentamiento" de los modelos recurrentes es un factor crítico y a menudo pasado por alto para los tiempos de respuesta reales del usuario. Finalmente, el artículo establece que la inferencia bit-equivalente a través de diferentes ISA (8 bits vs. 16 bits) es alcanzable, lo cual es significativo para aplicaciones de seguridad relevante donde la validación regulatoria requiere una reproducibilidad estricta.

Todo el código, los modelos y los binarios de despliegue están disponibles públicamente bajo la Licencia Apache 2.0.