A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers

Resumen Técnico: Metodología de Implementación de Tiempo Constante para Funciones de Activación en Microcontroladores

Enunciado del Problema
La inferencia de redes neuronales embebida en microcontroladores con recursos limitados es cada vez más vulnerable a ataques de canal lateral por tiempo. Estudios recientes han demostrado que las funciones de activación dentro de estas redes filtran información a través de variaciones en el tiempo de ejecución dependientes de los valores de entrada y de los tipos de función. Esta filtración permite a los atacantes distinguir entre diferentes funciones de activación (por ejemplo, ReLU frente a sigmoide) y, potencialmente, ingeniería inversa de las arquitecturas de los modelos o inferencia de datos de entrada sensibles. Aunque las contramedidas existentes, como la desincronización (introducción de retardos aleatorios), intentan oscurecer estos patrones temporales, no eliminan el comportamiento subyacente dependiente de la entrada. En consecuencia, los ataques basados en plantillas perfiladas aún pueden distinguir estadísticamente las funciones de activación a pesar del ruido añadido.

Metodología
Los autores proponen una metodología de implementación de tiempo constante diseñada para eliminar las variaciones temporales dependientes de la entrada en la fuente, en lugar de simplemente ocultarlas. El enfoque se instaura en una plataforma ARM Cortex-M4 (STM32F411) y se dirige a cinco funciones de activación ampliamente utilizadas: ReLU, sigmoide, tanh, Unidad Lineal de Error Gaussiano (GELU) y Swish.

La metodología se basa en cuatro componentes principales:

1. Selección sin Ramas y Basada en Máscaras: Para evitar la divergencia del flujo de control, la implementación evita las ramas dependientes de los datos. En su lugar, utiliza enmascaramiento lógico y operaciones bit a bit (AND/OR) para seleccionar entre valores candidatos (por ejemplo, salidas saturadas frente a resultados de aproximación) basándose en la representación binaria de la entrada. Esto asegura que la secuencia de instrucciones permanezca idéntica independientemente del valor de entrada.
2. Aproximación Padé de Coste Fijo: Para las funciones no lineales (sigmoide, tanh, GELU, Swish), los autores reemplazan las evaluaciones estándar de funciones trascendentes con una aproximación racional compartida y de coste fijo basada en el aproximante Padé para $\tanh(x)$, denotado como $R_{tanh}(x)$. Esta aproximación implica una secuencia fija de sumas, multiplicaciones y una única división, evitando bucles o selección de intervalos dependientes de la entrada.
   • La sigmoide y Swish se construyen utilizando la identidad $S(x) = \frac{1}{2}(1 + \tanh(x/2))$.
   • GELU se aproxima utilizando una formulación basada en $\tanh$.
3. Saturación Basada en Máscaras: Para manejar entradas fuera de la región de aproximación, la metodología emplea lógica de saturación (limitación a 0, 1 o $x$) implementada mediante la misma estrategia de enmascaramiento sin ramas. Esto asegura que, incluso cuando la aproximación racional se elude para entradas saturadas, la ruta de ejecución y el recuento de ciclos permanezcan constantes.
4. Alineación de Ciclos y Aritmética Ficticia: Para lograr tiempos de ejecución idénticos en las cinco funciones, los autores introducen operaciones aritméticas ficticias. Específicamente, la función simple ReLU, que naturalmente se ejecuta mucho más rápido que las aproximaciones no lineales, se aumenta con la misma secuencia aritmética basada en $R_{tanh}$ (sin afectar el resultado final) para alinear su recuento de ciclos con las funciones más complejas. Se utiliza un relleno mínimo de NOP solo para una alineación de grano fino.

Contribuciones Clave

• Metodología de Tiempo Constante: El artículo introduce un principio de construcción reutilizable para funciones de activación que garantiza un tiempo de ejecución independiente de la entrada en microcontroladores embebidos.
• Instanciación en Cinco Funciones: La metodología se aplica con éxito a ReLU, sigmoide, tanh, GELU y Swish, utilizando una aproximación racional compartida para los componentes no lineales.
• Vulnerabilidad de la Desincronización: Los autores demuestran que las contramedidas basadas en desincronización, aunque oscurecen visualmente las trazas temporales, siguen siendo vulnerables a ataques de tiempo basados en plantillas perfiladas. El análisis estadístico de los tiempos de ejecución permite a un atacante distinguir las funciones de activación con alta confianza tras suficientes mediciones.
• Validación Experimental: El trabajo proporciona evidencia empírica de que las implementaciones protegidas propuestas alcanzan recuentos de ciclos idénticos para todas las entradas probadas, suprimiendo eficazmente la filtración temporal.

Resultados Experimentales
La metodología se evaluó en un ARM Cortex-M4 ejecutándose a 84 MHz.

• Regularidad Temporal:
  • En un entorno de tres funciones (ReLU, sigmoide, tanh) sobre el intervalo $[-8, 8]$, todas las implementaciones protegidas se ejecutaron en exactamente 88 ciclos de reloj (1.048 µs), independientemente del valor de entrada.
  • En un entorno extendido de cinco funciones (incluyendo GELU y Swish) sobre el intervalo $[-500, 500]$, todas las implementaciones se ejecutaron en exactamente 108 ciclos de reloj (1.286 µs).
  • En contraste, las implementaciones no protegidas mostraron variaciones temporales significativas (por ejemplo, ReLU no protegida tardó ~12 ciclos, mientras que tanh no protegida tardó ~403 ciclos) y fluctuaciones dependientes de la entrada.
• Precisión Numérica:
  • Las aproximaciones mantuvieron una alta precisión. Para el intervalo $[-8, 8]$, el Error Cuadrático Medio (MSE) para la sigmoide fue de $2.93 \times 10^{-12}$ y para tanh fue de $6.14 \times 10^{-10}$.
  • En el intervalo extendido $[-500, 500]$, los errores permanecieron despreciables para la sigmoide y tanh (ya que se saturan rápidamente), mientras que GELU y Swish mostraron un error bajo localizado cerca de los umbrales de saturación (El error absoluto máximo para Swish fue de $1.11 \times 10^{-3}$).
• Compensaciones de Rendimiento:
  • La implementación protegida de ReLU incurrió en un aumento de latencia (de ~12 a 88/108 ciclos) debido a la inserción de aritmética ficticia para la alineación.
  • Por el contrario, las funciones no lineales protegidas fueron significativamente más rápidas que sus contrapartes no protegidas (por ejemplo, las versiones protegidas de sigmoide/tanh fueron ~33-38% más rápidas que las versiones no protegidas) porque la aproximación racional es más eficiente que las funciones trascendentes de bibliotecas estándar en el hardware objetivo.

Importancia y Afirmaciones
El artículo afirma que la metodología propuesta proporciona una base práctica para construir funciones de activación resistentes a canales laterales en inferencia embebida. Al cambiar de un diseño de "ocultación" (aleatorización) a un diseño de "tiempo constante", el enfoque elimina la causa raíz de la filtración temporal: las rutas de ejecución dependientes de la entrada. Los autores afirman que esta metodología permite la construcción de funciones de activación donde la secuencia de instrucciones ejecutada es independiente del valor de entrada, previniendo así los ataques de tiempo basados en plantillas.

El trabajo se posiciona como un bloque de construcción para el aprendizaje automático embebido seguro, particularmente para dispositivos periféricos sensibles a la privacidad (por ejemplo, sensores médicos, dispositivos portátiles) donde la información temporal puede ser accesible para los atacantes. Los autores notan modestamente que, aunque esto aborda la filtración temporal en las funciones de activación, no constituye una contramedida completa para toda la cadena de inferencia, y otros canales laterales (energía, EM) o detalles de implementación pueden seguir requiriendo protección. El estudio se centra específicamente en el dominio temporal y no afirma abordar todos los vectores de canal lateral potenciales.