Resumen Técnico: Transformadores de Spiking Elásticos para la Comprensión Eficiente de Gestos

1. Declaración del Problema

El despliegue de Redes Neuronales de Spiking (SNN), particularmente los Transformadores de Spiking, en hardware neuromórfico (por ejemplo, Intel Loihi, IBM TrueNorth) para aplicaciones en salud y reconocimiento de gestos enfrenta dos cuellos de botella críticos:

1. Rigidez Arquitectónica: Las arquitecturas SNN existentes son estáticas, con conteos de parámetros fijos y grafos computacionales inmutables. Desplegar estos modelos en diversos chips neuromórficos con restricciones de memoria y energía variables requiere entrenar y desplegar modelos completamente separados para cada objetivo de hardware, lo que anula los beneficios de eficiencia de un enfoque unificado.
2. Incompatibilidad de Hardware e Ineficiencia Energética: Muchos Transformadores de Spiking actuales dependen de multiplicaciones de matrices globales (GEMM) o operaciones de Multiplicación de Matrices por Lotes (BMM). Estas no son soportadas nativamente por chips neuromórficos impulsados por spikes, lo que fuerza la descarga de cargas de trabajo a CPUs de alto consumo, erosionando los ahorros energéticos. Además, las estrategias de escalado estándar (reducción del ancho/profundidad del modelo) a menudo fallan en reducir proporcionalmente el consumo de energía, porque la etapa inicial de extracción de características (incrustación de parches) sigue siendo una fuente dominante de actividad de spikes independientemente del tamaño del modelo.

2. Metodología: La Arquitectura NESTformer

Los autores proponen NESTformer (Transformador de Spiking Elástico Neuromórfico), una arquitectura novedosa diseñada para incrustar la adaptabilidad en tiempo de ejecución directamente en el paradigma de spiking. El marco se basa en tres principios fundamentales:

• Arquitectura Anidada: Las configuraciones más pequeñas son subconjuntos estrictos de las más grandes, permitiendo el compartir de pesos.
• Elasticidad Consciente de Spikes: La reducción de tamaño se optimiza para minimizar tanto los parámetros como la actividad de spikes.
• Diseño Consciente de Hardware: La arquitectura evita operaciones dependientes de CPU, utilizando estructuras nativas del hardware neuromórfico.

El modelo procesa entradas basadas en eventos a través de tres bloques de construcción elásticos controlados por un parámetro de granularidad $g$:

A. Atención Propia de Spiking Elástica

Inspirada en el aprendizaje de representaciones Matryoshka, este bloque permite el recorte dinámico de los tensores de Consulta ($Q$), Clave ($K$) y Valor ($V$) para ajustar el número de cabezas de atención activas ($h_g$) durante la inferencia.

• Compatibilidad Neuromórfica: Para eliminar las multiplicaciones de matrices globales, los autores introducen un mecanismo de Atención por Filas. En lugar de calcular un mapa de atención denso, la operación se descompone en una secuencia de dos operaciones de Integrar y Disparar con Fugas (LIF): $attng = LIF(Q_g \cdot K_g^T)$ seguido de $O_g = LIF(attng \cdot V_g)$. Esto convierte las puntuaciones de atención en spikes binarios, asegurando que la multiplicación subsiguiente sea una acumulación estrictamente impulsada por spikes compatible con hardware basado en eventos.

B. MLP de Spiking Elástico

El módulo de Perceptrón Multicapa (MLP) utiliza dimensiones ocultas variables basadas en conteos de filtros espaciados logarítmicamente. Al ajustar dinámicamente la dimensión oculta ($h_g$) desde un mínimo hasta un máximo, el modelo puede reducir significativamente el conteo de parámetros (que constituye ~60% de los transformadores estándar) sin reentrenamiento.

C. Extracción de Características Elástica (XiSPS)

Abordando el cuello de botella donde la incrustación de parches genera la mayoría de los spikes, los autores introducen XiSPS (División de Parches de Spiking Elástica). A diferencia de las incrustaciones estáticas, XiSPS soporta compensaciones dinámicas en tiempo de ejecución entre la granularidad de características y el consumo de energía. Adapta un factor de compresión ajustable $\gamma$ para reducir la carga computacional y el conteo de parámetros en la etapa de entrada, asegurando que los ahorros de energía escalen linealmente con el tamaño del modelo.

D. Estrategia de Entrenamiento

El modelo emplea una estrategia de muestreo estocástico en lugar del entrenamiento tradicional de "sándwich". Durante el entrenamiento, se muestrea una única configuración de granularidad por paso desde una distribución sesgada $P(g)$ que favorece configuraciones más grandes. Esto asegura que el conjunto completo de parámetros reciba actualizaciones frecuentes, estabilizando los pesos compartidos utilizados por todas las sub-redes más pequeñas. Se utilizan formas de tensores estáticos con enmascaramiento binario para mantener un grafo computacional consistente.

3. Contribuciones Clave

1. Primer Transformador de Spiking Elástico: NESTformer es el primer transformador SNN capaz de adaptabilidad en tiempo de ejecución (escalando la huella de memoria y el cómputo) sin reentrenamiento, abarcando un rango de energía de 3.8$\times$.
2. Atención Nativa Neuromórfica: Un novedoso esquema de cálculo de atención por filas reemplaza las multiplicaciones de matrices globales con operaciones sinápticas secuenciales, permitiendo un despliegue real en hardware neuromórfico sin descarga a CPU.
3. Escalado Lineal de Energía: Los autores demuestran que, a diferencia de arquitecturas anteriores donde los ahorros de energía son sub-lineales, la elasticidad de NESTformer reduce directamente la tasa total de disparo de spikes. Esto resulta en una reducción proporcional del consumo de energía a medida que disminuye el tamaño del modelo.
4. Rendimiento de Vanguardia: El enfoque logra una precisión competitiva o superior en benchmarks de gestos e imágenes mientras consume significativamente menos energía que las arquitecturas actuales de vanguardia (SOTA).

4. Resultados Experimentales

Los autores validaron NESTformer en el conjunto de datos clínico EHWGesture, así como en benchmarks estándar: DVS128 Gesture, CIFAR10-DVS, y estáticos CIFAR-10/100.

• EHWGesture (Gesto Clínico):

  • La configuración más grande ($g_3$) logró una precisión del 75.98%, superando a QKFormer-5-320 (75.28%) y a la CNN eficiente PhiNet (71.25%) del estado del arte.
  • Eficiencia Energética: NESTformer ($g_3$) consumió 46.1 $\mu$J por inferencia, menos de la mitad de la energía de QKFormer-5-320 (100.9 $\mu$J) y órdenes de magnitud menor que las líneas base de CNN (6,900–460,000 $\mu$J).
  • Elasticidad: La configuración $g_2$ retuvo el 99.8% de la precisión máxima (75.86%) mientras reducía la energía en casi un 40% (28.7 $\mu$J). La configuración más pequeña ($g_0$) mantuvo una precisión del 71.01% con solo 13.3 $\mu$J.

• Benchmarks Generales:

  • DVS128 Gesture: NESTformer ($g_3$) igualó al Transformador Impulsado por Spikes del estado del arte (99.30%) y superó a QKFormer (98.60%). La configuración ultra-ligera $g_0$ logró una precisión del 97.57% con 5.3$\times$ menos parámetros que la configuración más grande.
  • CIFAR10-DVS: Logró una precisión del 83.61% ($g_3$), superando a Spikformer estándar (80.90%).
  • CIFAR-100: La configuración $g_3$ logró una precisión del 81.30%, estableciendo un nuevo SOTA para transformadores de spiking en este conjunto de datos.

• Compensaciones Temporales: El análisis en EHWGesture reveló que la Evaluación de Calidad de Acción (AQA) se beneficia de una mayor resolución temporal ($T=64$), mientras que el reconocimiento de gestos alcanza su punto máximo en pasos de tiempo más bajos ($T=16$ a $32$). NESTformer permite a los usuarios seleccionar la combinación óptima de granularidad y paso de tiempo para requisitos específicos de la tarea.

5. Significado y Afirmaciones

El artículo afirma que NESTformer cierra la brecha entre la computación neuromórfica eficiente y las arquitecturas de transformadores elásticos. Su significado principal radica en permitir que un único modelo unificado sea desplegado en todo el espectro de hardware neuromórfico, desde dispositivos de borde de ultra bajo consumo hasta servidores de alta precisión, sin necesidad de reentrenamiento.

Al resolver el problema de restricción de memoria mediante el recorte dinámico y reducir directamente la tasa total de disparo de spikes, NESTformer ofrece una ventaja dual única:

1. Flexibilidad de Despliegue: Escalado instantáneo de las huellas de parámetros para adaptarse a diversas especificaciones de hardware.
2. Eficiencia Energética Real: Una reducción lineal en el consumo de energía proporcional a la reducción del tamaño del modelo, una capacidad previamente no disponible en Redes Neuronales Artificiales (ANN) estándar y SNNs fijos.

Los autores concluyen que este enfoque permite el reconocimiento continuo y en tiempo real de gestos en dispositivos de borde con recursos limitados, preservando la privacidad del usuario y reduciendo la latencia de comunicación mientras se mantiene una alta precisión.