Direct-to-Event Spiking Neural Network Transfer

Resumen Técnico: Transferencia de Red Neuronal de Spikes Directa a Evento

Enunciado del Problema
Las Redes Neuronales de Spikes (SNN) son ampliamente reconocidas por su potencial para habilitar computación de bajo consumo en hardware neuromórfico, particularmente al utilizar esquemas de codificación basados en eventos como Tiempo-Hasta-El-Primer-Spike (TTFS). Sin embargo, existe una brecha significativa entre el entrenamiento y la implementación. La mayoría de las SNN de alta precisión se entrenan actualmente utilizando "codificación directa", donde representaciones de entrada en punto flotante se usan para simular activaciones de valor continuo mediante retropropagación. Aunque efectiva para lograr alta precisión en simulación, las SNN con codificación directa son sustancialmente menos eficientes energéticamente al implementarse en comparación con sus contrapartes basadas en eventos.

El problema central abordado en este trabajo es la falta de un método sistemático para convertir una SNN de alta precisión preentrenada con código directo en una representación equivalente basada en eventos y eficiente energéticamente. Simplemente reentrenar desde cero es ineficiente, y el ajuste fino ingenuo del modelo preentrenado en datos basados en eventos a menudo resulta en una degradación severa del rendimiento. Los autores plantean esto como un problema de optimización novedoso: Transferencia Directa-a-Evento (D2E).

Metodología
Los autores proponen una investigación sistemática del problema de transferencia D2E, comparando dos estrategias principales:

1. Ajuste Fino Específico de Tarea (TSF): Este enfoque de línea base trata la transferencia D2E como un problema estándar de adaptación de dominio. Implica tomar una SNN preentrenada con codificación directa y ajustar fino todo el modelo utilizando entradas basadas en eventos y la pérdida estándar de entropía cruzada. Los autores señalan que, aunque es directo, TSF carece de garantías teóricas de optimalidad para este escenario de transferencia específico.

2. Distilación de Autoconocimiento (SKD): Para abordar las limitaciones de TSF, los autores proponen SKD, un método fundamentado en la teoría de adaptación de dominio y la distilación de conocimiento tradicional.

   • Base Teórica: Los autores establecen un límite teórico (Teorema 1) que vincula la brecha de precisión entre dominios del modelo con codificación directa ($f_X$) y el modelo basado en eventos ($f_S$) con la divergencia Kullback-Leibler (KL) entre sus distribuciones de salida y la distancia de variación total entre las distribuciones de entrada.
   • Mecanismo: SKD utiliza el modelo preentrenado con codificación directa como un "maestro" para guiar al "estudiante" (la misma arquitectura que se está ajustando fino para entradas basadas en eventos). El objetivo de entrenamiento combina la pérdida de entropía cruzada estándar sobre la verdad fundamental basada en eventos con una pérdida de divergencia KL que minimiza la brecha distribucional entre las salidas con codificación directa del maestro y las salidas basadas en eventos del estudiante.
   • Función de Pérdida: La optimización minimiza una suma ponderada: $\alpha \cdot L_{CE} + (1-\alpha) \cdot D_{KL}$, donde $\alpha$ equilibra la supervisión de la verdad fundamental y la señal de auto-distilación.

Contribuciones Clave

• Formulación del Problema: El artículo introduce y define explícitamente el problema de transferencia D2E, distinguiéndolo del ajuste fino estándar, la adaptación de dominio y el desaprendizaje automático al centrarse en preservar la tarea y el espacio de etiquetas mientras se cambia únicamente la representación de entrada de directa a basada en eventos.
• Marco Teórico: Los autores proporcionan una derivación teórica (Teorema 1) que demuestra que minimizar la divergencia KL entre implementaciones directas y basadas en eventos sirve como un proxy para minimizar la brecha de precisión entre dominios.
• Marco SKD: Proponen el método SKD como una solución práctica al problema D2E, ofreciendo una vía fundamentada para transferir representaciones aprendidas bajo codificación directa al aprendizaje basado en eventos.
• Evaluación Exhaustiva: El estudio proporciona la primera investigación empírica sistemática de este problema de transferencia en múltiples arquitecturas (Spiking-ResNet, Spiking-VGG, Spiking-WideResNet, SEW-ResNet) y conjuntos de datos (CIFAR-10, CIFAR-100, ImageNet y datos simulados de Sensor de Visión Dinámico).

Resultados Experimentales
Los autores evaluaron sus métodos en puntos de referencia estándar y sensores neuromórficos simulados:

• Ganancias de Precisión: En CIFAR-10 y CIFAR-100, SKD superó consistentemente al TSF ingenuo en todas las arquitecturas probadas. Por ejemplo, en CIFAR-10, SKD logró ganancias de precisión que oscilaron entre aproximadamente el 25% y el 51% sobre el rendimiento basado en eventos de la línea base, superando significativamente a TSF. En arquitecturas más profundas como Spiking-VGG16, SKD produjo una mejora del 51% sobre la línea base.
• Generalización: El método demostró robustez en datos simulados de Sensor de Visión Dinámico (DVS) y en conjuntos de datos a gran escala de ImageNet, logrando consistentemente la mayor precisión de validación en comparación con TSF.
• Eficiencia Energética: La transición de codificación directa a codificación TTFS resultó en una reducción sustancial del consumo de energía (aproximadamente un 45% de reducción en milijulios por inferencia) debido a la reducción en operaciones sinápticas (SOP), validando los objetivos de eficiencia energética de la transferencia.
• Estudios de Ablación: Los experimentos que variaron el coeficiente de balanceo de pérdida $\alpha$ mostraron que SKD es robusto ante la elección de hiperparámetros, con un rendimiento óptimo encontrado típicamente entre $\alpha = 0.2$ y $0.4$. La auto-distilación pura ($\alpha=0$) funcionó ligeramente peor que el enfoque equilibrado, lo que indica la utilidad de la supervisión de la verdad fundamental como ancla.

Significado y Afirmaciones
El artículo afirma presentar la primera investigación sistemática del problema de transferencia D2E. Su significado principal radica en cerrar la brecha entre simulaciones de SNN de alta precisión (que dependen de codificación directa) e implementaciones neuromórficas eficientes energéticamente (que requieren codificación basada en eventos).

Los autores afirman que el ajuste fino convencional es insuficiente para transferir modelos entre modalidades de entrada heterogéneas (directa vs. evento). En contraste, el marco SKD propuesto transfiere efectivamente las representaciones, estableciendo tanto una línea base empírica sólida como una base teórica sólida para futuras investigaciones. El trabajo destaca que, aunque la pérdida de información inherente al mapa de codificación impone un techo teórico a la precisión basada en eventos, SKD proporciona un mecanismo robusto para acercarse a este techo mientras preserva el rendimiento del modelo y habilita una inferencia eficiente energéticamente.

El artículo reconoce limitaciones, señalando que SKD introduce una sobrecarga computacional adicional durante el entrenamiento en comparación con TSF y depende en gran medida de la calidad del modelo maestro preentrenado. Sin embargo, posiciona a SKD como un paso necesario hacia la reutilización práctica de bases de datos de SNN preentrenadas en escenarios sensibles a la energía.