STAER: Temporal Aligned Rehearsal for Continual Spiking Neural Network

Resumen Técnico de STAER: Rehearse de Alineación Temporal para Redes Neuronales de Picos Continuas

Planteamiento del Problema
Las Redes Neuronales de Picos (SNN, por sus siglas en inglés) poseen una dinámica temporal inherente y capacidades de procesamiento impulsadas por eventos que, teóricamente, las hacen muy adecuadas para el Aprendizaje Continuo (CL), particularmente en escenarios de Aprendizaje Incremental de Clases (CIL) donde se introducen nuevas clases secuencialmente sin identificadores de tarea. Sin embargo, la aplicación de las SNN al CIL se ha visto obstaculizada por dos problemas principales: el olvido catastrófico y la desalineación temporal. Aunque las Redes Neuronales Artificiales (ANN) estándar han progresado utilizando técnicas como el Replay de Experiencia (ER) y la destilación de conocimiento (por ejemplo, DER, DER++), estos métodos a menudo no logran abordar la naturaleza única de la información basada en picos. En las SNN, el conocimiento se codifica no solo en las tasas de disparo, sino también en el tiempo preciso de los picos. A medida que se aprenden nuevas tareas, la estructura temporal de los patrones de picos que codifican las clases pasadas sufre un desplazamiento, lo que genera interferencia. Las funciones de pérdida estándar (por ejemplo, basadas en el conteo de picos) y las estrategias de replay ingenuas no logran penalizar estos desplazos temporales ni recuperar la dinámica temporal correcta, lo que resulta en un rendimiento deficiente en comparación con las bases de referencia de las ANN.

Metodología
Los autores proponen STAER (Spiking Temporal Alignment with Experience Replay), un marco diseñado para preservar explícitamente la estructura temporal de las representaciones aprendidas en las SNN. La metodología integra tres componentes principales:

1. Columna Verteal de Picos Profunda: El enfoque utiliza una arquitectura ResNet19 profunda adaptada para SNN, empleando neuronas de Integración y Disparo con Fuga (LIF) entrenadas mediante descenso de gradiente sustituto. Esto asegura la escalabilidad a benchmarks de imágenes complejos como Sequential-MNIST y Sequential-CIFAR10.
2. Mecanismo de Expansión y Contracción Temporal: Inspirado en los procesos de memoria biológica donde las trazas de recuperación pueden experimentar compresión o dilatación, el método almacena las muestras de replay en el búfer con tres resoluciones temporales distintas: $T$ (original), $T/2$ (contracción) y $2T$ (expansión). Esto se logra replicando imágenes estáticas sobre diferentes ventanas de tiempo durante la fase de codificación.
3. Pérdida de Alineación Temporal Soft-DTW: Para abordar el desplazamiento temporal, STAER introduce una pérdida de alineación diferenciable basada en el Soft Dynamic Time Warping (Soft-DTW). Durante el entrenamiento en una nueva tarea, la red calcula una pérdida de Entropía Cruzada sobre los datos actuales y una pérdida de Alineación Temporal ($L_{TA}$) sobre los datos de replay. La $L_{TA}$ compara los logits de salida de la red actual (a resolución $T$) contra los logits almacenados de modelos pasados en las tres resoluciones ($T, T/2, 2T$). Esto obliga a la red a mantener la fidelidad de sus respuestas temporales a través de las tareas, independientemente de las tasas de muestreo.

La función objetivo total se define como $L = L_{CE} + \beta \cdot L_{TA}$, donde $\beta$ equilibra el aprendizaje de la tarea y la consistencia temporal.

Contribuciones Clave

• Nuevo Marco de Alineación Temporal: El artículo presenta el primer método de SNN-CL que utiliza Soft-DTW diferenciable para alinear explícitamente los tiempos de los picos entre tareas. Esto aborda directamente el desplazamiento temporal que causa el olvido catastrófico en dominios de picos.
• Estrategia de Codificación Híbrida: El enfoque adopta un principio de codificación dual, codificando conjuntamente la información a través de tasas de disparo (logits promediados) y el tiempo de los picos (alineación temporal), alineándose con los principios biológicos de la computación neuronal.
• Escalabilidad a Arquitecturas Profundas: A diferencia de trabajos previos de SNN-CL que a menudo dependen de redes poco profundas, este método implementa con éxito el aprendizaje continuo en una columna vertebral ResNet19 profunda, demostrando que las SNN profundas pueden entrenarse eficazmente para CIL.

Resultados Experimentales
El método fue evaluado en los benchmarks Sequential-MNIST y Sequential-CIFAR10 bajo protocolos de Aprendizaje Incremental de Clases.

• Rendimiento: STAER alcanza un rendimiento de vanguardia entre los métodos de SNN, llegando hasta un 98.48% de precisión en Sequential-MNIST y un 83.53% en Sequential-CIFAR10 (con un tamaño de búfer de 5120 y $T=4$).
• Comparación con Bases de Referencia: El método supera consistentemente a las variantes de SNN de ER, DER y DER++. Notablemente, STAER cierra la brecha de rendimiento entre las SNN y las bases de referencia fuertes de las ANN, logrando una precisión competitiva o incluso superior a los modelos ANN en ciertos entornos restringidos.
• Reducción del Olvido: Los resultados empíricos muestran que STAER produce las tasas de olvido más bajas en la mayoría de las configuraciones, superando incluso a las bases de referencia de las ANN en los entornos más restringidos (tamaños de búfer pequeños).
• Estudios de Ablación: Los experimentos confirman que la alineación temporal explícita es crítica. Eliminar los términos de contracción/expansión (estableciendo $\alpha_1 = \alpha_2 = 0$) degrada significativamente el rendimiento, validando la utilidad de la alineación temporal de resolución múltiple. El método es más efectivo con un peso de alineación moderado ($\beta = 10^{-4}$) y pesos equilibrados de compresión/dilatación.

Significancia y Reivindicaciones
El artículo afirma que STAER posiciona a las SNN como soluciones viables y escalables para el aprendizaje de por vida nativo de picos. Al preservar explícitamente la estructura temporal mediante la alineación Soft-DTW y la expansión/contracción temporal inspirada en la biología, el marco mitiga el olvido catastrófico y la interferencia temporal que anteriormente limitaban a las SNN en CIL. Los autores sostienen que su trabajo demuestra que las SNN profundas pueden igualar o superar a las bases de referencia tradicionales de las ANN mientras preservan la dinámica biológicamente plausible, allanando el camino para futuras aplicaciones en conjuntos de datos neuromórficos del mundo real. El trabajo sugiere que mantener tanto la información basada en la tasa como la temporal es crucial para un comportamiento adaptativo robusto en las redes neuronales de picos.