A feedback control optimizer for online and hardware-aware training of Spiking Neural Networks

A continuación presento un resumen técnico detallado del artículo "A feedback control optimizer for online and hardware-aware training of Spiking Neural Networks" (Un optimizador de control de retroalimentación para el entrenamiento en línea y consciente del hardware de Redes Neuronales de Spikes), traducido y estructurado al español.

Resumen Técnico

1. Planteamiento del Problema

Las Redes Neuronales Artificiales (ANN) tradicionales, basadas en la retropropagación de errores (backpropagation), requieren un acceso intensivo a la memoria y almacenamiento de estados intermedios para el cálculo de gradientes. Esto las hace ineficientes energéticamente y poco adecuadas para aplicaciones de aprendizaje en línea (online learning) en dispositivos de borde (edge), donde se requiere adaptabilidad continua, bajo consumo y operación "siempre activa".

Aunque la computación neuromórfica ofrece hardware de bajo consumo inspirado en el cerebro, los algoritmos de aprendizaje actuales para dispositivos de señal mixta (analógico-digital) presentan limitaciones críticas:

• La mayoría se basa en reglas semi-supervisadas o no supervisadas, que son ineficaces para tareas de aprendizaje supervisado.
• Los métodos de "computadora en el bucle" (Computer-in-the-Loop, ITL) con gradientes sustitutos requieren reconstruir el grafo de computación y almacenar estados, lo cual es energéticamente costoso y no escalable para el aprendizaje en el chip.
• Existe una falta de soluciones escalables para el aprendizaje local en el chip que sean robustas ante las variaciones inherentes de los componentes analógicos (desajustes de hardware).

2. Metodología: El Optimizador de Control de Retroalimentación

Los autores proponen un nuevo algoritmo de aprendizaje que integra reglas de actualización de pesos basadas en spikes con señales de control de retroalimentación. La arquitectura se basa en los siguientes principios:

• Arquitectura de Red:

  • Se utiliza una red neuronal de una sola capa con neuronas de tipo Integrate-and-Fire (LIF) como salida.
  • Se introduce un módulo de control compuesto por pares de neuronas de control: una excitadora (positiva) y una inhibitoria (negativa) para cada neurona de salida.
  • Durante el entrenamiento, el módulo de control recibe señales de entrada "objetivo" (target) y compara la actividad de la neurona de salida con estos objetivos.

• Mecanismo de Aprendizaje (Control PI Espikado):

  • El módulo de control actúa como un controlador PI (Proporcional-Integral) espikado. Genera señales de retroalimentación proporcionales a la diferencia entre la actividad de salida y la actividad objetivo.
  • La información de error se codifica en la dinámica temporal de las corrientes sinápticas, eliminando la necesidad de almacenar estados intermedios de la red.
  • Regla de Aprendizaje Local: La actualización de los pesos sinápticos ($\Delta W$) es completamente local y guiada por las señales de control. La fórmula de actualización es:
    $$\Delta W_t = \eta \cdot I_{fb}^t \cdot (s_{in}^t)^\top$$
    Donde $I_{fb}^t$ es la corriente de retroalimentación (que codifica el error) y $s_{in}^t$ es la actividad de entrada presináptica. Esto permite ajustar los pesos en tiempo real sin fases separadas de inferencia y entrenamiento.

• Simulación de Hardware:

  • Se evaluó la robustez del algoritmo introduciendo desajustes de dispositivos (device mismatch) simulados (variaciones aleatorias en los parámetros del modelo, típicas de circuitos analógicos) que van del 0% al 20%.
  • Se probó el uso de poblaciones de neuronas (redundancia) para mitigar el impacto de estos desajustes.

3. Contribuciones Clave

1. Algoritmo de Aprendizaje en Línea y Local: Propone un método que combina inferencia y aprendizaje en una sola fase, eliminando la necesidad de retropropagación global o almacenamiento de grafos de computación.
2. Codificación de Error en Corrientes Sinápticas: Demuestra que la información de error puede ser transportada y utilizada para el aprendizaje a través de la dinámica de corrientes sinápticas, compatible con hardware neuromórfico.
3. Robustez ante Desajustes de Hardware: Muestra que el algoritmo mantiene su rendimiento incluso con variaciones significativas en los componentes analógicos, y que la redundancia neuronal (poblaciones pequeñas) restaura completamente el rendimiento.
4. Validación en Tareas Supervisadas: Logra un rendimiento comparable a las ANN tradicionales entrenadas con backpropagation en tareas de clasificación supervisada, algo difícil de lograr en dispositivos de señal mixta sin ITL.

4. Resultados Experimentales

Los autores evaluaron el algoritmo en dos conjuntos de datos: una tarea de clasificación binaria personalizada y una versión espikada del conjunto de datos Yin-Yang.

• Rendimiento de Clasificación:

  • Las redes de una sola capa entrenadas con control de retroalimentación alcanzaron una precisión del 100% en la tarea binaria y una precisión comparable a los modelos entrenados con BPTT (Backpropagation Through Time) en el dataset Yin-Yang.
  • La red logró reducir el error de clasificación y la diferencia entre la actividad de salida y la objetivo a cero en pocas épocas.

• Aprendizaje en Línea (Online Learning):

  • El algoritmo funcionó eficazmente en escenarios de aprendizaje continuo, donde los datos llegan secuencialmente sin reiniciar el estado de la red.
  • La red logró converger a niveles de precisión similares a los del entrenamiento en offline después de procesar suficientes ejemplos (500 para binaria, 50,000 para Yin-Yang).

• Resiliencia al Hardware (Desajustes):

  • Con desajustes de hasta el 10%, la precisión de clasificación se mantuvo estable.
  • Para desajustes del 20%, la precisión se degradó ligeramente, pero introduciendo poblaciones de solo 2 neuronas por neurona de salida (redundancia), el rendimiento se restauró completamente al nivel de un sistema sin desajustes.
  • Esto demuestra que el algoritmo es altamente compatible con las limitaciones actuales de la tecnología neuromórfica de señal mixta.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la escalabilidad de las soluciones de aprendizaje en el chip (on-chip learning).

• Superación de Limitaciones: Resuelve el problema de la asignación de crédito (credit assignment) en hardware neuromórfico sin depender de la retropropagación global, que es energéticamente prohibitiva.
• Viabilidad para el Edge: Al ser compatible con el aprendizaje en línea y robusto ante variaciones de fabricación, este optimizador habilita el desarrollo de sistemas inteligentes en el borde (IoT, robots autónomos) que pueden adaptarse continuamente a entornos cambiantes con un consumo energético mínimo.
• Futuro: Los autores sugieren que este enfoque sienta las bases para el entrenamiento de redes de múltiples capas directamente en hardware neuromórfico, abriendo la puerta a la próxima generación de dispositivos de inteligencia artificial sostenible.

En conclusión, el Optimizador de Control de Retroalimentación demuestra que es posible entrenar Redes Neuronales de Spikes (SNN) de manera eficiente, local y robusta en dispositivos de señal mixta, superando las barreras actuales de la computación neuromórfica supervisada.