A flexible framework for structural plasticity in GPU-accelerated sparse spiking neural networks

Título

Un marco flexible para la plasticidad estructural en redes de espigas neuronales (SNN) dispersas aceleradas por GPU

1. El Problema

La investigación actual en el entrenamiento de Redes Neuronales Artificiales (ANN) y en la modelización del aprendizaje biológico se centra principalmente en la plasticidad sináptica (cambio en la fuerza de las conexiones existentes). Sin embargo, en el cerebro biológico, la plasticidad estructural (creación y eliminación de conexiones) es vital para el aprendizaje, la recuperación de daños y el uso óptimo de recursos.

En el aprendizaje automático, el "poda" (pruning) se utiliza para eliminar conexiones débiles, pero los marcos de trabajo actuales (basados en backpropagation y densidad) están optimizados para matrices densas, lo que significa que el poda no reduce significativamente los costos de entrenamiento de modelos cada vez más grandes. Además, simular la plasticidad estructural es computacionalmente costoso debido a:

• La necesidad de largas duraciones de simulación (los cambios biológicos son lentos).
• Interdependencias complejas con otros mecanismos biológicos.
• El conflicto entre la modificación continua de la conectividad y las estructuras de datos tradicionales que asumen una topología fija en memoria.
• La falta de implementaciones eficientes en hardware paralelo masivo (GPU), ya que la mayoría de las soluciones anteriores se basan en CPUs o sistemas neuromórficos específicos (como SpiNNaker).

2. Metodología

Los autores proponen una nueva extensión para el simulador GeNN (GPU-enhanced Neuronal Network), diseñado para generar código CUDA eficiente. La metodología se basa en los siguientes pilares:

• Estructura de Datos "Matriz Irregular" (Ragged Matrix): GeNN utiliza una matriz irregular donde cada fila contiene los índices de las neuronas postsinápticas de una neurona presináptica. Para permitir la adición y eliminación de conexiones sin reasignar memoria, las filas se rellenan (padding) hasta el grado de salida máximo. Esto permite:

  • Añadir sinapsis al final de la fila.
  • Eliminar sinapsis moviendo la última sinapsis de la fila a la posición eliminada y reduciendo el grado de salida.
  • Mantener lecturas de memoria coalescidas (eficientes en GPU).

• Nuevo Primitivo: "Actualizaciones de Conectividad Personalizadas" (Custom Connectivity Updates): Se introduce un nuevo modelo primitivo que permite a los usuarios definir reglas de plasticidad estructural utilizando un subconjunto de C99 (GeNNCode). Estas reglas pueden:

  • Ejecutarse en paralelo en la GPU (row_update_code) para procesar filas de la matriz de sinapsis.
  • Ejecutarse secuencialmente en la CPU (host_update_code) para lógica global o distribución de intentos.
  • Acceder a variables de neuronas y sinapsis, generadores de números aleatorios y variables de estado.

• Dos Aplicaciones de Validación:

  1. Clasificación Supervisada con DEEP R: Se combina la regla de aprendizaje e-prop con la regla de plasticidad estructural DEEP R. DEEP R marca sinapsis como "dormantes" si sus pesos cambian de signo (indicando debilidad), las elimina y las reemplaza por nuevas conexiones aleatorias, manteniendo una dispersión constante durante el entrenamiento.
  2. Formación de Mapas Topográficos (No Supervisado): Se implementa un modelo inspirado en trabajos previos en SpiNNaker. Combina una regla de formación dependiente de la distancia (gaussiana) y una regla de eliminación dependiente de la actividad (basada en STDP y umbrales de peso).

• mlGeNN: Se extendió la capa de abstracción mlGeNN (similar a Keras) para soportar la compilación de redes dispersas con DEEP R, facilitando su uso en flujos de trabajo de aprendizaje profundo.

3. Contribuciones Clave

• Primer Marco en GPU: Presentan lo que creen que es el primer marco de plasticidad estructural diseñado específicamente para hardware paralelo general (GPUs), superando la limitación de las implementaciones basadas en CPU.
• Flexibilidad y Eficiencia: El marco permite definir reglas complejas (mezcla de CPU/GPU) sin sacrificar el rendimiento, cumpliendo con restricciones estrictas de no reasignación de memoria y acceso eficiente.
• Implementación de DEEP R en GeNN: Una versión optimizada de DEEP R que utiliza campos de bits (bitfields) adicionales para rastrear signos y presencia de conexiones potenciales, evitando matrices densas innecesarias.
• Simulación de Mapas Topográficos a Escala: Demostración de la formación de mapas topográficos en tiempo real (más rápido que el tiempo real) con actualizaciones de conectividad paralelizadas, algo difícil de lograr en implementaciones anteriores.

4. Resultados

• Clasificación (N-MNIST y DVS Gesture):

  • Los clasificadores SNN dispersos entrenados con DEEP R logran una precisión comparable a los modelos densos de referencia.
  • Reducción de Parámetros: Se logra un rendimiento similar con 90 veces menos parámetros (ej. 60k vs 5.5M en DVS Gesture).
  • Velocidad de Entrenamiento: Los modelos dispersos son hasta 10 veces más rápidos de entrenar que los modelos densos.
  • Overhead: La sobrecarga computacional de aplicar las reglas de DEEP R es menor al 1% del tiempo total de entrenamiento.

• Mapas Topográficos:

  • Se observó la refinación de los campos receptivos y la incrustación de estructuras de entrada en la conectividad de la red.
  • Escalabilidad: En simulaciones con tamaños de red grandes (hasta 12,544 neuronas), la simulación es más rápida que el tiempo real, a pesar de que las actualizaciones de conectividad consumen hasta el 90% del tiempo de simulación en configuraciones de alta frecuencia de reconfiguración.
  • La eficiencia se mantiene al escalar el tamaño de la red, ya que los intentos de reconfiguración se ejecutan en paralelo.

5. Significado e Impacto

Este trabajo es fundamental porque:

1. Puente entre Biología y ML: Permite explorar mecanismos de plasticidad estructural biológicamente plausibles (como la neurogénesis de sinapsis y la poda dinámica) en simulaciones a gran escala, algo que antes era prohibitivo en GPU.
2. Eficiencia Computacional: Demuestra que la dispersión estructural dinámica no solo es viable en GPU, sino que puede acelerar drásticamente el entrenamiento de modelos de aprendizaje profundo (SNN), reduciendo el consumo de memoria y tiempo.
3. Herramienta Versátil: El marco propuesto en GeNN es flexible y puede adaptarse a otras reglas de plasticidad, facilitando futuras investigaciones sobre cómo la estructura de la red influye en el aprendizaje y la memoria.
4. Aplicabilidad Futura: Abre la puerta a la implementación de estas reglas en hardware neuromórfico y otros simuladores basados en generación de código, permitiendo estudiar la evolución de redes neuronales en condiciones más cercanas a la realidad biológica.

En resumen, el artículo presenta una solución técnica robusta para integrar la plasticidad estructural en simulaciones de SNN aceleradas por GPU, logrando un equilibrio sin precedentes entre flexibilidad de modelado biológico y eficiencia computacional.