NeuroMorse: A Temporally Structured Dataset For Neuromorphic Computing

Resumen Técnico de NeuroMorse: Un Conjunto de Datos Estructurado Temporalmente para la Computación Neuromórfica

Planteamiento del Problema
La ingeniería neuromórfica busca imitar el procesamiento eficiente del cerebro utilizando eventos temporales asíncronos (picos o spikes) en lugar de tramas de datos sincrónicas, minimizando así el consumo de energía. Aunque las Redes Neuronales de Picos (SNN, por sus siglas en inglés) son teóricamente adecuadas para tareas basadas en eventos que aprovechan tanto los dominios espaciales como los temporales, los benchmarks actuales a menudo fallan al no probar adecuadamente estas capacidades temporales. Muchos de los conjuntos de datos existentes, como las conversiones de imágenes estáticas (por ejemplo, MNIST) o incluso los conjuntos de datos de gestos basados en eventos, priorizan las jerarquías espaciales. En estos benchmarks, la información temporal suele ser secundaria; el rendimiento puede seguir siendo alto incluso cuando los datos temporales se agrupan en intervalos (binning) o se eliminan, lo que sugiere que las evaluaciones actuales no capturan plenamente las fortalezas únicas de los sistemas neuromórficos. Existe una brecha crítica en los conjuntos de datos donde la dinámica temporal es el mecanismo principal de codificación de información compleja.

Metodología: El Conjunto de Datos NeuroMorse
Para abordar esta brecha, los autores presentan NeuroMorse, un conjunto de datos diseñado específicamente para priorizar la representación de datos temporales sobre las representaciones espaciales o por canales. El conjunto de datos se construye convirtiendo las 50 palabras más utilizadas en el idioma inglés en secuencias de picos de código Morse temporal.

• Esquema de Codificación: El conjunto de datos utiliza únicamente dos canales de entrada de picos: uno para "puntos" y otro para "rayas". La información semántica compleja se codifica enteramente a través de los patrones temporales de estos picos.
• Jerarquía Temporal: La codificación introduce una jerarquía temporal multiescala:
  • $\Delta t_1$ (5 pasos de tiempo): Intervalo entre caracteres Morse consecutivos (puntos/rayas).
  • $\Delta t_2$ (10 pasos de tiempo): Intervalo entre letras inglesas consecutivas.
    [] $\Delta t_3$ (15 pasos de tiempo): Intervalo entre palabras inglesas consecutivas.
• Composición del Conjunto de Datos:
  • Conjunto de Entrenamiento: Contiene las 50 palabras más frecuentes del inglés convertidas en secuencias de picos.
  • Conjunto de Prueba: Generado a partir de un corpus de 50,441 artículos de Simple Wikipedia (sin puntuación). La tarea principal es identificar las ocurrencias de las 50 palabras clave de entrenamiento dentro de este flujo continuo. El conjunto de prueba incluye 1,768,231 instancias de palabras clave.
• Variaciones de Ruido: Para aumentar la dificultad, los autores introdujeron tres tipos de ruido (eliminación/caída de picos, fluctuación temporal o jitter, y trenes de picos de Poisson) en niveles bajos y altos, lo que resulta en 27 variaciones totales del conjunto de datos.
• Formato: Los datos se almacenan en el Formato de Datos Jerárquicos 5 (HDF5), que contiene marcas de tiempo de los picos, información de canales y etiquetas (incluyendo tiempos de inicio/fin para las palabras clave en el conjunto de prueba).

Contribuciones Clave

1. Benchmark Centrado en el Tiempo: NeuroMorse se presenta como el primer conjunto de datos neuromórfico que prioriza explícitamente la representación de datos temporales, reduciendo la entrada espacial a un mínimo de dos canales mientras depende de los patrones temporales para la densidad de información.
2. Complejidad Jerárquica: El conjunto de datos incrusta jerarquías de características en múltiples escalas temporales (punto/raya, letra, palabra), desafiando a los algoritmos a descomponer los patrones de entrada tanto en jerarquías espaciales como temporales.
3. Suite de Evaluación Integral: El artículo proporciona un marco de evaluación estructurado que incluye un clasificador lineal, una red de Plasticidad Dependiente del Tiempo de Disparo (STDP) no supervisada y una SNN profunda supervisada, todas probadas en datos limpios y con ruido.

Resultos Experimentales
Los autores evaluaron la dificultad del conjunto de datos utilizando tres enfoques arquitectónicos distintos, todos realizados sin ruido para establecer una línea base de dificultad:

1. Clasificador Lineal: Una neurona simple de Integración y Disparo (Leaky Integrate-and-Fire, LIF) conectada a un módulo de regresión de Mínimos Cuadrados Ordinarios logró solo un 4% de precisión en el conjunto de entrenamiento (el doble del umbral aleatorio del 2%), lo que indica que los patrones temporales no son linealmente separables.
2. Red STDP No Supervisada: Una red que utiliza sinapsis STDP dependientes del peso e inhibición lateral logró una precisión de clasificación de solo 0.19% en el conjunto de prueba. Los autores señalan que la gran mayoría de los errores se debieron a la clasificación errónea de clases nulas (segmentos sin palabras clave), resaltando la dificultad de distinguir la señal del ruido en un flujo continuo.
3. SNN Profunda Supervisada: Una red de 3 capas entrenada mediante retropropagación de picos con gradientes sustitutos (surrogate gradients) logró un 66% de precisión en el conjunto de entrenamiento y un 4.25% en el conjunto de prueba completo. Cuando el conjunto de prueba se filtró para eliminar las clases no relacionadas con palabras clave (dejando solo una secuencia aleatoria de palabras clave), la precisión aumentó al 12.46%.

Significado y Reivindicaciones
El artículo afirma que NeuroMorse demuestra eficazmente las limitaciones de las arquitecturas neuromórficas actuales para aprender jerarquías temporales. Los resultados sugieren que:

• Los clasificadores lineales estándar fallan al decodificar la estructura temporal.
• Los mecanismos de STDP no supervisados tienen dificultades significativas con la identificación de palabras clave en flujos continuos, particularmente en lo que respecta a los falsos positivos en clases nulas.
• Incluso los enfoques de aprendizaje profundo supervisado tienen dificultades para generalizar desde el conjunto de entrenamiento hacia el complejo y continuo conjunto de prueba.

Los autores concluyen que NeuroMorse sirve como un benchmark riguroso para evaluar y mejorar las SNN, dirigiéndose específicamente a las capacidades de procesamiento temporal que son centrales para la computación neuromórfica pero que a menudo se descuidan en las evaluaciones actuales. El conjunto de datos y el código se ponen a disposición pública para facilitar la investigación adicional en este dominio.