NeuroMorse: A Temporally Structured Dataset For Neuromorphic Computing

Resumo Técnico do NeuroMorse: Um Conjunto de Dados Estruturado Temporalmente para Computação Neuromórfica

Definição do Problema
A engenharia neuromórfica busca imitar o processamento eficiente do cérebro utilizando eventos temporais assíncronos (picos ou spikes) em vez de quadros de dados síncronos, minimizando assim o consumo de energia. Embora as Redes Neurais de Picos (SNNs) sejam teoricamente bem adequadas para tarefas baseadas em eventos que aproveitam tanto os domínios espaciais quanto os temporais, as práticas atuais de benchmarking frequentemente falham em testar adequadamente essas capacidades temporais. Muitos conjuntos de dados existentes, como conversões de imagens estáticas (ex: MNIST) ou mesmo conjuntos de dados de gestos baseados em eventos, priorizam hierarquias espaciais. Nesses benchmarks, a informação temporal é frequentemente secundária; o desempenho pode permanecer alto mesmo quando os dados temporais são agrupados (binned) ou removidos, sugerindo que as avaliações atuais não capturam totalmente as forças únicas dos sistemas neuromórficos. Existe uma lacuna crítica em conjuntos de dados onde a dinâmica temporal é o mecanismo primário de codificação para informações complexas.

Metodologia: O Conjunto de Dados NeuroMorse
Para abordar essa lacuna, os autores introduzem o NeuroMorse, um conjunto de dados projetado especificamente para priorizar a representação de dados temporais sobre representações espaciais ou por canais. O conjunto de dados é construído convertendo as 50 palavras mais frequentes da língua inglesa em sequências de picos de código Morse temporal.

• Esquema de Codificação: O conjunto de dados utiliza apenas dois canais de entrada de picos: um para "pontos" e outro para "traços". Informações semânticas complexas são codificadas inteiramente através dos padrões temporais desses picos.
• Hierarquia Temporal: A codificação introduz uma hierarquia temporal de múltiplas escalas:
  • $\Delta t_1$ (5 passos de tempo): Intervalo entre caracteres Morse consecutivos (pontos/traços).
  • $\Delta t_2$ (10 passos de tempo): Intervalo entre letras inglesas consecutivas.
  • $\Delta t_3$ (15 passos de tempo): Intervalo entre palavras inglesas consecutivas.
• Composição do Conjunto de Dados:
  • Conjunto de Treinamento: Contém as 50 palavras mais frequentes do inglês convertidas em sequências de picos.
  • Conjunto de Teste: Gerado a partir de um corpus de 50.441 artigos da Simple Wikipedia (pontuação removida). A tarefa principal é identificar ocorrências das 50 palavras-chave de treinamento dentro deste fluxo contínuo. O conjunto de teste inclui 1.768.231 instâncias de palavras-chave.
• Variações de Ruído: Para aumentar a dificuldade, os autores introduziram três tipos de ruído (remoção/queda de picos (dropout), jitter temporal e trens de picos Poissonianos) em níveis baixos e altos, resultando em 27 variações totais do conjunto de dados.
• Formato: Os dados são armazenados no formato Hierarchical Data Format 5 (HDF5), contendo carimbos de tempo dos picos, informação de canal e rótulos (incluindo tempos de início/fim para as palavras-chave no conjunto de teste).

Principais Contribuições

1. Benchmark Centrado no Tempo: O NeuroMorse é apresentado como o primeiro conjunto de dados neuromórfico que prioriza explicitamente a representação de dados temporais, reduzindo a entrada espacial para um mínimo de dois canais enquanto depende de padrões temporais para a densidade de informação.
2. Complexidade Hierárquica: O conjunto de dados incorpora hierarquias de características em múltiplas escalas temporais (ponto/traço, letra, palavra), desafiando algoritmos a decompor padrões de entrada em hierarquias tanto espaciais quanto temporais.
3. Suíte de Avaliação Abrangente: O artigo fornece um framework de avaliação estruturado incluindo um classificador linear, uma rede de Plasticidade Dependente do Tempo de Disparo (STDP) não supervisionada e uma SNN profunda supervisionada, todos testados em dados limpos e com ruído.

Resultos Experimentais
Os autores avaliaram a dificuldade do conjunto de dados utilizando três abordagens arquiteturais distintas, todas realizadas sem ruído para estabelecer uma linha de base de dificuldade:

1. Classificador Linear: Um neurônio simples de Leaky Integrate-and-Fire (LIF) conectado a um módulo de regressão de Mínimos Quadrados Ordinários alcançou apenas 4% de precisão no conjunto de treinamento (o dobro da linha de base aleatória de 2%), indicando que os padrões temporais não são linearmente separáveis.
2. Rede STDP Não Supervisionada: Uma rede utilizando sinapses STDP dependentes de peso e inibição lateral alcançou uma precisão de classificação de apenas 0,19% no conjunto de teste. Os autores observam que a vasta maioria dos erros deveu-se à classificação incorreta de classes nulas (segmentos sem palavra-chave), destacando a dificuldade de distinguir sinal de ruído em um fluxo contínuo.
3. SNN Profunda Supervisionada: Uma rede de 3 camadas treinada usando retropropagação de picos com gradientes substitutos (surrogate gradients) alcançou 66% de precisão no conjunto de treinamento e 4,25% no conjunto de teste completo. Quando o conjunto de teste foi filtrado para remover não-palavras-chave (deixando apenas uma sequência aleatória de palavras-chave), a precisão subiu para 12,46%.

Significância e Alegações
O artigo afirma que o NeuroMorse demonstra efetivamente as limitações das arquiteturas neuromórficas atuais em aprender hierarquias temporais. Os resultados sugerem que:

• Classificadores lineares padrão falham em decodificar a estrutura temporal.
• Mecanismos de STDP não supervisionados lutam significativamente com a identificação de palavras-chave em fluxos contínuos, particularmente em relação a falsos positivos em classes nulas.
• Mesmo abordagens de aprendizado profundo supervisionado têm dificuldade em generalizar do conjunto de treinamento para o complexo conjunto de teste contínuo.

Os autores concluem que o NeuroMorse serve como um benchmark rigoroso para avaliar e melhorar as SNNs, visando especificamente as capacidades de processamento temporal que são centrais para a computação neuromórfica, mas frequentemente negligenciadas em avaliações atuais. O conjunto de dados e o código foram disponibilizados publicamente para facilitar novas pesquisas nesta área.