Spatio-Temporal Cluster-Triggered Encoding for Spiking Neural Networks

Resumo Técnico: Codificação Acionada por Cluster Espaço-Temporal para Redes Neurais de Spikes (SNNs)

1. O Problema

As Redes Neurais de Spikes (SNNs) são a terceira geração de redes neurais, prometendo alta eficiência energética através de processamento orientado a eventos e codificação temporal. No entanto, uma barreira fundamental para sua aplicação em tarefas visuais é a codificação de imagens estáticas em trens de spikes.

Métodos tradicionais de codificação, como:

• Codificação de Taxa (Rate Coding): Baseia-se na frequência de disparos, exigindo muitos passos de tempo.
• Codificação de Poisson: Gera spikes estocásticos, introduzindo ruído e variabilidade.
• Time-to-First-Spike (TTFS): Mapeia a intensidade do pixel para o atraso do primeiro spike, mas trata cada pixel de forma independente.

Limitações Identificadas:
Essas abordagens frequentemente negligenciam correlações espaciais e produzem padrões de spikes temporalmente inconsistentes. Ao tratar pixels isolados sem considerar o contexto local, elas falham em preservar a estrutura semântica da imagem (ex: contornos de objetos), limitando a eficiência, a interpretabilidade e o desempenho final da rede.

2. Metodologia Proposta

O artigo propõe uma nova família de métodos de codificação chamada Codificação Acionada por Cluster (Cluster-Triggered Encoding - CTE). A premissa central é que padrões visuais significativos (como caracteres ou contornos de objetos) formam clusters espacialmente coerentes, enquanto pixels isolados tendem a ser ruído.

O método opera em duas vertentes principais:

A. 2D-CTE (Para Imagens Estáticas)
Projetado para imagens em escala de cinza (ex: MNIST). O processo ocorre em duas etapas:

1. Identificação de Cluster:
   • Binarização Adaptativa: Uso do método de Otsu para separar fundo e primeiro plano.
   • Análise de Componentes Conectados: Filtra ruído removendo componentes pequenos ou conectados às bordas, mantendo apenas os $K$ maiores componentes.
   • Estimativa de Densidade Local: Calcula a densidade de pixels vizinhos (usando um filtro de caixa 4x4) apenas para os pixels do primeiro plano.
2. Codificação Temporal:
   • Um pixel é codificado (dispara um spike) apenas se pertencer a um cluster denso (densidade $\ge \tau_{clu}$).
   • Utiliza TTFS: Regiões de maior densidade disparam mais cedo, codificando a importância através do tempo.
   • Modo Burst (Opcional): Permite múltiplos spikes baseados na densidade, mas o TTFS mostrou-se mais eficiente em termos de esparsidade.

B. 3D-CTE / ST3D (Para Fluxos de Eventos)
Estendido para câmeras de eventos síncronas (ex: N-MNIST, DVS), operando no domínio Espaço-Temporal (t, y, x).

• Voxelização: Os eventos são agregados em tensores temporais.
• Densidade 3D: Calcula-se a densidade de eventos em uma vizinhança 3D (espaço + tempo) usando convolução 3D.
• Gating Espaço-Temporal: Mantém apenas os spikes que pertencem a clusters densos no espaço e no tempo. Isso preserva trajetórias contínuas de movimento e suprime "piscamentos" (flickers) isolados e ruído aleatório.

3. Principais Contribuições

1. Mecanismo de Gatilho por Cluster 2D: Integra binarização, análise de componentes conectados e estimativa de densidade local para identificar e codificar regiões de primeiro plano salientes, preservando a estrutura semântica.
2. Extensão Espaço-Temporal (ST3D): Incorpora informações de vizinhança temporal para gerar trens de spikes com coerência temporal aprimorada, essencial para dados de eventos.
3. Desempenho com Arquitetura Simples: Demonstra que uma SNN de camada única simples, alimentada por essa codificação, atinge desempenho competitivo com arquiteturas profundas complexas.
4. Eficiência e Esparsidade: Redução significativa no número de spikes necessários para atingir alta precisão, o que é crucial para hardware neuromórfico.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados N-MNIST (Neuromorphic MNIST), utilizando uma SNN simples (Conv2D + LIF + FC).

• Precisão de Classificação:
  • ST3D (Proposto): 98,17% de precisão.
  • TTFS (Baseline): 97,58%.
  • Outros Métodos: Supera ou compete com arquiteturas profundas recentes (ex: Deep STDP 98,4%, Sa-SNN 98,3%) usando uma rede muito mais simples.
• Eficiência (Esparsidade):
  • O método ST3D utiliza ~3.800 spikes por amostra.
  • O TTFS padrão utiliza ~5.000 spikes por amostra.
  • Isso representa uma redução de 24% no número de spikes, traduzindo-se diretamente em economia de energia em hardware neuromórfico.
• Convergência: O modelo com ST3D atinge alta precisão em apenas 16 épocas de treinamento, enquanto o baseline requer 32 épocas, indicando representações de spike de maior qualidade.

5. Significado e Conclusão

O trabalho demonstra que a qualidade da codificação é tão crítica quanto a profundidade da rede para o desempenho de SNNs. Ao preservar explicitamente a estrutura espacial e temporal através de análise de clusters, o método CTE:

• Melhora a Interpretabilidade: Os spikes gerados refletem diretamente a estrutura semântica da imagem (objetos coesos), não apenas ruído de pixels.
• Otimiza Recursos: A redução drástica no número de eventos (spikes) torna a abordagem ideal para dispositivos com restrições de energia e largura de banda.
• Analogia Biológica: O método inspira-se vagamente nos campos receptivos centro-ambiente das células ganglionares da retina e nos mecanismos de percepção de movimento, priorizando trajetórias contínuas sobre flutuações aleatórias.

Em suma, a codificação baseada em clusters oferece uma estratégia robusta, eficiente e interpretável para habilitar aplicações de computação neuromórfica em tarefas de visão computacional, superando as limitações dos métodos de codificação pixel-a-pixel tradicionais.