Direct-to-Event Spiking Neural Network Transfer

Resumo Técnico: Transferência Direta para Evento em Redes Neurais de Spiking

Declaração do Problema
Redes Neurais de Spiking (SNNs) são amplamente reconhecidas por seu potencial para permitir computação de baixo consumo em hardware neuromórfico, particularmente ao utilizar esquemas de codificação baseados em eventos como Tempo-até-Primeiro-Spike (TTFS). No entanto, existe uma lacuna significativa entre o treinamento e a implantação. A maioria das SNNs de alta precisão é atualmente treinada usando "codificação direta", onde representações de entrada em ponto flutuante são utilizadas para simular ativações de valor contínuo via retropropagação. Embora eficazes para alcançar alta precisão em simulação, SNNs codificadas diretamente são substancialmente menos energeticamente eficientes após a implantação em comparação com suas contrapartes baseadas em eventos.

O problema central abordado neste trabalho é a falta de um método sistemático para converter uma SNN de alta precisão pré-treinada com código direto em uma representação baseada em eventos equivalente e energeticamente eficiente. Simplesmente re-treinar a partir do zero é ineficiente, e o ajuste fino ingênuo do modelo pré-treinado em dados baseados em eventos frequentemente resulta em degradação severa de desempenho. Os autores enquadram isso como um problema de otimização novel: Transferência Direta-para-Evento (D2E).

Metodologia
Os autores propõem uma investigação sistemática do problema de transferência D2E, comparando duas estratégias principais:

1. Ajuste Fino Específico da Tarefa (TSF): Esta abordagem de base trata a transferência D2E como um problema padrão de adaptação de domínio. Envolve pegar uma SNN codificada diretamente pré-treinada e ajustar finamente todo o modelo usando entradas baseadas em eventos e a perda padrão de entropia cruzada. Os autores observam que, embora direta, a TSF carece de garantias teóricas de otimalidade para este cenário específico de transferência.

2. Distilação de Auto-Conhecimento (SKD): Para abordar as limitações da TSF, os autores propõem a SKD, um método fundamentado na teoria de adaptação de domínio e na distilação de conhecimento tradicional.

   • Base Teórica: Os autores estabelecem um limite teórico (Teorema 1) ligando a lacuna de precisão entre domínios cruzados entre o modelo codificado diretamente ($f_X$) e o modelo baseado em eventos ($f_S$) à divergência Kullback-Leibler (KL) entre suas distribuições de saída e à distância de variação total entre as distribuições de entrada.
   • Mecanismo: A SKD utiliza o modelo pré-treinado codificado diretamente como um "professor" para guiar o "aluno" (a mesma arquitetura sendo ajustada finamente para entradas baseadas em eventos). O objetivo de treinamento combina a perda padrão de entropia cruzada sobre a verdade fundamental baseada em eventos com uma perda de divergência KL que minimiza a lacuna distribucional entre as saídas codificadas diretamente do professor e as saídas baseadas em eventos do aluno.
   • Função de Perda: A otimização minimiza uma soma ponderada: $\alpha \cdot L_{CE} + (1-\alpha) \cdot D_{KL}$, onde $\alpha$ equilibra a supervisão da verdade fundamental e o sinal de auto-distilação.

Principais Contribuições

• Formulação do Problema: O artigo introduz e define explicitamente o problema de transferência D2E, distinguindo-o do ajuste fino padrão, adaptação de domínio e desaprendizado de máquina pelo seu foco em preservar a tarefa e o espaço de rótulos enquanto altera apenas a representação de entrada de direta para baseada em eventos.
• Estrutura Teórica: Os autores fornecem uma derivação teórica (Teorema 1) demonstrando que minimizar a divergência KL entre implementações direta e baseada em eventos serve como um proxy para minimizar a lacuna de precisão entre domínios cruzados.
• Estrutura SKD: Eles propõem o método SKD como uma solução prática para o problema D2E, oferecendo um caminho principiado para transferir representações aprendidas sob codificação direta para aprendizado baseado em eventos.
• Avaliação Abrangente: O estudo fornece a primeira investigação empírica sistemática deste problema de transferência em múltiplas arquiteturas (Spiking-ResNet, Spiking-VGG, Spiking-WideResNet, SEW-ResNet) e conjuntos de dados (CIFAR-10, CIFAR-100, ImageNet e dados simulados de Sensor de Visão Dinâmica).

Resultados Experimentais
Os autores avaliaram seus métodos em benchmarks padrão e sensores neuromórficos simulados:

• Ganhos de Precisão: No CIFAR-10 e CIFAR-100, a SKD superou consistentemente a TSF ingênua em todas as arquiteturas testadas. Por exemplo, no CIFAR-10, a SKD alcançou ganhos de precisão variando de aproximadamente 25% a 51% sobre o desempenho baseado em eventos de base, superando significativamente a TSF. Em arquiteturas mais profundas como Spiking-VGG16, a SKD produziu uma melhoria de 51% sobre a base.
• Generalização: O método demonstrou robustez em dados de Sensor de Visão Dinâmica (DVS) simulados e conjuntos de dados ImageNet em grande escala, alcançando consistentemente a maior precisão de validação em comparação com a TSF.
• Eficiência Energética: A transição da codificação direta para a codificação TTFS resultou em uma redução substancial no consumo de energia (aproximadamente 45% de redução em milijoules por inferência) devido à redução nas operações sinápticas (SOPs), validando os objetivos de eficiência energética da transferência.
• Estudos de Ablação: Experimentos variando o coeficiente de balanceamento de perda $\alpha$ mostraram que a SKD é robusta a escolhas de hiperparâmetros, com desempenho ótimo tipicamente encontrado entre $\alpha = 0,2$ e $0,4$. A auto-distilação pura ($\alpha=0$) performou ligeiramente pior que a abordagem balanceada, indicando a utilidade da supervisão da verdade fundamental como uma âncora.

Significado e Alegações
O artigo alega apresentar a primeira investigação sistemática do problema de transferência D2E. Seu significado principal reside em fechar a lacuna entre simulações de SNN de alta precisão (que dependem de codificação direta) e implantações neuromórficas energeticamente eficientes (que exigem codificação baseada em eventos).

Os autores afirmam que o ajuste fino convencional é insuficiente para transferir modelos entre modalidades de entrada heterogêneas (direta vs. evento). Em contraste, a estrutura SKD proposta transfere efetivamente representações, estabelecendo tanto uma forte base empírica quanto uma fundação teórica sólida para pesquisas futuras. O trabalho destaca que, embora a perda de informação inerente ao mapa de codificação imponha um teto teórico na precisão baseada em eventos, a SKD fornece um mecanismo robusto para aproximar-se desse teto enquanto preserva o desempenho do modelo e permite inferência energeticamente eficiente.

O artigo reconhece limitações, observando que a SKD introduz sobrecarga computacional adicional durante o treinamento em comparação com a TSF e depende fortemente da qualidade do modelo professor pré-treinado. No entanto, posiciona a SKD como um passo necessário para a reutilização prática de bancos de dados de SNN pré-treinados em cenários sensíveis à energia.