Resumo Técnico: Compressão de Segunda Ordem Pós-Treinamento para Redes Neurais Pulsantes

1. Definição do Problema

As Redes Neurais Pulsantes (SNNs) oferecem vantagens significativas de eficiência energética para hardware neuromórfico (ex: Loihi, SpiNNaker, TrueNorth) devido à sua natureza esparsa e baseada em eventos. No entanto, essas plataformas de hardware possuem recursos de memória e computação limitados, necessitando de compressão de modelo.

Os métodos atuais de compressão de estado da arte (SOTA) para SNNs enfrentam duas limitações primárias:

1. Alto Custo Computacional: A maioria das técnicas de poda (pruning) e quantização existentes depende de ciclos iterativos de poda-e-retreinamento ou requer treinamento do zero (ex: abordagens de Hipótese do Bilhete de Loteria). Isso é proibitivamente caro para SNNs de grande escala e pré-treinadas, como SEW-ResNet152 ou Transformers Pulsantes.
2. Inaplicabilidade de Métodos de ANNs: A aplicação ingênua de métodos de compressão pós-treinamento de disparo único (one-shot) projetados para Redes Neurais Artificiais (ANNs), como o Optimal Brain Compression (OBC), produz resultados subótimos. Isso se deve a uma desconexão fundamental entre os objetivos de saída contínos das ANNs e os trens de pulsos discretos e dependentes do tempo das SNNs.

O artigo aborda a necessidade de um framework de compressão pós-treinamento de disparo único e computacionalmente eficiente que possa lidar com arquiteturas modernas de SNNs de grande escala sem exigir retreinamento.

2. Metodologia: Spiking Brain Compression (SBC)

Os autores propõem a Spiking Brain Compression (SBC), um algoritmo de compressão de segunda ordem por camada que estende o framework Optimal Brain Surgeon (OBS) para SNNs.

2.1. Formulação por Módulo

As SNNs são comprimidas módulo a módulo, onde um módulo consiste em camadas lineares/convolucionais seguidas por uma camada de neurônio Leaky-Integrate-and-Fire (LIF). O objetivo é encontrar pesos comprimidos $\hat{W}$ que minimizem a distorção entre o trem de pulsos de saída original $S$ e a saída comprimida $\hat{S}$.

2.2. Função de Perda: Distância de Van Rossum (VRD)

Ao contrário das ANNs que minimizam o erro quadrático em ativações contínuas, a SBC minimiza a Distância de Van Rossum (VRD) ao quadrado entre os trens de pulsos. A VRD considera a distância temporal entre os pulsos usando um kernel exponencial decrescente $k(t)$.
A função de perda é definida como:
$$L(W) = ||MS - M\hat{S}||_2^2$$
onde $M$ é uma matriz de convolução representando o kernel $k(t)$ ao longo dos passos de tempo. Esta formulação garante que a perda reflita a relevância biológica do tempo do pulso em vez de apenas a coincidência binária.

2.3. Potencial de Membrana de Substituição (SMP) e Derivação de Hessian

Computar diretamente a Hessian da perda VRD é complexo devido à função Heaviside não diferenciável no mecanismo de geração de pulsos ($S[t] = \Theta(U[t] - V_{th})$).
Para resolver isso, os autores introduzem o Potencial de Membrana de Substituição (SMP):

• Eles substituem a função de pulso não diferenciável por um gradiente de substituição diferenciável $g(u)$.
• Eles assumem um gradiente de substituição constante $g(u) = c$ (efetivamente tratando o neurônio como ativo dentro de uma janela específica), o que simplifica o cálculo da Hessian.
• Sob esta suposição, a Hessian $H$ torna-se o valor esperado de $2(MX)^T(MX)$, onde $X$ é a corrente de entrada.
• Isso resulta em uma Hessian que é facilmente computável e analiticamente tratável, permitindo uma única passagem para trás (backward pass) para estimar as atualizações ideais de peso.

2.4. Algoritmos de Compressão

• Poda (Pruning): A SBC utiliza a Hessian derivada para realizar a poda não estruturada. Ela emprega uma Esparsidade Adaptativa por Camada para o Score de Magnitude de Poda (LAMPS) para determinar alvos de esparsidade por módulo. Os pesos são podados em lotes usando a Identidade de Matriz de Woodbury para atualizar a inversa da Hessian de forma eficiente, evitando o custo $O(N^3)$ da inversão total de matriz em cada etapa.
• Quantização: O framework adapta o algoritmo GPTQ (Greedy Post-Training Quantization), substituando a Hessian padrão de ANN pela Hessian baseada em SMP ($H_{SMP}$). Isso permite a compensação ideal de pesos durante a quantização para minimizar a distorção do trem de pulsos.

3. Principais Contribuições

1. Formalização da Perda baseada em VRD: O artigo formaliza uma função de perda baseada na Distância de Van Rossum para compressão de SNN por camada e deriva uma matriz Hessian eficiente e amostrável.
2. Algoritmo SBC: Desenvolvimento de um algoritmo de compressão de segunda ordem de disparo único (SBC) que suporta arquiteturas modernas, incluindo CNNs pulsantes profundas (SEW-ResNet) e Transformers Pulsantes.
3. Desempenho de Estado da Arte (SOTA): Demonstração de resultados de compressão pós-treinamento de disparo único SOTA em benchmarks neuromórficos (N-MNIST, CIFAR10-DVS) e conjuntos de dados estáticos de grande escala (CIFAR-100, ImageNet).
4. Robustez à Escassez de Dados: Estudos de ablação mostrando desempenho estável mesmo com tamanhos de dados de calibração de menos de uma amostra por classe.

4. Resultados Experimentais

Os autores avaliaram a SBC em vários conjuntos de dados e arquiteturas, comparando-a com a poda baseada em magnitude (MBP) ingênua, ExactOBS (OBC adaptado para SNN) e métodos iterativos de PAT (Post-Training).

4.1. Desempenho de Poda

• Benchmarks Neuromórficos: A SBC supera significativamente o ExactOBS e o MBP, especialmente em níveis elevados de esparsidade. Por exemplo, no N-MNIST com 97% de esparsidade, a SBC manteve a precisão com apenas uma queda de 1,59%, enquanto o ExactOBS sofreu uma queda de 45,07%.
• Conjuntos de Dados Estáticos (ImageNet): A SBC comprimiu com sucesso a SEW-ResNet152 e os Spike-Driven Transformers. Ela igualou ou excedeu a precisão do ExactOBS e, em alguns casos, aproximou-se da precisão de métodos iterativos de PAT (como UPF e STDS), mas com 1 a 3 ordens de magnitude menos tempo computacional.
• Escala: O trabalho representa a primeira poda não estruturada conhecida de SNNs com mais de 34 camadas e a primeira poda de um Transformer Pulsante treinado em um conjunto de dados de escala ImageNet.

4.2. Desempenho de Quantização

• A SBC foi testada em quantização de 4 bits, 3 bits e 2 bits.
• Embora a SBC não tenha superado consistentemente os baselines em larguras de bits maiores (4 bits) em todos os conjuntos de dados, ela alcançou os melhores resultados na menor largura de bits (2 bits), superando o próximo melhor método por margens significativas (ex: 28,11% no N-MNIST).
• O método demonstrou que a compensação de peso via Hessian é crucial para implantação de baixos bits, embora tenha observado um problema de "fora dos limites" (out-of-bounds) onde os pesos compensados às vezes excediam a faixa da grade de quantização.

4.3. Eficiência e Calibração

• Operações Sinápticas (SOPs): A SBC reduziu efetivamente as SOPs (um proxy para consumo de energia) enquanto mantinha a precisão. Por exemplo, podar a SEW-ResNet18 para 72,26% de esparsidade reduziu as SOPs de 1134,4M para 697,24M com perda mínima de precisão.
• Tamanho de Calibração: O método provou ser robusto com conjuntos de calibração muito pequenos. Para a SEW-ResNet18 no ImageNet, um desempenho competitivo foi alcançado com apenas 100 imagens de calibração (0,1 imagem por classe).

5. Significância e Alegações

O artigo afirma que a SBC fornece uma alternativa computacionalmente eficiente para pipelines de retreinamento total. Ao aproveitar uma aproximação de segunda ordem adaptada para trens de pulsos, a SBC permite a implantação de SNNs pré-treinadas de grande escala em hardware neuromórfico com recursos limitados sem o custo proibitivo de retreinamento iterativo.

Os autores posicionam a SBC como um passo necessário para a aplicação prática de SNNs de próxima geração (incluindo redes profundas e Transformers) em cenários de computação de borda (edge computing) e robótica de baixo consumo. Eles reconhecem limitações, especificamente o problema de "fora dos limites" na quantização e a alta complexidade de espaço para matrizes Hessian customizadas para dimensões de saída muito grandes, identificando estes como áreas para trabalhos futuros.