Resumo Técnico: PTQ4SNN

Declaração do Problema

As Redes Neurais de Picos (SNNs) oferecem computação orientada a eventos e eficiente em termos de energia, mas enfrentam obstáculos significativos de implementação em plataformas com recursos limitados devido ao armazenamento e ao movimento recorrente de dados dos estados de membrana. Embora a quantização de pesos seja comum, os potenciais de membrana recorrentes são tipicamente mantidos em precisão de ponto flutuante durante a inferência. Isso deixa uma parte substancial do armazenamento de estado e do tráfego de dados não comprimida.

A quantização desses estados de membrana apresenta desafios únicos, distintos da quantização de ativação padrão:

1. Descompasso de Distribuição: As distribuições do potencial de membrana frequentemente diferem significativamente em escala e forma de seus pesos precedentes. O compartilhamento direto de escalas de pesos causa um clipping severo, enquanto o escalonamento independente introduz um overhead de conversão não amigável ao hardware.
2. Sensibilidade ao Limiar: Os erros de membrana são altamente sensíveis; pequenas perturbações próximas ao limiar de disparo podem alterar as decisões de pico, causando erros que se acumulam ao longo do tempo e degradam as trajetórias temporais.
3. Heterogeneidade de Canais: Diferentes canais de membrana exibem atividades de disparo e sensibilidades ao ruído de quantização variadas. Uma alocação de largura de bits uniforme é ineficiente, falhando em priorizar canais críticos.

Os métodos existentes de Quantização Pós-Treinamento (PTQ) para SNNs ou ignoram os estados de membrana, ou dependem de treinamento com consciência de quantização (exigindo retreinamento), ou utilizam um acoplamento de escala por camada que falha em abordar a heterogeneidade ao nível do canal.

Metodologia

Os autores propõem o PTQ4SNN, um framework de PTQ consciente da membrana que quantiza conjuntamente pesos e estados de membrana recorrentes usando apenas um pequeno conjunto de calibração, sem retreinar os parâmetros do backbone. O framework organiza projeções quantizáveis e seus subsequentes neurônios Leaky Integrate-and-Fire (LIF) como pares de projeção–LIF reutilizáveis.

1. Ponte de Escala Unificada

Para abordar o descompasso de distribuição entre pesos e estados de membrana mantendo a eficiência de hardware, o PTQ4SNN introduz uma Ponte de Escala Unificada por Canal. Em vez de escalonamento independente ou reutilização direta, a escala da membrana ($s_{mem,c}$) para o canal $c$ é restringida pela escala do peso precedente ($s_{w,c}$) via um deslocamento de potência de dois:
$$s_{mem,c} = s_{w,c} 2^{k_c}$$
onde $k_c$ é um expoente de deslocamento inteiro. Isso permite que o intervalo de quantização se adapte à distribuição da membrana, permitindo simultaneamente uma conversão compatível com deslocamento (implementável como deslocamentos de bits em vez de multiplicadores). O expoente $k_c$ é calibrado com base na largura de bits atribuída para cada canal.

2. Alocação de Bits de Precisão Mista (MPBA)

Para lidar com a heterogeneidade de canais, o framework emprega Alocação de Bits de Precisão Mista. Em vez de atribuir uma largura de bits uniforme (ex: M4) a todos os canais, o PTQ4SNN atribui 2, 4 ou 8 bits por canal sob um orçamento de bits médio ponderado pela contagem de elementos.

• Mecanismo de Pontuação: Os canais são pontuados com base em duas métricas derivadas de um conjunto de calibração:
  • Taxa de Disparo ($r_c$): Canais com maior atividade são priorizados.
  • Sensibilidade de Quantização ($g_c$): Medida via correlação entre mudanças no output de pico e gradientes de perda.
• Alocação: Uma pontuação combinada $a_c = \beta \hat{r}_c + \gamma \hat{g}_c$ classifica os canais. Os limiares são determinados via busca em grade e busca binária para satisfazer o orçamento médio (ex: ~4 bits) enquanto protege canais altamente ativos ou sensíveis com maior precisão (8 bits) e atribui menor precisão (2 bits) aos menos críticos.

3. Pipeline do Framework

O pipeline do PTQ4SNN envolve:

1. Preparar um modelo quantizado dobrando a normalização e substituindo pares Conv/LIF.
2. Coletar estatísticas (escalas de peso, intervalos de membrana, taxas de disparo, sensibilidade) via passagens de calibração para frente.
   3.ções de alocação de precisão de membrana por canal (MPBA).
3. Construir a Ponte de Escala Unificada condicionada às larguras de bits atribuídas.
4. Avaliar o modelo quantizado congelado.

Principais Contribuições

1. Ponte de Escala Unificada: Um mecanismo por canal que adapta as escalas de membrana às distribuições de peso via conversão de deslocamento compatível com hardware, resolvendo o descompasso entre os domínios de peso e membrana sem multiplicadores não amigáveis ao hardware.
2. Alocação de Bits de Precisão Mista: Uma estratégia consciente de atividade e sensibilidade que atribui dinamicamente precisão de 2/4/8 bits aos canais de membrana recorrentes sob um orçamento global, otimizando o equilíbrio entre precisão e armazenamento.
3. Aplicabilidade Geral: O framework opera tanto em SNNs convolucionais convencionais (ex: SEW-ResNet) quanto em Transformers impulsionados por picos (ex: SDT, Meta-SpikeFormer) sem retreinamento de backbone, suportando classificação de imagens estática, reconhecimento baseado em eventos e segmentação semântica.

Resultados Experimentais

Experimentos foram conduzidos no ImageNet-1K, CIFAR10-DVS e Pascal VOC2012 usando quantização W4 (peso de 4 bits) e um orçamento de membrana médio de aproximadamente 4 bits (M4).

• Classificação ImageNet-1K:
  • SDT-8-768: O PTQ4SNN alcançou 75,16% de precisão, uma queda de apenas 0,74% em relação ao baseline de precisão total. Isso superou significativamente o FlowQ (63,74%) e os baselines de reutilização de peso (ex: BRECQ com 74,12% com M4, representando uma queda de 4,84%).
  • Meta-SpikeFormer: Alcançou 78,50% (queda de 0,38%), superando todos os baselines.
  • SEW-ResNet18: Alcançou 59,62% (queda de 3,07%), superando métodos de reutilização de peso e FlowQ.
• Classificação Baseada em Eventos (CIFAR10-DVS):
  • No SDT-2-256, o PTQ4SNN atingiu 70,80% (queda de 1,00%), demonstrando robustez em tarefas temporais recorrentes comparado ao FlowQ (67,30%).
• Segmentação Semântica (Pascal VOC2012):
  • Em um FPN baseado em SDT, o PTQ4SNN alcançou 59,77 mIoU (queda de 0,67), superando significativamente o baseline de camada por camada do FlowQ (49,41 mIoU).
• Análise de Custo de Hardware:
  • Em um modelo de hardware 8×16-PE, a abordagem de precisão mista (MPBA) reduziu a energia de leitura/escrita de SRAM de estado para 0,177 (normalizado) em comparação a 1,000 para precisão total, com uma precisão média real próxima a 4 bits.

Significância e Alegações

O artigo afirma que o PTQ4SNN aborda efetivamente a natureza "incompleta" da implantação de SNNs de baixo bit ao tratar os estados de membrana recorrentes como alvos de PTQ de primeira classe. Ao quantizar conjuntamente pesos e estados sem retreinamento, o framework preserva uma precisão competitiva através de diversas arquiteturas e tarefas.

Os autores enfatizam que seu método:

• Elimina a necessidade de retreinamento, tornando-o prático para implantar SNNs pré-treinadas.
• Resolve o descompasso de escala entre pesos e estados de membrana através de uma operação de deslocamento amigável ao hardware.
• Otimiza o uso de recursos ao alocar bits onde eles mais importam (alta atividade/sensibilidade), alcanando precisão próxima à de precisão total com aproximadamente 4 bits de precisão de membrana.
• Generaliza-se de SNNs convolucionais para modernos Transformers impulsionados por picos, validando sua utilidade para o próximo nível de hardware de IA eficiente em energia.