Uncertainty-Aware Token Importance Estimation in Spiking Transformers

Resumo Técnico: Estimativa de Importância de Tokens Consciente de Incerteza em Transformers de Spiking

Declaração do Problema
Transformers de Spiking demonstraram potencial significativo para visão neuromórfica, combinando a eficiência energética das Redes Neurais de Spiking (SNNs) com as capacidades de modelagem global da autoatenção. No entanto, um gargalo crítico permanece: o processamento multi-etapa de tokens inerente às SNNs frequentemente introduz redundância substancial e custos de inferência. Embora os métodos existentes de redução de tokens (por exemplo, poda ou mesclagem de tokens) visem melhorar a eficiência, eles dependem predominantemente de sinais orientados à resposta, como magnitude de ativação, estatísticas de disparo ou similaridade de características.

Os autores argumentam que esses critérios são insuficientes para Transformers de Spiking porque não caracterizam explicitamente como a evidência de classe ao nível de token evolui ao longo do tempo. Diferentemente dos transformers estáticos, onde as representações de tokens são determinadas em um único instante, as representações de spiking são formadas progressivamente ao longo de múltiplos passos de simulação. Consequentemente, a importância do token não pode ser adequadamente inferida apenas a partir de respostas de passo único; ela requer uma perspectiva temporal que capture a evolução da evidência e da incerteza ao longo da dinâmica de spiking.

Metodologia: Uncert
Para abordar isso, os autores propõem o Uncert, um framework livre de treinamento e plug-and-play para estimar a importância de tokens com base em padrões de incerteza temporal. A metodologia consiste em quatro componentes principais:

1. Hierarquia de Tokens de Spiking: O framework utiliza uma espinha dorsal hierárquica de transformer de spiking (por exemplo, QKFormer ou MaxFormer). As representações de tokens evoluem ao longo de $T$ passos de tempo, formando uma trajetória temporal para cada token espacial.
2. Critério de Incerteza de Token: Em vez de usar valores de ativação brutos, o Uncert modela a evidência de classe por token usando uma distribuição Dirichlet.
   • Os logits do classificador para um token $i$ no tempo $t$ são convertidos em valores de evidência não negativos via uma ativação Softplus.
   • Esses valores de evidência definem os parâmetros ($\alpha$) de uma distribuição Dirichlet.
   • A incerteza do token ($U$) é derivada da evidência total ($S$) como $U = C/S$, onde $C$ é o número de classes. Isso produz uma trajetória de incerteza temporal $\{U^t_i\}_{t=1}^T$ para cada token.
3. Modelagem de Incerteza Espacial-Temporal: O framework resume a trajetória de incerteza temporal de cada token usando duas estatísticas:
   • Média ($\mu$): Representa o nível geral de ambiguidade do token.
   • Desvio Padrão ($\sigma$): Captura a flutuação temporal ou estabilidade da incerteza do token.
   • A pontuação final de importância é calculada como $S_i = \mu_i + \lambda \sigma_i$, onde $\lambda$ é um coeficiente de balanceamento (definido empiricamente como 0,9). Os autores observam que tokens com maior incerteza ou flutuações mais fortes frequentemente correspondem a regiões informativas onde o modelo está resolvendo ambiguidades, enquanto tokens de baixa incerteza frequentemente representam fundo redundante.
4. Seleção de Token: As pontuações calculadas orientam a redução de tokens no tempo de inferência por meio de duas estratégias:
   • Poda de Token: Selecionar os $K$ principais tokens com as pontuações mais altas para reter, descartando o restante antes do cálculo da autoatenção.
   • Mesclagem de Token: Agregar tokens de baixa importância em âncoras próximas de alta pontuação.

Principais Contribuições

• Perspectiva Temporal sobre a Importância de Token: O artigo revisita a estimativa de importância de tokens em Transformers de Spiking, demonstrando que os tokens exibem trajetórias de incerteza heterogêneas (estáveis, flutuantes ou persistentemente ambíguas) em vez de dinâmicas uniformes.
• Framework Uncert: A proposta de um método livre de treinamento e plug-and-play que modela a evidência de token com uma distribuição Dirichlet e deriva pontuações de importância a partir de estatísticas de incerteza temporal agregadas (média e flutuação).
• Validação Empírica: Experimentos extensivos em benchmarks estáticos (CIFAR-10, CIFAR-100) e neuromórficos (DVS-CIFAR-10, DVS-Gesture) validam a eficácia do método.

Resultados Experimentais

• Compromisso entre Precisão e Eficiência: O Uncert alcança compromissos favoráveis entre precisão e eficiência. No CIFAR-100 e DVS-CIFAR-10, reter apenas 80–90% dos tokens frequentemente resulta em precisão comparável ou ligeiramente melhor que a linha de base completa.
• Poda vs. Mesclagem: A poda de tokens emerge como a aplicação mais eficaz do critério de incerteza. Por exemplo, no CIFAR-100 com uma taxa de retenção de 80%, o Uncert (Poda) alcançou 81,06% de precisão, superando a linha de base (80,98%) e a seleção aleatória (80,40%). Em contraste, a mesclagem de tokens mostrou ganhos menos consistentes e frequentemente teve desempenho inferior à linha de base sob compressão agressiva.
• Análise de Componentes: Estudos de ablação confirmam que combinar tanto a incerteza média quanto a flutuação temporal produz desempenho superior em comparação com o uso de qualquer métrica isoladamente. Isso destaca que tanto o nível geral de ambiguidade quanto a estabilidade temporal dos tokens são críticos para distinguir sinais informativos.
• Ganhos de Eficiência: Operações em nível de bloco (SOP) foram reduzidas em aproximadamente 14,86% quando a taxa de retenção foi diminuída para 0,40, demonstrando economias computacionais mensuráveis.

Significado e Alegações
O artigo alega que o Uncert oferece uma nova perspectiva sobre a dinâmica de tokens em Transformers de Spiking, deslocando o foco da força de resposta instantânea para padrões de incerteza temporal. Os autores postulam que a incerteza não é meramente uma medida de instabilidade, mas um sinal útil para identificar conteúdo discriminativo que requer resolução adicional.

O significado do trabalho reside em sua capacidade de melhorar a eficiência da inferência sem exigir treinamento adicional ou preditores aprendíveis. Ao aproveitar a evolução temporal intrínseca das representações de spiking, o Uncert fornece um mecanismo principiado e livre de treinamento para reduzir a redundância. Os autores concluem que as estatísticas de incerteza temporal oferecem um sinal robusto e eficaz para a seleção de tokens, particularmente para poda, permitindo Transformers de Spiking mais eficientes para tarefas de visão estáticas e baseadas em eventos.