Uncertainty-Aware Token Importance Estimation in Spiking Transformers

Riepilogo Tecnico: Stima dell'Importanza dei Token Consapevole dell'Incertezza nei Transformer Spiking

Enunciato del Problema
I Transformer Spiking hanno dimostrato un potenziale significativo per la visione neuromorfica, combinando l'efficienza energetica delle Reti Neurali Spiking (SNN) con le capacità di modellazione globale dell'attenzione self. Tuttavia, rimane un collo di bottiglia critico: l'elaborazione multi-step dei token intrinseca alle SNN introduce spesso ridondanza sostanziale e costi di inferenza. Sebbene i metodi esistenti di riduzione dei token (ad esempio, pruning o merging dei token) mirino a migliorare l'efficienza, si basano prevalentemente su segnali guidati dalla risposta, come l'entità dell'attivazione, le statistiche di firing o la similarità delle caratteristiche.

Gli autori sostengono che questi criteri siano insufficienti per i Transformer Spiking perché non caratterizzano esplicitamente come l'evidenza di classe a livello di token evolva nel tempo. A differenza dei transformer statici, dove le rappresentazioni dei token sono determinate in un singolo istante, le rappresentazioni spiking si formano progressivamente attraverso molteplici step di simulazione. Di conseguenza, l'importanza del token non può essere adeguatamente inferita dalle risposte di un singolo step; richiede una prospettiva temporale che catturi l'evoluzione dell'evidenza e dell'incertezza lungo tutta la dinamica spiking.

Metodologia: Uncert
Per affrontare ciò, gli autori propongono Uncert, un framework senza training, plug-and-play per stimare l'importanza dei token basato su pattern di incertezza temporale. La metodologia consta di quattro componenti principali:

1. Gerarchia dei Token Spiking: Il framework utilizza un backbone gerarchico di transformer spiking (ad esempio, QKFormer o MaxFormer). Le rappresentazioni dei token evolvono attraverso $T$ step temporali, formando una traiettoria temporale per ogni token spaziale.
2. Criterio di Incertezza del Token: Invece di utilizzare i valori grezzi di attivazione, Uncert modella l'evidenza di classe per token utilizzando una distribuzione Dirichlet.
   • I logit del classificatore per un token $i$ al tempo $t$ sono convertiti in valori di evidenza non negativi tramite un'attivazione Softplus.
   • Questi valori di evidenza definiscono i parametri ($\alpha$) di una distribuzione Dirichlet.
   • L'incertezza del token ($U$) è derivata dall'evidenza totale ($S$) come $U = C/S$, dove $C$ è il numero di classi. Ciò produce una traiettoria temporale di incertezza $\{U^t_i\}_{t=1}^T$ per ogni token.
3. Modellazione dell'Incertezza Spiking-Temporale: Il framework riassume la traiettoria temporale di incertezza di ogni token utilizzando due statistiche:
   • Media ($\mu$): Rappresenta il livello complessivo di ambiguità del token.
   • Deviazione Standard ($\sigma$): Cattura la fluttuazione temporale o la stabilità dell'incertezza del token.
   • Il punteggio di importanza finale è calcolato come $S_i = \mu_i + \lambda \sigma_i$, dove $\lambda$ è un coefficiente di bilanciamento (impostato empiricamente a 0.9). Gli autori osservano che i token con maggiore incertezza o fluttuazioni più forti corrispondono spesso a regioni informative dove il modello sta risolvendo l'ambiguità, mentre i token a bassa incertezza rappresentano spesso uno sfondo ridondante.
4. Selezione dei Token: I punteggi calcolati guidano la riduzione dei token al momento dell'inferenza tramite due strategie:
   • Pruning dei Token: Selezione dei top-$K$ token con i punteggi più alti da mantenere, scartando il resto prima del calcolo dell'attenzione self.
   • Merging dei Token: Aggregazione dei token a bassa importanza in ancoraggi vicini ad alto punteggio.

Contributi Chiave

• Prospettiva Temporale sull'Importanza dei Token: Il documento rivisita la stima dell'importanza dei token nei Transformer Spiking, dimostrando che i token esibiscono traiettorie di incertezza eterogenee (stabili, fluttuanti o persistentemente ambigue) piuttosto che dinamiche uniformi.
• Framework Uncert: La proposta di un metodo senza training, plug-and-play che modella l'evidenza dei token con una distribuzione Dirichlet e deriva punteggi di importanza da statistiche di incertezza aggregate temporalmente (media e fluttuazione).
• Validazione Empirica: Esperimenti estesi su benchmark sia statici (CIFAR-10, CIFAR-100) che neuromorfici (DVS-CIFAR-10, DVS-Gesture) validano l'efficacia del metodo.

Risultati Sperimentali

• Trade-off Accuratezza-Efficienza: Uncert ottiene compromessi favorevoli tra accuratezza ed efficienza. Su CIFAR-100 e DVS-CIFAR-10, mantenere solo l'80–90% dei token spesso risulta in un'accuratezza comparabile o leggermente migliore rispetto alla baseline completa.
• Pruning vs. Merging: Il pruning dei token emerge come l'applicazione più efficace del criterio di incertezza. Ad esempio, su CIFAR-100 con un rapporto di mantenimento dell'80%, Uncert (Pruning) ha raggiunto un'accuratezza del 81.06%, superando la baseline (80.98%) e la selezione casuale (80.40%). Al contrario, il merging dei token ha mostrato guadagni meno consistenti e ha spesso performato peggio della baseline sotto compressione aggressiva.
• Analisi dei Componenti: Studi di ablazione confermano che combinare sia l'incertezza media che la fluttuazione temporale produce prestazioni superiori rispetto all'uso di una sola metrica. Ciò evidenzia che sia il livello complessivo di ambiguità che la stabilità temporale dei token sono critici per distinguere segnali informativi.
• Guadagni di Efficienza: Le operazioni a livello di blocco (SOP) sono state ridotte di circa il 14.86% quando il rapporto di mantenimento è stato abbassato a 0.40, dimostrando risparmi computazionali misurabili.

Significato e Affermazioni
Il documento afferma che Uncert offre una nuova prospettiva sulle dinamiche dei token nei Transformer Spiking, spostando il focus dalla forza della risposta istantanea ai pattern di incertezza temporale. Gli autori ipotizzano che l'incertezza non sia meramente una misura di instabilità, ma un segnale utile per identificare contenuti discriminativi che richiedono ulteriore risoluzione.

Il significato del lavoro risiede nella sua capacità di migliorare l'efficienza dell'inferenza senza richiedere training aggiuntivo o predictor apprendibili. Sfruttando l'evoluzione temporale intrinseca delle rappresentazioni spiking, Uncert fornisce un meccanismo principiale e senza training per ridurre la ridondanza. Gli autori concludono che le statistiche di incertezza temporale offrono un segnale robusto ed efficace per la selezione dei token, in particolare per il pruning, rendendo possibili Transformer Spiking più efficienti sia per compiti di visione statici che basati su eventi.