Uncertainty-Aware Token Importance Estimation in Spiking Transformers

Résumé Technique : Estimation de l'Importance des Tokens Sensible à l'Incertitude dans les Transformers à Spikes

Énoncé du Problème
Les Transformers à Spikes ont démontré un potentiel significatif pour la vision neuromorphique en combinant l'efficacité énergétique des Réseaux de Neurones à Spikes (SNN) avec les capacités de modélisation globale de l'attention auto-organisée. Cependant, un goulot d'étranglement critique subsiste : le traitement multi-étapes des tokens inhérent aux SNN introduit souvent une redondance substantielle et des coûts d'inférence élevés. Bien que les méthodes existantes de réduction des tokens (par exemple, l'élagage ou la fusion de tokens) visent à améliorer l'efficacité, elles reposent principalement sur des indicateurs pilotés par la réponse, tels que l'amplitude d'activation, les statistiques de décharge ou la similarité des caractéristiques.

Les auteurs soutiennent que ces critères sont insuffisants pour les Transformers à Spikes car ils ne parviennent pas à caractériser explicitement comment les preuves de classe au niveau des tokens évoluent dans le temps. Contrairement aux transformers statiques où les représentations des tokens sont déterminées à un instant unique, les représentations à spikes se forment progressivement sur plusieurs étapes de simulation. Par conséquent, l'importance d'un token ne peut être adéquatement déduite des réponses d'une seule étape ; elle nécessite une perspective temporelle capturant l'évolution des preuves et de l'incertitude tout au long de la dynamique de décharge.

Méthodologie : Uncert
Pour y remédier, les auteurs proposent Uncert, un cadre sans entraînement, plug-and-play, pour estimer l'importance des tokens basé sur des motifs d'incertitude temporelle. La méthodologie se compose de quatre composants principaux :

1. Hiérarchie des Tokens à Spikes : Le cadre utilise une colonne vertébrale de transformer à spikes hiérarchique (par exemple, QKFormer ou MaxFormer). Les représentations des tokens évoluent sur $T$ étapes de temps, formant une trajectoire temporelle pour chaque token spatial.
2. Critère d'Incertitude des Tokens : Au lieu d'utiliser les valeurs d'activation brutes, Uncert modélise les preuves de classe au niveau des tokens en utilisant une distribution de Dirichlet.
   • Les logits du classificateur pour un token $i$ à l'instant $t$ sont convertis en valeurs de preuve non négatives via une activation Softplus.
   • Ces valeurs de preuve définissent les paramètres ($\alpha$) d'une distribution de Dirichlet.
   • L'incertitude du token ($U$) est dérivée de la preuve totale ($S$) selon la formule $U = C/S$, où $C$ est le nombre de classes. Cela produit une trajectoire d'incertitude temporelle $\{U^t_i\}_{t=1}^T$ pour chaque token.
3. Modélisation de l'Incertitude Spatio-Temporelle : Le cadre résume la trajectoire d'incertitude temporelle de chaque token en utilisant deux statistiques :
   • Moyenne ($\mu$) : Représente le niveau global d'ambiguïté du token.
   • Écart-type ($\sigma$) : Capture la fluctuation temporelle ou la stabilité de l'incertitude du token.
   • Le score d'importance final est calculé comme $S_i = \mu_i + \lambda \sigma_i$, où $\lambda$ est un coefficient d'équilibrage (fixé empiriquement à 0,9). Les auteurs observent que les tokens présentant une incertitude plus élevée ou des fluctuations plus fortes correspondent souvent à des régions informatives où le modèle résout l'ambiguïté, tandis que les tokens à faible incertitude représentent souvent un arrière-plan redondant.
4. Sélection des Tokens : Les scores calculés guident la réduction des tokens lors de l'inférence via deux stratégies :
   • Élagage des Tokens : Sélection des $K$ meilleurs tokens ayant les scores les plus élevés à conserver, en écartant le reste avant le calcul de l'attention auto-organisée.
   • Fusion des Tokens : Agrégation des tokens à faible importance dans des ancres à fort score proches.

Contributions Clés

• Perspective Temporelle sur l'Importance des Tokens : L'article réexamine l'estimation de l'importance des tokens dans les Transformers à Spikes, démontrant que les tokens présentent des trajectoires d'incertitude hétérogènes (stables, fluctuantes ou persistamment ambiguës) plutôt que des dynamiques uniformes.
• Cadre Uncert : La proposition d'une méthode sans entraînement, plug-and-play, qui modélise les preuves des tokens avec une distribution de Dirichlet et dérive des scores d'importance à partir de statistiques d'incertitude agrégées temporellement (moyenne et fluctuation).
• Validation Empirique : Des expériences extensives sur des benchmarks statiques (CIFAR-10, CIFAR-100) et neuromorphiques (DVS-CIFAR-10, DVS-Gesture) valident l'efficacité de la méthode.

Résultats Expérimentaux

• Compromis Précision-Efficacité : Uncert réalise des compromis favorables entre précision et efficacité. Sur CIFAR-100 et DVS-CIFAR-10, la conservation de seulement 80 à 90 % des tokens entraîne souvent une précision comparable ou légèrement supérieure à celle de la référence complète.
• Élagage vs Fusion : L'élagage des tokens émerge comme l'application la plus efficace du critère d'incertitude. Par exemple, sur CIFAR-100 avec un taux de conservation de 80 %, Uncert (Élagage) a atteint une précision de 81,06 %, surpassant la référence (80,98 %) et la sélection aléatoire (80,40 %). En revanche, la fusion des tokens a montré des gains moins cohérents et a souvent sous-performé la référence sous une compression agressive.
• Analyse des Composantes : Les études d'ablation confirment que la combinaison de l'incertitude moyenne et de la fluctuation temporelle produit des performances supérieures à l'utilisation d'une seule de ces métriques. Cela souligne que tant le niveau global d'ambiguïté que la stabilité temporelle des tokens sont critiques pour distinguer les signaux informatifs.
• Gains d'Efficacité : Les opérations au niveau des blocs (SOP) ont été réduites d'environ 14,86 % lorsque le taux de conservation a été abaissé à 0,40, démontrant des économies de calcul mesurables.

Signification et Revendications
L'article revendique qu'Uncert offre une nouvelle perspective sur la dynamique des tokens dans les Transformers à Spikes en déplaçant l'accent de la force de réponse instantanée vers les motifs d'incertitude temporelle. Les auteurs postulent que l'incertitude n'est pas simplement une mesure d'instabilité, mais un signal utile pour identifier le contenu discriminatif nécessitant une résolution supplémentaire.

La signification de ce travail réside dans sa capacité à améliorer l'efficacité de l'inférence sans nécessiter d'entraînement supplémentaire ni de prédicteurs apprenables. En exploitant l'évolution temporelle intrinsèque des représentations à spikes, Uncert fournit un mécanisme principiel et sans entraînement pour réduire la redondance. Les auteurs concluent que les statistiques d'incertitude temporelle offrent un indice robuste et efficace pour la sélection de tokens, en particulier pour l'élagage, permettant des Transformers à Spikes plus efficaces pour les tâches de vision statiques et basées sur les événements.