Uncertainty-Aware Token Importance Estimation in Spiking Transformers

Resumen Técnico: Estimación de la Importancia de Tokens Consciente de la Incertidumbre en Transformers de Espigas

Enunciado del Problema
Los Transformers de Espigas han demostrado un potencial significativo para la visión neuromórfica al combinar la eficiencia energética de las Redes Neuronales de Espigas (SNN) con las capacidades de modelado global de la auto-atención. Sin embargo, persiste un cuello de botella crítico: el procesamiento de múltiples pasos de los tokens inherente a las SNN a menudo introduce redundancia sustancial y costos de inferencia. Si bien los métodos existentes de reducción de tokens (por ejemplo, poda o fusión de tokens) buscan mejorar la eficiencia, dependen predominantemente de señales impulsadas por la respuesta, como la magnitud de la activación, las estadísticas de disparo o la similitud de características.

Los autores argumentan que estos criterios son insuficientes para los Transformers de Espigas porque no caracterizan explícitamente cómo evoluciona la evidencia de clase a nivel de token a lo largo del tiempo. A diferencia de los transformers estáticos, donde las representaciones de los tokens se determinan en un solo instante, las representaciones de espigas se forman progresivamente a través de múltiples pasos de simulación. En consecuencia, la importancia del token no puede inferirse adecuadamente a partir de respuestas de un solo paso; requiere una perspectiva temporal que capture la evolución de la evidencia y la incertidumbre a lo largo de la dinámica de espigas.

Metodología: Uncert
Para abordar esto, los autores proponen Uncert, un marco libre de entrenamiento y plug-and-play para estimar la importancia de los tokens basado en patrones de incertidumbre temporal. La metodología consta de cuatro componentes principales:

1. Jerarquía de Tokens de Espigas: El marco utiliza una columna vertebral jerárquica de transformer de espigas (por ejemplo, QKFormer o MaxFormer). Las representaciones de los tokens evolucionan a través de $T$ pasos de tiempo, formando una trayectoria temporal para cada token espacial.
2. Criterio de Incertidumbre del Token: En lugar de utilizar valores de activación crudos, Uncert modela la evidencia de clase por token utilizando una distribución Dirichlet.
   • Los logits del clasificador para un token $i$ en el tiempo $t$ se convierten en valores de evidencia no negativos mediante una activación Softplus.
   • Estos valores de evidencia definen los parámetros ($\alpha$) de una distribución Dirichlet.
   • La incertidumbre del token ($U$) se deriva de la evidencia total ($S$) como $U = C/S$, donde $C$ es el número de clases. Esto produce una trayectoria de incertidumbre temporal $\{U^t_i\}_{t=1}^T$ para cada token.
3. Modelado de Incertidumbre Espiga-Temporal: El marco resume la trayectoria de incertidumbre temporal de cada token utilizando dos estadísticas:
   • Media ($\mu$): Representa el nivel general de ambigüedad del token.
   • Desviación Estándar ($\sigma$): Captura la fluctuación temporal o la estabilidad de la incertidumbre del token.
   • La puntuación de importancia final se calcula como $S_i = \mu_i + \lambda \sigma_i$, donde $\lambda$ es un coeficiente de equilibrio (establecido empíricamente en 0.9). Los autores observan que los tokens con mayor incertidumbre o fluctuaciones más fuertes a menudo corresponden a regiones informativas donde el modelo está resolviendo ambigüedades, mientras que los tokens de baja incertidumbre a menudo representan un fondo redundante.
4. Selección de Tokens: Las puntuaciones calculadas guían la reducción de tokens en tiempo de inferencia mediante dos estrategias:
   • Poda de Tokens: Seleccionar los $K$ tokens superiores con las puntuaciones más altas para retenerlos, descartando el resto antes del cálculo de la auto-atención.
   • Fusión de Tokens: Agregar tokens de baja importancia a anclas cercanas con puntuaciones altas.

Contribuciones Clave

• Perspectiva Temporal sobre la Importancia del Token: El artículo revisa la estimación de la importancia de los tokens en Transformers de Espigas, demostrando que los tokens exhiben trayectorias de incertidumbre heterogéneas (estables, fluctuantes o persistentemente ambiguas) en lugar de dinámicas uniformes.
• Marco Uncert: La propuesta de un método libre de entrenamiento y plug-and-play que modela la evidencia del token con una distribución Dirichlet y deriva puntuaciones de importancia a partir de estadísticas de incertidumbre agregadas temporalmente (media y fluctuación).
• Validación Empírica: Experimentos extensos en tanto en benchmarks estáticos (CIFAR-10, CIFAR-100) como neuromórficos (DVS-CIFAR-10, DVS-Gesture) validan la efectividad del método.

Resultados Experimentales

• Compensación Precisión-Eficiencia: Uncert logra compensaciones favorables entre precisión y eficiencia. En CIFAR-100 y DVS-CIFAR-10, retener solo el 80–90% de los tokens a menudo resulta en una precisión comparable o ligeramente mejor que la línea base completa.
• Poda vs. Fusión: La poda de tokens emerge como la aplicación más efectiva del criterio de incertidumbre. Por ejemplo, en CIFAR-100 con una relación de retención del 80%, Uncert (Poda) logró una precisión del 81.06%, superando a la línea base (80.98%) y a la selección aleatoria (80.40%). Por el contrario, la fusión de tokens mostró ganancias menos consistentes y a menudo rindió por debajo de la línea base bajo compresión agresiva.
• Análisis de Componentes: Los estudios de ablación confirman que combinar tanto la incertidumbre media como la fluctuación temporal produce un rendimiento superior en comparación con el uso de cualquiera de las métricas por separado. Esto destaca que tanto el nivel general de ambigüedad como la estabilidad temporal de los tokens son críticos para distinguir señales informativas.
• Ganancias de Eficiencia: Las operaciones a nivel de bloque (SOP) se redujeron aproximadamente un 14.86% cuando la relación de retención se bajó a 0.40, demostrando ahorros computacionales medibles.

Significado y Afirmaciones
El artículo afirma que Uncert ofrece una nueva perspectiva sobre la dinámica de tokens en Transformers de Espigas al desplazar el enfoque de la fuerza de respuesta instantánea a los patrones de incertidumbre temporal. Los autores postulan que la incertidumbre no es meramente una medida de inestabilidad, sino una señal útil para identificar contenido discriminativo que requiere mayor resolución.

El significado del trabajo radica en su capacidad para mejorar la eficiencia de la inferencia sin requerir entrenamiento adicional ni predictores aprendibles. Al aprovechar la evolución temporal intrínseca de las representaciones de espigas, Uncert proporciona un mecanismo principiado y libre de entrenamiento para reducir la redundancia. Los autores concluyen que las estadísticas de incertidumbre temporal ofrecen una señal robusta y efectiva para la selección de tokens, particularmente para la poda, permitiendo Transformers de Espigas más eficientes tanto para tareas de visión estática como basada en eventos.