🤖 machine learning

SAGE: Surrogate-gradient Adaptation via Attention-Guided Entropy for Spiking Transformers

Este artículo presenta SAGE, un mecanismo de gradiente sustituto modulado por incertidumbre para Transformadores de Redes Neuronales de Impulsos que adapta dinámicamente la pendiente del gradiente durante el entrenamiento utilizando la entropía de la autoatención para lograr mejoras de precisión consistentes sobre las bases de sustitución fija sin alterar el modelo de inferencia.

Autores originales: Kiran Nair, Rodrigue Rizk, KC Santosh

Publicado 2026-08-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kiran Nair, Rodrigue Rizk, KC Santosh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo procesan números con un ritmo constante y zumbante, sino que se comunican como una bulliciosa ciudad de luciérnagas. En este mundo, la información no es un flujo constante de datos; es una serie de destellos rápidos y agudos: chispas que ocurren o no ocurren. Este es el reino de las Redes Neuronales de Impulsos (SNN, por sus siglas en inglés), un tipo de inteligencia artificial inspirado en cómo funciona nuestro propio cerebro. En lugar de utilizar cálculos pesados y ávidos de energía, estas redes envían diminutos "impulsos" binarios (como un 1 o un 0) solo cuando es necesario. Es un poco como un vecindario donde solo llamas a la puerta si tienes algo urgente que decir, en lugar de tocar el timbre cada cinco minutos. Esto las hace increíblemente eficientes, perfectas para dispositivos alimentados por baterías o robots que necesitan pensar rápido sin agotar sus baterías.

Sin embargo, enseñar a estos cerebros de luciérnaga a aprender es un asunto complicado. En la IA tradicional, podemos usar matemáticas suaves para determinar cómo mejorar las suposiciones de la red. Pero en una red de impulsos, el "toque" es un evento de todo o nada; no puedes dar un paso diminuto hacia un toque, o lo haces o no lo haces. Esto hace que las matemáticas del aprendizaje se rompan. Para solucionar esto, los científicos utilizan un truco ingenioso llamado "gradiente sustituto" (surrogate gradient). Piensa en ello como un maniquí de entrenamiento o una sombra que imita el toque para que el maestro pueda determinar cómo ajustar la red. Durante años, todos usaron la misma sombra para cada parte del cerebro, independientemente de lo que el cerebro estuviera mirando realmente. Pero, ¿qué pasaría si algunas partes del cerebro están confundidas y necesitan un tipo de ayuda diferente a la de las partes que ya están seguras de sí mismas? Ese es el rompecabezas que este artículo aborda.

Presentamos SAGE (Adaptación de Gradiente Sustituto mediante Atención Guiada por Entropía), un nuevo método diseñado para hacer que estas redes de impulsos aprendan de forma más inteligente, no más dura. Los investigadores detrás de SAGE notaron que en los modelos de IA modernos llamados "Transformers", la red presta atención a diferentes partes de una imagen de diferentes maneras. A veces, la red está muy segura de lo que ve (como la cara clara de un gato) y otras veces está totalmente perdida (como un fondo borroso). El problema con el antiguo método de entrenamiento era que trataba las partes seguras y las partes confundidas exactamente de la misma manera, utilizando una "sombra" rígida e invariable para guiar el aprendizaje.

SAGE cambia las reglas del juego actuando como un entrenador sabio que observa el enfoque del equipo. Observa cómo la atención de la red se dispersa a través de diferentes "cabezales" (piensa en ellos como diferentes exploradores mirando la misma escena). Si los exploradores miran todos en la misma dirección, la red tiene confianza. Si miran en todas direcciones diferentes, la red tiene incertidumbre. SAGE utiliza esta "señal de incertidumbre" para ajustar la sombra de entrenamiento sobre la marcha. Cuando la red está confundida, SAGE hace que la señal de entrenamiento sea más amplia y exploratoria, permitiendo que la red intente cosas nuevas. Cuando la red tiene confianza, SAGE estrecha la señal para realizar ajustes precisos y cuidadosos.

¿Lo mejor de todo? Esta magia solo ocurre mientras la red está en el aula (durante el entrenamiento). Una vez que la red ha terminado de aprender y está lista para salir al mundo real (durante la inferencia), SAGE desaparece. La red funciona exactamente como lo hacía antes, sin costo de energía adicional ni menor velocidad. En pruebas con conjuntos de datos de imágenes como CIFAR-10 y CIFAR-100, este enfoque ayudó a la red a mejorar el reconocimiento de imágenes, aumentando la precisión en aproximadamente un 1% a 2% en comparación con los métodos antiguos y rígidos. Es una victoria pequeña pero significativa, que demuestra que, al escuchar la propia confusión de la red, podemos enseñar a estos cerebros de luciérnaga, eficientes en energía, a ver el mundo un poco más claramente.

Resumen Técnico: SAGE – Adaptación de Gradiente Sustituto mediante Entropía Guiada por Atención para Transformers de Impulsos

1. Planteamiento del Problema

Las Redes Neuronales de Impulsos (SNN, por sus siglas en inglés) ofrecen una alternativa de bajo consumo energético frente a las redes neuronales profundas convencionales al utilizar un cómputo disperso y dirigido por eventos. Sin embargo, el entrenamiento de Vision Transformers (ViTs) de impulsos profundos sigue siendo un desafío debido a la naturaleza no diferenciable de la función de generación de impulsos (función escalón de Heaviside). Esto requiere el uso de gradientes sustitutos (surrogate gradients) durante la retropropagación para aproximar las derivadas.

Los enfoques actuales de vanguardia suelen emplear funciones de gradiente sustituto fijas o globalmente uniformes (por ejemplo, arcotangente estática o sigmoide rápida) en todos los tokens espaciales y etapas de entrenamiento. El artículo argumenta que esta aproximación espacialmente uniforme crea un modo de fallo crítico en los Transformers de impulsos profundos:

Se ignoran las dinámicas a nivel de token: Los tokens visuales exhiben distintos niveles de incertidumbre semántica. Los tokens de alta confianza (por ejemplo, bordes de objetos definidos) requieren actualizaciones de gradiente precisas, mientras que los tokens de alta incertidumbre (por ejemplo, fondos ambiguos) se benefician de un flujo de gradiente más amplio y exploratorio.
Fallo de optimización: Imponer una ventana de sustitución estática en todos los tokens no logra proporcionar una asignación de crédito contextual. En capas profundas, esto conduce a un severo desvanecimiento del gradiente y provoca que las cabezas de atención colapsen en "cabezas muertas" (donde los potenciales de membrana permanecen subumbrales y las actualizaciones de pesos se estancan).

El desafío central es desarrollar un mecanismo de sustitución adaptativo que ajuste dinámicamente el flujo de gradiente según la incertidumbre local del token sin comprometer la ejecución binaria determinista y de bajo consumo requerida para la inferencia.

2. Metodología: Marco de Trabajo SAGE

Los autores proponen SAGE (Adaptación de Gradiente Sustituto mediante Entropía Guiada por Atención), un marco de trabajo consciente de la incertidumbre que modula la pendiente del gradiente sustituto durante el entrenamiento basándose en la dispersión de la entropía de la atención.

2.1 Concepto Central

SAGE opera exclusivamente durante la fase de entrenamiento. Estima la incertidumbre de cada bloque del transformer analizando la dispersión de la entropía de la atención a través de las cabezas de autoatención. Esta señal se utiliza para ajustar adaptativamente la pendiente ( $\alpha$ ) de la función de gradiente sustituto. Crucialmente, el modelo de inferencia permanece sin cambios; el controlador de incertidumbre se elimina tras el entrenamiento.

2.2 Estimación de la Incertidumbre de la Atención

El marco aprovecha el módulo de Autoatención de Cabezal Múltiple (MHA) de la arquitectura Spikformer:

Puntuaciones de Atención Brutas: El Spikformer estándar computa puntuaciones brutas $S = s QK^\top$ sin normalización softmax.
Distribución Auxiliar: Solo para la estimación de la incertidumbre, SAGE construye una distribución de probabilidad temporal aplicando una operación de desenganche (detach) y un Softmax con una temperatura fija ( $T_{ent} = 0.25$ ):
$A = \text{Softmax}\left(\frac{\text{detach}(S)}{T_{ent}}\right)$
Cálculo de la Entropía: Se computa la entropía de Shannon normalizada $E_i$ para cada cabeza de atención $i$ .
Señal de Incertidumbre: En lugar de usar la media de la entropía, SAGE calcula la desviación estándar (dispersión) de las entropías a través de todas las $H$ cabezas:
$D = \text{Std}(E_1, E_2, \dots, E_H)$
Una alta dispersión indica desacuerdo entre las cabezas (alta incertidumbre), mientras que una baja dispersión implica patrones de atención consistentes.

2.3 Modulación del Sustituto Guiada por la Incertidumbre

La estadística de dispersión $D$ se procesa para generar una pendiente de sustitución específica por bloque $\alpha$ :

Suavizado: La dispersión instantánea se suaviza mediante una Media Móvil Exponencial (EMA) para asegurar la estabilidad.
Normalización: El valor suavizado se normaliza utilizando estadísticas de media y desviación estándar en ejecución, y luego se centra a través de todos los bloques del transformer para obtener una puntuación de incertidumbre relativa $\tilde{z}$ .
Mapeo Adaptativo: Un controlador de zona muerta suprime las fluctuaciones menores. La pendiente se modula mediante una función tangente hiperbólica:
$\hat{\alpha} = \begin{cases} 4.0 & \text{si } |\tilde{z}| < 0.25 \\ 4.0 + 0.5 \tanh(\tilde{z}) & \text{en otro caso} \end{cases}$
La pendiente final se recorta en el intervalo $[3, 5]$ .
Integración: Este $\alpha$ adaptativo se aplica únicamente durante la pasada hacia atrás (backward pass). La pasada hacia adelante (forward pass) y la arquitectura de inferencia permanecen idénticas a la del Spikformer base.

2.4 Sobrecarga Computacional

El cómputo adicional implica calcular la entropía ($O(HN)$) y la desviación estándar ( $O(H)$ ), lo cual es insignificante comparado con la complejidad $O(N^2)$ del mecanismo de atención. El perfilado muestra una sobrecarga de aproximadamente 0.03 ms por mini-lote durante el entrenamiento y cero sobrecarga durante la inferencia.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

Primer Marco Consciente de la Incertidumbre: Introducción del primer marco de gradiente sustituto adaptativo diseñado específicamente para transformers de impulsos que utiliza la incertidumbre derivada de la atención.
Dispersión de la Entropía como Señal: Demostración de que la dispersión (desviación estándar) de la entropía de la atención a través de las cabezas es una señal de incertidencia en línea más discriminativa y fiable para la adaptación del sustituto que otras métricas (como la impureza de Gini o la media de la entropía).
Rendimiento y Eficiencia: Validación en conjuntos de datos competitivos que muestran mejoras consistentes sobre las bases de sustitución fija y aprendible con una sobrecarga de entrenamiento insignificante y sin coste de inferencia.

4. Resultados Experimentales

Los experimentos se realizaron en CIFAR-10, CIFAR-100 e ImageNet-200 utilizando la arquitectura Spikformer-4-384.

Ganancias de Precisión: SAGE logró mejoras consistentes sobre las bases de gradiente sustituto fijo en los conjuntos de datos de CIFAR.
- CIFAR-10: 96.32% de precisión Top-1 (frente al 95.51% del Spikformer base).
- CIFAR-100: 78.69% de precisión Top-1 (frente al 78.21% del base).
- ImageNet-200: En este benchmark, SAGE alcanzó un 60.60% de precisión Top-1, lo que representa una disminución respecto al 70.24% del Spikformer base (Tabla 2). El artículo señala que, aunque SAGE mejora el rendimiento en los conjuntos de datos de CIFAR, los resultados en ImageNet-200 fueron inferiores al Spikformer base, aunque se destaca el método por su efectividad en regímenes de baja latencia y su capacidad para preservar la arquitectura original.
Robustez Temporal: SAGE mostró las mejoras más pronunciadas en pasos de simulación de tiempo bajos ( $T \le 4$ ), particularmente en la configuración estándar de $T=4$ . A medida que los pasos de tiempo aumentaban ( $T=8, 12$ ), la brecha de rendimiento se reducía, lo que sugiere que el método es más efectivo para aplicaciones de baja latencia.
Comparación: SAGE superó tanto a los gradientes sustitutos fijos como a una configuración "Aprendible" (donde se entrena un único parámetro global) a través de múltiples conjuntos de datos y pasos de tiempo.

5. Significado y Reivindicaciones

El artículo posiciona a SAGE como una estrategia de optimización plug-and-play que aborda las limitaciones específicas de los gradientes sustitutos estáticos en los Transformers de impulsos profundos.

Preservación Arquitectónica: El método preserva la arquitectura original de la red, los parámetros del modelo y el flujo de inferencia. No introduce parámetros aprendibles adicionales para el modelo en sí e incurre en cero latencia de inferencia.
Asignación de Crédito Contextual: Al ajustar dinámicamente la pendiente del gradiente basada en la incertidumbre local del token, SAGE mitiga el fenómeno de "cabezas muertas" y el desvanecimiento del gradiente en capas profundas, permitiendo que la red maneje mejor las características ambiguas durante el entrenamiento.
Practicidad: Los autores afirman que SAGE es una solución ligera que puede integrarse sin problemas en los flujos de trabajo de entrenamiento existentes, lo que lo hace inmediatamente aplicable a una amplia gama de modelos SNN y modelos basados en Transformers sin requerir cambios en el despliegue.

Los autores concluyen que la optimización de gradiente sustituto guiada por la incertidumbre representa una dirección efectiva para mejorar el entrenamiento de las SNN profundas, particularmente para aplicaciones que requieren una ejecución de baja latencia.