🤖 machine learning

SAGE: Surrogate-gradient Adaptation via Attention-Guided Entropy for Spiking Transformers

Cet article introduit SAGE, un mécanisme de gradient de substitution modulé par l'incertitude pour les Transformers de réseaux de neurones à impulsions qui adapte dynamiquement la pente du gradient pendant l'entraînement en utilisant l'entropie de l'auto-attention afin d'obtenir des améliorations de précision constantes par rapport aux bases de comparaison à substitution fixe sans modifier le modèle d'inférence.

Auteurs originaux : Kiran Nair, Rodrigue Rizk, KC Santosh

Publié 2026-08-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kiran Nair, Rodrigue Rizk, KC Santosh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs ne se contentent pas de broyer des chiffres selon un rythme régulier et bourdonnant, mais communiquent plutôt comme une ville de lucioles en pleine effervescence. Dans ce monde, l'information n'est pas un flux constant de données ; c'est une série d'éclats rapides et vifs — des étincelles qui surviennent ou non. C'est le domaine des réseaux de neurones à impulsions (SNN), un type d'intelligence artificielle inspiré par le fonctionnement de notre propre cerveau. Au lieu d'utiliser des calculs lourds et gourmands en énergie, ces réseaux envoient de minuscules « impulsions » binaires (comme un 1 ou un 0) uniquement lorsque cela est nécessaire. C'est un peu comme un quartier où vous ne frapperiez à une porte que si vous avez quelque chose d'urgent à dire, plutôt que de sonner toutes les cinq minutes. Cela les rend incroyablement efficaces, parfaits pour les appareils alimentés par batterie ou les robots qui doivent réfléchir vite sans vider leurs batteries.

Cependant, apprendre à ces cerveaux-lucioles est une affaire délicate. Dans l'IA traditionnelle, nous pouvons utiliser des mathématiques fluides pour déterminer comment améliorer les prédictions du réseau. Mais dans un réseau à impulsions, le « coup » est un événement de type tout-ou-rien ; on ne peut pas faire un petit pas vers un coup, soit on le fait, soit on ne le fait pas. Cela fait s'effondrer la mathématique de l'apprentissage. Pour corriger cela, les scientifiques utilisent une astuce ingénieuse appelée « gradient substitut » (surrogate gradient). Voyez cela comme un mannequin d'entraînement ou une ombre qui imite le coup afin que l'enseignant puisse comprendre comment ajuster le réseau. Pendant des années, tout le monde a utilisé la même ombre pour chaque partie du cerveau, peu importe ce que le cerveau regardait réellement. Mais et si certaines parties du cerveau étaient confuses et avaient besoin d'une aide différente de celle des parties qui sont déjà sûres d'elles ? C'est le casse-tête que cet article aborde.

Voici SAGE (Surrogate-gradient Adaptation via Attention-Guided Entropy), une nouvelle méthode conçue pour faire apprendre ces réseaux à impulsions plus intelligemment, et non plus durement. Les chercheurs derrière SAGE ont remarqué que dans les modèles d'IA modernes appelés « Transformers », le réseau prête attention à différentes parties d'une image de différentes manières. Parfois, le réseau est très confiant sur ce qu'il voit (comme un visage de chat net), et parfois il est totalement perdu (comme un arrière-plan flou). Le problème avec l'ancienne méthode d'entraînement était qu'elle traitait les parties confiantes et les parties confuses exactement de la même manière, en utilisant une « ombre » rigide et immuable pour guider l'apprentissage.

SAGE change la donne en agissant comme un coach sage qui observe la concentration de l'équipe. Il regarde comment l'attention du réseau est dispersée à travers différentes « têtes » (considérez-les comme différents éclaireurs observant la même scène). Si les éclaireurs regardent tous dans la même direction, le réseau est confiant. S'ils regardent dans toutes les directions, le réseau est incertain. SAGE utilise ce « signal d'incertitude » pour ajuster l'ombre d'entraînement à la volée. Quand le réseau est confus, SAGE rend le signal d'entraînement plus large et plus exploratoire, permettant au réseau de tenter de nouvelles choses. Quand le réseau est confiant, SAGE resserre le signal pour effectuer des ajustements précis et prudents.

Le meilleur dans tout cela ? Cette magie ne se produit que pendant que le réseau est en classe (pendant l'entraînement). Une fois que le réseau a fini d'apprendre et qu'il est prêt à sortir dans le monde réel (pendant l'inférence), SAGE disparaît. Le réseau fonctionne exactement comme avant, sans coût énergétique supplémentaire et sans ralentissement de la vitesse. Lors de tests sur des ensembles de données d'images comme CIFAR-10 et CIFAR-100, cette approche a aidé le réseau à mieux reconnaître les images, améliorant la précision d'environ 1 % à 2 % par rapport aux anciennes méthodes rigides. C'est une petite mais significative victoire, montrant qu'en écoutant la propre confusion du réseau, nous pouvons apprendre à ces cerveaux-lucioles, économes en énergie, à voir le monde un peu plus clairement.

Résumé Technique : SAGE – Adaptation du gradient de substitution via l'entropie guidée par l'attention pour les Transformers à impulsions (Spiking Transformers)

1. Énoncé du problème

Les réseaux de neurones à impulsions (SNN - Spiking Neural Networks) offrent une alternative économe en énergie aux réseaux de neurones profonds conventionnels en utilisant un calcul parcimonieux et piloté par les événements. Cependant, l'entraînement de Transformers à impulsions (Spiking ViTs) profonds reste difficile en raison de la nature non dérivable de la fonction de génération d'impulsions (fonction de Heaviside). Cela nécessite l'utilisation de gradients de substitution (surrogate gradients) pendant la rétropropagation pour approximer les dérivées.

Les approches actuelles de pointe emploient généralement des fonctions de gradient de substitution fixes ou globalement uniformes (par exemple, une arctangente statique ou une sigmoïde rapide) sur l'ensemble des tokens spatiaux et des étapes d'entraînement. L'article soutient que cette approximation spatialement uniforme crée un mode de défaillance critique dans les Transformers à impulsions profonds :

Dynamique des tokens ignorée : Les tokens visuels présentent des niveaux variables d'incertitude sémantique. Les tokens à haute confiance (ex: contours d'objets distincts) nécessitent des mises à jour de gradient précises, tandis que les tokens à haute incertitude (ex: arrière-plans ambigus) bénéficient d'un flux de gradient plus large et exploratoire.
Échec de l'optimisation : L'imposition d'une fenêtre de substitution statique pour tous les tokens ne parvient pas à fournir une attribution de crédit contextuelle. Dans les couches profondes, cela conduit à une disparition sévère du gradient et provoque l'effondrement des têtes d'attention en « têtes mortes » (où les potentiels de membrane restent sous le seuil et les mises à jour de poids stagnent).

Le défi central consiste à développer un mécanisme de substitution adaptatif qui ajuste dynamiquement le flux de gradient en fonction de l'incertitude locale des tokens, sans compromettre l'exécution binaire déterministe et à faible consommation requise pour l'inférence.

2. Méthodologie : Cadre SAGE

Les auteurs proposent SAGE (Surrogate-gradient Adaptation via Attention-Guided Entropy), un cadre conscient de l'incertitude qui module la pente du gradient de substitution pendant l'entraînement en se basant sur la dispersion de l'entropie de l'attention.

2.1 Concept central

SAGE opère exclusivement durant la phase d'entraînement. Il estime l'incertitude de chaque bloc de transformer en analysant la dispersion de l'entropie de l'attention à travers les têtes d'auto-attention. Ce signal est utilisé pour ajuster de manière adaptative la pente ( $\alpha$ ) de la fonction de gradient de substitution. Crucialement, le modèle d'inférence reste inchangé ; le contrôleur d'incertitude est supprimé après l'entraînement.

2.2 Estimation de l'incertitude de l'attention

Le cadre exploite le module de Multi-Head Self-Attention (MHA) de l'architecture Spikformer :

Scores d'attention bruts : Le Spikformer standard calcule les scores bruts $S = s QK^\top$ sans normalisation softmax.
Distribution auxiliaire : Pour l'estimation de l'incertitude uniquement, SAGE construit une distribution de probabilité temporaire $A$ en appliquant une opération de détachement (detach) et un Softmax avec une température fixe ( $T_{ent} = 0.25$ ) :
$A = \text{Softmax}\left(\frac{\text{detach}(S)}{T_{ent}}\right)$
Calcul de l'entropie : L'entropie de Shannon normalisée $E_i$ est calculée pour chaque tête d'attention $i$ .
Signal d'incertitude : Au lieu d'utiliser la moyenne de l'entropie, SAGE calcule l'écart-type (dispersion) des entropies à travers toutes les $H$ têtes :
$D = \text{Std}(E_1, E_2, \dots, E_H)$
Une dispersion élevée indique un désaccord entre les têtes (incertitude élevée), tandis qu'une faible dispersion implique des motifs d'attention cohérents.

2.3 Modulation du gradient de substitution guidée par l'incertitude

La statistique de dispersion $D$ est traitée pour générer une pente de substitution spécifique au bloc $\alpha$ :

Lissage : La dispersion instantanée est lissée à l'aide d'une moyenne mobile exponentielle (EMA) pour assurer la stabilité.
Normalisation : La valeur lissée est normalisée à l'aide de statistiques de moyenne et d'écart-type glissantes, puis centrée sur l'ensemble des blocs de transformer pour obtenir un score d'incertitude relatif $\tilde{z}$ .
Cartographie adaptative : Un contrôleur de zone morte supprime les fluctuations mineures. La pente est modulée via une fonction tangente hyperbolique :
$\hat{\alpha} = \begin{cases} 4.0 & \text{si } |\tilde{z}| < 0.25 \\ 4.0 + 0.5 \tanh(\tilde{z}) & \text{sinon} \end{cases}$
La pente finale est plafonnée dans l'intervalle $[3, 5]$ .
Intégration : Ce $\alpha$ adaptatif est appliqué uniquement lors de la passe arrière (backward pass). La passe avant (forward pass) et l'architecture d'inférence restent identiques à la ligne de base Spikformer.

2.4 Surcharge de calcul

Le calcul supplémentaire implique le calcul de l'entropie ($O(HN)$) et de l'écart-type ( $O(H)$ ), ce qui est négligeable par rapport à la complexité $O(N^2)$ du mécanisme d'attention. Le profilage montre une surcharge d'environ 0,03 ms par mini-lot pendant l'entraînement et aucune surcharge pendant l'inférence.

3. Contributions clés

L'article expose trois contributions principales :

Premier cadre conscient de l'incertitude : Introduction du premier cadre d'adaptation de gradient de substitution spécifiquement conçu pour les Spiking Transformers qui utilise l'incertitude dérivée de l'attention.
La dispersion de l'entropie comme signal : Démonstration que la dispersion (écart-type) de l'entropie de l'attention à travers les têtes est un signal d'incertitude en ligne plus discriminant et plus fiable pour l'adaptation de la substitution que les métriques alternatives (telles que l'impureté de Gini ou l'entropie moyenne).
Performance et efficacité : Validation sur des jeux de données compétitifs montrant des améliorations constantes par rapport aux lignes de base à gradient de substitution fixe et aux versions apprenables, avec une surcharge d'entraînement négligeable et aucun coût d'inférence.

4. Résultats expérimentaux

Les expériences ont été menées sur CIFAR-10, CIFAR-100 et ImageNet-200 en utilisant l'architecture Spikformer-4-384.

Gains de précision : SAGE a obtenu des améliorations constantes par rapport aux lignes de base à gradient de substitution fixe sur les jeux de données CIFAR.
- CIFAR-10 : 96,32 % de précision Top-1 (contre 95,51 % pour le Spikformer de base).
- CIFAR-100 : 78,69 % de précision Top-1 (contre 78,21 % pour la ligne de base).
- ImageNet-200 : Sur ce benchmark, SAGE a atteint 60,60 % de précision Top-1, ce qui représente une baisse par rapport aux 70,24 % du Spikformer de base (Tableau 2). L'article note que bien que SAGE améliore les performances sur les jeux de données CIFAR, les résultats sur ImageNet-200 sont inférieurs à la ligne de base, bien que la méthode soit mise en avant pour son efficacité dans les régimes à faible latence et sa capacité à préserver l'architecture originale.
Robustesse temporelle : SAGE a montré les améliorations les plus marquées à des étapes de simulation plus faibles ( $T \le 4$ ), particulièrement au réglage standard de $T=4$ . À mesure que les étapes de temps augmentaient ( $T=8, 12$ ), l'écart de performance se réduisait, suggérant que la méthode est plus efficace pour les applications à faible latence.
Comparaison : SAGE a surpassé tant les gradients de substitution fixes que la configuration « Apprenable » (où un paramètre global unique est entraîné) sur plusieurs jeux de données et étapes de temps.

5. Signification et affirmations

L'article positionne SAGE comme une stratégie d'optimisation plug-and-play qui répond aux limitations spécifiques des gradients de substitution statiques dans les Transformers à impulsions profonds.

Préservation de l'architecture : La méthode préserve l'architecture originale du réseau, les paramètres du modèle et le pipeline d'inférence. Elle n'introduit aucun paramètre apprenable supplémentaire pour le modèle lui-même et n'induit aucune latence d'inférence.
Attribution de crédit contextuelle : En ajustant dynamiquement la pente du gradient en fonction de l'incertitude locale des tokens, SAGE atténue le phénomène de « tête morte » et la disparition du gradient dans les couches profondes, permettant au réseau de mieux gérer les caractéristiques ambiguës pendant l'entraînement.
Praticité : Les auteurs affirment que SAGE est une solution légère qui peut être intégrée de manière transparente dans les pipelines d'entraînement existants, ce qui la rend immédiatement applicable à une large gamme de modèles SNN et de modèles basés sur les Transformers sans nécessiter de changements de déploiement.

Les auteurs concluent que l'optimisation de la substitution guidée par l'incertitude représente une direction efficace pour améliorer l'entraînement des SNN profonds, particulièrement pour les applications nécessitant une exécution à faible latence.