Sharpness-Aware Surrogate Training for On-Sensor Spiking Neural Networks

Ce papier présente la Sharpness-Aware Surrogate Training (SAST), une méthode qui applique la minimisation sensible à la netteté aux réseaux de neurones à spikes entraînés par gradients de substitution, permettant d'améliorer considérablement la précision et l'efficacité énergétique des modèles déployés sur des capteurs visuels événementiels en réduisant l'écart entre l'entraînement et le déploiement.

L'essentiel

🧠 Le Problème : L'Écart entre la Théorie et la Réalité

Imaginez que vous construisez une voiture autonome pour un robot qui doit fonctionner sur une puce électronique très petite, avec très peu de batterie (comme un capteur de caméra sur un drone ou un téléphone).

Pour économiser de l'énergie, ce robot ne peut pas utiliser des calculs complexes et lents. Il doit utiliser des Spikes (des "impulsions" ou des "étincelles"). C'est comme un interrupteur : soit il est OFF (0), soit il est ON (1). Pas de demi-mesure, pas de "à moitié allumé".

Le problème, c'est comment entraîner ce robot :

1. À l'école (l'entraînement) : Pour apprendre, on utilise une version "douce" de l'interrupteur. Imaginez un gradateur de lumière qui peut passer doucement du noir au blanc. Cela permet aux mathématiques de fonctionner et au robot d'apprendre facilement.
2. Sur le terrain (le déploiement) : Une fois le robot prêt à partir, on doit remplacer ce gradateur doux par un vrai interrupteur dur (tout ou rien).

Le drame ? Souvent, le robot apprend très bien avec le gradateur doux, mais dès qu'on le force à utiliser l'interrupteur dur sur le terrain, il panique et fait des erreurs. C'est ce que les chercheurs appellent le "fossé de transfert". C'est comme si un élève apprenait à conduire avec des roues stabilisatrices douces, mais qu'il tombait immédiatement dès qu'on les retirait pour qu'il conduise seul.

---

💡 La Solution : SAST (L'Entraînement "Prudent")

Les auteurs proposent une nouvelle méthode appelée SAST (Sharpness-Aware Surrogate Training).

Pour comprendre SAST, imaginons que vous cherchez le point le plus bas d'un terrain vallonné pour y installer une tente.

• La méthode classique : Vous descendez vers le point le plus bas que vous voyez. Mais si ce point est au bord d'une falaise (un "creux" très étroit), un petit vent (une petite erreur de calcul ou un bruit dans la caméra) peut vous faire tomber. C'est ce qui arrive aux réseaux de neurones classiques : ils trouvent une solution qui marche bien en théorie, mais qui est très fragile.
• La méthode SAST : Au lieu de chercher n'importe quel point bas, SAST vous demande : "Est-ce que ce creux est large et plat ?" Si le creux est étroit et dangereux, SAST vous dit : "Non, allons chercher un autre creux, même s'il est un tout petit peu plus haut, mais qui est large et stable."

En termes simples, SAST entraîne le robot non pas pour être parfait dans un monde idéal, mais pour être robuste même si le monde change un peu. Il apprend à rester stable même quand on passe du "gradateur doux" à "l'interrupteur dur".

---

🚀 Les Résultats : Une Révolution pour les Petits Robots

Les chercheurs ont testé cette méthode sur deux types de caméras spéciales (qui ne voient que les mouvements, comme des yeux d'insectes) :

1. Sur le jeu de données N-MNIST (reconnaissance de chiffres) :

   • Avant SAST : Le robot avait 65% de réussite avec l'interrupteur dur.
   • Avec SAST : Le robot a 94% de réussite !
   • Analogie : C'est comme passer d'un élève qui rate son examen à chaque fois qu'il est stressé, à un élève qui réussit brillamment même sous pression.

2. Sur DVS Gesture (reconnaissance de gestes de la main) :

   • Avant SAST : 31% de réussite.
   • Avec SAST : 63% de réussite.
   • Analogie : Presque doubler les performances simplement en changeant la façon d'apprendre, sans ajouter de matériel.

Le bonus énergétique :
Comme le robot est plus stable, il a besoin de moins de "calculs" pour prendre une décision. C'est comme si un conducteur expérimenté prenait des décisions rapides et sûres, tandis qu'un débutant hésite et fait des manœuvres inutiles. SAST permet donc d'économiser de la batterie (ce qui est crucial pour les capteurs sur puce).

---

🎯 En Résumé

Ce papier nous dit que pour faire fonctionner des intelligences artificielles sur de tout petits appareils (comme des caméras de sécurité ou des implants médicaux) :

1. Il ne suffit pas d'entraîner le modèle avec des maths "douces".
2. Il faut l'entraîner en pensant à la réalité "dure" (les interrupteurs binaires).
3. La méthode SAST agit comme un entraîneur sportif prudent : elle prépare l'athlète non pas pour la performance idéale sur un tapis roulant parfait, mais pour qu'il puisse courir sur n'importe quel terrain, même glissant, sans tomber.

C'est une étape clé pour rendre les robots autonomes plus intelligents, plus rapides et surtout, beaucoup plus économes en énergie.

Résumé technique

1. Problématique : Le fossé de transfert Surrogate-Hard

Les réseaux de neurones à spikes (SNN) sont idéaux pour la vision sur capteur (on-sensor) et près du capteur, car ils fonctionnent avec des événements asynchrones et des impulsions binaires, permettant une consommation énergétique extrêmement faible. Cependant, leur entraînement pose un défi majeur : la fonction de déclenchement (spike) est discontinue (non différentiable).

Pour contourner cela, les méthodes actuelles utilisent des gradients de substitution (surrogate gradients), remplaçant la fonction de seuil dur par une fonction lisse (ex: sigmoïde, arctangente) pendant la rétropropagation.

• Le problème : Il existe un "fossé de transfert" (transfer gap) significatif entre le modèle entraîné (avec la non-linéarité lisse) et le modèle déployé (avec un seuil dur/Heaviside).
• Conséquence : Lorsque les potentiels membranaires sont proches du seuil, le modèle lisse émet des activations graduées, tandis que le matériel sur capteur doit forcer une décision binaire (0 ou 1). Cette incohérence s'accumule dans le temps et les couches, entraînant une chute drastique de la précision lors du déploiement réel, même si la précision théorique (surrogate) est élevée.

2. Méthodologie : SAST (Sharpness-Aware Surrogate Training)

L'article propose SAST, une méthode d'entraînement qui applique la Minimisation Sensible à la Netteté (SAM) spécifiquement aux SNN entraînés avec des gradients de substitution.

• Principe de base : Au lieu d'optimiser simplement la perte empirique, SAST optimise la perte dans un voisinage de la solution actuelle. L'objectif est de trouver des minima "plats" (flat minima) où la perte varie peu même si les poids sont légèrement perturbés.
• Spécificité SAST : Contrairement aux approches classiques qui appliquent SAM à un estimateur "forward dur / backward substitution", SAST applique SAM à un SNN "forward substitution".
  • Cela rend l'objectif d'entraînement véritablement lisse.
  • Le gradient calculé par rétropropagation dans le temps est exact pour le modèle en cours d'optimisation.
• Algorithme :
  1. Calcul de la perte et du gradient $g$ sur un mini-lot $B$.
  2. Calcul d'une perturbation d'ascension $\epsilon = \rho g / (\|g\|^2 + \delta)$.
  3. Réinitialisation des états temporels du SNN (crucial pour éviter les états obsolètes).
  4. Calcul du gradient sur un mini-lot indépendant $B'$ au point $w + \epsilon$.
  5. Mise à jour des poids.
• Déploiement : À l'inférence, la fonction de substitution $\sigma$ est simplement remplacée par la fonction de Heaviside $H$ (seuil dur), sans recalibration ni ajustement des seuils.

3. Contributions Théoriques et Techniques

L'article apporte plusieurs garanties théoriques et contributions pratiques :

1. Garanties Théoriques : Sous des hypothèses de contraction explicites (liées au taux de fuite $\alpha$, aux normes des poids et à la pente de la substitution), les auteurs établissent :
   • Des bornes de stabilité des états et de Lipschitz par rapport à l'entrée.
   • La régularité (smoothness) de l'objectif de substitution.
   • Un résultat de convergence non convexe pour l'algorithme SAST.
2. Réduction du fossé de transfert : La méthode vise spécifiquement à réduire l'écart entre la précision "surrogate" et la précision "hard-spike" sans recalibration post-entraînement.
3. Évaluation Matérielle (Hardware-Aware) : L'évaluation inclut des simulations d'inférence tenant compte des contraintes matérielles réelles : quantification des poids (INT8/INT4), potentiels membranaires en virgule fixe et facteurs de fuite discrets.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks de caméras événementielles : N-MNIST et DVS Gesture, avec des architectures SNN entièrement connectées et convolutionnelles (environ 0,4M de paramètres).

A. Réduction du fossé de transfert (Swap-only)

Sans aucune recalibration, le remplacement du surrogate par un seuil dur donne des résultats spectaculaires :

• N-MNIST : La précision passe de 65,7 % (baseline) à 94,7 % (SAST). Le fossé de transfert est réduit de 92 %.
• DVS Gesture : La précision passe de 31,8 % à 63,3 %. Le fossé est réduit de 69 %.
• Mécanisme : SAST réduit la fraction de potentiels membranaires situés dans la "zone d'ambiguïté" proche du seuil (de 4,8 % à 2,3 %), rendant les décisions plus robustes.

B. Robustesse aux contraintes matérielles (Simulation)

Sous des contraintes d'inférence matérielles (quantification INT8 et INT4) :

• N-MNIST (INT8) : Précision de 96,9 % (SAST) contre 47,6 % (baseline).
• DVS Gesture (INT8) : Précision de 47,6 % (SAST) contre 25,3 % (baseline).
• Efficacité énergétique (SynOps) : SAST réduit également le nombre d'opérations synaptiques (SynOps), signe d'une activité neuronale plus efficace (ex: réduction de 86M à 4,3M d'opérations sur DVS Gesture en INT8).

C. Comparaison avec des budgets de calcul équivalents

Même en comparant SAST à des modèles de base entraînés plus longtemps pour égaler le temps de calcul (wall-clock), SAST conserve un avantage significatif, prouvant que l'amélioration ne vient pas simplement d'un entraînement plus long, mais de la nature de l'optimisation.

5. Signification et Conclusion

Ce travail démontre que SAST est une composante essentielle pour le déploiement de SNN sur des capteurs réels.

• Avantage clé : Il résout le problème critique de la dégradation de performance lors du passage du modèle d'entraînement (lisse) au modèle de déploiement (dur), sans nécessiter de recalibration coûteuse ni de réentraînement spécifique au matériel.
• Impact : En produisant des minima plats, SAST rend les SNN intrinsèquement robustes aux perturbations, au bruit des capteurs et aux limitations de précision des puces neuromorphiques (quantification, virgule fixe).
• Conclusion : SAST transforme l'entraînement des SNN en une approche plus fiable pour la vision sur capteur, permettant d'atteindre des niveaux de précision proches de ceux des réseaux de neurones artificiels classiques, tout en conservant les avantages énergétiques des spikes.