💻 computer science

Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition

Cet article propose un cadre d'apprentissage sans normalisation pour les réseaux de neurones à impulsions (SNN) profonds, qui intègre une inhibition latérale inspirée des circuits corticaux via des populations neuronales excitatrices et inhibitrices, permettant ainsi un entraînement stable et performant tout en préservant le réalisme biologique.

Auteurs originaux : Peiyu Liu, Jianhao Ding, Zhaofei Yu

Publié 2026-02-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peiyu Liu, Jianhao Ding, Zhaofei Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'ordinateur qui veut imiter le cerveau (mais qui triche)

Imaginez que vous essayez de construire un ordinateur qui fonctionne exactement comme le cerveau humain. C'est le but des Réseaux de Neurones à Spikes (SNN). Contrairement aux ordinateurs classiques qui calculent tout le temps, ces réseaux fonctionnent comme des neurones biologiques : ils "tirent" (envoient un signal électrique) seulement quand c'est nécessaire. C'est super économe en énergie et très réaliste.

Mais il y a un gros hic : Pour entraîner ces réseaux profonds (avec beaucoup de couches, comme un cerveau complexe), les chercheurs ont dû utiliser une "triche" mathématique appelée Normalisation par Lots (Batch Norm).

L'analogie : C'est comme si vous entraîniez un orchestre, mais à chaque fois qu'un musicien joue une note, un chef d'orchestre magique regarde tous les autres musiciens en même temps pour ajuster le volume de tout le monde instantanément.
Le problème : Dans le vrai cerveau, il n'y a pas de chef qui regarde tout le monde en même temps. Les neurones ne peuvent pas connaître les statistiques de tout le groupe instantanément. Cette "triche" rend le modèle performant, mais biologiquement faux.

La Solution : Le "Frein" et l'Accélérateur naturels

Les auteurs de ce papier (de l'Université de Pékin) disent : "Et si on arrêtait de tricher et qu'on utilisait ce que le cerveau fait vraiment ?"

Dans le cerveau, il existe deux types de neurones :

Les Excitateurs (E) : Ils disent "Allez-y, tirez !".
Les Inhibiteurs (I) : Ils disent "Stop, calme-toi !".

C'est ce qu'on appelle l'inhibition latérale. C'est comme un système de régulation naturel : si un groupe de neurones s'emballe, les inhibiteurs les freinent pour que le système ne devienne pas chaotique.

Leur idée géniale : Remplacer la "triche" mathématique (la normalisation) par ce vrai mécanisme biologique d'inhibition latérale. Ils ont créé un réseau où chaque couche a ses propres "accélérateurs" (E) et ses propres "freins" (I) qui travaillent ensemble pour équilibrer l'activité.

Les Deux Secrets pour que ça marche (E-I Init et E-I Prop)

Mettre des freins et des accélérateurs dans un réseau profond est très difficile à entraîner. C'est comme essayer de conduire une voiture de course avec des freins qui fonctionnent mal : soit la voiture ne bouge pas, soit elle explose.

Les auteurs ont inventé deux techniques pour stabiliser le tout :

E-I Init (Le démarrage parfait) :
- L'analogie : Imaginez que vous lancez un nouveau jeu vidéo. Si vous commencez avec trop de munitions, vous ne jouez pas ; si vous n'en avez pas assez, vous perdez tout de suite.
- Ce qu'ils font : Ils calculent exactement combien de "freins" et d'"accélérateurs" il faut au tout début pour que le réseau soit parfaitement équilibré. Ni trop calme, ni trop excité. C'est un réglage fin dynamique qui permet au réseau de commencer à apprendre dès la première seconde.
E-I Prop (L'entraînement sans crash) :
- L'analogie : Imaginez que vous essayez d'apprendre à quelqu'un à faire du vélo. Parfois, le message "ne tombe pas" est si fort qu'il fait tomber la personne.
- Ce qu'ils font : Quand le réseau apprend (rétropropagation), les signaux d'erreur peuvent devenir énormes et faire "exploser" le calcul. Ils ont créé un système de "filtre" intelligent qui ajuste dynamiquement ces signaux. Si un signal est trop faible (presque zéro), ils le remplacent intelligemment par le plus petit nombre possible pour éviter une division par zéro, tout en gardant l'apprentissage stable. C'est comme un régulateur de vitesse automatique qui empêche la voiture de décoller ou de s'arrêter net.

Les Résultats : Un cerveau artificiel qui fonctionne vraiment !

Ils ont testé leur méthode sur plusieurs jeux de données (reconnaissance d'images, gestes, etc.).

Le verdict : Leur réseau, qui n'utilise aucune "triche" mathématique (pas de normalisation par lots), arrive à performer aussi bien, voire mieux, que les réseaux classiques qui trichent.
La découverte intéressante : En regardant comment le réseau apprend, ils ont vu qu'il ne se contente pas de "normaliser" les données comme le font les méthodes classiques. Il apprend à séparer les neurones en deux groupes : ceux qui sont très actifs et ceux qui sont inhibés. C'est une forme d'intelligence beaucoup plus proche de ce qui se passe dans un cerveau réel.

En résumé

Ce papier nous dit : "On n'a pas besoin de tricher pour avoir un cerveau artificiel puissant."

En imitant la façon dont le cerveau utilise l'équilibre entre l'excitation et l'inhibition (le "pied sur l'accélérateur" et le "pied sur le frein"), les chercheurs ont réussi à entraîner des réseaux profonds, stables et biologiquement réalistes. C'est une étape majeure pour créer des intelligences artificielles qui sont non seulement puissantes, mais aussi économes en énergie et fidèles à la nature.

C'est comme passer d'un simulateur de vol qui utilise des raccourcis mathématiques à un vrai avion qui vole grâce à l'aérodynamisme naturel : c'est plus complexe à construire, mais le résultat est beaucoup plus robuste et "réel".

1. Problématique

Les Réseaux de Neurones à Spikes (SNN) sont prometteurs pour le calcul neuromorphique en raison de leur efficacité énergétique et de leur plausibilité biologique. Cependant, l'entraînement de SNN profonds se heurte à un compromis fondamental :

Performance vs. Réalisme Biologique : Les méthodes d'entraînement actuelles (souvent basées sur la rétropropagation) dépendent fortement de schémas de normalisation explicites (comme la Batch Normalization ou BN) pour stabiliser l'apprentissage. Or, ces mécanismes collectent des statistiques sur les lots de données, ce qui n'a aucun équivalent biologique connu, rendant les modèles peu réalistes d'un point de vue neuroscientifique.
Instabilité de l'entraînement : Les approches privilégiant le réalisme biologique (en respectant la ségrégation excitatoire/inhibitoire) souffrent souvent d'instabilité lors de l'entraînement, limitant leur application à des réseaux peu profonds.

L'objectif de ce travail est de concevoir un cadre d'apprentissage sans normalisation explicite, capable d'entraîner des SNN profonds tout en intégrant des mécanismes biologiquement plausibles, spécifiquement l'inhibition latérale.

2. Méthodologie : Le Cadre E-I (Excitatoire-Inhibitoire)

Les auteurs proposent un cadre d'apprentissage basé sur un circuit canonique E-I (Excitatoire-Inhibitoire) inspiré des circuits corticaux, remplaçant les couches feedforward traditionnelles.

A. Architecture du Circuit E-I

Chaque couche $l$ est composée de deux populations distinctes :

Neurones Excitateurs (E) : Modélisés par le modèle Leaky Integrate-and-Fire (LIF).
Neurones Inhibiteurs (I) : Modélisés comme des unités à décharge rapide (Fast-Spiking), avec une constante de temps négligeable ( $\tau_I \ll \Delta t$ ), permettant une approximation de type ReLU (sortie proportionnelle au courant d'entrée positif).

Le mécanisme d'inhibition latérale est décomposé en deux composantes régulant l'activité des neurones excitateurs :

Inhibition Soustractive : Équilibre le courant d'entrée pour maintenir les neurones dans un régime réactif (évite la saturation ou le silence).
Inhibition Divisive : Contrôle le gain (l'amplitude de la réponse) des neurones, agissant comme une normalisation dynamique.

La dynamique globale intègre les courants excitateurs et les deux formes d'inhibition pour produire les spikes de sortie.

B. Techniques Clés pour la Stabilité

Pour rendre l'entraînement de bout en bout stable sans normalisation externe, deux techniques innovantes sont introduites :

E-I Init (Initialisation Dynamique) :
- Les schémas d'initialisation standards (Xavier, Kaiming) échouent car ils génèrent des poids positifs et négatifs, violant la contrainte de ségrégation E-I (les poids sortants d'un neurone doivent avoir le même signe).
- Solution : Une initialisation dynamique basée sur la première batch d'entraînement. Elle ajuste les poids pour que l'espérance du courant inhibiteur soustractif compense exactement le courant excitateur (équilibre E-I) et que le courant inhibiteur divisif corresponde à l'écart-type des entrées (contrôle du gain). Cela garantit une propagation stable du signal dès le début.
E-I Prop (Stabilisation de la Propagation) :
- Stabilisation Adaptative (Divisive) : Pour éviter les erreurs de division par zéro lors de l'inhibition divisive, au lieu d'ajouter une constante fixe $\epsilon$ (qui fausse le gain), la méthode remplace dynamiquement les valeurs nulles du dénominateur par la plus petite valeur positive présente dans l'échantillon.
- Estimateur Direct (STE) : Comme l'opération de remplacement est non différentiable, un STE est utilisé dans le sens inverse (backpropagation) pour approximer la dérivée par une fonction identité, découplant la stabilité numérique (sens avant) du flux de gradient (sens arrière).
- Mise à l'échelle des Gradients : Les gradients associés aux poids d'inhibition latérale ( $W_{EI}$ ) sont disproportionnellement grands. Une mise à l'échelle par un facteur $1/d$ (dimension d'entrée) est appliquée pour équilibrer les mises à jour entre les voies excitatrices et inhibitrices.

3. Contributions Principales

Intégration d'un Circuit E-I Canonique : Introduction de populations neuronales distinctes (E et I) dans des SNN profonds pour permettre un entraînement sans normalisation.
Schéma d'Initialisation Dynamique (E-I Init) : Une méthode pour établir un équilibre E-I et un contrôle de gain optimaux dès l'initialisation, rendant l'entraînement profond possible.
Kit de Stabilisation (E-I Prop) : Combinaison de stabilisation adaptative, d'estimateurs directs (STE) et de mise à l'échelle des gradients pour gérer les instabilités numériques et les flux de gradient déséquilibrés.
Preuve de Concept : Démonstration expérimentale que ce cadre apprend une régulation d'activité sophistiquée (bimodale) distincte de la normalisation standard, tout en atteignant des performances compétitives.

4. Résultats Expérimentaux

Les expériences ont été menées sur divers jeux de données (statiques et événementiels) et architectures (VGG, ResNet) :

Performances : Le modèle atteint 92,05% de précision sur CIFAR-10 et 50,29% sur TinyImageNet, surpassant toutes les méthodes sans normalisation existantes et rivalisant avec les méthodes utilisant la Batch Normalization (BN).
Données Neuromorphiques : Résultats excellents sur CIFAR10-DVS (77,66%) et DVS-Gesture (94,86%), démontrant la capacité de traitement temporel.
Étude Ablative : La suppression de l'initialisation E-I, de la stabilisation adaptative ou de la mise à l'échelle des gradients entraîne un effondrement de l'entraînement ou une chute drastique de la précision, confirmant la nécessité de chaque composant.
Analyse des Distributions : Contrairement aux réseaux avec BN qui maintiennent des distributions gaussiennes centrées, le circuit E-I apprend une distribution bimodale après entraînement, suggérant une séparation dynamique entre des populations de neurones activés et supprimés, plus proche de la réalité biologique.

5. Signification et Impact

Ce travail résout le dilemme entre performance computationnelle et plausibilité biologique dans les SNN profonds.

Avancée Algorithmique : Il fournit une alternative viable à la normalisation de lot (BatchNorm), qui est biologiquement implausible, en utilisant des mécanismes d'inhibition latérale naturels.
Plateforme NeuroAI : Le cadre sert de plateforme computationnelle pour étudier les interactions E-I à grande échelle, comblant le fossé entre l'apprentissage profond et les neurosciences.
Compatibilité Matérielle : Bien que l'implémentation numérique ait un coût computationnel légèrement supérieur (environ 2,3x à 2,5x le temps d'entraînement), le cadre est directement compatible avec les futures puces neuromorphiques analogiques ou mixtes (comme DYNAP-SE2) qui peuvent implémenter nativement ces opérations d'inhibition.

En résumé, l'article démontre qu'il est possible d'entraîner des réseaux de neurones à spikes profonds, performants et biologiquement réalistes sans recourir à des heuristiques de normalisation artificielles, en s'appuyant sur l'architecture fondamentale des circuits corticaux.