NeuronSpark: A Spiking Neural Network Language Model with Selective State Space Dynamics

Le papier présente NeuronSpark, un modèle de langage à base de réseaux de neurones à impulsions (SNN) de 0,9 milliard de paramètres qui démontre la faisabilité de l'apprentissage de bout en bout pour la modélisation du langage à grande échelle sans distillation de Transformers, en combinant des dynamiques d'espace d'états sélectives et diverses techniques de stabilisation.

L'essentiel

🧠 NEURONSPARK : Le cerveau numérique qui "clique" au lieu de "penser"

Imaginez que vous essayez de construire un cerveau artificiel capable de parler comme un humain. Jusqu'à présent, la plupart des intelligences artificielles (comme les modèles que vous utilisez tous les jours) fonctionnent comme des super-calculatrices géantes. Elles traitent toutes les informations en même temps, avec une précision mathématique absolue, mais cela demande une énergie énorme, comme si on allumait des millions de lampes pour lire une seule phrase.

NEURONSPARK, c'est une toute nouvelle approche. Au lieu d'être une calculatrice, c'est un réseau de neurones qui fonctionne comme un vrai cerveau biologique : il ne parle pas en chiffres continus, mais en impulsions électriques (des "clics" ou des "spikes").

Voici comment ça marche, avec des analogies simples :

1. Le concept de base : Des éclairs au lieu d'un courant continu

• Les IA classiques (Transformers) : C'est comme un courant électrique qui coule en permanence dans un fil. Tout est toujours allumé, même quand on ne parle pas. C'est puissant, mais ça consomme beaucoup.
• NEURONSPARK (SNN) : C'est comme un réseau de télégraphistes. Ils ne parlent que quand ils ont quelque chose d'important à dire. Ils envoient un "clic" (une impulsion) et se taisent ensuite. Si rien n'arrive, ils ne consomment presque aucune énergie. C'est beaucoup plus économe et plus proche de la façon dont notre propre cerveau fonctionne.

2. Le défi : Apprendre à parler sans "copier-coller"

Le problème avec ces réseaux de "cliquage", c'est qu'ils sont très difficiles à entraîner. Les chercheurs ont souvent dû les forcer à apprendre en regardant des IA classiques (comme un élève qui copie les devoirs d'un grand frère).
La grande nouveauté de NEURONSPARK, c'est qu'il a appris de zéro, sans aucun modèle préexistant. Il a commencé avec un cerveau vide et a appris à parler en observant des millions de phrases, exactement comme un bébé humain le ferait.

3. Les astuces de génie pour le faire fonctionner

Pour que ce cerveau "cliquant" apprenne aussi bien qu'une IA classique, les chercheurs ont inventé plusieurs outils ingénieux :

• Le "Courant de Fuite" (Leakage-Current) :
  Imaginez que les neurones sont des seaux percés. Quand un neurone reçoit de l'information, le niveau d'eau monte. Mais comme le seau est percé, l'eau fuit doucement. NEURONSPARK utilise cette "fuite" pour transmettre l'information d'un neurone à l'autre. C'est comme si le message n'était pas juste un "oui/non" (0 ou 1), mais une intensité de courant qui permet de garder le contexte. Cela évite que le message ne soit trop brut et perde sa subtilité.

• Le "PonderNet" (Le cerveau qui réfléchit à son rythme) :
  C'est peut-être l'astuce la plus cool. Quand vous lisez un texte, vous ne passez pas le même temps sur chaque mot. Vous lisez vite "le", "et", "ou", mais vous vous arrêtez longuement sur des mots complexes comme "philosophie" ou "calcul".
  NEURONSPARK fait pareil ! Il a un mécanisme qui lui dit : "Pour ce mot simple, je vais juste faire un petit clic. Pour ce mot difficile, je vais réfléchir pendant 10 clics."
  Cela lui permet de gérer son énergie intelligemment : il ne gaspille pas de temps de calcul sur des mots faciles.

• La "Stabilisation" (Le garde-fou) :
  Apprendre avec des impulsions est très instable (comme essayer de construire une tour de cartes avec le vent). Les chercheurs ont ajouté des "stabilisateurs" (comme centrer les résidus et normaliser les signaux) pour s'assurer que le modèle ne s'effondre pas pendant l'apprentissage. C'est comme mettre des contreforts à une cathédrale en construction.

4. Les résultats : Un bébé qui commence à babiller

Le modèle s'appelle NEURONSPARK-0.9B. Il a été entraîné avec un budget limité (un peu moins de 1,5 milliard de mots, ce qui est peu comparé aux géants actuels qui en voient des billions).

• Ce qu'il sait faire : Il peut tenir une conversation simple en chinois. Si vous lui dites "Bonjour", il répond "Comment puis-je vous aider ?". Il a appris la structure de la langue, la grammaire et le flux de la conversation.
• Ce qu'il ne sait pas encore faire : Il n'est pas un génie des maths (il échoue à faire des calculs) et il ne fait pas de raisonnement logique profond. Il a appris la "musique" de la langue (le rythme, la structure), mais pas encore toutes les "paroles" (les faits complexes).

5. Pourquoi c'est important ?

Les chercheurs ont observé quelque chose de fascinant : le modèle a développé des stratégies très biologiques.

• Il passe plus de temps à "réfléchir" sur les mots de contenu (noms, verbes) que sur les petits mots de liaison.
• Il a créé des neurones "rapides" (qui réagissent vite) et des neurones "lents" (qui gardent le souvenir plus longtemps), exactement comme dans le cerveau humain.

En résumé 🌟

NEURONSPARK prouve qu'on peut créer une intelligence artificielle qui parle en utilisant uniquement des impulsions électriques (comme un vrai cerveau), sans avoir besoin de copier les modèles classiques.

C'est comme si on avait réussi à faire grandir un enfant qui apprend à parler en écoutant des conversations, sans lui donner de manuels scolaires. Il ne parle pas encore parfaitement et ne résout pas de problèmes complexes, mais il a prouvé que c'est possible.

C'est une première étape vers des IA qui seront beaucoup moins gourmandes en énergie (on pourrait les faire tourner sur de petites puces électroniques) et qui pourraient un jour comprendre le langage d'une manière plus naturelle, plus proche de la nôtre.

Résumé technique

1. Problématique et Contexte

Les modèles de langage (LLM) actuels, basés sur l'architecture Transformer, souffrent d'une inefficacité computationnelle (mécanisme d'attention quadratique) et d'un manque de plausibilité biologique. Les réseaux de neurones à impulsions (SNN), souvent considérés comme la "troisième génération" de réseaux neuronaux, offrent une promesse d'efficacité énergétique et de déploiement sur du matériel neuromorphique.

Cependant, l'application des SNN au langage reste sous-développée. Les travaux existants (comme SpkGPT ou SpkBERT) présentent trois limites majeures :

1. Dépendance à la distillation : Ils s'appuient sur des modèles Transformer pré-entraînés pour transférer des connaissances.
2. Architectures hybrides : Ils conservent des composants non-impulsionnels (denses) dans des étapes critiques.
3. Échelle limitée : Ils opèrent à des tailles de modèles très petites (< 216M paramètres), insuffisantes pour le langage moderne.

Question centrale : Un SNN purement impulsionnel peut-il apprendre le langage à grande échelle (0,9 milliard de paramètres) à partir d'une initialisation aléatoire, sans distillation Transformer, sous un budget de calcul contraint ?

2. Méthodologie : L'Architecture NEURONSPARK

NEURONSPARK est un modèle de langage SNN de 0,9 milliard de paramètres (874M), entraîné de zéro avec une prédiction de token suivant. L'architecture repose sur plusieurs innovations clés pour combler le fossé entre la dynamique neuronale biologique et l'apprentissage profond scalable.

A. Dualité SNN – Espace d'État Sélectif (SSM)

L'insight fondamental est que la dynamique du potentiel de membrane des neurones LIF (Leaky Integrate-and-Fire) peut être formulée comme un modèle d'espace d'état sélectif (similaire à Mamba) :

• L'équation de mise à jour $V[t] = \beta(t) \cdot V[t-1] + \alpha(t) \cdot I[t]$ est structurellement identique à la récurrence SSM.
• Les paramètres $\beta(t)$ (taux de décroissance), $\alpha(t)$ (gain d'entrée) et $V_{th}(t)$ (seuil de tir) sont calculés dynamiquement à partir de l'entrée via des réseaux de modulation appris, agissant comme des mécanismes de porte (gating) dépendants de l'entrée.
• Le mécanisme de "tir et réinitialisation" (spike-and-reset) ajoute une non-linéarité discrète absente dans les SSMs continus.

B. Signal d'Activation par Courant de Fuite

Pour éviter le goulot d'étranglement de l'expressivité des signaux binaires (0/1) entre les couches :

• Les signaux inter-couches sont transmis sous forme de courants de fuite flottants : $leak[t] = (1 - \beta) \cdot V_{post}[t]$.
• Cela permet de conserver les dynamiques temporelles et facilite la propagation du gradient, tout en pondérant implicitement les neurones à réponse rapide (grand $(1-\beta)$) par rapport aux neurones à mémoire longue.

C. Blocs et Réseaux Avancés

• SNNBlock : Remplace l'attention. Il utilise 7 projections parallèles pour calculer les paramètres dynamiques et les états cachés.
• SNNFFN : Remplace le MLP (SwiGLU) en utilisant des produits de signaux de fuite de deux neurones PLIF pour remplacer la fonction d'activation SiLU.
• PonderNet Adaptatif : Chaque token est traité sur $K$ trames (timesteps). Le modèle apprend des probabilités d'arrêt pour chaque trame, permettant une profondeur de calcul dynamique par token (poids de distribution géométrique).

D. Techniques de Stabilisation et d'Implémentation

Pour rendre l'entraînement stable à l'échelle de 0,9B :

• Centrage des résidus : Soustraction de la moyenne par token avant l'addition résiduelle pour éviter la dérive DC.
• Normalisation par inhibition latérale : Une forme de normalisation divisive équivalente à RMSNorm mais biologiquement motivée.
• Compensation de gradient naturel : Deux phases pour corriger la saturation des activations et égaliser les normes de gradient entre les couches.
• Kernels Triton Fusionnés : Implémentation CUDA/Triton hautement optimisée pour les noyaux PLIF, fusionnant le calcul forward/backward et les gradients de substitution (surrogate gradients) en une seule passe.

3. Résultats Expérimentaux

Configuration d'Entraînement

• Matériel : 8× NVIDIA RTX 4090.
• Données : Entraîné sur ~1,4 milliard de tokens (environ 14% d'un corpus de 10B) et 6 500 étapes de SFT (Supervised Fine-Tuning) sur 42k échantillons.
• Performance : Perte de pré-entraînement de 3,6.

Capacités du Modèle

• Génération de Langage : Après le SFT, le modèle (NEURONSPARK-0.9B-Chat) produit des dialogues chinois cohérents et grammaticalement corrects.
• Limites :
  • Raisonnement : Échec total en arithmétique (0%) et faible en raisonnement logique (83%, mais souvent basé sur des coïncidences de mots-clés).
  • Connaissance : Le modèle a appris des structures linguistiques de surface mais n'a pas acquis de connaissances factuelles profondes ni de capacités de raisonnement compositionnel, probablement dû au budget de données limité.

Analyse d'Interprétabilité Biologique

L'analyse des dynamiques internes révèle des comportements surprenants et biologiquement plausibles :

1. Allocation des ressources structurelle : PonderNet alloue moins de pas de temps (timesteps) aux mots de fonction et à la ponctuation, et plus aux mots de contenu (noms, verbes). Cette allocation est corrélée au rôle syntaxique et non à la difficulté de prédiction (surprise).
2. Profondeur hiérarchique : Les couches profondes (SNNBlock) augmentent leur utilisation de timesteps avec la profondeur (de ~4 à ~12,7), imitant l'intégration temporelle croissante dans le cortex cérébral.
3. Spécialisation multi-échelles : Les neurones cachés s'organisent spontanément en populations à réponse rapide ($\beta < 0,9$) et à mémoire lente ($\beta \ge 0,9$), rappelant la coexistence d'interneurones et de cellules pyramidales dans le cerveau.

4. Contributions Clés

1. Preuve de concept à l'échelle : Première démonstration qu'un SNN pur (sans distillation ni composants denses) peut apprendre un modèle de langage non trivial à l'échelle de 0,9B paramètres.
2. Architecture SSM-SNN : Établissement d'une dualité formelle entre la dynamique des membranes neuronales et les modèles d'espace d'état sélectifs (Mamba), permettant un entraînement end-to-end.
3. Stabilisation à grande échelle : Introduction de techniques (centrage résiduel, inhibition latérale, compensation de gradient) rendant l'optimisation de SNNs profonds possible.
4. Efficacité et Interprétabilité : Démonstration que l'architecture induit des stratégies de calcul biologiquement plausibles (allocation basée sur la structure syntaxique) même avec peu de données.

5. Signification et Conclusion

NEURONSPARK comble un vide critique dans la recherche sur les SNN en prouvant qu'une architecture purement impulsionnelle peut rivaliser avec les approches hybrides pour la modélisation du langage, sans dépendre de modèles Transformer pré-entraînés.

Bien que le modèle actuel ne possède pas encore de capacités de raisonnement avancées, il établit qu'un "squelette structurel" du langage peut être acquis par un SNN pur. Les résultats suggèrent que les SNN pourraient offrir non seulement une efficacité énergétique potentielle (via le matériel neuromorphique), mais aussi une voie vers des modèles de langage plus interprétables, dont les mécanismes internes reflètent les principes du traitement de l'information biologique (complexité syntaxique > surprise statistique).

Ce travail ouvre la voie à des recherches futures sur l'augmentation de la taille des modèles, l'extension à d'autres langues et l'amélioration des capacités de raisonnement par un entraînement accru.