🤖 machine learning

NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation

NeuronSoup est une nouvelle architecture neuronale qui utilise un algorithme génétique pour faire évoluer un graphe temporel à neurones partagés et asynchrones sans rétropropagation, atteignant une précision de 85,9 % sur MNIST en permettant une interférence de signal dynamique et une profondeur de calcul adaptative.

Auteurs originaux : Subodh Kalia

Publié 2026-07-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Subodh Kalia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où résoudre une énigme ne nécessite pas que tout le monde crie sa réponse exactement au même moment. Dans le domaine de l'intelligence artificielle, et plus précisément dans un champ appelé la « neuroévolution », les scientifiques tentent de construire des cerveaux informatiques qui apprennent davantage comme les êtres vivants. L'IA traditionnelle, celle qui alimente vos applications préférées, fonctionne comme une ligne d'assemblage rigide d'une usine : les données entrent d'un côté, sont traitées étape par étape en parfaite unison, et ressortent de l'autre. C'est rapide, mais c'est inflexible. Si l'énigme est facile, l'usine tourne toujours à pleine vitesse ; si elle est difficile, l'usine peut s'enrayer. La nature, cependant, est désordonnée et asynchrone. Dans un vrai cerveau, les signaux voyagent à des vitesses différentes, les neurones communiquent entre eux dans une soupe chaotique de conversations superposées, et le cerveau décide de la durée de sa réflexion en fonction de la complexité de la tâche. Cet article pose une question audacieuse : pouvons-nous construire un cerveau numérique qui n'a pas besoin d'une horloge maîtresse ou d'une ligne d'assemblage rigide, mais qui apprend plutôt en faisant évoluer un réseau de connexions chaotiques basé sur le temps ?

Entrez dans NeuronSoup, un nouveau type d'architecture informatique qui délaisse la ligne d'assemblage pour une cuisine trépidante et asynchrone. Au lieu de couches de neurones travaillant en parfaite synchronisation, NeuronSoup utilise un immense réservoir de neurones où les signaux flottent comme des ingrédients dans une marmite frémissante. Voici la magie : les signaux ne font pas que passer ; ils arrivent à des moments différents. Si deux signaux arrivent à un même neurone au même instant, ils se mélangent. S'ils arrivent l'un après l'autre, le second signal doit composer avec la « saveur » laissée par le premier. Ce mélange crée une sorte d'interférence computationnelle, où le moment de réception d'un signal modifie la signification du suivant.

Les chercheurs n'ont pas conçu ce processus de mélange à la main. Au lieu de cela, ils ont utilisé un algorithme génétique — un programme informatique qui imite la sélection naturelle — pour faire évoluer l'ensemble du système. Ils ont commencé avec un « génome » (une longue liste de nombres) qui définissait 384 chemins possibles pour le voyage des signaux, incluant leur vitesse (délais), leur intensité (poids) et les neurones qu'ils devaient visiter. Sur plus de 10 000 générations d'évolution numérique, le système a déterminé quels chemins conserver, lesquels supprimer, et comment cadencer les signaux pour que la « soupe » produise la bonne réponse.

Le résultat est un réseau étonnamment efficace et étonnamment intelligent. Testé sur une tâche classique de reconnaissance de chiffres manuscrits (le jeu de données MNIST), le NeuronSoup évolué a atteint une précision de 85,9 %. Il y est parvenu grâce à un modèle minuscule qui ne pèse que 115 Ko de mémoire — moins qu'une seule photo haute résolution. Le réseau a découvert qu'il n'avait besoin que de 204 chemins actifs sur les 384 qui lui avaient été donnés, et il a trouvé que 156 de ses neurones cachés étaient si utiles qu'ils étaient partagés simultanément par plusieurs chemins. En fait, un seul neurone était occupé à servir 11 chemins différents à la fois, agissant comme un carrefour très fréquenté où différentes preuves entraient en collision et se combinaient.

Ce qui rend cela vraiment unique, c'est que le système a compris quand réfléchir. Pour les chiffres faciles, les signaux empruntent des chemins courts et rapides, arrivant rapidement, ce qui donne une réponse immédiate. Pour les chiffres plus complexes, les signaux empruntent des chemins plus longs et sinueux, arrivant plus tard pour affiner la réponse. Le système a adapté son propre « temps de réflexion » en fonction de la difficulté du problème, sans que personne ne le lui dicte.

Les auteurs précisent prudemment qu'il ne s'agit pas d'une solution miracle qui surpasse toutes les autres IA. Leur système est actuellement moins précis que les réseaux massifs basés sur le gradient (comme ResNet) qui dominent le domaine et qui peuvent atteindre plus de 99 % de précision sur la même tâche. Ils excluent explicitement l'idée que la « rétropropagation » standard (la méthode habituelle d'apprentissage de l'IA) puisse fonctionner ici, car la dépendance du système aux délais et aux événements discrets rend impossible le calcul des pentes mathématiques lisses nécessaires à cette méthode. Au lieu de cela, ils soutiennent que les algorithmes génétiques sont l'outil approprié car ils peuvent gérer la nature désordonnée et non lisse de cette évolution temporelle.

Bien que la précision soit inférieure, l'article suggère une alternative puissante : une façon de construire une IA qui n'a pas besoin de cartes graphiques massives ou de structures rigides. Parce que le système fonctionne sur une logique événementielle simple, il pourrait théoriquement s'exécuter sur du matériel beaucoup plus simple et économe en énergie à l'avenir. Les auteurs suggèrent que la véritable victoire n'est pas seulement ce score de 85,9 %, mais le fait qu'un ordinateur, partant de rien d'autre qu'une soupe de connexions aléatoires, a fait évoluer une stratégie complexe et sensible au temps pour résoudre des problèmes de lui-même. C'est la preuve que l'on peut construire un cerveau qui pense en temps, et pas seulement en couches.

Résumé Technique : NeuronSoup

Problématique

Les architectures actuelles de l'apprentissage profond sont fondamentalement contraintes par l'exigence de graphes de calcul différentiables et de rétropropagation. Cela nécessite un traitement synchrone, couche par couche, avec des profondeurs de calcul fixes et des topologies statiques déterminées au moment de la conception. Par conséquent, ces modèles ne peuvent pas adapter naturellement la profondeur de calcul à la difficulté de chaque entrée, manquent d'interactions latérales intrinsèques entre les voies de traitement (à moins qu'elles ne soient explicitement conçues via des mécanismes comme l'attention), et sont limités à des opérations continues et différentiables. Les systèmes neuraux biologiques, en revanche, fonctionnent de manière asynchrone, utilisent des neurones partagés qui accumulent un état au fil du temps et adaptent la profondeur de traitement en fonction de la complexité du signal.

Cet article traite du défi consistant à construire un classificateur utile qui fonctionne sans rétropropagation, sans profondeur de calcul fixe et sans synchronisation, tout en abordant les limites des approches existantes de neuroévolution et de réseaux de neurones à impulsions (SNN).

Méthodologie : Architecture NeuronSoup

Les auteurs proposent NeuronSoup, une architecture de calcul neural basée sur une propagation de signaux asynchrone médiée par des délais à travers un pool de neurones partagés.

Mécanismes Fondamentaux

Simulation à Événements Discrets Asynchrones : Le système traite des signaux à valeurs continues via une file de priorité (tas binaire ou min-heap). Les événements sont ordonnés par temps d'arrivée, déterminé par des délais axonaux évolués. Il n'y a pas d'horloge globale ; le calcul progresse strictement selon l'ordre temporel.
Accumulation d'État de Neurone Partagé : Contrairement aux réseaux traditionnels où les neurones sont indépendants ou aux SNN où les neurones se réinitialisent, les neurones cachés de NeuronSoup maintiennent un état accumulé ( $a_n$ ). Lorsque plusieurs voies transitent par le même neurone caché, le premier signal arrivant met à jour l'état. Les signaux suivants rencontrent cet état modifié. L'activation est calculée comme $\alpha = \tanh(a_n + b_n)$ , où $a_n$ est la somme de tous les signaux entrants. Cela crée une interférence constructive ou destructive basée sur la polarité du signal et le moment de l'arrivée.
Délais Temporels comme Calcul : Les délais ne sont pas du bruit ou de la régularisation ; ce sont des paramètres fonctionnels primaires qui déterminent l'ordre de combinaison des caractéristiques. Les délais courts donnent la priorité aux caractéristiques à haute confiance, tandis que les délais plus longs permettent aux caractéristiques contextuelles d'arriver plus tard, modifiant la sortie après le traitement initial.
Codage du Génome : L'architecture est encodée dans un génome plat de valeurs réelles de 14 602 gènes. Cela comprend :
- Blocs de Chemins (Path Blocks) : 384 chemins potentiels, chacun défini par 37 gènes (indicateur d'activation, ID d'entrée, ID de sortie et jusqu'à 8 sauts, où chaque saut possède un neurone cible, un poids et un gène de délai).
- Biais : Gènes codant les biais pour les neurones cachés et de sortie.
- Décodage : Les gènes dans $[0, 1]$ sont mappés vers des valeurs opérationnelles (par exemple, des poids dans $[-2, 2]$ , des délais dans $[0.1, 5.0]$ ).

Stratégie d'Optimisation

Les auteurs soutiennent que l'optimisation basée sur le gradient (rétropropagation) est inapplicable en raison de :

Topologie Discrète : L'activation du chemin est une décision binaire (seuil à 0,5).
Ordre Non-Différentiable : De faibles changements dans le délai peuvent inverser l'ordre de traitement des événements, provoquant des changements discontinus dans la sortie.
Taille de Graphe Variable : Le nombre d'événements traités dépend de l'entrée et de la configuration, empêissant un déroulement de graphe fixe.

Au lieu de cela, un Algorithme Génétique (AG) est employé. Les auteurs rejettent spécifiquement CMA-ES (en raison de ses coûts en mémoire $O(D^2)$ et en calcul $O(D^3)$ pour $D=14,602$ ) ainsi que les opérateurs standards comme SBX ou DE (qui détruisent la cohérence structurelle). Ils implémentent un croisement sensible aux chemins (path-aware crossover), qui échange des blocs de chemins entiers (37 gènes) plutôt que des gènes individuels, préservant ainsi les circuits fonctionnels. La mutation applique un bruit gaussien aux valeurs continues et inverse les indicateurs binaires.

Principales Contributions

Un Nouveau Modèle de Calcul : Un système où les délais temporels dictent l'ordre de calcul, permettant une profondeur adaptative par échantillon sans politique d'arrêt explicite.
Interaction Latérale Émergente : Démonstration que l'accumulation de neurones partagés produit une inhibition et une excitation latérales implicites entre les voies sans connexions croisées ingéniérées.
Co-évolution de la Structure et des Paramètres : Un génome plat codant simultanément la topologie (quels chemins/neurones sont actifs), les poids et la structure temporelle.
Analyse de l'Optimisation : Un argument rigoureux expliquant pourquoi les algorithmes génétiques sont les outils corrects pour cette classe de problèmes, soulignant spécifiquement l'échec de CMA-ES à cette échelle et la nécessité d'opérateurs de recombinaison par blocs pour maintenir la cohérence des chemins.
Généralisation Modulaire : Une architecture où la tâche est définie uniquement par l'encodeur d'entrée et le nombre de neurones de sortie, le processus évolutif découvrant automatiquement le câblage.

Résultats Expérimentaux

Le système a été évalué sur la classification de chiffres MNIST à 10 classes en utilisant des caractéristiques extraites d'un ResNet18 figé (512 dimensions) comme entrée.

Performance : Après 10 000 générations, le meilleur modèle évolué a atteint une précision de test de 85,9 % sur un ensemble de test de 1 000 échantillons.
Efficacité : Le modèle entraîné occupe 115 Ko (14 602 valeurs float64).
Caractéristiques Structurelles :
- Chemins Actifs : 204 des 384 chemins possibles ont été activés.
- Neurones Partagés : 156 des 266 neurones cachés utilisés étaient partagés entre plusieurs chemins. Un neurone participait à 11 chemins distincts.
- Sélection de Caractéristiques : Seules 162 des 512 caractéristiques d'entrée ont été utilisées.
- Calcul : L'inférence implique environ 500 à 2 000 événements par échantillon, nécessitant moins de 1 100 opérations en virgule flottante par image (comparé à environ 1,8 milliard de FLOPs pour ResNet-18).
Entraînement : L'ensemble du processus d'entraînement (10 000 générations) s'est terminé en environ 2 heures et 51 minutes sur un CPU à 12 cœurs, sans nécessiter de GPU.

Signification et Revendications

L'article affirme que NeuronSoup démontre la viabilité d'un paradigme de calcul fondamentalement différent : une propagation temporelle asynchrone à travers un graphe partagé et évolué.

Surmonter les Limites de la Rétropropagation : L'architecture prouve qu'une classification utile peut émerger sans différentiabilité, sans profondeur fixe et sans synchronisation. Elle répond à la limitation de la "profondeur fixe" du deep learning en allouant naturellement plus de calcul aux entrées difficiles via des chemins longs et retardés.
Structure Émergente : Le système a découvert des comportements complexes — tels que les neurones partagés agissant comme des hubs d'intégration et les délais temporels créant une sorte d'attention par priorité — uniquement grâce à la pression de sélection, sans ingénierie humaine de ces mécanismes.
Implications Matérielles : L'architecture est intrinsèquement adaptée au matériel neuromorphique et aux systèmes pilotés par les événements, offrant une efficacité énergétique de plusieurs ordres de grandeur par rapport aux architectures de multiplication de matrices synchrones.
Universalité : Les auteurs affirment que le même cadre évolutif s'applique à des domaines arbitraires (audio, texte, données médicales) simplement en changeant l'encodeur et le nombre de neurones de sortie, sans nécessiter de redéfinition architecturale.

L'article adopte une position modeste concernant la précision, reconnaissant que 85,9 % est inférieur aux modèles basés sur le gradient (92–96 %) sur les mêmes caractéristiques. Cependant, il soutient que cet écart reflète le coût de l'optimisation sans gradient plutôt qu'un plafond architectural, notant que la courbe de convergence ne présente aucun plateau et que l'expressivité théorique de l'architecture est élevée. La contribution principale est la démonstration d'un modèle de calcul asynchrone et non différentiable viable, capable de passer à l'échelle sur du matériel CPU standard et de se généraliser à travers divers domaines.