Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks

Résumé Technique : Les contraintes neuronales favorisent un apprentissage supérieur dans les RNN

Énoncé du Problème
Un défi central à l'intersection des neurosciences et de l'apprentissage automatique consiste à comprendre comment la géométrie, le câblage et l'organisation fonctionnelle spécifiques du cortex cérébral façonnent le calcul récurrent. Bien que les réseaux de neurones récurrents (RNN) soient des outils puissants pour modéliser la dynamique temporelle, ils sont généralement initialisés avec des poids aléatoires et une connectivité non contrainte. Cela contraste avec les circuits biologiques, où les neurones occupent un espace physique, adhèrent aux principes d'économie de câblage et participent à des relations anatomiques et fonctionnelles structurées. Des travaux antérieurs ont suggéré que l'imposition de contraintes biologiques (par exemple, l'intégration spatiale) peut améliorer l'apprentissage, mais la plupart des études reposent sur des intégrations stylisées ou aléatoires plutôt que sur une organisation corticale mesurée. La question non résolue est de savoir si la géométrie, le câblage et la structure fonctionnelle spécifiques et mesurés de réels circuits corticaux peuvent servir de biais inductifs puissants pour favoriser un apprentissage supérieur par rapport à une inspiration biologique générique.

Méthodologie
Les auteurs exploitent le jeu de données Machine Intelligence from Cortical Networks (MICrONS), une ressource de connectomique fonctionnelle multimodale issue du cortex visuel de la souris. Ce jeu de données co-enregistre de manière unique l'imagerie calcique à deux photons (activité fonctionnelle) avec une microscopie électronique à haute résolution (connectivité anatomique et coordonnées spatiales) pour la même population neuronale (~12 000 neurones excitateurs).

L'étude construit une famille de 11 variantes de RNN fondées biologiquement pour démêler systématiquement les contributions de trois priors corticaux spécifiques :

1. Initialisation des poids fonctionnels ($W^*$ ou $W!$) : Les poids récurrents sont initialisés en utilisant des relations fonctionnelles dérivées de l'activité neuronale (corrélation de Pearson et coefficient de pavage du temps de décharge, ou STTC). Une variante de contrôle ($W!$) permute ces poids pour préserver la distribution statistique tout en perturbant la correspondance spécifique neurone-poids.
2. Intégration spatiale réelle ($D^*$) : Les unités récurrentes sont assignées à des positions basées sur les coordonnées somatiques neuronales mesurées de MICrONS, par opposition à une grille artificielle ($D$).
3. Régularisation basée sur la communicabilité ($C$ ou $C^*$) : Pendant l'apprentissage, un terme de régularisation pénalise la communication à longue portée ou impose une similitude entre la distribution de communicabilité du modèle et la distribution empirique dérivée de la connectivité anatomique.

Ces modèles sont entraînés sur trois tâches de prise de décision cognitive : Inférence à choix unique, Prise de décision perceptuelle, et Go/NoGo. La performance est évaluée non seulement par la précision de la tâche, mais aussi par les propriétés de graphes émergentes des matrices de poids apprises, incluant l'entropie, la modularité, l'assortativité et le caractère "small-world" (petit monde). La robustesse est également testée en restreignant les poids récurrents à être strictement positifs (régime exclusivement excitateur).

Contributions Clés

• Validation empirique des priors corticaux : L'étude démontre que l'ancrage des RNN dans la géométrie, le câblage et la fonction corticale mesurés produit des résultats d'apprentissage nettement meilleurs que les bases non contraintes ou partiellement contraintes.
• Hiérarchie des contributions des priors : À travers des études d'ablation, les auteurs établissent une hiérarchie des biais inductifs :
  • L'initialisation fonctionnelle fournit le gain de performance le plus important et le plus général.
  • L'intégration spatiale réelle offre une amélioration secondaire robuste.
  • La régularisation de la communicabilité fournit des raffinements sélectifs et dépendants du contexte.
• Synergie structure-fonction : La recherche montre que la combinaison de l'initialisation fonctionnelle avec les coordonnées spatiales réelles et les contraintes de communicabilité conduit à des réseaux qui sont non seulement plus précis, mais convergent également vers des topologies à faible entropie, modulaires et de type "small-world", caractéristiques des réseaux biologiques.
• Robustesse sous contraintes de signe : Les auteurs montrent que l'initialisation fonctionnelle stabilise l'apprentissage même lorsque l'architecture récurrente est contrainte à des poids uniquement positifs (imitant un régime exclusivement excitateur), une condition sous laquelle les modèles initialisés aléatoirement échouent.

Résultats

• Performance des tâches : Les modèles entièrement contraints (par exemple, $W^*D^*C$ et $W^*D^*C^*$) ont systématiquement surpassé les bases et les variantes partiellement contraintes sur toutes les tâches. Par exemple, sur la Tâche 1, le modèle entièrement contraint a atteint une précision de ~0,985 contre ~0,625 pour la base.
• Insights d'ablation :
  • Le retrait de l'initialisation fonctionnelle a provoqué une chute spectaculaire de la performance, particulièrement pour les tâches 2 et 3.
  • Le remplacement des coordonnées réelles par une grille ($D$) a considérablement réduit la performance, confirmant que la géométrie corticale réelle agit comme un prior computationnel significatif.
  • La variante de poids permutés ($W!$) a performé de manière comparable à la variante structurée ($W^*$), indiquant que la structure statistique de la distribution biologique des poids est le principal moteur, plutôt qu'une correspondance précise neurone-poids.
• Topologie émergente :
  • Entropie : Les modèles contraints biologiquement ont convergé vers des distributions de poids à faible entropie (hautement structurées), tandis que les bases restaient à haute entropie (similaires au hasard).
  • Modularité et Caractère "Small-World" : Les modèles avec régularisation directe de la communicabilité et coordonnées réelles ont développé une forte modularité et des structures "small-world" ($\sigma \approx 1,5–2,5$). Notamment, certaines variantes ont atteint une faible entropie et une haute performance sans forte modularité, suggérant que ces propriétés sont distinctes mais liées.
  • Assortativité : L'initialisation fonctionnelle a tendance à conduire les réseaux vers des structures désassorties (moyeu-périphérie), tandis que les contraintes spatiales seules mènent parfois à des structures assorties (riches en moyeux).
• Régime de positivité uniquement : Sous la contrainte de poids uniquement positifs, les modèles initialisés aléatoirement se sont effondrés à une performance de niveau chance, tandis que les modèles initialisés fonctionnellement ont conservé une haute précision, démontant que les priors biologiques peuvent stabiliser l'optimisation dans des espaces de paramètres difficiles.

Signification et Revendications
L'article affirme que la « machinerie du cortex » — spécifiquement sa géométrie, son câblage et sa structure fonctionnelle — peut être exploitée comme une base inductive puissante pour construire des réseaux récurrents. Les auteurs soutiennent que ces priors font plus que rendre les modèles plus « biologiquement réalistes » ; ils améliorent fondamentalement l'efficacité et la robustesse de l'apprentissage.

Les points clés soulignés par les auteurs incluent :

1. Biais inductif plutôt que complexité : Un meilleur calcul récurrent peut être obtenu non pas en augmentant la taille du modèle ou la complexité architecturale, mais en remodelant le paysage d'optimisation grâce à des priors ancrés biologiquement.
2. Interdépendance structure-fonction : Si la structure anatomique fournit un échafaudage, l'information fonctionnelle (relations dérivées de l'activité) est la contrainte décisive pour spécifier la dynamique récurrente. La structure seule ne détermine pas de manière unique la dynamique ; les priors fonctionnels sont nécessaires pour restreindre l'espace de solution à des régimes efficaces.
3. Principes de conception pour l'IA : Les résultats suggèrent que les principes d'organisation corticale (intégration spatiale, initialisation fonctionnelle, économie de câblage) sont computationnellement conséquents et peuvent servir de principes de conception réutilisables pour des systèmes artificiels, particulièrement dans des domaines exigeant l'efficacité des données et une organisation interne robuste.

Les auteurs maintiennent un champ d'application modeste, reconnaissant des limites telles que l'accent mis sur les neurones excitateurs, le régime expérimental spécifique des données MICرONS, et l'utilisation de mesures fonctionnelles statistiques plutôt que causales. Cependant, ils affirment que les résultats fournissent un soutien empirique direct à l'hypothèse selon laquelle les microcircuits corticaux sont organisés autour de principes d'efficacité qui peuvent être transférés efficacement à des réseaux récurrents artificiels.