Quantifying information stored in synaptic connections rather than in firing activities of neural networks

1. Énoncé du problème

Bien que la théorie de l'information soit utilisée depuis longtemps pour quantifier l'information encodée dans les activités de décharge des neurones (biologiques et artificiels), il existe une lacune théorique majeure concernant la quantification de l'information stockée directement dans la distribution des connexions synaptiques (poids).

• Limites actuelles : Les approches existantes fournissent soit des bornes supérieures lâches (par exemple, via l'injection de bruit en apprentissage automatique), soit reposent sur l'inférence du codage synaptique indirectement à travers les motifs de décharge neuronale (par exemple, en divisant la capacité de stockage totale par le nombre de synapses dans les réseaux de Hopfield).
• Le défi central : Contrairement à la décharge neuronale, qui possède une correspondance explicite avec les données, les poids synaptiques émergent implicitement du processus d'apprentissage. Cela rend la dérivation d'une expression analytique fermée pour l'information mutuelle entre les motifs de données et les distributions de poids mathématiquement opaque.
• Objectif : Développer un cadre théorique qui quantifie analytiquement l'information mutuelle de Shannon (MI) entre les motifs de données et les ensembles de connexions synaptiques, en dépassant la perspective de « l'activité de décharge » pour adopter une perspective de « connectivité ».

2. Méthodologie

Les auteurs proposent un cadre basé sur des réseaux hebbiens densément connectés effectuant des tâches de mémoire auto-associative.

• Configuration du modèle :

  • Données : $N$ motifs de données indépendants à $d$ dimensions $\{x_1, ..., x_N\}$ sont modélisés comme des distributions log-normales multivariées. Ce choix reflète les statistiques à queue lourde observées dans les populations neuronales biologiques.
  • Réseau : Un réseau entièrement connecté où les poids synaptiques $w_{ij}$ sont déterminés par la règle d'apprentissage hebbienne :
    $$w_{ij} = \sum_{k=1}^{N} x_i^k x_j^k$$
  • Objectif : Calculer l'Information Mutuelle $MI(w; x_l)$ entre un ensemble de poids synaptiques $w$ et un motif de données spécifique $x_l$.

• Dérivation analytique :

  • Approximation : Puisque la somme de variables log-normales n'a pas de distribution sous forme fermée, les auteurs emploient l'approximation de Fenton-Wilkinson. Cette méthode approxime la somme de variables log-normales indépendantes par une seule variable log-normale en faisant correspondre les deux premiers moments (moyenne et variance).
  • Connexion unique : Ils dérivent la distribution de probabilité $p(w_{ij})$ et la distribution conditionnelle $p(w_{ij}|x_l)$ (qui est une version décalée de la somme excluant le motif $l$).
  • Ensembles : Le cadre est étendu des connexions uniques aux paires et aux $n$-uplets arbitraires de connexions. La distribution conjointe du logarithme des poids est approximée par une gaussienne multivariée.
  • Formules : Les auteurs dérivent des expressions analytiques fermées pour l'Information Mutuelle concernant :
    1. Les connexions uniques ($MI(w_{ij}; x_l)$).
    2. Les paires de connexions ($MI((w_{ij}, w_{mn}); x_l)$).
    3. Les ensembles arbitraires de taille $n$ ($MI(w; x_l)$).
  • Insight clé : La MI dépend uniquement des paramètres statistiques (moyennes et covariances) des motifs de données impliqués dans l'ensemble synaptique spécifique, rendant le résultat invariant au contexte concernant la taille totale du réseau.

3. Contributions clés

1. Premier cadre analytique pour l'information synaptique : L'article fournit les premières approximations analytiques fermées de l'information mutuelle de Shannon entre les données et les ensembles de poids synaptiques, évitant ainsi la nécessité de simuler la dynamique neuronale.
2. Validation du codage distribué : Les résultats confirment mathématiquement que l'information est distribuée à travers le réseau ; à mesure que le nombre de motifs stockés augmente, l'information stockée dans n'importe quelle connexion unique diminue.
3. Découverte de la synergie : Le cadre révèle que les connexions synaptiques présentent des interactions synergiques. L'information encodée par un ensemble de synapses est supérieure à la somme de l'information encodée par les synapses individuelles ($E[MI_{ensemble}] > n \times E[MI_{single}]$).
4. Nouvelles lois d'échelle de capacité : En analysant la relation entre la taille du réseau, la taille de l'ensemble et les motifs stockés, les auteurs dérivent une nouvelle loi d'échelle pour la capacité des réseaux hebbiens, différente des limites traditionnelles des réseaux de Hopfield.

4. Résultats clés

Les auteurs ont validé leur théorie par trois ensembles de simulations avec des structures de covariance variables (échangeables, stochastiques et aléatoires).

• Effet du nombre de motifs de données ($N$) :

  • L'information encodée par une connexion unique (ou un ensemble) concernant un motif spécifique diminue à mesure que le nombre total de motifs stockés ($N$) augmente.
  • Échelle : $MI \sim N^{-1.0 \text{ à } -1.2}$. Cela confirme que les nouveaux motifs diluent la capacité d'information des connexions existantes, soutenant le principe du codage distribué.

• Effet de la taille de l'ensemble ($n$) :

  • L'information totale encodée par un ensemble de $n$ connexions augmente à mesure que $n$ augmente.
  • Échelle : $MI \sim n^{1.1}$.
  • Synergie : Crucialement, l'information moyenne par connexion ($MI/n$) augmente à mesure que la taille de l'ensemble grandit. Cela indique que les connexions fonctionnent ensemble de manière synergique ; le tout est plus grand que la somme de ses parties. Cette synergie a été observée jusqu'à au moins le 20e ordre d'interaction.

• Échelle de capacité du réseau :

  • En reliant la taille de l'ensemble $n$ à la dimension du réseau $d$ (où $n \approx d^2/2$) et en supposant des besoins linéaires en information par composante de motif, les auteurs ont dérivé la capacité de stockage totale $P$ (nombre de motifs) par rapport à la taille du réseau $d$ :
    $$P \sim d^{1.2}$$
  • Cela suggère une capacité de stockage superlinéaire pour les réseaux hebbiens denses, supérieure aux limites linéaires ($P \sim d$) ou sous-linéaires ($P \sim 0.14d$) souvent citées pour les réseaux de Hopfield basés sur la dynamique de récupération. Les auteurs soutiennent que cela représente la capacité de stockage (borne supérieure), tandis que la capacité de récupération est plus faible en raison de la perte d'information lors de la phase de lecture.

5. Signification et implications

• Changement de paradigme théorique : L'étude déplace le paradigme de l'analyse du codage neuronal via les « spikes » vers une analyse via les « poids », offrant une perspective complémentaire sur la manière dont l'apprentissage et la mémoire sont physiquement instanciés.
• Pertinence biologique : Les résultats soutiennent le principe biologique selon lequel la mémoire n'est pas localisée dans des « cellules grand-mère » ou des synapses spécifiques, mais est distribuée et synergique à travers les ensembles neuronaux.
• Applications en apprentissage automatique :
  • Élagage : Il suggère que l'élagage des réseaux neuronaux basé uniquement sur le contenu informationnel isolé d'un seul poids est trompeur, car la contribution du poids est dépendante du contexte et synergique.
  • Interprétabilité : Le cadre offre un outil pour quantifier le stockage d'information dans des motifs de circuits spécifiques, rendant potentiellement les modèles d'apprentissage profond « boîtes noires » plus interprétables.
  • Conception d'architectures : Il implique que l'arrangement structurel des connexions (motifs) joue un rôle critique dans l'efficacité du stockage d'information.
• Robustesse : Les auteurs démontrent que leurs conclusions (codage distribué, synergie, échelle de capacité) sont robustes aux erreurs d'approximation introduites par la méthode de Fenton-Wilkinson, car elles reposent sur des tendances qualitatives plutôt que sur des valeurs numériques précises.

En résumé, cet article établit une fondation mathématique rigoureuse pour comprendre le stockage d'information dans la connectivité synaptique, révélant que les réseaux neuronaux stockent l'information plus efficacement grâce à des interactions distribuées et synergiques que ce qui était précédemment compris à travers le seul prisme des taux de décharge.