Résumé technique : Lois d'échelle et compromis dans les réseaux récurrents de neurones expressifs

Énoncé du problème

Les neurones corticaux sont des processeurs complexes à multiples échelles de temps, capables d'une intégration non linéaire dépassant les simples non-linéarités ponctuelles. En revanche, l'apprentissage automatique (ML) dominant repose principalement sur des unités extrêmement simples (par exemple, des perceptrons standards ou des LSTMs), une norme héritée des premières théories des réseaux de neurones. Si la neuroscience computationnelle a affiné les modèles de neurones uniques pour inclure des dynamiques internes riches et une intégration dendritique structurée, et que le ML a accru les performances en élargissant les réseaux et en empilant des couches, ces deux domaines ont largement évolué selon des axes distincts.

La question normative centrale abordée est : Comment allouer de manière optimale un budget de paramètres fixe $P$ entre le nombre d'unités $N$, la complexité effective par unité $k_e$, et la connectivité par unité $k_c$ ? Les lois d'échelle actuelles du ML se concentrent sur la taille du modèle, les données et la puissance de calcul, mais l'échelle liée à la complexité par unité reste largement inexplorée. Les auteurs postulent que l'hypothèse selon laquelle des unités simples constituent un défaut évidemment optimal pourrait être erronée dès lors que la surface de compromis entre le nombre d'unités, la complexité des unités et la connectivité est sondée.

Méthodologie

L'architecture du réseau ELM

Pour étudier ce compromis, les auteurs introduisent le réseau ELM, une architecture récurrente construite à partir de neurones Expressive Leaky Memory (ELM). Cette conception permet le réglage indépendant de $N$, $k_e$ et $k_c$ tout en maintenant un entraînement stable sur plusieurs ordres de grandeur.

• Le neurone ELM : Une cellule récurrente comprenant :
  • Intégration synaptique structurée : Les entrées sont pondérées, regroupées en branches et sommées.
  • Calcul interne non linéaire : Les activations de branches et les états de mémoire atténués passent par un perceptron multicouche (MLP).
  • Mémoire multi-échelles de temps : Intégration fuyante d'unités de mémoire avec des échelles de temps apprissables.
  • Filtrage passe-haut temporel : Une moyenne mobile exponentielle (EMA) de la lecture de mémoire linéaire est soustraite avant une activation ReLU, stabilisant l'entraînement et filtrant les oscillations lentes.
• Le réseau : Composé d'une large couche cachée récurrente de neurones ELM, suivie d'une couche de lecture feed-forward plus simple et d'une projection de sortie linéaire.
• Définition du budget : Le budget total de paramètres est défini par $P = N(k_e + k_c)$, où $k_e$ représente les paramètres internes du neurone (poids du MLP, poids de lecture) et $k_c$ représente les paramètres de connexion (poids synaptiques).

Configuration expérimentale

Les auteurs ont évalué le modèle sur deux benchmarks qualitativement différents :

1. SHD-Adding : Un benchmark neuromorphique impliquant la sommation de chiffres parlés encodés sous forme de motifs de spikes spatio-temporels.
2. Enwik8 : Une tâche de modélisation du langage au niveau des caractères utilisant les $10^8$ premiers octets de Wikipédia.

Les expériences ont consisté à balayer $N$, $k_e$ (via les unités de mémoire $d_m$ et la profondeur/largeur du MLP) et la connectivité ($k_c$) sur trois ordres de grandeur en paramètres entraînables.

Cadre théorique

Pour expliquer les compromis empiriques, les auteurs proposent un modèle informationnel sous forme close traitant la couche neuronale comme une collection de canaux bruyants.

• Information de représentation effective ($I_{rep}$) : Définie comme l'information mutuelle entre le signal pertinent pour la tâche et la sortie bruyante de la couche.
• Hypothèses clés :
  1. Signal et bruit gaussiens.
  2. Spectre de covariance du signal en loi de puissance ($\lambda_i \propto i^{-\beta}$), où $\beta$ capture la redondance inter-neurones.
  3. Le bruit par neurone décroît selon une loi de puissance avec la complexité $k_e$ jusqu'à saturation à un plancher ($\sigma_n^2 \propto \max((\gamma k_e)^{-\alpha}, q_\infty)$), où $\alpha$ capture l'expressivité de l'intégration spatio-temporelle.
  4. Budget fixe $P$ distribué parmi $N$ neurones.
• Formule résultante :
  $$I_{rep}(k_e) = \frac{1}{2} \sum_{i=1}^{P/(k_e+k_c)} \log_2 \left( 1 + s(k_e) i^{-\beta} \right)$$
  où $s(k_e)$ est le rapport signal sur bruit dépendant de $k_e$.

Résultats clés

1. Échelle monotone vs compromis non triviaux

• Axes individuels : Les performances s'améliorent de manière monotone lors de l'augmentation de $N$, $k_e$ ou de la connectivité ($k_c$) individuellement.
• Compromis à budget fixe : Sous un budget de paramètres fixe, un optimum clair et non trivial émerge dans le compromis entre $N$ et $k_e$.
  • Les réseaux avec trop peu de neurones ou des neurones trop simples performent mal.
  • L'optimum est net, en particulier lors de l'utilisation de substituts à spikes binaires.
• Déplacement du budget : À mesure que le budget total $P$ augmente, la configuration optimale se déplace vers à la fois plus de neurones et des neurones plus complexes (par exemple, passant de $N=512, d_m=15$ à $N=1024, d_m=25$ lorsque le budget est quadruplé).

2. Connectivité et récurrence

• Connectivité : L'augmentation du nombre de synapses ($d_s$) améliore les performances. Une fois des connexions feed-forward suffisantes présentes, les gains de performance supplémentaires sont presque entièrement pilotés par les connexions récurrentes.
• Fraction de récurrence : Les réseaux plus grands favorisent une fraction plus élevée de connexions récurrentes ($\rho_{rec}$).
• Complexité vs Connectivité : Le partage des paramètres entre la complexité du neurone et la connectivité produit un optimum autour de $N_{rec}$ connexions.

3. Validation théorique

• Le modèle informationnel reproduit qualitativement les formes d'échelle empiriques, y compris l'emplacement et le déplacement de l'optimum avec le budget.
• Interprétabilité des paramètres :
  • $\alpha$ (exposant de décroissance du bruit) corrèle avec les paramètres d'intégration spatio-temporelle (par exemple, $l_{mlp}$, $\tau_{max}$). Les mesures empiriques sur des benchmarks de neurones uniques confirment une réduction de l'erreur selon une loi de puissance avec $k_e$.
  • $\beta$ (exposant de décroissance spectrale) corrèle avec la connectivité. Une connectivité réduite augmente $\beta$ (redondance plus élevée), déplaçant l'optimum vers des neurones plus grands.
• Un ajustement conjoint de la théorie aux données expérimentales sur sept expériences d'ablation a atteint une corrélation de Pearson de $r=0,98$, les paramètres ajustés correspondant aux mesures indépendantes.

4. Recette d'échelle

Une recherche structurée d'hyperparamètres a identifié une simple recette d'échelle qui trace la frontière de Pareto empirique sur les deux jeux de données :

• $d_m \sim \sqrt{N_{rec}}$
• $d_{mlp} = 2d_m$
• $d_{tree} = 2d_{mlp}$
• $d_{branch} = d_{tree}$
  Cette recette augmente agressivement la connectivité par neurone, ce qui est cohérent avec l'importance théorique de $\beta$.

Signification et affirmations

L'article prétend fournir une lentille normative sur la dépendance du cortex à l'égard d'intégrateurs spatio-temporels complexes. En démontrant que les défauts d'unités simples ne sont pas évidemment optimaux sous contraintes de budget, ce travail suggère que :

1. Une machinerie complexe par unité est un choix de conception efficace en termes de budget pour le calcul récurrent.
2. Le compromis entre le nombre d'unités et la complexité des unités est régi par des principes informationnels fondamentaux : la saturation du rapport signal sur bruit par neurone et la redondance inter-neurones.
3. Le défaut d'« unité simple » en ML peut être sous-optimal dès lors que la surface complète des compromis est explorée.

Les auteurs notent explicitement les limites : le cadre abstrait les topologies de réseaux spécifiques et les dynamiques d'optimisation ; les hypothèses (comme les spectres en loi de puissance) ne sont valables qu'approximativement ; et l'utilisation du nombre de paramètres comme proxy de budget ne capture pas directement les coûts métaboliques, limitant l'interprétabilité biologique directe. Néanmoins, ce travail établit un système modèle robuste pour étudier l'échelle dans les neurones expressifs et offre un cadre théorique compact pour comprendre les compromis architecturaux.