Résumé technique : Au-delà des points fixes : Capacité superpolynomiale des réseaux de Hopfield asymétriques

1. Énoncé du problème

Les réseaux de Hopfield classiques, caractérisés par des matrices de poids symétriques, sont limités à la reconnaissance de motifs statiques car leur dynamique est contrainte à converger vers des points fixes stables (ou des cycles limites de période 2 dans le cas de mises à jour synchrones). Bien que des connexions asymétriques permettent des dynamiques plus riches, incluant des cycles limites capables de coder des séquences temporelles, la réalisation d'un stockage à haute capacité de longues séquences dans les réseaux asymétriques synchrones classiques est restée un défi majeur.

Les approches existantes font face à des limitations spécifiques :

• Résultats statistiques : Des travaux antérieurs (par exemple, Bastolla et Parisi, 1997 ; Hwang et al., 2019) ont montré que les réseaux asymétriques aléatoires peuvent présenter des cycles limites, mais ceux-ci sont souvent des phénomènes statistiques sans robustesse garantie de récupération ni contrôle constructif du nombre de séquences stockées.
• Constructions d'orbites maximales : Muscinelli et al. (2017) ont démontré une construction supportant un unique cycle limite de longueur maximale ($2^n$), couvrant l'ensemble de l'espace d'états. Cependant, cela nécessite un ingénierie des poids hautement spécialisée, cas par cas, et manque de robustesse ; si la dynamique parcourt l'ensemble de l'espace d'états, le système ne peut pas revenir de manière fiable vers un attracteur spécifique après des perturbations de bruit.
• Modifications modernes : Les réseaux « Hopfield modernes » récents (Krotov et Hopfield, 2021 ; Ramsauer et al., 2021) atteignent une haute capacité en introduisant des interactions non linéaires ou des états continus. Cependant, ils s'écartent du modèle classique de neurone binaire et des règles de mise à jour synchrones.

La question centrale abordée est la suivante : Peut-on construire un modèle dans le cadre classique synchrone asymétrique des réseaux de Hopfield (neurones binaires, mises à jour synchrones, champs locaux linéaires) qui encode un nombre superpolynomial de longues séquences temporelles tout en restant robuste au bruit et suffisamment simple pour s'aligner avec la plausibilité biologique ?

2. Méthodologie

Les auteurs proposent une construction novatrice basée sur une architecture cyclique par blocs. Au lieu d'affiner individuellement les poids, la méthode repose sur des motifs architecturaux grossiers.

2.1 Architecture du réseau

Le réseau est composé de $n$ neurones binaires ($x \in \{-1, +1\}^n$) mis à jour de manière synchrone via une règle de majorité : $x_i(t+1) = \text{sign}(\sum_j w_{ij} x_j(t))$.

• Blocs : Les neurones sont partitionnés en blocs disjoints de taille $d$. Il n'existe aucune connexion interne au sein d'un bloc.
• Cycles de blocs : Le réseau est composé de plusieurs « cycles de blocs » disjoints. Un cycle de blocs de longueur $\ell$ consiste en $\ell$ blocs ($S_0, S_1, \dots, S_{\ell-1}$) où chaque neurone du bloc $S_i$ est connecté à chaque neurone du bloc $S_{i+1}$ (avec des poids $+1$), formant un anneau dirigé $S_0 \to S_1 \to \dots \to S_{\ell-1} \to S_0$.
• Dense vs Sparse (Épars) :
  • Construction Dense (BCA) : Les blocs adjacents sont entièrement connectés (tous-à-tous).
  • Construction Sparse (BCA $h$-sparse) : Chaque neurone d'un bloc reçoit exactement $h$ arêtes entrantes du bloc précédent, choisies uniformément au hasard (avec remise), où $h$ est un entier impair $\ge 3$.
• Robustesse aux adversaires : La construction est davantage testée en ajoutant des arêtes entrantes adverses à une petite fraction de neurones dans chaque bloc.

2.2 Outils théoriques

L'analyse repose sur trois piliers mathématiques principaux :

1. Combinatoire : Le dénombrement des séquences binaires apériodiques (colliers) pour déterminer le nombre de cycles limites distincts.
2. Théorie des nombres : L'analyse de la croissance du Plus Petit Commun Multiple (PPCM) d'ensembles aléatoires d'entiers pour borner la longueur de période des attracteurs.
3. Dynamique des opinions : L'utilisation de résultats sur le consensus à majorité $h$ dans les modèles de commérage (gossip) pour prouver la robustesse au bruit et les propriétés de convergence, en particulier dans les contextes épars et adverses.

2.3 Dynamique et attracteurs

Le mécanisme central consiste à attribuer un signe uniforme (état monochromatique) à tous les neurones au sein d'un bloc. Si la séquence des signes de blocs le long d'un cycle est apériodique, le système évolue comme une boucle rotative de ces états de blocs. La période globale du réseau est le PPCM des longueurs des cycles de blocs individuels.

3. Contributions et résultats clés

3.1 Capacité et longueur de période superpolynomiales

Les auteurs prouvent l'existence d'un réseau de Hopfield asymétrique à $n$ neurones qui supporte :

• Nombre d'attracteurs : $\exp\left(\Omega\left(\frac{n}{(\log n)^2}\right)\right)$ attracteurs de cycle limites distincts.
• Longueur de période : Chaque attracteur possède une période d'au moins $\exp\left(\Omega\left(\frac{\sqrt{n}}{\log n}\right)\right)$.

Cela représente une capacité superpolynomiale à la fois en nombre de séquences stockées et en leur longueur, une amélioration significative par rapport aux bornes linéaires ou de longueur constante précédentes dans les modèles classiques.

3.2 Robustesse au bruit

Les cycles limites construits sont robustes au bruit aléatoire :

• Cas dense : Le système récupère le cycle limite correct même si chaque neurone est inversé indépendamment avec une probabilité $p \le \frac{1}{2} - \Omega\left(\frac{1}{\sqrt{\log n}}\right)$.
• Cas sparse : La robustesse s'étend à des probabilités d'inversion jusqu'à $\frac{1}{2} - o(1)$, à condition que la taille du bloc $d = \omega(\log n)$.
• Mécanisme : En raison de la structure par blocs, tant que la majorité des neurones d'un bloc conservent leur signe original (ce qui se produit avec une forte probabilité sous les niveaux de bruit indiqués), la sortie du bloc reste inchangée lors de la prochaine mise à jour synchrone, corrigeant ainsi le bruit.

3.3 Plausibilité biologique et relaxations structurelles

L'article démontre que les résultats tiennent sous des conditions qui améliorent le réalisme biologique :

• Sparsité : La connectivité tous-à-tous entre les blocs peut être remplacée par des connexions aléatoires éparses ($h$-sparse, $h \ge 3$) avec seulement une réduction modeste de la capacité et de la longueur de période, tout en maintenant une échelle superpolynomiale.
• Perturbations adverses : Le système reste robuste même si une petite fraction de neurones ($O(\sqrt{d}/\log d)$) reçoit des arêtes entrantes adverses. Dans ce cas, le réseau converge vers un cycle limite $(k, d)$-faible, où l'état reste à l'intérieur d'une distance de Hamming maximale par bloc bornée par rapport au cycle original.
• Convergence globale : Pour des configurations initiales arbitraires, le réseau converge de manière déterministe (cas dense) ou avec une forte probabilité (cas sparse) vers un cycle limite en un nombre de tours proportionnel à la longueur du cycle ou à $O(\log d)$.

4. Signification et affirmations

L'article affirme démontrer que la représentation robuste de séquences dans les systèmes neuronaux ne nécessite pas de non-linéarités complexes, d'états continus ou de poids finement ajustés. Au contraire, elle peut être réalisée par des motifs architecturaux grossiers (topologies cycliques par blocs) dans le cadre classique des réseaux de Hopfield binaires.

• Avancée théorique : Il s'agit de la première démonstration d'une capacité superpolynomiale à la fois pour le nombre et la longueur des séquences stockées dans un réseau de Hopfield asymétrique synchrone classique.
• Pertinence biologique : La dépendance à des structures de blocs simples et à des règles de majorité, combinée à la robustesse face à la sparsité et au bruit, suggère un mécanisme plausible pour les Générateurs de Motifs Centraux (CPG) dans les systèmes biologiques et la mémoire de séquence robuste dans les systèmes artificiels.
• Limitations : Les auteurs notent que leurs résultats sont constructifs et reposent sur une topologie prescrite. Ils ne fournissent pas de règle d'apprentissage locale pour former ces topologies à partir de connectivité non structurée. De plus, les garanties sont spécifiques aux mises à jour synchrones ; l'extension de ces résultats aux dynamiques de neurones individuels asynchrones reste un problème ouvert.

Ce travail fait le lien entre la combinatoire, la théorie des nombres et la dynamique des opinions pour établir que le répertoire dynamique des réseaux de Hopfield asymétriques est considérablement plus vaste et plus robuste que précédemment reconnu, offrant une nouvelle perspective sur la mémoire de séquence dans les systèmes neuronaux biologiques et artificiels.