Résumé Technique : Réseaux de Géométrie Sparse Résonante (RSGN)

Énoncé du Problème

L'architecture dominante des Transformers repose sur des mécanismes d'auto-attention denses, ce qui entraîne une complexité computationnelle quadratique ($O(n^2)$) par rapport à la longueur de la séquence. Cette limitation d'échelle rend les Transformers standards prohibitivement coûteux pour les applications à contexte long (ex: compréhension au niveau du document) et inefficace pour les environnements à ressources limitées. Bien que les variantes d'attention efficace existantes (ex: Sparse Transformers, Linformer) réduisent la complexité, elles emploient généralement des motifs de parcimonie fixes ou des projections statiques, échouant ainsi à reproduire le routage dépendant de l'entrée observé dans les systèmes neuraux biologiques. De plus, les modèles de deep learning standards manquent de la plasticité structurelle et de l'extrême parcimonie d'activation (1 à 2 % des neurones actifs) caractéristiques du cerveau humain, qui opère avec une efficacité énergétique remarquable.

Méthodologie

Les auteurs proposent les Réseaux de Géométrie Sparse Résonante (RSGN), une architecture inspirée du cerveau qui intègre quatre principes biologiques clés : l'activation parcimonieuse, le routage dépendant de l'entrée, la structure auto-organisée via l'apprentissage hebbien et l'organisation hiérarchique intégrée dans la géométrie physique.

1. Encastrement Spatial Hyperbolique

Le RSGN encastre $N$ nœuds de calcul dans un espace hyperbolique $d$-dimensionnel ($H_d$) appris, utilisant spécifiquement le modèle du ballon de Poincaré.

• Géométrie : La croissance exponentielle du volume dans l'espace hyperbolique permet d'encastrer des structures hiérarchiques de type arbre avec une faible distorsion.
• Connectivité : La force de connexion ($w_{ij}$) entre les nœuds décroît exponentiellement avec la distance géodésique. Cela impose naturellement la localité et la parcimonie, sans mécanisme d'élagage explicite.
• Hiérarchie : Les nœuds proches de l'origine représentent des concepts abstraits (racines), tandis que les nœuds proches de la frontière représentent des instances spécifiques (feuilles), facilitant un routage efficace de l'information.

2. Ignition et Dynamique Dépendantes de l'Entrée

Le réseau fonctionne via un processus en deux phases pour chaque entrée :

• Ignition (Allumage) : Les jetons d'entrée sont projetés vers des "points d'étincelle" dans l'espace d'encastrement hyperbolique. Cela active uniquement les nœuds proches, créant un motif d'activation parcimonieux initial.
• Propagation Résonante : Les activations se propagent de manière itérative ($K$ étapes) à travers le réseau. La dynamique implique :
  • Agrégation de Signal : Les nœuds actifs agrègent les signaux de leurs voisins.
  • Seuillage Doux : Une fonction de seuillage doux différentiable ($\sigma((x-\theta)/T)$) détermine l'activation des nœuds, permettant un entraînement par gradient.
  • Inhibition Locale : La normalisation divisive au sein des voisinages spatiaux impose une compétition de type "winner-take-more" (le vainqueur prend plus), empêchant l'explosion de l'activation et favorisant des représentations distribuées parcimonieuses.

3. Système d'Apprentissage à Deux Échelles de Temps

Le RSGN sépare l'apprentissage en échelles de temps rapides et lentes, reflétant les distinctions biologiques entre la dynamique neurale et la plasticité synaptique :

• Apprentissage Rapide (Descente de Gradient) : Optimise la performance de la tâche sur l'échelle de temps des passes avant. Il met à jour la fonction d'encastrement d'entrée, les matrices de transformation, les projections de sortie et les facteurs d'affinité via la rétropropagation.
• Apprentissage Lent (Plasticité Structurelle Hebbienne) : Adapte la topologie du réseau sur les lots (batches) d'entraînement.
  • Mise à jour de l'Affinité : Les nœuds co-activés renforcent leur affinité de connexion ($\Delta a_{ij} \propto \bar{\alpha}_i \bar{\alpha}_j R$), modulée par un signal de récompense global (perte négative).
  • Adaptation du Seuil : Les seuils s'ajustent de manière homéostatique pour maintenir un niveau de parcimonie cible.
  • Élagage et Bourgeonnement : Les connexions faibles sont périodiquement supprimées, tandis que de nouvelles connexions se forment entre des nœuds hautement corrélés mais non connectés.

Contributions Clés

1. Cadre Mathématique : Une formulation complète pour le calcul neural spatialement encastré en géométrie hyperbolique, définissant la connectivité basée sur la distance, la dynamique de seuillage doux et l'inhibition locale.
2. Relaxation Différentiable : Un schéma permettant l'entraînement par gradient de réseaux dotés de structures dynamiques et parcimonieuses, faisant le pont entre le calcul biologique discret et l'optimisation continue.
3. Règle d'Apprentissage Hybride : Une combinaison novatrice de la rétropropagation pour les mises à jour rapides des poids et des règles hebbiennes pour l'adaptation topologique lente, offrant une alternative biologiquement plausible à l'apprentissage de structure de bout en bout.
4. Validation Théorique et Expérimentale : Preuve de la complexité computationnelle sous-quadratique ($O(n \cdot k)$ où $k \ll n$) et démonstration expérimentale de performances compétitives avec un nombre de paramètres considérablement réduit.

Résultats Expérimentaux

Les auteurs ont évalué le RSGN sur des benchmarks synthétiques conçus pour tester l'apprentissage de caractéristiques hiérarchiques et la capture de dépendances à longue portée.

• Classification Hiérarchique (20 classes) :
  • Le RSGN a atteint 23,8 % de précision avec 41 672 paramètres.
  • Les Transformers standards ont atteint 30,1 % de précision mais nécessitaient 403 348 paramètres (environ 10$\times$ de plus).
  • Le RSGN a nettement surpassé les Sparse Transformers à parcimonie fixe (15,9 %) et les MLP (16,0 %), démontrant l'avantage du routage dépendant de l'entrée.
• Dépendance à Longue Portée (Longueur de séquence 128) :
  • Le RSGN a atteint 96,5 % de précision avec 40 382 paramètres.
  • Les Transformers et les LSTM ont atteint 100 % de précision mais nécessitaient environ 15$\times$ plus de paramètres (600 330 et 563 722, respectivement).
• Études d'Ablation : Ont confirmé que l'apprentissage hebbien apporte des améliorations constantes en termes de stabilité et de convergence. L'architecture a montré une robustesse aux variations d'hyperparamètres, la performance restant stable à travers différents nombres de nœuds et étapes de propagation.

Signification et Revendications

L'article pose que le RSGN offre une direction prometteuse vers des architectures neurales plus efficaces et biologiquement plausibles. En découplant le routage d'activation (rapide) de l'adaptation structurelle (lente) et en exploitant la géométrie hyperbolique pour l'organisation hiérarchique, le RSGN démontre que :

• Efficacité des Paramètres : Une haute performance peut être atteinte avec un ordre de grandeur de paramètres en moins que les Transformers standards.
• Scalabilité : L'architecture atteint une mise à l'échelle linéaire ou sous-quadratique ($O(n \cdot k)$) par rapport au nombre de nœuds actifs, évitant le goulot d'étranglement quadratique de l'attention dense.
• Plausibilité Biologique : L'intégration du codage parcimonieux, du routage dépendant de l'entrée et de la plasticité hebbienne aligne les principes computationnels avec les mécanismes biologiques observés, suggérant que les futures architectures pourraient dépasser les graphes de calcul denses et fixes vers des structures auto-organisées et dynamiques.

Les auteurs reconnaissent des limites, notamment un écart de précision absolue par rapport aux Transformers sur les benchmarks actuels et le défi de mapper le calcul dynamique et parcimonieux sur le matériel GPU existant. Ils suggèrent que les travaux futurs devraient explorer les implémentations sur matériel neuromorphique et le passage à l'échelle vers des régimes de milliards de paramètres sur les benchmarks NLP et vision standards.