Neural Langevin Machine: a local asymmetric learning rule can be creative

Résumé Technique : Machine de Langevin Neuronale (Neural Langevin Machine)

Énoncé du Problème
Les modèles génératifs actuels basés sur les réseaux de neurones artificiels, tels que les auto-encodeurs variationnels, les réseaux antagonistes génératifs (GAN) et les modèles de diffusion, sont confrontés à des défis importants concernant la plausibilité biologique et la complexité de l'apprentissage. Plus précisément, ils manquent souvent de :

1. Récurrence Asymétrique : Les réseaux neuronaux biologiques possèdent des couplages synaptiques asymétriques, alors que de nombreux modèles populaires reposent sur des structures symétriques ou nécessitent des signaux d'erreur globaux.
2. Apprentissage Local : Les circuits biologiques apprennent via des signaux locaux, tandis que la plupart des modèles génératifs dépendent de la rétropropagation de l'erreur globale.
3. Utilisation de la Dynamique Neuronale : Bien que la variabilité de la réponse neuronale et les points fixes (ou attracteurs chaotiques) puissent stocker et générer des exemples, le potentiel de la variabilité de la réponse neuronale dans l'échantillonnage génératif est sous-exploré.
4. Réversibilité Thermodynamique : Les tentatives précédentes d'utilisation de la dynamique de Langevin imposent souvent une réversibilité thermodynamique, ce qui viole les contraintes biologiques et ne parvient pas à modéliser efficacement les processus de perception et d'imagination du cerveau.

Méthodologie
Les auteurs proposent la Machine de Langevin Neuronale (NLM), un modèle génératif qui exploite les points fixes de réseaux de neurones récurrents (RNN) avec des couplages asymétriques aléatoires.

• Dynamique : Le modèle est défini par une équation différentielle stochastique (dynamique de Langevin) :
  $$\frac{dx}{dt} = -\nabla_x E(x) + \sqrt{2T}\epsilon(t)$$
  où $x$ est le vecteur de courant synaptique, $T$ est un paramètre de température, et $\epsilon(t)$ est un bruit blanc gaussien.
• Fonction d'Énergie : Le potentiel d'énergie $E(x)$ est construit pour stabiliser les innombrables points fixes instables inhérents aux RNN chaotiques. Il inclut un terme de rétroaction d'Onsager dérivé du gradient de l'énergie, qui stabilise les fluctuations chaotiques. La fonction d'énergie prend la forme :
  $$E(x) = \frac{1}{2} \sum_{i} \left( -x_i + b_i + \sum_{j} J_{ij}\phi(x_j) \right)^2$$
  où $\phi(x) = \tanh(x)$ est la fonction de taux de décharge, $b_i$ est le biais, et $J_{ij}$ représente le couplage neuronal asymétrique.
• Règle d'Apprentissage : Le modèle optimise les paramètres de couplage $\{J_{kl}\}$ pour minimiser la divergence de Kullback-Leibler (KL) entre la distribution du modèle et la distribution des données. Cette minimisation suit un principe d'entropie minimale, conduisant à une règle d'apprentissage locale et asymétrique :
  $$\frac{\partial L}{\partial J_{kl}} = \beta \left[ \langle (x_k - h_k)\phi(x_l) \rangle_{\text{modèle}} - \langle (x_k - h_k)\phi(x_l) \rangle_{\text{données}} \right]$$
  Ici, $h_k$ est le courant synaptique intégré. Le terme $(x_k - h_k)$ représente une contribution postsynaptique interprétée comme une erreur de prédiction (réduisant la vitesse de l'activité postsynaptique). Cette règle est locale, ne nécessitant que des signaux neuronaux, et est asymétrique par rapport aux indices neuronaux.
• Protocoles d'Entraînement : Les auteurs implémentent plusieurs stratégies d'entraînement pour explorer les régimes hors équilibre (OOE) :
  • PCD-k (Divergence Contrastive Persistante) : Utilise des chaînes persistantes mises à jour pendant $k$ étapes entre chaque mise à jour de paramètres.
  • Rdm-k : Réinitialise les chaînes de Langevin à partir de configurations aléatoires à chaque étape d'estimation du gradient.
  • AE-NLM : Entraîne un auto-encodeur pour compresser les données dans un espace latent, où la NLM est entraînée, réduisant ainsi considérablement la complexité computationnelle.

Contributions Clés

1. Modèle Génératif Biologiquement Plausible : La NLM satisfait trois critères : apprentissage local, échantillonnage basé sur la dynamique neuronale et récurrence asymétrique. Elle dérive une règle d'apprentissage interprétable comme un apprentissage prédictif ajusté par la vitesse.
2. Stabilisation des Points Fixes Instables : Le travail démontre que le terme de rétroaction d'Onsager dans la fonction d'énergie stabilise les points fixes instables des RNN chaotiques, les rendant utilisables pour la mémoire et la génération.
3. Règle d'Apprentissage Asymétrique Locale : La règle d'apprentissage dérivée relie la modélisation générative aux principes physiques fondamentaux (entropie minimale) et s'aligne sur l'hypothèse du « cerveau bayésien sans probabilité » et la voie de l'IA basée sur l'énergie de Yann LeCun.
4. Régime Hors Équilibre (OOE) : L'article identifie un régime OOE où la meilleure performance générative est obtenue sans attendre que le système atteigne l'équilibre thermodynamique, imitant les dynamiques cérébrales continues pilotées par le bruit stochastique.

Résultats

• Performance Générative : Appliquée à MNIST (chiffres manuscrits) et Fashion MNIST, la NLM génère avec succès des échantillons. Les visualisations montrent des transitions d'état continues entre différentes classes de chiffres (par exemple, de '6' à '1'), pilotées par le bruit stochastique.
• Transition Mémorisation-Généralisation : À mesure que la taille des données d'entraînement augmente, le modèle passe d'une mémorisation pure (surapprentissage) à la généralisation. Cette transition est quantifiée à l'aide d'un Indicateur de Précision Adversaire (AAI).
  • Dans les régimes de déficit de données, le modèle mémorise les échantillons d'entraînement.
  • Au-delà d'un certain seuil de données, le modèle génère des échantillons statistiquement indiscernables des données réelles.
  • Un excès de données peut éventuellement dégrader la qualité, suggérant un point de saturation.
• Spectre des Valeurs Propres : Pendant l'apprentissage, le spectre de la matrice de couplage $J$ évolue d'une forme isotrope vers une forme d'« ancrage », les valeurs propres distribuées autour de l'axe réel positif jouant un rôle clé dans la généralisation.
• Débruitage et Mémoire Associative : La NLM fonctionne comme un réseau de mémoire associative. Lorsqu'on lui présente des images corrompues (25 % de bruit de pixels), les dynamiques convergent vers des représentations de chiffres propres, démontrant un nouveau type de mémoire associative avec un couplage asymétrique.
• Amélioration de l'Espace Latent : L'utilisation du protocole AE-NLM sur Fashion MNIST (10 catégories) améliore la qualité de la génération et permet l'échantillonnage dans un espace latent de plus faible dimension.

Signification et Revendications
Les auteurs affirment que la NLM offre une voie prometteuse pour les modèles génératifs inspirés par les neurosciences, permettant l'exploration dynamique de l'« espace d'activité créative de l'imagination ». En utilisant des points fixes instables et un apprentissage asymétrique local, le modèle comble le fossé entre les mécanismes neuronaux biologiques et les objectifs d'ingénierie. Ce travail suggère que le cerveau pourrait utiliser des mécanismes similaires pour la perception, la mémoire et l'imagination, où l'exploration continue de l'espace des phases facilite les transitions de la mémoire à la généralisation. L'article positionne ce cadre comme une étape vers la compréhension de la perception subjective et de l'imagination dans le cerveau, tout en offrant une alternative computationnellement efficace aux modèles génératifs dominants actuels grâce à l'entraînement en espace latent.