Emergent Generalization by Representation Learning in Artificial Neural Networks

Résumé technique : Émergence de la généralisation par l'apprentissage de représentations dans les réseaux de neurones artificiels

Énoncé du problème
L'article aborde un débat de longue date en neurosciences concernant la pertinence fonctionnelle des « variétés neuronales » (neural manifolds) — ces structures de faible dimension qui sous-tendent l'activité neuronale de haute dimension. Bien que les techniques de réduction de dimensionnalité aient permis d'identifier avec succès ces variétés dans diverses régions cérébrales et espèces, il reste contesté de savoir si ces structures sont de simples épiphénomènes descriptifs de l'activité au niveau du neurone ou si elles confèrent un avantage causal et fonctionnel pour l'apprentissage et la généralisation. Plus précisément, les auteurs cherchent à déterminer si la capacité d'un système d'apprentissage à extraire des représentations de faible dimension à partir d'entrées de haute dimension offre un bénéfice fonctionnel pour la généralisation aux données hors distribution (OOD), et si de telles représentations présentent une « émergence causale ».

Méthodologie
Les auteurs emploient une approche hybride combinant des simulations de réseaux de neurones artificiels (ANN) et l'analyse de données neurales biologiques.

1. Tâche synthétique et architecture :

   • Tâche : Une tâche de prédiction de séries temporelles où le réseau doit prédire l'étape temporelle suivante d'une entrée de haute dimension $X_t$. Cette entrée est générée par la projection d'un système dynamique latent de faible dimension $x_t$ (par exemple, les attracteurs de Lorenz, Rössler, Sprott) dans un espace de haute dimension via une projection orthogonale aléatoire $R$, avec l'ajout de bruit.
   • Architecture : Un modèle de calcul de réservoir (Reservoir Computing - RC) modifié. Il se compose d'une couche de réservoir récurrent fixe, d'une couche de goulot d'étranglement entraînable (objet de l'apprentissage de représentation) et d'une couche de lecture (readout) par régression de Ridge linéaire. La couche de goulot d'étranglement est entraînée par rétropropagation pour apprendre une représentation latente prédictive de faible dimension, tandis que la couche de lecture est entraînée pour minimiser l'erreur quadratique moyenne (MSE).
   • Tests de généralisation : Le modèle est entraîné sur un sous-ensemble de systèmes dynamiques et testé sur : (a) des rotations orthogonales aléatoires des attracteurs d'entraînement, et (b) des systèmes dynamiques tenus à l'écart (OOD) par rapport aux données d'entraînement.
   • Contrôle de la complexité : La complexité de la tâche est modulée en sous-échantillonnant la série temporelle pour conserver $N_{\tau}$ pas de temps avant que l'autocorrélation ne tombe en dessous de $1/e$.

2. Mesures de l'information théorique :

   • Émergence causale ($\Psi$) : Les auteurs utilisent la mesure $\Psi$ (Rosas et al., 2020) pour quantifier l'émergence causale. Elle est définie comme la différence entre la prédictibilité macroscopique (information mutuelle entre l'état macroscopique $V_t$ et son futur $V_{t+1}$) et la somme des prédictibilités microscopiques (somme de l'information mutuelle entre les neurones individuels du réservoir $Y^i_t$ et leurs futurs). Un $\Psi$ positif indique que l'état macroscopique est plus prédictif que la somme de ses parties.
   • Goulot d'étranglement de l'information (Information Bottleneck - IB) : La perte IB ($I(Y_t; V_t) - \beta I(V_t; X_{t+1})$) est utilisée pour suivre le compromis entre la compression de l'information d'entrée et la préservation de l'information prédictive.

3. Analyse de données biologiques :

   • Jeu de données : Activité de décharge neuronale enregistrée dans le CA1 dorsal et le cortex préfrontal médial (PFC) de souris effectuant une tâche d'alternance spatiale dans un labyrinthe en W (8 souris, plus de 8 sessions d'entraînement).
   • Analyse : Les taux de décharge ont été prétraités et injectés dans un encodeur de goulot d'étranglement linéaire simple avec un décodeur de Ridge pour prédire l'étape de temps suivante des variables comportementales (position et vitesse). La mesure $\Psi$ a été estimée pour les états du goulot d'étranglement à travers les sessions d'entraînement afin de suivre son évolution par rapport à la performance comportementale et l'erreur de prédiction.

Résultats clés

1. Nécessité des goulots d'étranglement pour la généralisation :

   • Les réseaux sans couche de goulot d'étranglement pouvaient apprendre les données d'entraînement mais échouaient à généraliser aux rotations aléatoires des attracteurs d'entraînement ou aux nouveaux systèmes dynamiques OOD.
   • La présence d'une couche de goulot d'étranglement a permis au réseau d'apprendre une représentation invariante par rotation des états latents, permettant une généralisation réussie tant aux données d'entraînement rotées qu'aux nouveaux systèmes dynamiques.
   • La performance de généralisation était robuste à travers différents systèmes dynamiques et dépendait principalement de la complexité de la tâche (contrôlée par $N_{\tau}$) plutôt que de l'attracteur spécifique appris.

2. Trajectoire non monotone de l'émergence causale :

   • Alors que la perte de prédiction (MSE) diminuait de manière monotone pendant l'entraînement, la mesure de l'émergence causale ($\Psi$) présentait une trajectoire non monotone.
   • Phase 1 (Mémorisation) : $\Psi$ diminuait initialement durant le début de l'entraînement.
   • Phase 2 (Transition) : $\Psi$ atteignait un minimum.
   • Phase 3 (Généralisation) : $\Psi$ augmentait ensuite pour atteindre un maximum durant la phase de généralisation.
   • Cette trajectoire reflète le phénomène de « grokking » observé dans d'autres contextes, où une transition de la mémorisation vers la généralisation est marquée par un changement structurel de la représentation. L'ampleur de cette structure émergente prédisait de manière fiable la performance de généralisation.

3. Corrélation avec la généralisation :

   • Le degré d'émergence causale était positivement corrélé à la capacité du réseau à généraliser aux données OOD.
   • La décomposition de la mesure $\Psi$ a révélé que la généralisation est associée à une haute prédictibilité macroscopique (stabilité de la représentation) et une faible prédictibilité microscopique (représentations hautement distribuées où aucun composant individuel ne prédit le macro).
   • La transition vers une haute émergence précédait la minimisation de la perte du Goulot d'étranglement de l'information (IB), suggérant que l'émergence de la structure est un précurseur de la compression et de la généralisation optimales.

4. Validation biologique :

   • L'analyse des données du CA1 et du PFC médial de souris a révélé un comportement non monotone similaire de la mesure d'émergence causale lors de l'apprentissage spatial.
   • L'émergence diminuait initialement, puis augmentait lors des sessions d'entraînement ultérieures. Crucialement, le minimum de la mesure d'émergence précédait de manière significative le minimum de l'erreur de prédiction (MSE) et le pic de performance comportementale, reflétant la dynamique observée dans le réseau artificiel.

Signification et affirmations
L'article soutient que la capacité à apprendre des représentations compactes, distribuées et émergentes confère un avantage fonctionnel pour la généralisation dans les systèmes d'apprentissage. En démontrant que l'émergence causale est une condition nécessaire pour la généralisation OOD dans un cadre synthétique contrôlé, et en observant des dynamiques d'émergence non monotones analogues dans les réseaux neuronaux biologiques lors de l'apprentissage, les auteurs soutiennent un rôle causal des représentations apprises dans la cognition.

Les résultats suggèrent que les variétés neuronales ne sont pas de simples résumés descriptifs, mais peuvent représenter des structures causalement émergentes qui renforcent le pouvoir prédictif. L'étude pose que l'apprentissage de ces variétés émergentes est une caractéristique clé de l'apprentissage dans les réseaux neuronaux biologiques, fournissant une explication fonctionnelle de la raison pour laquelle les cerveaux pourraient évoluer pour organiser l'activité de haute dimension en structures de faible dimension et émergentes. Les auteurs restent modestes quant aux explications mécanistes, notant que bien qu'ils identifient l'avantage fonctionnel, les mécanismes de plasticité spécifiques permettant cela dans les cerveaux biologiques restent une question ouverte pour des travaux futurs.