Contribution of task-irrelevant stimuli to drift of neural representations

Cette étude démontre que, dans des contextes d'apprentissage en ligne, le bruit d'apprentissage induit par des stimuli non pertinents pour la tâche peut provoquer une dérive à long terme des représentations neuronales des stimuli pertinents, un phénomène observé à la fois dans des modèles biologiques et artificiels et dont le taux augmente avec la variance et la dimensionnalité de l'espace des stimuli non pertinents.

L'essentiel

Le Titre : Pourquoi les souvenirs du cerveau "glissent" même quand tout va bien

Imaginez que votre cerveau est un jardinier qui apprend à reconnaître des fleurs (c'est la tâche importante). Mais en même temps, il est assis dans un champ rempli de vent, de poussière et d'autres plantes sauvages qui ne servent à rien pour son travail (ce sont les stimuli sans importance).

Ce que l'auteur, Farhad Pashakhanloo, a découvert, c'est une chose surprenante : même si le jardinier devient un expert et que ses fleurs restent parfaitement classées (la performance ne change pas), l'endroit exact où il a planté chaque fleur dans son esprit bouge lentement avec le temps. C'est ce qu'on appelle la "dérive de la représentation".

L'Analogie du Potager Bruyant

Pour comprendre pourquoi cela arrive, prenons deux scénarios :

1. Le bruit habituel (Le bruit synaptique) : Imaginez que le jardinier a des mains qui tremblent légèrement à cause du froid. Chaque fois qu'il plante une graine, elle bouge un tout petit peu à cause de ce tremblement. C'est du "bruit interne".
2. Le nouveau secret (Le bruit des stimuli sans importance) : Maintenant, imaginez que le jardinier doit ignorer le vent qui souffle sur les mauvaises herbes autour de lui. Même s'il ne regarde pas les mauvaises herbes, le vent les fait bouger. Parfois, une feuille de mauvaise herbe vole et tape sur sa main, ou un grain de poussière tombe sur sa pelle.

La découverte clé : L'auteur montre que c'est ce vent et cette poussière (les stimuli sans importance) qui font bouger ses mains, même s'il essaie de les garder stables. Le fait d'essayer d'ignorer le bruit ambiant crée en réalité une perturbation qui fait glisser lentement la position de ses fleurs préférées.

Comment ça marche ? (La mécanique simple)

L'auteur a testé cela avec des "cerveaux artificiels" (des réseaux de neurones) et des maths. Voici ce qu'il a vu :

• Le paradoxe : Plus il y a de "bruit" autour (de mauvaises herbes, de vent), plus la position des fleurs importantes bouge vite.
• La taille compte : Si le champ de mauvaises herbes est très grand (beaucoup de dimensions inutiles), la dérive est plus forte.
• Ce n'est pas juste un bug : Ce n'est pas une erreur. C'est une conséquence inévitable de l'apprentissage en temps réel. Pour apprendre, le cerveau doit constamment ajuster ses connexions. Même quand il a "fini" d'apprendre, il continue d'ajuster les choses à cause du bruit ambiant, ce qui fait tourner lentement la carte mentale.

La différence entre "Tremblement" et "Vent"

L'auteur compare deux types de dérive :

1. Le tremblement (Bruit synaptique) : C'est comme si le jardinier avait les mains qui tremblent de façon aléatoire partout. Les fleurs bougent de manière uniforme, comme une soupe qui remue.
2. Le vent (Bruit des stimuli inutiles) : C'est plus directionnel. Le vent pousse les fleurs d'une certaine manière selon la direction du vent. Cela crée une dérive qui a une géométrie spécifique.

C'est important car si les scientifiques observent comment les neurones bougent dans le cerveau d'un animal, ils pourront dire : "Ah, ce mouvement ressemble à du vent (donc c'est dû à l'environnement et à l'attention), pas à des mains qui tremblent (biologie pure)."

En résumé

Cette étude nous dit que notre cerveau ne reste jamais figé, même quand nous sommes experts.

• Si vous essayez d'écouter une conversation (tâche importante) dans un café bruyant (stimuli inutiles), votre cerveau continue de s'adapter au bruit.
• Cette adaptation constante fait que la façon dont vous codez cette conversation dans votre esprit change lentement jour après jour.
• Ce n'est pas un signe de maladie ou d'oubli, mais plutôt la preuve que votre cerveau est vivant, flexible et en train de gérer le monde réel avec tout son désordre.

C'est comme si votre carte mentale était une carte dessinée sur un ballon de baudruche : tant que le ballon gonfle et se déforme légèrement à cause du vent extérieur (le bruit du monde), votre carte change de forme, même si vous savez toujours exactement où se trouve Paris.

Résumé technique

1. Problématique et Contexte

Le phénomène de dérive représentationnelle (representational drift) désigne l'évolution graduelle des représentations neuronales internes au fil du temps, même lorsque la performance d'une tâche reste stable. Bien que ce phénomène soit bien documenté en neurosciences (suivi de neurones sur plusieurs semaines) et en apprentissage automatique, les sources exactes de cette dérive restent mal comprises.

Les hypothèses actuelles incluent le bruit synaptique intrinsèque ou le turnover des connexions. Cependant, l'article postule qu'une source majeure de bruit provient de l'apprentissage lui-même, spécifiquement de l'exposition continue à des stimuli non pertinents pour la tâche (task-irrelevant stimuli). Même si l'agent apprend à ignorer ces stimuli dans un contexte donné, leur présence dans le flux de données en ligne (online learning) peut induire une perturbation à long terme des représentations des stimuli pertinents.

L'objectif de l'étude est de caractériser systématiquement cette dérive en fonction de la distribution des données, à travers différentes architectures et règles d'apprentissage, et de comparer ses prédictions à celles d'un bruit synaptique additif classique.

2. Méthodologie

L'auteur combine une analyse théorique rigoureuse et des simulations numériques pour étudier la dérive dans un cadre d'apprentissage en ligne continu.

• Cadre Théorique :

  • Le système est modélisé comme un processus stochastique près d'un point fixe (la solution optimale).
  • Les dynamiques d'apprentissage sont décomposées en espaces normaux (orthogonaux à la variété des solutions) et tangentiels (le long de la variété).
  • La dérive est modélisée comme un processus de diffusion sur la variété des solutions. L'auteur utilise des équations différentielles stochastiques (SDE) pour dériver les coefficients de diffusion angulaire ($D_{sr}$) qui quantifient la vitesse de la dérive.
  • L'analyse repose sur l'hypothèse que le bruit d'apprentissage (stochasticité des échantillons) génère des fluctuations qui, via des termes non linéaires dans les règles de mise à jour, se projettent sur l'espace tangent, causant une dérive.

• Architectures et Règles d'Apprentissage Étudiées :
  L'étude couvre un spectre large de modèles pour vérifier la robustesse du phénomène :

  1. Réseau d'Oja (Multidimensionnel) : Apprentissage hebbien non supervisé pour l'extraction de composantes principales.
  2. Réseau de Similarité Matching (Similarity Matching) : Apprentissage hebbien/anti-hebbien bio-plausible.
  3. Autoencodeur Linéaire : Apprentissage supervisé par descente de gradient stochastique (SGD) avec un goulot d'étranglement (bottleneck).
  4. Réseau Supervisé à Deux Couches : Régression linéaire avec un signal enseignant (teacher signal).
  5. Réseau Non-Linéaire : Réseaux avec fonctions d'activation ReLU et champs récepteurs localisés.

• Données :

  • Données synthétiques gaussiennes avec une covariance structurée (sous-espace pertinent vs sous-espace non pertinent).
  • Données réelles : MNIST (chiffres manuscrits).

3. Contributions Clés

1. Identification d'une source de bruit spécifique : Démonstration que les stimuli non pertinents pour la tâche agissent comme une source de bruit d'apprentissage, provoquant une dérive des représentations des stimuli pertinents, même lorsque la performance est stable.
2. Généralité du phénomène : Preuve analytique et numérique que ce mécanisme est robuste et présent aussi bien dans les règles d'apprentissage hebbien (Oja, Similarité) que dans le SGD supervisé.
3. Dépendance structurelle : Établissement d'une relation quantitative entre la dérive et les propriétés statistiques des données non pertinentes (variance et dimensionnalité du sous-espace non pertinent).
4. Distinction qualitative : Mise en évidence que la géométrie et la dépendance dimensionnelle de la dérive induite par l'apprentissage diffèrent fondamentalement de celles causées par un bruit synaptique additif gaussien.

4. Résultats Principaux

A. Mécanisme de la Dérive

Dans les réseaux linéaires (comme Oja), la solution optimale correspond à un sous-espace principal. Les mises à jour en ligne dépendent du produit des composantes du vecteur d'entrée.

• Si un échantillon contient à la fois des composantes pertinentes ($x_{||}$) et non pertinentes ($x_{\perp}$), la règle de mise à jour (ex: $\Delta W \propto y(x - W^Ty)^T$) génère un terme multiplicatif non nul ($x_{||} x_{\perp}^T$).
• Bien que la réponse moyenne aux stimuli non pertinents soit nulle, les fluctuations instantanées créent un bruit qui, intégré sur le temps, pousse les poids le long de la variété des solutions (diffusion rotationnelle).

B. Dépendance aux Paramètres (Données Gaussiennes)

Les taux de diffusion (vitesse de dérive) calculés analytiquement montrent que :

• La dérive augmente avec la variance ($\lambda_{\perp}$) des stimuli non pertinents.
• La dérive augmente avec la dimension ($n-m$) du sous-espace non pertinent.
• Formule simplifiée pour le réseau d'Oja : $D \propto \eta^3 \lambda_{\perp}^2 (m-1)(n-m)$.
• Cela implique que plus l'environnement est "bruyant" ou complexe (plus de dimensions non pertinentes), plus la dérive est rapide.

C. Validation sur MNIST et Réseaux Non-Linéaires

• Sur MNIST, la dérive suit la prédiction théorique : elle augmente initialement avec la dimension de la couche de sortie (ou du goulot d'étranglement) car l'espace de dérive disponible s'élargit, puis diminue lorsque la dimension atteint celle de l'entrée (car le sous-espace non pertinent disparaît).
• Dans les réseaux non-linéaires (ReLU), la dérive persiste et la stabilité des champs récepteurs diminue avec l'augmentation du bruit non pertinent, confirmant que le mécanisme ne se limite pas aux réseaux linéaires.

D. Comparaison : Bruit d'Apprentissage vs Bruit Synaptique

C'est une contribution majeure de l'article. Les deux sources de bruit produisent des signatures différentes :

• Géométrie : Le bruit synaptique additif induit une diffusion isotrope (égale dans toutes les directions de l'espace tangent). Le bruit d'apprentissage induit une diffusion anisotrope, dépendant du spectre des données.
• Dépendance dimensionnelle :
  • Avec un bruit synaptique, le taux de dérive augmente monotonement avec la dimension de la représentation.
  • Avec le bruit d'apprentissage (stimuli non pertinents), la relation est non monotone (elle augmente puis diminue, s'annulant si la dimension de la représentation égale celle de l'entrée).
• Seuil de dominance : Le bruit synaptique ne domine que si son intensité dépasse un seuil critique lié à la variance des données non pertinentes. Sinon, le bruit d'apprentissage est le facteur dominant.

5. Signification et Implications

• Neurosciences : Ce travail offre une nouvelle hypothèse pour expliquer la dérive observationnelle dans le cerveau. Il suggère que la complexité de l'environnement (la quantité de stimuli distracteurs) pourrait être un facteur clé de la stabilité des représentations neuronales. Cela pourrait expliquer pourquoi les zones associatives (où les stimuli sont multiplexés) montrent plus de dérive que les zones sensorielles primaires.
• Apprentissage Automatique : La compréhension de ce mécanisme est cruciale pour le "Continual Learning" (apprentissage continu). Elle suggère que pour stabiliser les représentations, il ne suffit pas de minimiser la perte, mais il faut aussi contrôler l'exposition aux données non pertinentes ou adapter les règles d'apprentissage pour atténuer cette diffusion.
• Méthodologie : L'article propose un cadre théorique unifié reliant la structure des stimuli, la tâche et la règle d'apprentissage à la dynamique de dérive, ouvrant la voie à l'utilisation de la dérive comme un signal pour inférer les mécanismes computationnels sous-jacents dans les systèmes biologiques.

En résumé, l'article démontre que l'ignorance apparente des stimuli non pertinents par un agent n'est pas une absence d'interaction, mais une source dynamique de perturbation qui façonne l'évolution à long terme de ses représentations internes.