Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images

Résumé Technique : Inadéquation entre la Rétropropagation et la Hiérarchie des Réponses Cérébrales aux Images

Énoncé du Problème
Bien que les réseaux de neurones profonds (DNN) et le système visuel des mammifères partagent des similitudes frappantes dans leurs hiérarchies représentatives ascendantes, la plausibilité biologique de la rétropropagation – l'algorithme d'apprentissage central du deep learning – demeure une question centrale non résolue en neurosciences computationnelles. La rétropropagation standard exige une symétrie synaptique (transport des poids) et un calcul descendant des gradients, des mécanismes considérés comme biologiquement peu plausibles. Bien que des travaux antérieurs aient établi que les activations ascendantes des DNN s'alignent avec la hiérarchie corticale, il reste inconnu si la hiérarchie descendante des gradients rétropropagés présente une correspondance similaire avec les réponses neuronales. Cette étude examine si le cerveau implémente un mécanisme fonctionnellement équivalent à la rétropropagation en testant si les gradients rétropropagés se mappent sur l'activité cérébrale humaine et si leur organisation spatiale et temporelle s'aligne avec les prédictions algorithmiques de la rétropropagation.

Méthodologie
Les auteurs ont employé une approche d'imagerie neurologique multimodale combinée à des analyses de codage avancées :

• Sources de données : L'étude a utilisé le jeu de données THINGS-MEG (magnétoencéphalographie, 4 participants, 22 500 images) pour une haute résolution temporelle et le jeu de données Natural Scenes (IRMf 7T, 8 participants, 10 000 images) pour une haute résolution spatiale.
• Modèles : L'analyse principale s'est concentrée sur DINOv3 (un Vision Transformer auto-supervisé de pointe), choisi pour son objectif d'apprentissage non supervisé qui s'aligne sur la dépendance potentielle du cerveau au codage prédictif. Pour assurer la généralisabilité, les résultats ont été reproduits sur huit modèles de vision divers, incluant des CNN supervisés, des ViT supervisés et des modèles vision-langage (CLIP, SigLIP2, etc.).
• Analyse de codage : Les auteurs ont adapté les analyses de codage linéaire standard pour mapper les caractéristiques du modèle sur les données neuronales.
  • Activations ascendantes : Extraction des activations couche par couche.
  • Gradients rétropropagés : Calcul des gradients utilisant la rétropropagation standard entre réseaux enseignant et étudiant (pour DINOv3) ou fonctions de perte natives pour les autres modèles.
  • Rétropropagation résiduelle : Pour isoler les signaux spécifiques aux gradients, les auteurs ont calculé un score de « Rétropropagation Résiduelle » en soustrayant le score de codage des activations ascendantes du score de codage des signaux combinés ascendants et descendants.
• Réduction de dimensionnalité : En raison de la haute dimensionnalité des vecteurs de gradients (~4 millions), les signaux ont été projetés sur des matrices aléatoires puis réduits via une Analyse en Composantes Principales (PCA) à 300 dimensions avant le codage.
• Dynamiques d'entraînement : Un sous-ensemble d'expériences a impliqué l'entraînement de DINOv3-S à partir de zéro pour observer l'évolution des scores de codage à travers les itérations d'entraînement.

Contributions Clés

1. Extension des analyses de codage : L'étude étend le codage standard des activations ascendantes pour mapper les gradients rétropropagés sur les données neuronales, fournissant un test direct des corrélats des signaux d'apprentissage dans le cerveau.
2. Cartographie des gradients résiduels : En introduisant une analyse résiduelle conservatrice, les auteurs démontrent que les gradients rétropropagés expliquent une variance neuronale qui ne peut être accounted for par les activations ascendantes seules.
3. Dissociation systématique : L'article fournit des preuves empiriques que, tandis que les activations ascendantes s'alignent avec la hiérarchie ascendante du cerveau, les gradients rétropropagés ne suivent pas l'organisation temporelle et spatiale descendante attendue prédite par les théories de rétropropagation biologiquement plausibles.

Résultats

• Puissance prédictive des gradients : Les gradients rétropropagés de DINOv3 et d'autres modèles prédisent de manière fiable les signaux IRMf et MEG, en particulier dans le cortex visuel de haut niveau et à des latences plus tardives. Cette correspondance vaut à travers des architectures et des objectifs d'apprentissage divers.
• Variance résiduelle : La rétropropagation résiduelle (gradients indépendants des activations ascendantes) prédit significativement l'activité cérébrale, codant spécifiquement des représentations dans le cortex visuel tardif (par exemple, cortex ventromédian et temporo-occipital latéral) et durant des fenêtres temporelles ultérieures (0,5 s–1,7 s post-stimulus).
• Inadéquation spatiale :
  • Passage ascendant : Les couches peu profondes prédisent les zones visuelles précoces (V1), tandis que les couches profondes prédisent le cortex associatif, reflétant une hiérarchie ascendante.
  • Passage descendant : Contrairement à la prédiction descendante de la rétropropagation, les gradients profonds s'alignent le mieux avec les zones sensorielles précoces, et les gradients peu profonds s'alignent avec les régions associatives. Cela indique une corrélation spatiale négative, inversant efficacement la hiérarchie attendue.
• Inadéquation temporelle :
  • Passage ascendant : Le codage atteint son pic séquentiellement, les couches peu profondes atteignant leur pic plus tôt et les couches profondes plus tard.
  • Passage descendant : Toutes les couches de gradients rétropropagés atteignent leur pic simultanément avec la dernière couche du passage ascendant. Il n'y a aucun délai descendant séquentiel ; les gradients ne présentent pas la hiérarchie temporelle attendue si les signaux d'erreur étaient propagés séquentiellement à travers les couches corticales.
• Dynamiques d'entraînement : Les scores d'ascension et de rétropropagation augmentent logarithmiquement pendant l'entraînement, s'étendant vers les régions de haut niveau et les latences ultérieures. En revanche, la rétropropagation résiduelle suit une trajectoire non monotone, atteignant un pic à 10 000 itérations avant de décliner à mesure que les réseaux enseignant et étudiant convergent.

Signification et Affirmations
Les auteurs concluent que, bien que les réseaux profonds et le cerveau puissent partager un contenu représentatif similaire (comme en témoigne l'alignement des activations ascendantes), ils reposent probablement sur des mécanismes fondamentalement différents pour apprendre ces représentations. L'étude affirme que l'organisation spatiale et temporelle observée des gradients rétropropagés dans le cerveau diverge significativement des modèles attendus sous un mécanisme de rétropropagation biologiquement plausible (par exemple, propagation descendante séquentielle des signaux d'erreur).

L'article postule que ces découvertes fournissent des contraintes empiriques sur les théories de l'apprentissage biologique. Bien que les résultats n'excluent pas entièrement l'apprentissage basé sur les gradients, ils suggèrent que si de tels mécanismes existent dans le cerveau, ils ne se manifestent pas avec les signatures spatiales et temporelles spécifiques de la rétropropagation standard. Les auteurs suggèrent que des cadres alternatifs, tels que des règles hebbiennes locales, l'apprentissage contrastif ou des architectures de codage prédictif qui ne nécessitent pas de propagation explicite du gradient d'erreur, pourraient mieux expliquer les dynamiques neuronales observées. Le travail met en évidence un écart potentiel entre l'efficacité de l'apprentissage biologique et les algorithmes actuels de deep learning, suggérant que la compréhension de la véritable stratégie d'apprentissage du cerveau pourrait inspirer des approches d'apprentissage automatique plus efficaces et robustes.