🧬 biology

Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry

Cet article propose une approche novatrice appelée maximisation de l'information corrélative qui permet d'entraîner des réseaux de neurones profonds de manière supervisée sans symétrie des poids, offrant ainsi une solution biologiquement plausible au problème de rétropropagation.

Auteurs originaux : Bariscan Bozkurt, Cengiz Pehlevan, Alper T Erdogan

Publié 2026-03-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bariscan Bozkurt, Cengiz Pehlevan, Alper T Erdogan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un enfant comment reconnaître des chats et des chiens. Dans le monde de l'intelligence artificielle classique (comme les réseaux de neurones que nous utilisons aujourd'hui), nous utilisons une méthode appelée "rétropropagation" (backpropagation).

Le problème avec la méthode classique :
C'est comme si l'enfant, après avoir fait une erreur, recevait un message télépathique instantané de son professeur lui disant exactement quelle synapse de son cerveau a fait l'erreur et comment la corriger. De plus, pour que cela fonctionne, le message de retour doit emprunter exactement le même chemin (les mêmes connexions) que le message initial, mais en sens inverse, avec une précision mathématique parfaite.

Dans le cerveau humain, c'est impossible ! Nos neurones ne peuvent pas envoyer un message de retour par le même chemin exact qu'un message entrant, et ils ne peuvent pas "savoir" instantanément comment les connexions ont été ajustées à l'autre bout. C'est ce qu'on appelle le problème de la symétrie des poids.

La solution proposée par l'article (CorInfoMax) :
Les auteurs proposent une nouvelle façon d'apprendre, plus proche de la biologie, qu'ils appellent CorInfoMax (Maximisation de l'Information Corrélative). Voici comment cela fonctionne, expliqué simplement :

1. Le jeu du "Téléphone Arabe" amélioré

Au lieu de dire "Tu as fait une erreur, corrige-toi", imaginez que chaque étage d'un immeuble (chaque couche du réseau) essaie de prédire ce qui se passe à l'étage du dessus et à l'étage du dessous.

Vers le haut (Prédiction ascendante) : L'étage 1 regarde l'étage 2 et dit : "Je parie que tu vas voir ça."
Vers le bas (Prédiction descendante) : L'étage 2 regarde l'étage 1 et dit : "Je parie que tu as vu ça."

L'objectif n'est pas d'avoir un chemin de retour identique, mais de maximiser la corrélation entre ce que l'étage 1 voit et ce que l'étage 2 prédit. Si les deux étages sont bien "en phase", l'information circule bien. S'ils sont décalés, il y a une erreur de prédiction.

2. Le neurone à trois chambres (L'architecture biologique)

Dans ce nouveau modèle, les neurones ne sont pas de simples interrupteurs. Ils ressemblent davantage aux vrais neurones pyramidaux du cerveau, avec trois parties distinctes :

Le corps (Soma) : Le centre de décision.
Les racines (Dendrites basales) : Reçoivent l'information qui vient du bas (ce que l'on voit).
La pointe (Dendrites apicales) : Reçoivent l'information qui vient du haut (les prédictions ou le contexte).

L'analogie de la réunion d'équipe :
Imaginez un neurone comme un manager dans une entreprise.

Ses employés (dendrites basales) lui apportent des rapports du terrain.
Son patron (dendrites apicales) lui donne des directives sur ce qu'il devrait voir.
Le manager (le corps) compare les deux. S'il y a un écart entre ce qu'il voit et ce qu'on lui a dit de voir, il ajuste son comportement.

Ce qui est génial, c'est que le manager n'a pas besoin de connaître la formule exacte que le patron utilise pour faire ses prédictions. Il ajuste simplement ses propres connexions pour réduire l'écart entre les deux messages. Cela résout le problème de la "symétrie" : les connexions vers le haut et vers le bas peuvent être totalement différentes, tout comme dans le vrai cerveau.

3. L'apprentissage par "Nudge" (Poussée)

Pour apprendre, le système utilise une technique inspirée de la physique, appelée "Propagation d'Équilibre".

Phase libre : Le réseau regarde une image et fait une prédiction normale.
Phase de "Nudge" (Poussée) : On donne une petite pichenette au réseau en lui montrant la bonne réponse (l'étiquette). Le réseau s'adapte légèrement pour correspondre à cette vérité.
L'apprentissage : Le système compare l'état "libre" et l'état "poussé". Si une connexion a aidé le réseau à s'adapter à la bonne réponse, on la renforce. Si elle a gêné, on l'affaiblit.

C'est comme si vous appreniez à faire du vélo : vous roulez (phase libre), puis quelqu'un vous pousse légèrement pour vous aider à garder l'équilibre (phase de nudge). Votre cerveau compare les deux sensations pour apprendre à mieux pédaler, sans que le pousseur ait besoin de connaître la mécanique exacte de votre corps.

En résumé

Cette recherche propose une méthode pour entraîner des intelligences artificielles qui :

Respectent la biologie : Pas de magie télépathique, pas de chemins de retour identiques. Juste des prédictions locales et des ajustements basés sur l'erreur de prédiction.
Sont efficaces : Les tests montrent que cette méthode fonctionne aussi bien, voire mieux, que les méthodes classiques sur des tâches de reconnaissance d'images (comme distinguer des chats, des chiens ou des vêtements).
Sont robustes : Elles utilisent des neurones complexes (avec des dendrites) et des cellules inhibitrices (comme des freins dans le cerveau) pour mieux organiser l'information.

C'est un pas de géant vers des IA qui fonctionnent non seulement comme des calculateurs puissants, mais comme des systèmes qui imitent la façon naturelle dont notre cerveau apprend et s'adapte.

1. Problématique

L'algorithme de rétropropagation du gradient (Backpropagation ou BP) est le standard pour l'entraînement des réseaux de neurones artificiels profonds. Cependant, son plausibilité biologique est fortement remise en question par les neuroscientifiques pour deux raisons principales :

Le problème de la symétrie des poids (Weight Symmetry) : La BP nécessite que les connexions de rétropropagation des erreurs utilisent exactement les mêmes poids (transposés) que les connexions d'inférence avant. Dans le cerveau biologique, il est peu probable que des mécanismes physiques permettent un tel "transport de poids" instantané et précis entre des voies feedforward et feedback distinctes.
La simplicité des neurones : Les modèles standards ignorent la complexité des neurones biologiques, notamment le traitement dendritique et les compartiments cellulaires multiples.

Bien que des approches comme le Predictive Coding (PC) ou la Propagation d'Équilibre (EP) aient tenté de résoudre ces problèmes, elles souffrent souvent encore de la contrainte de symétrie des poids ou nécessitent des hypothèses restrictives (comme le "whitening" ou blanchiment des couches).

2. Méthodologie : Maximisation de l'Information Corrélative (CorInfoMax)

Les auteurs proposent un nouveau cadre normatif basé sur la Maximisation de l'Information Corrélative (CorInfoMax) entre les couches successives d'un réseau de neurones.

A. Objectif d'Optimisation

Au lieu de minimiser uniquement l'erreur de prédiction, l'objectif est de maximiser l'information mutuelle corrélative (CMI) entre les activations de deux couches adjacentes $r^{(k)}$ et $r^{(k+1)}$ , tout en minimisant l'erreur quadratique moyenne (MSE) par rapport aux étiquettes supervisées.
L'objectif stochastique total est :
$J = \sum_{k=0}^{P-1} I^{(\epsilon_k)}(r^{(k)}, r^{(k+1)}) - \frac{\beta}{2} E(\|y^T - r^{(P)}\|^2)$

B. La Clé : Deux Formes Alternatives de CMI

Le cœur de l'innovation réside dans l'utilisation de deux expressions équivalentes mais alternatives de l'information mutuelle corrélative :

Prédiction avant (Forward) : Maximiser la dépendance linéaire en prédisant $r^{(k+1)}$ à partir de $r^{(k)}$ . Cela correspond à minimiser l'erreur de prédiction descendante.
Prédiction arrière (Backward) : Maximiser la dépendance en prédisant $r^{(k)}$ à partir de $r^{(k+1)}$ . Cela correspond à minimiser l'erreur de prédiction ascendante.

Contrairement aux méthodes de Predictive Coding classiques qui utilisent une seule forme d'erreur (généralement avant) et en déduisent le gradient, l'utilisation simultanée de ces deux formes distinctes dans l'optimisation conduit naturellement à des réseaux de prédiction asymétriques. Les poids de la voie avant ( $W_{ff}$ ) et de la voie arrière ( $W_{fb}$ ) sont appris indépendamment via des règles d'apprentissage locales, éliminant ainsi le besoin de symétrie des poids.

C. Dynamique du Réseau et Neurones Multi-Compartiments

L'optimisation par descente de coordonnées (coordinate descent) de cet objectif, combinée à des contraintes polytopiques sur les activations (ex: hypercube unitaire non négatif), fait émerger une architecture biologique réaliste :

Neurones Pyramidaux à 3 Compartiments : Chaque neurone possède un soma ( $u$ ), des dendrites basales ( $v_B$ ) recevant l'entrée feedforward, et des dendrites apicales distales ( $v_A$ ) recevant l'entrée feedback et les signaux latéraux.
Interneurones Inhibiteurs : Des interneurones (type SST) génèrent une inhibition latérale pour maximiser l'entropie de la couche et éviter la dégénérescence des représentations.
Dynamique Temporelle : L'activation des neurones suit une dynamique temporelle continue (équations différentielles) avant d'être projetée sur le domaine de contrainte (fonction d'activation clipped-ReLU).

D. Apprentissage

L'apprentissage utilise une approche de Contraste Temporel (similaire à l'Equilibrium Propagation) :

Phase Libre : Le réseau évolue avec $\beta=0$ (pas de signal d'enseignement).
Phase Nudgée (Nudged) : Le réseau évolue avec $\beta > 0$ (signal d'enseignement activé).
Les mises à jour des synapses (feedforward, feedback, latérales) sont calculées en comparant les activités neuronales entre ces deux phases, utilisant des règles d'apprentissage locales (Hebbien/Anti-Hebbien) basées sur les différences de potentiels membranaires.

3. Contributions Clés

Résolution du problème de symétrie des poids : En exploitant les deux formes alternatives de la CMI, le cadre génère naturellement des réseaux de prédiction avant et arrière avec des poids asymétriques, sans nécessiter de contraintes de blanchiment (whitening) ni de transport de poids.
Émergence de structures biologiques réalistes : Le cadre normatif dérive mathématiquement une architecture de neurones pyramidaux à trois compartiments avec des connexions latérales et des autapses, alignant la théorie avec les observations expérimentales sur le traitement dendritique.
Apprentissage Supervisé Biologiquement Plausible : C'est l'une des rares approches qui combine supervision, plausibilité biologique (pas de symétrie de poids, neurones complexes) et performance compétitive.
Compression et Représentation Sparse : L'introduction de contraintes d'activation (non-négativité, norme L1) favorise des représentations parcimonieuses et compressées, mimant les comportements de débruitage et de séparation de sources du cerveau.

4. Résultats Expérimentaux

Les auteurs ont évalué leur approche sur des tâches de classification d'images (MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100) en utilisant des réseaux de neurones multicouches (MLP).

Performance : Les réseaux CorInfoMax atteignent des précisions de test comparables, voire supérieures, aux méthodes biologiquement plausibles de l'état de l'art (comme Equilibrium Propagation, Contrastive Similarity Matching, Predictive Coding).
- Sur MNIST : ~97.6% - 97.7%.
- Sur CIFAR-10 : ~51.8% (comparable au Feedback Alignment et proche du Backpropagation standard qui atteint ~53-54%).
Asymétrie des Poids : Les mesures angulaires entre les matrices de poids feedforward et la transposée des poids feedback confirment une asymétrie significative (angles proches de 90°), validant que le réseau n'a pas besoin de symétrie pour apprendre efficacement.
Robustesse : Les résultats sont stables sur différents jeux de données et avec différentes contraintes de domaine (hypercube non négatif vs boule L1).

5. Signification et Impact

Cet article propose une avancée majeure dans la compréhension de la manière dont le cerveau pourrait effectuer un apprentissage supervisé profond.

Théorique : Il offre une justification normative (basée sur l'information) pour l'existence de connexions feedforward et feedback asymétriques et de neurones à compartiments multiples, reliant l'optimisation de l'information à la structure neuronale.
Pratique : Il démontre que l'on peut se passer de la rétropropagation standard (et de ses problèmes de plausibilité) sans sacrifier la performance, ouvrant la voie à des implémentations matérielles sur des puces neuromorphiques où les règles d'apprentissage locales et l'absence de transport de poids sont des avantages cruciaux pour l'efficacité énergétique.

En résumé, le CorInfoMax établit un pont solide entre les principes de l'information, la dynamique neuronale biologique et l'apprentissage profond supervisé, résolvant l'un des plus grands obstacles théoriques à la modélisation du cerveau par des réseaux de neurones profonds.