🧬 biology

Self-orthogonalizing attractor neural networks emerging from the free energy principle

Cet article démontre que les réseaux de neurones à attracteurs auto-orthogonalisés émergent naturellement du principe de l'énergie libre appliqué aux systèmes dynamiques aléatoires, produisant une dynamique d'inférence active bayésienne multi-niveaux biologiquement plausible qui optimise la précision prédictive et la complexité du modèle sans nécessiter de règles d'apprentissage explicitement imposées.

Auteurs originaux : Tamas Spisak, Karl Friston

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tamas Spisak, Karl Friston

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez votre cerveau (ou un ordinateur intelligent) comme une vaste et animée cité. Dans cette cité, des millions de minuscules travailleurs (les neurones) sont en conversation constante les uns avec les autres. Habituellement, nous pensons que ces travailleurs ont besoin d'un chef pour leur dire quoi faire ou d'un enseignant pour leur montrer comment apprendre. Mais cet article propose quelque chose de différent : la cité s'organise elle-même.

Les auteurs, Tamas Spisak et Karl Friston, utilisent une grande idée appelée le Principe de l'Énergie Libre pour expliquer comment cette auto-organisation se produit. Considérez l'« Énergie Libre » non pas comme une batterie, mais comme une mesure de surprise. Si la cité est constamment surprise par ce qui se passe à l'extérieur (comme une tempête soudaine ou un nouveau bâtiment), elle se trouve dans un état d'« énergie libre » élevé. Pour survivre et rester stable, la cité souhaite minimiser cette surprise.

Voici comment l'article explique la magie de cette cité auto-organisée, décomposée en concepts simples :

1. La cité « auto-organisée »

Imaginez un vol d'oiseaux. Aucun oiseau individuel n'est le chef disant aux autres où voler. Au lieu de cela, chaque oiseau suit simplement des règles locales simples (restez près des voisins, ne percutez rien). Pourtant, l'ensemble du vol se déplace comme une unité unique, belle et coordonnée.

Cet article affirme que le cerveau fonctionne de la même manière. Il n'a pas besoin d'un programmeur central pour établir ses règles d'apprentissage. Au contraire, chaque petite partie du réseau tente de réduire sa propre « surprise » en prédisant ce que font ses voisins. Lorsque tout le monde fait cela localement, un modèle global émerge. Ces modèles sont appelés Attracteurs.

L'analogie : Imaginez un attracteur comme une vallée dans un paysage vallonné. Si vous faites rouler une balle (une pensée ou un souvenir) n'importe où sur la colline, elle roulera naturellement vers la vallée la plus proche et y restera. Le cerveau crée ces « vallées » pour les choses qu'il reconnaît, comme un visage ou un mot.

2. L'astuce magique : « l'auto-orthogonalisation »

La découverte la plus excitante de cet article est la façon dont ces « vallées » (attracteurs) s'arrangent elles-mêmes.

Habituellement, si vous enseignez à un ordinateur à reconnaître deux choses similaires (comme les lettres « O » et « Q »), il pourrait se tromper car les modèles se ressemblent trop. Mais cet article montre que le système auto-organisé du cerveau pousse naturellement ces modèles à s'éloigner les uns des autres jusqu'à ce qu'ils soient orthogonaux.

L'analogie : Imaginez que vous avez une série de lampes de poche dans une pièce sombre.

Mauvaise organisation : Vous pointez toutes les lampes de poche vers le même endroit. Les faisceaux se chevauchent, et il est difficile de dire quelle lumière est laquelle.
Organisation orthogonale : L'article affirme que le cerveau oriente automatiquement les lampes de poche pour qu'elles pointent dans des directions complètement différentes (comme les axes X, Y et Z). Ils ne se chevauchent pas.

En faisant cela, le cerveau crée une « carte » propre du monde. Il apprend à stocker les souvenirs d'une manière qui ne les embrouille pas mutuellement. Cela le rend incroyablement bon pour généraliser : si vous voyez un « O » légèrement flou, le cerveau sait exactement dans quelle « vallée » rouler, car la vallée du « O » est parfaitement distincte de la vallée du « Q ».

3. Apprendre sans enseignant

Comment la cité apprend-elle ces modèles ? L'article décrit une règle simple et locale qui se produit automatiquement :

Apprentissage Hebbien (la règle « Oui ») : Si deux travailleurs parlent souvent entre eux, ils se rapprochent.
Apprentissage Anti-Hebbien (la règle « Non ») : Si les travailleurs expliquent déjà ce qui se passe, ils cessent de se renforcer mutuellement pour éviter la redondance.

L'analogie : Imaginez un groupe d'amis essayant de décrire un film.

Si deux amis disent la même chose, ils arrêtent de le répéter (pour économiser de l'énergie).
Si un ami dit quelque chose de nouveau que les autres n'avaient pas prévu, ils y prêtent attention.
Au fil du temps, le groupe crée un résumé parfait et non redondant du film où chaque ami contribue à une pièce unique du puzzle. C'est ainsi que le réseau apprend à être efficace et à éviter l'« oubli catastrophique » (oublier les anciennes choses en apprenant de nouvelles) car les « vallées » sont si bien organisées qu'elles ne se percutent pas.

4. Rêver et séquences

L'article montre également ce qui se passe lorsque les données arrivent dans un ordre spécifique (comme une histoire ou une séquence de nombres).

Données aléatoires : Le réseau construit des « vallées » stables et statiques (comme reconnaître un visage).
Données séquentielles : Le réseau construit des chemins entre les vallées.

L'analogie : Si vous enseignez au réseau la séquence « 1, 2, 3 », il ne stocke pas simplement trois vallées séparées. Il construit un toboggan qui s'écoule naturellement de la vallée « 1 » vers la vallée « 2 », puis vers la vallée « 3 ». Même si vous éteignez les lumières (supprimez l'entrée), le réseau peut « rêver » ou « rejouer » cette séquence par lui-même, roulant de 1 à 2 puis à 3 automatiquement. C'est ainsi que le cerveau pourrait apprendre à marcher, à parler ou à se souvenir d'une histoire dans l'ordre.

5. Pourquoi cela compte pour l'IA et les cerveaux

L'article affirme qu'il ne s'agit pas seulement d'un tour de mathématiques cool ; c'est une façon fondamentale dont la nature fonctionne.

Pour les cerveaux : Cela explique comment le cerveau peut être si robuste. Même si vous avez une entrée bruyante et floue (comme voir un visage dans le brouillard), les « vallées » du cerveau sont si bien organisées qu'il peut toujours deviner la bonne réponse. Cela explique aussi pourquoi nous n'oublions pas les vieux souvenirs lorsque nous en apprenons de nouveaux : les « vallées » sont parfaitement espacées.
Pour l'IA : L'IA actuelle a souvent besoin de quantités massives de données et d'instructions spécifiques pour apprendre. Cet article suggère que si nous construisons une IA qui suit ces règles d'auto-organisation, elle pourrait apprendre plus efficacement, mieux gérer le bruit et se souvenir des choses plus longtemps sans avoir besoin qu'un humain la reentraîne constamment.

Résumé

En bref, cet article soutient que vous n'avez pas besoin de programmer un cerveau ou une IA intelligente avec des règles complexes. Si vous lui donnez simplement un objectif simple — minimiser la surprise — elle s'organisera naturellement en un système hautement efficace. Elle créera des souvenirs distincts et non chevauchants (attracteurs orthogonaux), apprendra des séquences comme une histoire, et même « rêvera » pour renforcer ce qu'elle a appris, tout cela par elle-même.

Résumé Technique : Réseaux Neuronaux Attracteurs Auto-Orthogonalisants Émergeant du Principe de l'Énergie Libre

Énoncé du Problème
La dynamique des attracteurs est fondamentale pour les systèmes complexes, y compris le cerveau, servant de mécanismes pour la mémoire, la prise de décision et le contrôle moteur. Cependant, un vide fondamental subsiste dans la compréhension de la manière dont de tels réseaux attracteurs auto-organisés émergent à partir de premiers principes, sans règles d'apprentissage ou d'inférence explicitement imposées. Les modèles traditionnels reposent souvent sur des règles d'apprentissage ad hoc (par exemple, l'apprentissage hebbien, la divergence contrastive) qui manquent d'une dérivation unifiée à partir des contraintes thermodynamiques ou inférentielles régissant les systèmes biologiques. L'article répond au besoin de dériver une auto-organisation adaptative — où un réseau non seulement opère comme un système attracteur mais aussi « se construit lui-même » par des interactions locales — à partir du Principe de l'Énergie Libre (FEP).

Méthodologie
Les auteurs formalisent l'émergence de réseaux attracteurs en appliquant le Principe de l'Énergie Libre à une « partition universelle » des systèmes dynamiques aléatoires, en utilisant spécifiquement le concept de partitions particulières profondes.

Cadre Théorique :
- Partitions Particulières Profondes : Le système est décomposé en une hiérarchie de « sous-particules » (unités à l'échelle microscopique), chacune possédant des états internes ( $\sigma_i$ ), des états sensoriels ( $s_{ij}$ ) et des états actifs ( $a_{ij}$ ). Ces sous-particules sont séparées des états externes par une couverture de Markov, assurant une indépendance conditionnelle ( $\sigma_i \perp \sigma_j | s_{ij}, a_{ij}$ ).
- Modèle Génératif : Les états internes sont modélisés comme des variables de Bernoulli continues (distributions exponentielles tronquées) avec des biais a priori. Le couplage entre les sous-particules est défini par une matrice de poids $J$ .
- Minimisation de l'Énergie Libre Variationnelle (VFE) : La dérivation centrale suppose que, pour persister, le système doit minimiser l'énergie libre variationnelle. Cette minimisation est effectuée localement à chaque nœud (sous-particule) concernant ses états internes et ses couplages.
Dérivation des Dynamiques :
- Inférence : La minimisation de la VFE par rapport aux états internes produit une règle de mise à jour stochastique. La valeur attendue de l'état suit une fonction de Langevin (une activation sigmoïde), pilotée par la somme d'un biais a priori et d'entrées pondérées provenant des voisins. Cela se traduit par un comportement de réseau de Hopfield stochastique à état continu.
- Apprentissage : La minimisation de la VFE par rapport aux couplages (poids) produit une règle d'apprentissage locale. Cette règle prend la forme d'une mise à jour contrastive : $\Delta J_{ij} \propto \sigma_i \sigma_j - \hat{\sigma}_i \sigma_j$ . Le premier terme est hebbien (potentialisation basée sur la corrélation), et le second est anti-hebbien (dépression basée sur l'erreur de prédiction). Crucialement, cette règle ne nécessite pas de phases séparées « bloquées » et « en fonctionnement libre » (contrairement à la Divergence Contrastive) mais utilise des corrélations instantanées.
Protocole de Simulation :
- Les auteurs ont implémenté les règles dérivées en Python et JAX.
- Simulations 1–2 : Entraînées sur des motifs corrélés (images de chiffres manuscrits) pour tester l'orthogonalisation et la généralisation sous des précisions variables (inverse de la température) et des forces de preuve.
- Simulation 3 : Entraînée sur des données séquentielles pour tester l'émergence de couplages asymétriques et de dynamiques séquentielles.
- Simulation 4 : Test de la résistance à l'oubli catastrophique via une activité spontanée « en fonctionnement libre » (biais nul).
- Simulation 5 : Évaluation de l'évolutivité et de la capacité de mémoire jusqu'à 50 000 nœuds.
- Simulation 6 : Application sur l'ensemble de données Olivetti (visages, 4096 nœuds) pour tester les performances sur des données naturalistes de haute dimension.

Contributions Clés

Dérivation de Règles Auto-Organisantes : L'article démontre que les réseaux attracteurs, y compris leurs dynamiques d'apprentissage et d'inférence, émergent naturellement du FEP appliqué aux partitions particulières profondes, éliminant le besoin de règles d'apprentissage imposées de l'extérieur.
Auto-Orthogonalisation Émergente : Une découverte centrale est que la règle d'apprentissage dérivée conduit intrinsèquement le réseau vers des représentations d'attracteurs approximativement orthogonales. En minimisant la complexité du modèle (redondance) parallèlement à la précision prédictive, le réseau pénalise les attracteurs se chevauchant. Cela résulte en un ensemble d'attracteurs qui couvrent efficacement le sous-espace d'entrée, ressemblant à des « réseaux neuronaux projecteurs » (Kanter-Sompolinsky) offrant une capacité de mémoire maximale.
Inférence et Apprentissage Unifiés : Le cadre unifie l'inférence et l'apprentissage comme deux facettes de la minimisation de la VFE. L'inférence met à jour les états pour correspondre aux preuves, tandis que l'apprentissage met à jour les couplages pour minimiser la surprise future, le tout se produisant simultanément dans un régime d'apprentissage continu.
Généralisation des Machines de Boltzmann : Les réseaux dérivés généralisent les machines de Boltzmann conventionnelles.
- Avec des données aléatoires, ils convergent vers des couplages symétriques (de type Boltzmann).
- Avec des données séquentielles, ils développent des couplages antisymétriques, créant des dynamiques d'état stationnaire hors équilibre (NESS) avec des flux solénoïdaux (rotatifs). Cela permet au réseau d'apprendre et de rappeler des séquences temporelles (cycles hétéroclines) sans altérer la distribution stationnaire du paysage énergétique sous-jacent.
Robustesse à l'Oubli Catastrophique : La nature stochastique des dynamiques permet au réseau de « rejouer » spontanément des attracteurs pendant les phases de fonctionnement libre. Cette activité renforce les attracteurs existants, empêchant la perte de représentations apprises lorsque de nouvelles données sont introduites, atténuant ainsi efficacement l'oubli catastrophique.

Résultats

Formation de Base Orthogonale : Les simulations ont confirmé que, lorsqu'entraînés sur des entrées corrélées, les attracteurs du réseau deviennent approximativement orthogonaux (par exemple, réduisant la corrélation de $r=0.77$ à $r=-0.19$ ). Cette orthogonalisation était la plus efficace dans un « régime équilibré » de précision intermédiaire.
Généralisation : Les attracteurs orthogonalisés ont permis au réseau de généraliser à des données invisibles (apprentissage en un seul essai) en combinant des états de base quasi-orthogonaux, surpassant les réseaux de Hopfield standards dans les tâches de reconstruction à partir d'entrées bruitées.
Apprentissage de Séquences : Lorsqu'ils sont confrontés à des données séquentielles, la matrice de couplage a développé une composante antisymétrique significative. Cela a permis au réseau de générer spontanément la séquence apprise (1→2→3→...) en l'absence d'entrée externe, piloté par des courants de probabilité le long des contours iso-énergétiques.
Évolutivité et Capacité : Le réseau a démontré des capacités de mémoire dépassant substantiellement la limite classique de Hopfield ( $\sim 0.14N$ ), s'approchant de la limite du réseau projecteur ( $K \approx N$ ) grâce à l'orthogonalisation émergente. La mise à l'échelle du temps d'exécution a été confirmée comme étant $O(N^2)$ , cohérente avec la complexité analytique.
Reconnaissance de Visages : Sur l'ensemble de données Olivetti, le réseau a reconstruit avec succès les identités à partir d'entrées fortement corrompues en intégrant des preuves sensorielles bruitées avec des a priori appris basés sur les attracteurs, démontrant une inférence bayésienne robuste.

Signification et Revendications

L'article revendique fournir une théorie unificatrice pour les réseaux attracteurs auto-organisés qui fait le pont entre les neurosciences et l'intelligence artificielle.

Pour les Neurosciences : Les découvertes offrent une explication normative de la raison pour laquelle les réseaux neuronaux biologiques pourraient présenter une plasticité hebbienne/anti-hebbienne, une activité spontanée et des représentations orthogonales. Cela suggère que la capacité du cerveau à effectuer une inférence active et à maintenir des mémoires stables sans programmation explicite découle de l'impératif fondamental de minimiser l'énergie libre. L'émergence d'attracteurs orthogonaux est proposée comme une signature des systèmes pilotés par le FEP, potentiellement détectable dans des données cérébrales à grande échelle (par exemple, réseaux au repos).
Pour l'Intelligence Artificielle : Le cadre offre une alternative fondée sur des principes à la rétropropagation et à la divergence contrastive. Il permet un apprentissage continu et une résistance à l'oubli catastrophique grâce à des dynamiques spontanées. La règle d'apprentissage dérivée est computationnellement efficace (aucune phase de fonctionnement libre) et soutient naturellement l'apprentissage de séquences et la généralisation.
Implications Théoriques : L'ouvrage postule que la séparation de la matrice de couplage en composantes symétriques (perception/minimisation de l'énergie) et antisymétriques (action/planification/flux solénoïdal) pourrait refléter une correspondance formelle plus profonde avec les objectifs duaux du FEP.

Les auteurs adoptent une attitude modeste concernant les limites, reconnaissant que l'empreinte mémoire de $O(N^2)$ est prohibitive pour les réseaux très grands sans approximations parcimonieuses, et que les simulations actuelles sont limitées aux architectures à couche unique. Ils suggèrent que les travaux futurs devraient explorer les partitions profondes hiérarchiques et l'implémentation sur du matériel thermodynamique ou mémoires résistives pour tirer parti de la nature locale et stochastique des mises à jour.