🤖 machine learning

Closed-form predictive coding via hierarchical Gaussian filters

Ce papier introduit un cadre de codage prédictif sous forme fermée basé sur des filtres gaussiens hiérarchiques qui restaure la transmission de messages pondérée par la précision, permettant aux réseaux profonds d'apprendre simultanément les activations, les poids et les incertitudes sans inférence itérative ni signaux d'erreur globaux, égalant ainsi l'efficacité de la rétropropagation tout en excellant dans les tâches en ligne et économes en données.

Auteurs originaux : Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : Le Cerveau « Lent et Rigide »

Imaginez que vous essayez d'enseigner à un robot comment reconnaître des images (comme un chat contre un chien). La méthode standard actuelle, appelée Rétropropagation, est comme un professeur strict qui se tient au fond de la classe. Lorsqu'un élève se trompe, le professeur crie l'erreur jusqu'au fond, et chaque élève doit s'arrêter, réfléchir et ajuster sa réponse en fonction de ce cri.

Cela fonctionne bien, mais cela présente deux gros défauts :

C'est lent : Le robot doit attendre que le « cri » fasse tout le chemin vers le bas et remonte avant de pouvoir apprendre.
C'est peu naturel : Les vrais cerveaux humains ne fonctionnent pas ainsi. Nos cerveaux apprennent localement, exactement là où se trouvent les neurones, sans « crieur » central.

Les scientifiques ont essayé de créer une méthode d'apprentissage « semblable au cerveau » appelée Codage Prédictif (CP). Dans ce système, chaque couche du cerveau devine ce qui vient ensuite. Si la devinette est fausse, un signal d'« erreur de prédiction » est envoyé vers le haut. Le cerveau ajuste ensuite sa devinette pour minimiser l'erreur.

Cependant, l'ancienne version du Codage Prédictif avait un bug majeur : Elle était incroyablement lente et s'effondrait lorsque le réseau devenait profond (comme un immeuble très haut). Pourquoi ? Parce qu'elle traitait chaque erreur comme également importante, indépendamment de la certitude du cerveau concernant sa devinette. C'était comme un élève paniquant pour une simple faute de frappe tout autant que pour une erreur factuelle majeure.

La Solution : Le « Filtre Intelligent »

Les auteurs de ce document ont corrigé ce bug en traitant le processus d'apprentissage du cerveau comme un Filtre Gaussien Hiérarchique (FGH).

Pensez au FGH non pas seulement comme un devineur, mais comme un Détective Intelligent avec un Compteur de Confiance.

L'Ancienne Façon (Matrice Identité) : Imaginez un détective qui traite chaque indice comme également important. S'il est sûr à 99 % d'un indice, il traite un petit indice de la même manière qu'un fait énorme et indéniable. Cela cause de la confusion et le ralentit.
La Nouvelle Façon (Pondérée par la Précision) : Le nouveau système donne au détective un Compteur de Confiance (appelé « Précision »).
- Si le détective est très confiant (précision élevée), il ignore les petites erreurs bruyantes.
- Si le détective est incertain (précision faible), il prête une attention particulière aux erreurs pour comprendre la situation.

En ajoutant ce « Compteur de Confiance », le système arrête de paniquer pour le petit bruit et se concentre sur ce qui compte vraiment.

Comment Cela Fonctionne (L'Analogie)

Imaginez un immeuble de bureaux à plusieurs étages où chaque étage essaie de prédire ce que fait l'étage en dessous.

L'Ancienne Méthode CP : Les étages se disputeraient pendant des heures (étapes itératives) pour s'accorder sur une seule réponse. Ils continueraient d'ajuster leurs devinettes jusqu'à ce qu'ils se mettent enfin d'accord. Cela prenait beaucoup de temps.
La Nouvelle Méthode FGH : Les auteurs ont réalisé que si vous savez exactement à quel point chaque étage est « confiant », vous pouvez sauter les disputes. Vous pouvez calculer la réponse parfaite en une seule étape (une mise à jour « sous forme fermée »).

C'est comme la différence entre :

Ancienne Façon : « Je pense qu'il pleut. Non, attendez, peut-être que c'est juste un arroseur. Laissez-moi vérifier à nouveau. Bon, j'ai 50 % de certitude. Laissez-moi vérifier à nouveau... » (Lent, répétitif).
Nouvelle Façon : « Je vois que l'arroseur est éteint, mais le sol est mouillé. Mon compteur de confiance dit que j'ai 90 % de certitude qu'il pleut. Par conséquent, je vais prendre mon parapluie immédiatement. » (Rapide, décision en un coup).

Ce Qu'ils Ont Réalisé

Les chercheurs ont testé ce nouveau système de « Détective Intelligent » sur une tâche standard de reconnaissance d'images (FashionMNIST, qui consiste à trier des images de vêtements).

Vitesse : Il a appris presque aussi vite que la méthode standard de « Rétropropagation », mais sans avoir besoin des disputes lentes et répétitives.
Meilleure Adaptation au Changement : Lorsque les règles du jeu changeaient soudainement (comme si l'ordinateur décidait soudainement que les « chemises » s'appelaient désormais « pantalons »), le nouveau système s'adaptait beaucoup plus vite que les anciens.
Moins de Données : Il apprenait bien même avec très peu d'exemples, alors que les anciennes méthodes avaient besoin de quantités énormes de données.
Pas de Crieur Global : Il apprenait entièrement de manière locale. Aucun ordinateur central ne disait aux couches quoi faire ; elles s'ajustaient simplement en fonction de leur propre « confiance » locale et de leurs erreurs.

Le Problème (Limites)

Le document est honnête sur ce qu'il n'a pas encore fait :

C'est encore un peu lent sur les ordinateurs : Le code actuel traite les images une par une, comme un seul caissier dans une épicerie. La méthode standard les traite par gros lots (comme un tapis roulant). Les auteurs disent que leur méthode pourrait être rendue plus rapide avec un meilleur codage, mais ils ne l'ont pas encore fait.
Ce n'est pas encore sur de « vraies » photos : Ils l'ont testé sur de simples images de vêtements. Ils ne l'ont pas encore testé sur des photos complexes du monde réel (comme des chats dans des forêts), bien qu'ils prévoient de le faire.
La « Confiance » est délicate : Dans les réseaux très profonds, le « Compteur de Confiance » se dérègle parfois, rendant le système instable. Ils ont trouvé un moyen de corriger cela partiellement, mais c'est encore un domaine à améliorer.

Résumé

Le document présente une nouvelle façon d'entraîner l'IA qui est biologiquement réaliste (elle fonctionne comme un cerveau, pas comme un tableur), rapide (elle résout les problèmes en une étape au lieu de beaucoup) et intelligente (elle sait quand faire confiance à ses propres devinettes et quand écouter de nouvelles données). Elle comble le fossé entre la façon dont les cerveaux apprennent et la façon dont les ordinateurs apprennent, rendant l'IA plus efficace et adaptable.

Résumé technique : Codage prédictif en forme close via des filtres gaussiens hiérarchiques

Énoncé du problème

Le codage prédictif (CP) offre une alternative biologiquement fondée à la rétropropagation (RP) pour l'entraînement des réseaux de neurones artificiels, caractérisée par un calcul local, des mises à jour de type hebbien et l'absence de signal d'erreur global. Cependant, la mise à l'échelle du CP vers des architectures profondes modernes a été entravée par deux limitations critiques :

Inefficacité computationnelle : Les réseaux de CP actuels reposent sur une descente de gradient itérative pour relâcher les activations vers l'équilibre (nécessitant typiquement $T \approx 32\text{--}128$ étapes par échantillon), ce qui les rend considérablement plus lents que la RP sur du matériel séquentiel.
Dégradation des performances : À mesure que la profondeur du réseau augmente, les performances se dégradent brusquement.

Les auteurs attribuent ces deux problèmes à une simplification spécifique dans les implémentations existantes de CP profond : la fixation de la matrice de précision à l'identité. Cette simplification écarte les erreurs de prédiction pondérées par la précision requises par la dérivation variationnelle du CP. Par conséquent, ces réseaux perdent la propriété qui rend le CP distinct dans le cas linéaire — l'équivalence formelle à la descente de gradient naturel — et échouent à adapter dynamiquement les signaux d'erreur ou à gérer l'incertitude à travers les couches.

Méthodologie

L'article propose de reformuler les réseaux de codage prédictif comme des filtres gaussiens hiérarchiques généralisés (gHGF). Cette approche remplace l'inférence d'état itérative par des mises à jour variationnelles en forme close, en une seule passe.

Changements architecturaux fondamentaux :

De la précision fixe à la précision dynamique : Contrairement aux réseaux de CP standards qui traitent la précision comme un hyperparamètre fixe (matrice identité), le gHGF traite la précision ( $\pi$ ) comme un état de croyance de premier ordre. Le modèle infère à la fois la moyenne a posteriori ( $\mu$ ) et la précision ( $\pi$ ) pour chaque nœud à chaque étape.
Couplage de volatilité : Le cadre introduit un « couplage de volatilité », où un nœud parent module le taux de changement (log-variance) de son enfant. Cela permet aux erreurs de prédiction de moduler explicitement les mises à jour de précision via des erreurs de prédiction de volatilité (VOPE), un mécanisme absent dans le CP couplé en valeur standard.
Modèle génératif : Le réseau est modélisé comme une hiérarchie de nœuds de croyance. Les nœuds d'état continus sont générés comme des Gaussiennes dont les moyennes sont déterminées par des couplages de valeurs non linéaires (par exemple, ReLU) et les variances par des parents de volatilité. Les nœuds de sortie binaires génèrent des prédictions via un sigmoïde logistique, la surprise étant mesurée comme une entropie croisée binaire.
Inférence et apprentissage :
- Inférence : Au lieu d'un relâchement itératif, l'expansion quadratique de l'énergie variationnelle permet un point stationnaire analytique, réduisant l'inférence à une seule passe de mise à jour.
- Mises à jour des poids : Les poids synaptiques (forces de couplage de valeurs) sont mis à jour via des règles hebbiennes locales. Les auteurs proposent trois variantes, la référence principale utilisant une règle pondérée par la précision : $\alpha^* = \alpha + \eta \delta_\ell g(\mu_{\ell+1}) \cdot \pi_\ell$ . Cela intègre la précision inférée comme un poids de gradient naturel.

Contributions clés

Reformulation du CP : Les auteurs fournissent une reformulation des réseaux de CP profonds comme des filtres gaussiens hiérarchiques, remplaçant l'inférence itérative par des mises à jour variationnelles en forme close.
Apprentissage de la précision : Ils démontrent que la précision peut être inférée de manière endogène en ligne comme des croyances a posteriori couplées à la hiérarchie, plutôt que d'être traitée comme des hyperparamètres fixes.
Mises à jour compatibles avec Hebb : La méthode produit des règles de mise à jour des poids qui intègrent la précision comme un poids de gradient naturel, maintenant la plausibilité biologique.
Benchmarks de performance : L'approche atteint une convergence de pointe sur FashionMNIST, s'approchant du coût en temps réel de la rétropropagation tout en convergeant en moins d'époques.

Résultats expérimentaux

Les auteurs ont évalué leur méthode (HGF) par rapport aux Perceptrons Multicouches (MLP) entraînés par rétropropagation et aux réseaux de codage prédictif standards (PCN) sur le jeu de données FashionMNIST.

Comparaison directe (FashionMNIST) : À travers diverses configurations de profondeur ( $d \in \{2, 8\}$ ) et de largeur, le HGF a convergé plus rapidement et atteint une précision de test supérieure à celle du PCN standard. Bien que la RP soit restée compétitive, le HGF a approché les performances de la RP avec significativement moins d'époques.
Apprentissage en ligne : Dans un régime strictement en ligne (taille de lot 1), le HGF a convergé vers une erreur d'état stationnaire inférieure à celle des bases de RP et de PCN.
Efficacité des données : Sur des sous-ensembles de petits jeux de données ( $n \in \{60, 3000\}$ ), le HGF a surpassé les deux bases, démontrant une efficacité des données supérieure.
Dérive conceptuelle : Dans un environnement non stationnaire où les étiquettes de classe étaient périodiquement permutées, le HGF a maintenu une erreur d'état stationnaire plus faible et s'est rétabli plus rapidement des événements de dérive par rapport aux bases, exploitant ses états de croyance accumulés sans réinitialiser la précision.
Dynamiques d'apprentissage de la précision : Sur une tâche de classification de spirale synthétique, les réseaux avec couplage de volatilité (apprentissage de précision) ont montré une augmentation hiérarchique de la précision attendue, filtrant efficacement l'apprentissage et l'inférence. Cependant, les auteurs notent qu'à des profondeurs extrêmes (profondeur 16), la base à précision fixe surpassait encore la variante couplée en volatilité, suggérant que si l'apprentissage de la précision stabilise les signaux d'erreur, les déséquilibres de précision inter-couches qui en résultent nécessitent une investigation plus poussée.

Importance et affirmations

L'article établit que l'inférence variationnelle en forme close avec apprentissage de précision en ligne fournit une fondation traitable pour les réseaux de codage prédictif profonds. En résolvant le besoin de relâchement itératif et de signaux d'erreur globaux, la méthode conserve les avantages biologiques et interprétatifs du CP tout en abordant ses principaux goulots d'étranglement de mise à l'échelle.

Les auteurs présentent modestement leur contribution comme une étape vers le comblement du fossé entre le CP théorique et l'apprentissage profond pratique. Ils reconnaissent que :

L'implémentation actuelle traite les échantillons de manière séquentielle plutôt que par lots, ce qui explique la majeure partie de l'écart restant en temps réel avec la RP.
Le cadre n'a pas encore été étendu aux architectures convolutives ou aux jeux de données d'images naturelles à grande échelle (par exemple, CIFAR, ImageNet).
Le compromis entre la fidélité de la dérivation variationnelle (précision dynamique) et les choix d'ingénierie pour la mise à l'échelle (par exemple, ePC, $\mu$ PC) nécessite une comparaison contrôlée supplémentaire.

En définitive, l'ouvrage soutient que l'apprentissage dynamique de la précision est essentiel pour le CP profond, offrant un levier principiel sur l'incertitude et permettant une plasticité compatible avec Hebb sans la surcharge computationnelle de l'inférence itérative.