🤖 machine learning

On the Infinite Width and Depth Limits of Predictive Coding Networks

Cet article étudie les limites de largeur et de profondeur infinies des réseaux de codage prédictif, en dérivant des paramétrages stables qui empêchent les explosions d'entraînement et en démontrant que les gradients du codage prédictif convergent vers les gradients de rétropropagation dans les réseaux larges, offrant ainsi un mécanisme d'apprentissage local biologiquement plausible pour les architectures profondes.

Auteurs originaux : Francesco Innocenti, El Mehdi Achour, Rafal Bogacz

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Francesco Innocenti, El Mehdi Achour, Rafal Bogacz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à une équipe de robots géante et multicouche comment résoudre un puzzle. Dans le monde de l'intelligence artificielle, la méthode standard pour y parvenir s'appelle la « rétropropagation » (backpropagation). C'est comme un manager strict qui se tient tout au bout de la chaîne de montage, regarde l'erreur finale, puis court jusqu'au début en criant des instructions spécifiques à chaque robot sur la façon exacte dont ils ont échoué. Cela fonctionne incroyablement bien pour les ordinateurs, mais c'est une méthode qui diffère de la manière dont la nature opère. Les vrais cerveaux n'ont pas de manager central criant des instructions à travers le temps ; au lieu de cela, chaque neurone ne connaît que ce que font ses voisins immédiats.

Entrez dans le « Codage Prédictif », une théorie suggérant que les cerveaux apprennent davantage comme un groupe d'amis essayant de deviner la météo. Chaque personne (neurone) fait une prédiction basée sur ce que ses voisins disent, ressent une petite « erreur » si son pronostic est faux, et ajuste sa propre activité pour mieux s'intégrer. Une fois que tout le monde a cessé de se disputer et a atteint un accord calme (équilibre), ils ajustent tous leurs connexions légèrement pour faire mieux la prochaine fois. Cette méthode est biologiquement réaliste car chacun ne parle qu'à ses voisins, mais pendant longtemps, les scientifiques n'étaient pas sûrs de savoir si elle pouvait gérer les réseaux massifs et profonds nécessaires à l'IA moderne. Cette méthode locale et bavarde pourrait-elle réellement passer à l'échelle de la taille d'un supercalculateur, ou s'effondrerait-elle ?

Ce document plonge dans cette question exacte en examinant ce qui se passe lorsque l'on rend ces réseaux infiniment larges (en ajoutant des tonnes de neurones côte à côte) et infiniment profonds (en ajoutant des tonnes de couches les unes sur les autres). Les chercheurs, Francesco Innocenti, El Mehdi Achour et Rafal Bogacz, voulaient savoir : pouvons-nous régler les « boutons » de ces réseaux de codage prédictif pour qu'ils restent stables et apprennent efficacement, tout comme les réseaux de rétropropagation standard que nous utilisons aujourd'hui ?

Leur enquête révèle un rebondissement surprenant. Ils ont découvert que pour que le codage prédictif fonctionne à grande échelle, il doit utiliser les mêmes réglages et règles d'échelle que la méthode de rétropropagation standard. Si vous essayez d'utiliser les réglages « standards » que la plupart des gens utilisent dans des logiciels comme PyTorch, la sortie du réseau de codage prédictif explosera dans le chaos à mesure qu'il s'élargit, tout comme un microphone laissé trop près d'un haut-parleur. Cependant, si vous passez à un ensemble spécifique et mathématiquement précis de règles (connues sous le nom de paramétrisations « mean-field » ou « maximal update »), le réseau se stabilise.

Sous ces conditions stables, l'article montre qu'à mesure que le réseau devient incroyablement large, la façon dont le codage prédictif apprend devient presque indiscernable de la rétropropagation. En fait, pour les réseaux qui sont beaucoup plus larges que profonds (pensez à une crêpe large et plate plutôt qu'à une tour haute et étroite), les mises à jour « locales » du codage prédictif s'alignent parfaitement avec les mises à jour « globales » de la rétropropagation. Les auteurs ont prouvé cela mathématiquement pour des réseaux linéaires simples et l'ont confirmé par des expériences sur des modèles non linéaires complexes tels que les réseaux de neurones convolutifs (CNN) et les Transformers.

L'étude écarte également certaines possibilités passionnantes. Elle suggère que la vitesse d'apprentissage « rapide » que certains chercheurs ont observée dans des réseaux plus profonds que larges en utilisant d'anciens réglages était en fait une illusion causée par l'instabilité ; ces réglages se brisent à mesure que le réseau grandit. De plus, bien que l'article suggère que le cerveau puisse utiliser une règle d'apprentissage locale similaire au codage prédictif pour atteindre la puissance de la rétropropagation, il note que cela ne fonctionne efficacement que si le cerveau est « beaucoup plus large que profond » — une hypothèse qui concorde avec la compréhension biologique actuelle du cortex.

En fin de compte, ce travail ne se contente pas de dire que « le codage prédictif fonctionne » ; il trace une limite stricte autour de comment il peut fonctionner. Il nous dit que pour porter cette méthode biologiquement plausible à la taille de l'IA moderne, nous ne pouvons pas simplement la modifier au hasard ; nous devons adopter la même mise à l'échelle mathématique rigoureuse qui fait fonctionner l'IA standard. C'est une étape cruciale, suggérant que le cerveau utilise peut-être effectivement une danse locale de minimisation de l'énergie pour résoudre les mêmes problèmes complexes que nos ordinateurs entraînés par rétropropagation globale.

Résumé Technique : Sur les limites de largeur et de profondeur infinies des réseaux de codage prédictif

Énoncé du Problème

Le Codage Prédictif (PC) est une alternative biologiquement plausible à la rétropropagation standard (BP) où les neurones minimisent les erreurs de prédiction locales (une fonction d'énergie) avant de mettre à jour les poids. Bien que des reparamétrages récents aient amélioré la stabilité de l'entraînement des réseaux PC profonds (PCN), la base théorique permettant de les étendre aux largeurs et profondeurs importantes reste incertaine. Plus précisément, on ignore si le PC peut être mis à l'échelle pour égaler la stabilité et les capacités d'apprentissage de caractéristiques de la BP dans les limites de largeur et de profondeur infinies, ou si les PCN standards souffrent d'instabilité (par exemple, l'explosion des sorties) à mesure que la taille du modèle augmente. De plus, les conditions sous lesquelles les gradients de PC convergent vers les gradients de BP dans ces limites nécessitent une caractérisation rigoureuse.

Méthodologie

Les auteurs mènent une analyse théorique et empirique des PCN dans les limites conjointes de largeur infinie ( $N \to \infty$ ) et de profondeur infinie ( $L \to \infty$ ).

Cadre Théorique :
- Paramétrage Général : L'étude adopte un schéma de paramétrage « abcd » général pour les perceptrons multicouches (MLP) linéaires et les réseaux résiduels, définissant des exposants de mise à l'échelle pour les préactivations ( $a_\ell$ ), la variance d'initialisation des poids ( $b_\ell$ ), le taux d'apprentissage ( $c$ ) et la sortie du réseau ( $d$ ).
- Énergie Équilibrée : Pour les réseaux linéaires, les auteurs utilisent l'« énergie équilibrée » ( $F^*$ ), qui est l'énergie de PC minimisée par rapport aux activités. Ils montrent que pour les réseaux linéaires, $F^*$ est une version rescalée de la perte d'erreur quadratique moyenne (MSE) standard : $F^*(\theta) = L(\theta) / s(\theta)$ , où $s(\theta)$ est un facteur de rescalage dépendant des poids.
- Desiderata : L'analyse recherche des paramétrages qui satisfont trois critères principaux (adaptés de la littérature sur la BP) :
  1. Stabilité : Les préactivations des couches et les prédictions du réseau doivent rester bornées (ni s'annuler, ni exploser) lorsque $N \to \infty$ .
  2. Apprentissage de Caractéristiques : Les caractéristiques doivent évoluer de manière non triviale (apprentissage non-lazy) pendant l'entraînement.
  3. Stabilité de Profondeur (pour les ResNets) : Les activations cachées doivent rester stables lorsque $L \to \infty$ , et chaque bloc résiduel doit contribuer à $\Theta(1/L)$ à l'évolution des caractéristiques.
Dérivation :
- Les auteurs dérivent les exposants de mise à l'échelle spécifiques requis pour satisfaire les desiderata ci-dessus pour les PCN.
- Ils analysent le comportement asymptotique du facteur de rescalage $s(\theta)$ et des gradients de l'énergie équilibrée.
- Ils prouvent que sous ces paramétrages stables, les gradients de PC convergent vers les gradients de BP à mesure que la largeur augmente, l'erreur dépendant du rapport profondeur-largeur ( $L/N$ ).
Validation Empirique :
- Des expériences ont été menées sur des architectures linéaires et non linéaires, incluant des MLP, des réseaux de neurones convolutifs (CNN) et des Transformers.
- Les modèles ont été entraînés sur des jeux de données allant de tâches simples à CIFAR-10, Fashion-MNIST et ImageNet-1k.
- L'étude a mesuré la similitude cosinus entre les gradients de PC (calculés à l'équilibre de l'activité) et les gradients de BP à travers différentes largeurs et profondeurs.

Contributions Clés

Équivalence des Paramétrages Stables :
L'article prouve que l'ensemble des paramétrages garantissant à la fois la stabilité et l'apprentissage de caractéristiques non trivial pour les PCN est identique à celui de la BP. Spécifiquement, pour les MLP linéaires et les réseaux résiduels, le paramétrage « Mean-Field » ou « Maximal Update » ( $\mu$ P) est la solution unique qui satisfait les desiderata de stabilité et d'apprentissage de caractéristiques pour le PC. Cela implique que les PCN standards (utilisant des paramétrages standards comme les défauts de PyTorch) sont intrinsèquement instables à grande largeur, provoquant l'explosion des sorties.
Convergence vers la Rétropropagation :
Les auteurs démontrent que sous ces paramétrages stables, les gradients calculés par PC convergent vers les gradients de la BP à mesure que la largeur du réseau devient beaucoup plus grande que sa profondeur ( $L/N \to 0$ ).
- Pour les MLP linéaires à profondeur fixe, l'erreur relative entre les gradients de PC et de BP scale en $O(N^{-1})$ .
- Pour les réseaux résiduels linéaires dans la limite conjointe, l'erreur relative scale en $O(L/N)$ .
- Cette convergence s'applique tant aux fonctions d'objectif qu'aux gradients, impliquant que dans la limite de largeur, le PC implémente efficacement la BP.
Instabilité du Régime « Fast Saddle-to-Saddle » :
L'article identifie qu'un régime précédemment observé où le PC présente une dynamique « saddle-to-saddle » plus rapide que la BP (dans les réseaux profonds et étroits) repose sur le Paramétrage Standard (SP). Les auteurs montrent que ce régime est instable par rapport à la largeur et à la profondeur, violant les desiderata de stabilité. Ainsi, l'accélération se fait au détriment de la stabilité numérique dans les modèles à grande échelle.
Généralisation Empirique :
Malgré le fait que l'analyse théorique soit dérivée pour des réseaux linéaires, les expériences montrent que l'alignement élevé des gradients de PC et de BP persiste dans les architectures non linéaires (CNN, Transformers) entraînées avec différents optimiseurs (Adam) et fonctions de perte, à condition que les réseaux soient beaucoup plus larges que profonds et que l'équilibre de l'activité soit atteint.

Résultats

Théoriques : La dérivation confirme que l'exposant de mise à l'échelle de la sortie $d=1/2$ est critique pour un apprentissage de caractéristiques non-lazy dans le PC, tout comme dans la BP. Le facteur de rescalage $s(\theta)$ tend vers 1 lorsque $N \to \infty$ (pour les MLP) ou lorsque $L/N \to 0$ (pour les ResNets), provoquant la convergence de l'objectif de PC vers la perte MSE.
Expérimentaux :
- Alignement des Gradients : La similitude cosinus entre les gradients de PC et de BP approche 1.0 à mesure que la largeur augmente, particulièrement pour les ResNets et les Transformers où $L/N$ est faible.
- Modèles Non Linéaires : Un alignement élevé a été observé pour des MLP résiduels de 32 couches, des CNN de 10 couches et des Transformers de 12 blocs.
- Échec du Paramétrage Standard : Les modèles utilisant des paramétrages standards (SP) ont montré des explosions de sorties et un faible alignement des gradients à mesure que la largeur augmentait, confirmant l'instabilité théorique.

Signification et Revendications

L'article affirme fournir les premières contraintes fondées sur des principes concernant les paramétrages scalables avec le PC. Sa signification principale réside dans deux domaines :

Contraindre la Scalabilité : Il établit que pour que le PC soit scalable à de grands modèles, il doit adopter les mêmes règles de paramétrage que la BP (spécifiquement $\mu$ P). Cela suggère que les reparamétrages « heuristiques » utilisés dans les travaux récents sur le PC profond doivent s'aligner sur ces limites théoriques pour être viables.
Plausibilité Biologique de la BP : Les résultats suggèrent un mécanisme par lequel le cerveau (un réseau qui est nettement plus large que profond) pourrait implémenter l'attribution de crédit globale de la rétropropagation en utilisant uniquement des règles d'apprentissage locales. Si le cerveau opère dans un régime où $L/N \to 0$ , le PC pourrait théoriquement converger vers la BP, permettant un apprentissage efficace sans propagation d'informations non locales.

Les auteurs restent modestes quant aux limites, notant que les preuves théoriques reposent sur des réseaux linéaires et une convergence exacte de l'activité. Ils reconnaissent que le coût computationnel pour atteindre l'équilibre de l'activité dans les réseaux non linéaires reste un goulot d'étranglement pratique, bien qu'ils suggèrent que les implémentations matérielles analogiques pourraient éventuellement y remédier. Ils ne prétendent pas que le PC est supérieur à la BP dans tous les régimes, mais plutôt que, dans la limite scalable et large, les deux algorithmes deviennent mathématiquement équivalents sous le paramétrage correct.