🤖 machine learning

On the Infinite Width and Depth Limits of Predictive Coding Networks

Dit artikel onderzoekt de oneindige breedte- en dieptelimieten van Predictive Coding Networks, waarbij stabiele parametrisaties worden afgeleid die trainingsexplosies voorkomen en wordt aangetoond dat de gradiënten van Predictive Coding convergeren naar Backpropagation-gradiënten in brede netwerken, waardoor een biologisch plausibel lokaal leermechanisme voor diepe architecturen wordt geboden.

Oorspronkelijke auteurs: Francesco Innocenti, El Mehdi Achour, Rafal Bogacz

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Francesco Innocenti, El Mehdi Achour, Rafal Bogacz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, meerlagig team van robots probeert te leren hoe ze een puzzel moeten oplossen. In de wereld van kunstmatige intelligentie is de standaardmanier om dit te doen "backpropagation" genoemd. Het is als een strenge manager die helemaal aan het einde van de lopende band staat, naar de uiteindelijke fout kijkt en dan helemaal terugrent naar het begin om elke individuele robot specifieke instructies te schreeuwen over precies hoe ze de fout in zijn gegaan. Het werkt ongelooflijk goed voor computers, maar het is een methode die verschilt van hoe de natuur werkt. Echte hersenen hebben geen centrale manager die instructies achterwaarts door de tijd schreeuwt; in plaats daarvan weet elke neuron alleen wat zijn directe buren aan het doen zijn.

Hier komt "Predictive Coding" kijken, een theorie die suggereert dat hersenen meer leren als een groep vrienden die proberen te voorspellen hoe het weer wordt. Elke persoon (neuron) doet een voorspelling op basis van wat zijn buren zeggen, ervaart een kleine "fout" als zijn gok niet klopt, en past zijn eigen activiteit aan om beter aan te sluiten. Zodate iedereen stopt met discussiëren en een rustige overeenstemming bereikt (evenwicht), passen ze al hun verbindingen lichtjes aan om het de volgende keer beter te doen. Deze methode is biologisch realistisch omdat iedereen alleen met zijn buren praat, maar voor een lange tijd wisten wetenschappers niet zeker of dit de enorme, diepe netwerken aan kon die nodig zijn voor moderne AI. Zou deze lokale, gesprekslustige methode ook kunnen opschalen naar de omvang van een supercomputer, of zou het uit elkaar vallen?

Dit artikel duikt in precies die vraag door te kijken naar wat er gebeurt als je deze predictive coding-netwerken oneindig breed maakt (tonnen neuronen naast elkaar toe te voegen) en oneindig diep (tonnen lagen bovenop elkaar toe te voegen). De onderzoekers, Francesco Innocenci, El Mehdi Achour en Rafal Bogacz, wilden weten: Kunnen we de "knoppen" van deze predictive coding-netwerken zo afstellen dat ze stabiel blijven en effectief leren, net zoals de standaard backpropagation-netwerken die we vandaag de dag gebruiken?

Hun onderzoek onthult een verrassende wending. Ze ontdekten dat voor predictive coding op een enorme schaal te werken, het exact dezelfde instellingen en schaalregels moet gebruiken als de standaard backpropagation-methode. Als je de "standaard" instellingen gebruikt die de meeste mensen gebruiken in software zoals PyTorch, zal de output van het predictive coding-netwerk uitbarsten in chaos naarmate het breder wordt, vergelijkbaar met een microfoon die te dicht bij een luidspreker wordt gehouden. Echter, als je overschakelt naar een specifieke, wiskundig nauwkeurige set regels (bekend als "mean-field" of "maximal update" parametrisaties), stabiliseert het netwerk.

Onder deze stabiele omstandigheden laat het papier zien dat naarmate het netwerk ongelooflijk breed wordt, de manier waarop predictive coding leert bijna niet meer te onderscheiden is van backpropagation. Sterker nog, voor netwerken die veel breder zijn dan ze diep zijn (denk aan een brede, ondiepe pannenkoek in plaats van een hoge, smalle toren), stemmen de "lokale" updates van predictive coding perfect af met de "globale" updates van backpropagation. De auteurs hebben dit wiskundig bewezen voor eenvoudige lineaire netwerken en hebben het bevestigd met experimenten op complexe, niet-lineaire modellen zoals Convolutionele Neurale Netwerken (CNN's) en Transformers.

De studie sluit ook enkele opwindende mogelijkheden uit. Het suggereert dat de "snelle" leersnelheid die sommige onderzoekers zagen in diepere-dan-brede netwerken met oudere instellingen, eigenlijk een illusie was veroorzaakt door instabiliteit; die instellingen breken af naarmate het netwerk groeit. Verder, hoewel het papier suggereert dat de hersenen een lokale leerregel kunnen gebruiken die vergelijkbaar is met predictive coding om de kracht van backpropagation te bereiken, merkt het op dat dit alleen efficiënt werkt als de hersenen "veel breder zijn dan ze diep zijn"—een hypothese die aansluit bij de huidige biologische kennis van de cortex.

Uiteindelijk zegt dit werk niet alleen "predictive coding werkt"; het trekt een strikte grens rondom hoe het kan werken. Het vertelt ons dat we, om deze biologisch plausibele methode op te schalen naar de omvang van moderne AI, niet zomaar willekeurig aan knoppen kunnen draaien; we moeten dezelfde rigoureuze wiskundige schaling hanteren die standaard AI laat werken. Dit is een cruciale stap voorwaarts, die suggereert dat de hersenen inderdaad een lokale, energie-minimaliserende dans kunnen gebruiken om dezelfde complexe problemen op te lossen als de globale, via backpropagation getrainde computers die wij vandaag de dag gebruiken.

Technische Samenvatting: Over de oneindige breedte- en dieptelimieten van Predictive Coding-netwerken

Probleemstelling

Predictive Coding (PC) is een biologisch plausibel alternatief voor standaard backpropagation (BP), waarbij neuronen lokale voorspellingsfouten (een energiefunctie) minimaliseren voordat ze gewichten bijwerken. Hoewel recente herparameterisaties de trainingsstabiliteit van diepe PC-netwerken (PCN's) hebben verbeterend, blijft de theoretische basis voor het schalen van deze methoden naar grote breedtes en dieptes onduidelijk. Specifiek is het onbekend of PC kan worden opgeschaald om de stabiliteit en de capaciteit voor kenmerkleren (feature learning) van BP te evenaren in de limieten van oneindige breedte en oneindige diepte, of dat standaard PCN's lijden onder instabiliteit (bijv. exploderende outputs) naarmate de modelgrootte toeneemt. Voorts vereist de vraag onder welke condities PC-gradiënten convergeren naar BP-gradiënten in deze limieten een rigoureuze karakterisering.

Methodologie

De auteurs voeren een theoretische en empirische analyse uit van PCN's in de gezamenlijke limieten van oneindige breedte ( $N \to \infty$ ) en oneindige diepte ( $L \to \infty$ ).

Theoretisch Kader:
- Algemene Parameterisatie: De studie hanteert een algemeen "abcd"-parameterisatieschema voor lineaire Multi-Layer Perceptrons (MLP's) en Residual Networks, waarbij schalingsexponenten worden gedefinieerd voor preactivaties ( $a_\ell$ ), initiële variantie van gewichten ( $b_\ell$ ), leersnelheid ( $c$ ) en netwerkoutput ( $d$ ).
- Geëquilibreerde Energie: Voor lineaire netwerken gebruiken de auteurs de "geëquilibreerde energie" ( $F^*$ ), wat de PC-energie is die geminimaliseerd wordt met betrekking tot de activiteiten. Ze tonen aan dat $F^*$ voor lineaire netwerken een geschaalde versie is van de standaard Mean Squared Error (MSE) loss: $F^*(\theta) = L(\theta) / s(\theta)$ , waarbij $s(\theta)$ een gewichtsafhankelijke herschalingsfactor is.
- Desiderata: De analyse streeft naar parameterisaties die aan drie hoofdcriteria voldoen (geadapteerd uit de BP-literatuur):
  1. Stabiliteit: Laag-preactivaties en netwerkvoorspellingen moeten begrensd blijven (noch verdwijnen, noch exploderen) naarmate $N \to \infty$ .
  2. Kenmerkleren (Feature Learning): Kenmerken moeten tijdens de training niet-triviaal evolueren (geen "lazy learning").
  3. Dieptestabiliteit (voor ResNets): Verborgen activaties moeten stabiel blijven naarmate $L \to \infty$ , en elke residual block moet $\Theta(1/L)$ bijdragen aan de evolutie van kenmerken.
Afleiding:
- De auteurs leiden de specifieke schalingsexponenten af die vereist zijn om de bovenstaande desiderata te bevredigen voor PCN's.
- Ze analyseren het asymptotische gedrag van de herscalingsfactor $s(\theta)$ en de gradiënten van de geëquilibreerde energie.
- Ze bewijzen dat onder deze stabiele parameterisaties de PC-gradiënten convergeren naar BP-gradiënten naarmate de breedte groeit, waarbij de foutterm afhankelijk is van de diepte-breedteverhouding ( $L/N$ ).
Empirische Validatie:
- Experimenten werden uitgevoerd op lineaire en niet-lineaire architecturen, inclus\n bij de MLPs, Convolutionele Neurale Netwerken (CNN's) en Transformers.
- Modellen werden getraind op datasets variërend van eenvoudige taken tot CIFAR-10, Fashion-MNIST en ImageNet-1k.
- De studie mat de cosinus-gelijkenis tussen PC-gradiënten (berekend bij activiteit-evenwicht) en BP-gradiënten over verschillende breedtes en dieptes.

Belangrijkste Bijdragen

Equivalentie van Stabiele Parameterisaties:
Het artikel bewijst dat de set parameterisaties die zowel stabiliteit als niet-triviaal kenmerkleren voor PCN's waarborgt, identiek is aan die van BP. Specifiek, voor lineaire MLP's en Residual Networks, is de "Mean-Field" of "Maximal Update" ( $\mu$ P) parameterisatie de unieke oplossing die aan de stabiliteits- en kenmerkleer-desiderata voldoet voor PC. Dit impliceert dat standaard PCN's (gebruikmakend van standaard parameterisaties zoals de defaults van PyTorch) inherent instabiel zijn bij grote breedtes, wat leidt tot exploderende outputs.
Convergentie naar Backpropagation:
De auteurs demonstreren dat onder deze stabiele parameterisaties de door PC berekende gradiënten convergeren naar de gradiënten van BP wanneer de netwerkbreedte veel groter is dan de diepte ( $L/N \to 0$ ).
- Voor lineaire MLP's bij een vaste diepte schaalt de relatieve fout tussen PC- en BP-gradiënten als $O(N^{-1})$ .
- Voor lineaire Residual Networks in de gezamenlijke limiet schaalt de relatieve fout als $O(L/N)$ .
- Deze convergentie geldt voor zowel de objectieffuncties als de gradiënten, wat impliceert dat PC in de brede limiet effectief BP implementeert.
Instabiliteit van het "Fast Saddle-to-Saddle" Regime:
Het artikel identificeert dat een eerder waargenomen regime waarin PC snellere "saddle-to-saddle" dynamiek vertoont dan BP (in diepe, smalle netwerken) steunt op de Standaard Parameterisatie (SP). De auteurs tonen aan dat dit regime instabiel is ten opzichte van zowel breedte als diepte, waardoor het de stabiliteits-desiderata schendt. De versnelling gaat dus ten koste van numerieke instabiliteit in grootschalige modellen.
Empirische Generalisatie:
Ondanks dat de theoretische analyse is afgeleid voor lineaire netwerken, laten experimenten zien dat de hoge gradiënt-uitlijning (alignment) tussen PC en BP standhoudt in niet-lineaire architecturen (CNN's, Transformers) getraind met verschillende optimizers (Adam) en verliesfuncties, mits de netwerken veel breder zijn dan diep en het activiteit-evenwicht is bereikt.

Resultaten

Theoretisch: De afleiding bevestigt dat de output-schalingsexponent $d=1/2$ cruciaal is voor niet-lazy kenmerkleren in PC, net als in BP. De herscalingsfactor $s(\theta)$ nadert 1 naarmate $N \to \infty$ (voor MLP's) of naarmate $L/N \to 0$ (voor ResNets), waardoor de PC-objectieven convergeren naar de MSE-loss.
Experimenteel:
- Gradiënt-uitlijning: De cosinus-gelijkenis tussen PC- en BP-gradiënten nadert 1.0 naarmate de breedte toeneemt, met name voor ResNets en Transformers waar $L/N$ $L / N$ klein is.
  - Niet-lineaire Modellen: Een hoge uitlijning werd waargenomen in 32-laagse Residual MLP's, 10-laagse CNN's en 12-block Transformers.
- Falen van Standaard Parameterisatie: Modellen die standaard parameterisaties (SP) gebruiken, vertoonden exploderende outputs en een slechte gradiënt-uitlijning naarmate de breedte toenam, wat de theoretische instabiliteit bevestigt.

Betekenis en Claims

Het artikel beweert de eerste principiële beperkingen te bieden voor de parameterisaties die schaalbaar zijn met PC. De primaire betekenis ligt in twee gebieden:

Beperken van Schaalbaarheid: Het stelt vast dat voor PC schaalbaar te zijn naar grote modellen, het dezelfde parameterisatieregels moet adopteren als BP (specifiek $\mu$ P). Dit suggereert dat "heuristische" herparameterisaties die in recent diep PC-werk worden gebruikt, met deze theoretische limieten in overeenstemming moeten zijn om levensvatbaar te zijn.
Biologische Plausibiliteit van BP: De resultaten suggereren een mechanisme waarmee het brein (bij wijze van spreken een netwerk dat veel breder is dan diep) de globale credit assignment van backpropagation kan implementeren met behulp van enkel lokale leerregels. Als het brein opereert in een regime waar $L/N \to 0$ , zou PC theoretisch kunnen convergeren naar BP, wat efficiënt leren mogelijk maakt zonder de noodzaak van niet-lokale informatiepropagatie.

De auteurs blijven bescheiden over de beperkingen en merken op dat de theoretische bewijzen steunen op lineaire netwerken en exacte activiteitsconvergentie. Ze erkennen dat de computationele kosten om het activiteit-evenwicht in niet-lineaire netwerken te bereiken een praktische bottleneck blijven, hoewel ze suggereren dat analoge hardware-implementaties dit uiteindelijk zouden kunnen adresseren. Ze beweren niet dat PC superieur is aan BP in alle regimes, maar dat in de schaalbare, brede limiet, de twee algoritmen wiskundig equivalent worden onder de juiste parameterisatie.