Predictive Coding Networks and Inference Learning: Tutorial and Survey

Dit artikel biedt een uitgebreide review en formele specificatie van voorspellende coderingsnetwerken, een neurobiologisch geïnspireerd raamwerk dat gebruikmaakt van inferentie-leren in plaats van backpropagatie en dat zowel voor toezicht als voor generatieve modellering een veelbelovende basis vormt voor toekomstige innovaties in machine learning.

De kern

De Brein-achtige Leraar: Een Simpele Uitleg over Predictive Coding

Stel je voor dat je leert een nieuwe taal spreken. Hoe doe je dat? Waarschijnlijk niet door een boek uit je hoofd te leren en elke regel letterlijk te onthouden. Nee, je luistert naar mensen, probeert zinnen te vormen, en als je een fout maakt (bijvoorbeeld "Ik ga naar school" in plaats van "Ik ben naar school"), corrigeer je jezelf. Je brein is continu aan het voorspellen wat er gaat gebeuren, en als de werkelijkheid anders is dan je voorspelling, leer je daaruit.

Dit is precies het idee achter Predictive Coding Networks (PCN's), een nieuw en spannend onderwerp in de kunstmatige intelligentie (AI), zoals beschreven in dit artikel. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Oude Manier: De "Terugwaartse" Leraar (Backpropagation)

Vroeger (en nog steeds in de meeste AI) leerden we computers met een methode die Backpropagation heet.

• De Analogie: Stel je een lange trein voor. De locomotief (de uitkomst) rijdt eerst. Als hij op de verkeerde plek stopt, loopt een boodschapper helemaal terug door de trein naar de machinist in de locomotief en zegt: "Je hebt te hard gereden!" Dan loopt die boodschapper weer terug naar de volgende wagon, en zegt: "Jij moet iets minder hard duwen." En zo gaat het, wagon voor wagon, terug naar voren.
• Het probleem: Dit is traag. Iedere wagon moet wachten tot de boodschapper bij hem is. In de echte wereld (onze hersenen) gebeurt dit niet zo. Onze hersenen werken niet als een trein met één boodschapper, maar als een enorm netwerk waar iedereen tegelijkertijd praat.

2. De Nieuwe Manier: De "Voorspellende" Leraar (Predictive Coding)

De auteurs van dit artikel kijken naar een methode die meer lijkt op hoe ons eigen brein werkt: Predictive Coding.

• De Analogie: Stel je een groot kantoorgebouw voor met een manager op de bovenste verdieping en veel werknemers op de lagere verdiepingen.
  • De manager (boven) zegt: "Ik denk dat we vandaag veel klanten krijgen." Hij stuurt deze voorspelling naar beneden.
  • De werknemers (onder) kijken naar de werkelijkheid. Als er niet veel klanten zijn, zeggen ze: "Hé manager, je voorspelling klopt niet! Er is een fout (een 'prediction error')."
  • Deze foutmelding gaat naar boven. De manager past zijn verwachtingen aan.
  • Het geheim: In plaats van één boodschapper die heen en weer loopt, gebeurt dit gelijktijdig. Iedere verdieping past zijn eigen verwachtingen aan op basis van wat de verdieping erboven en eronder zeggen.

3. Waarom is dit zo cool? (De Voordelen)

A. Het is biologisch plausibel (Het voelt "echt")
Onze hersenen hebben geen "terugwaartse kabels" zoals de oude AI-methode. Ze hebben verbindingen die zowel naar boven als naar beneden gaan. Deze nieuwe methode (die Inference Learning heet) gebruikt die twee-wegs communicatie. Het is alsof je AI niet meer een robot is die regels volgt, maar een wezen dat leert door te voorspellen.

B. Het is sneller (als je het goed doet)
In de oude methode moet je wachten tot de foutmelding helemaal terug is. In de nieuwe methode kunnen alle verdiepingen tegelijk aan het werk zijn (parallel).

• De Metafoor: Stel je voor dat je een berg moet verplaatsen.
  • Oude methode: Eén persoon duwt, wacht tot hij klaar is, dan de volgende.
  • Nieuwe methode: Een heel leger duwt tegelijk. Als je genoeg mensen hebt (parallelle computers), is het veel sneller, vooral als de berg heel hoog is (diepe netwerken).

C. Het is flexibeler
Deze nieuwe AI kan niet alleen dingen "leren" (zoals een hond herkennen), maar kan ook dingen "uitdromen" (zoals een nieuwe hond tekenen die er nog nooit is). Het is een generatief model. Het kan zowel een leraar zijn (supervised) als een kunstenaar (unsupervised).

4. Wat zeggen de auteurs?

De schrijvers van dit artikel (Björn van Zwol en collega's) zeggen eigenlijk:

"Kijk, de oude manier (Backpropagation) werkt goed, maar het voelt niet natuurlijk en het is soms traag. De nieuwe manier (Predictive Coding) is een 'super-versie' van de oude. Het is een breder concept dat alles kan wat de oude kon, maar ook dingen die de oude niet kon. Het is alsof we van een simpele fiets zijn gegaan naar een elektrische scooter die ook nog eens als een drone kan vliegen."

Ze hebben een handleiding geschreven voor iedereen die met AI werkt, zodat we deze nieuwe, slimme manier van leren beter kunnen begrijpen en gebruiken. Ze laten zien dat dit niet alleen mooi is voor de theorie, maar dat het in de praktijk steeds beter werkt, vooral als we computers gebruiken die goed zijn in het tegelijkertijd doen van veel dingen.

Kortom:
Dit artikel is een uitnodiging om AI te leren denken zoals een mens: niet door blindelings regels te volgen, maar door continu te voorspellen, fouten te merken, en die fouten te gebruiken om direct en gelijktijdig te verbeteren. Het is de toekomst van "NeuroAI" – kunstmatige intelligentie die inspiratie haalt uit de natuur.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Predictive Coding Networks and Inference Learning: Tutorial and Survey" van Björn van Zwol, Ro Jefferson en Egon L. van den Broek, geschreven in het Nederlands.

Titel: Predictive Coding Networks en Inference Learning: Tutorial en Survey

1. Het Probleem

Hoewel kunstmatige intelligentie (AI) en machine learning (ML) de afgelopen jaren enorme empirische vooruitgang hebben geboekt, blijft biologisch leren in veel opzichten superieur, vooral wat betreft flexibiliteit en energie-efficiëntie. Traditionele diepe neurale netwerken (DNN's) worden getraind met Backpropagation (BP). BP heeft echter fundamentele beperkingen:

• Het is biologisch onwaarschijnlijk (vereist het transporteren van foutsignalen door het netwerk in omgekeerde volgorde van de feedforward-pass).
• Het vereist een strikt sequentieel proces, wat de parallelisatie beperkt en de rekentijd lineair doet toenemen met de diepte van het netwerk.
• Het kan leiden tot "catastrophic interference" (vergeten van eerder geleerde informatie bij het leren van nieuwe taken).

Er is een groeiende roep om NeuroAI: benaderingen die geïnspireerd zijn op de neurowetenschap. Een prominente kandidaat is Predictive Coding (PC), een raamwerk dat het brein ziet als een hiërarchisch Bayesiaans inferentiemodel. Echter, tot nu toe ontbrak er een uitgebreide, wiskundig onderbouwde tutorial die PC-netwerken (PCN's) en hun trainingsalgoritme, Inference Learning (IL), direct relateert aan moderne ML-methoden en de beperkingen van BP adresseert.

2. Methodologie en Raamwerk

Het artikel presenteert PCN's vanuit drie complementaire perspectieven (zoals weergegeven in Figuur 3 van het artikel):

A. PCN's als Generaliseerde Kunstmatige Neurale Netwerken (ANN's)

• Structuur: In tegenstelling tot feedforward netwerken (FNN's) die alleen bottom-up verbindingen hebben, hebben PCN's zowel bottom-up (voorspellingen) als top-down (foutsignalen) verbindingen.
• Inference Learning (IL): In plaats van BP, gebruiken PCN's IL. Het trainingsproces bestaat uit twee fasen:
  1. Inferentie-fase: De activaties van de verborgen lagen worden geoptimaliseerd om de "energie" (de som van de kwadratische voorspellingsfouten) te minimaliseren, gegeven de ingesloten input- en outputdata. Dit gebeurt via lokale updates die afhankelijk zijn van buren, niet van het hele netwerk.
  2. Leer-fase: De gewichten worden bijgewerkt op basis van de geconvergeerde activaties.
• Lokaal en Parallel: Een cruciaal verschil met BP is dat IL-update regels lokaal zijn. Dit maakt het mogelijk om updates in alle lagen parallel uit te voeren, wat de rekentijd theoretisch losmaakt van de netwerkdiepte (bij voldoende parallelisatie).

B. PCN's als Probabilistische Latente Variabelen Modellen

• PCN's worden wiskundig afgeleid als Expectation-Maximization (EM) algoritmen op hiërarchische Bayesiaanse modellen.
• De "energie" in PCN's komt overeen met de negatieve log-likelihood van de volledige data (observed + latent).
• De E-stap in EM correspondeert met de inferentie-fase (het vinden van de beste activaties), en de M-stap met het bijwerken van de gewichten.
• Dit perspectief verbindt PCN's met generatieve modellen zoals Variational Autoencoders (VAE's) en Diffusion Modellen, maar met een andere optimalisatiestrategie (MAP-schatten in plaats van variatiele inferentie met expliciete variatiele parameters).

C. PCN's als Discriminatie en Generatie

• Discriminative PCN's: Voor toezicht (supervised learning) stromen voorspellingen van data naar labels. Tijdens testen zijn ze wiskundig equivalent aan traditionele FNN's.
• Generative PCN's: Voor onzorg (unsupervised learning) stromen voorspellingen van labels (of een prior) naar data. Ze kunnen fungeren als auto-encoders en nieuwe data genereren.
• PC Graphs: De structuur kan worden gegeneraliseerd tot willekeurige grafen (niet alleen hiërarchisch), wat een superset vormt van traditionele ANN's en het mogelijk maakt om niet-hiërarchische, hersenachtige structuren te trainen.

3. Belangrijkste Bijdragen

1. Comprehensieve Formele Specificatie: Het artikel biedt een gedetailleerde wiskundige afleiding van moderne PCN's, inclusief de activatie- en leerregels, en positioneert ze binnen de context van ML.
2. Unificatie van Perspectieven: Het verbindt het neuro-wetenschappelijke raamwerk van Predictive Coding met moderne ML-concepten (EM, Latente Variabelen, Generatieve Modellen).
3. Generalisatie van ANN's: Het benadrukt dat PCN's en PC Graphs een wiskundige superset vormen van traditionele feedforward netwerken, waardoor een bredere klasse van trainbare architecturen mogelijk is.
4. Praktische Implementatie: De auteurs hebben een Python-bibliotheek genaamd PRECO (op basis van PyTorch) ontwikkeld die PCN's en PC Graphs implementeert, wat een praktische handleiding biedt voor onderzoekers.
5. Kritische Analyse van Vergelijkingen: Het artikel vergelijkt IL met BP en andere algoritmen (zoals Target Propagation en Trust Region methoden) en analyseert de voor- en nadelen.

4. Resultaten en Empirische Bevindingen

• Prestaties: Op kleine datasets (MNIST, CIFAR-10) presteren PCN's met IL vergelijkbaar met BP (verschillen vaak <1%).
• Continu Leren en Online Leren: IL toont aanzienlijke voordelen in taken zoals continu leren (continual learning) en online leren (batch size 1), met verbeteringen tot 20% ten opzichte van BP, waarschijnlijk door verminderde "catastrophic interference".
• Schaalbaarheid: Eerdere studies toonden aan dat IL slechter presteerde bij zeer diepe netwerken (bijv. ResNet-18) vergeleken met BP. Echter, recent werk (vermeld in het artikel) toont aan dat het gebruik van specifieke initialisatieschema's (zoals Depth-μP) de stabiliteit herstelt, waardoor IL ook in zeer diepe netwerken (100+ lagen) concurrerend presteert.
• Convergentie: IL convergeert vaak sneller in termen van epochs dan BP, mede omdat het gebruik maakt van tweede-orde informatie (kromming van de loss-landscape) via Trust Region-methoden, wat helpt bij het ontsnappen aan zadelpunten.
• Generatieve Taken: Generatieve PCN's presteren concurrerend met VAE's en GAN's op metrics zoals log-likelihood en FID, maar vereisen meer rekentijd per epoch vanwege de inferentie-fase.

5. Betekenis en Toekomstperspectief

Dit werk is van groot belang voor de toekomst van machine learning en NeuroAI:

• Biologische Plausibiliteit: IL biedt een biologisch plausibeler alternatief voor BP, wat essentieel is voor het ontwikkelen van AI-systemen die beter overeenkomen met biologische intelligentie.
• Efficiëntie op Nieuwe Hardware: Omdat IL lokale berekeningen gebruikt en paralleliseerbaar is, is het bij uitstek geschikt voor neuromorfe hardware, waar sequentiële backpropagation inefficiënt is.
• Bayesiaanse Deep Learning: De probabilistische aard van PCN's maakt ze een veelbelovende kandidaat voor Bayesiaanse deep learning, waarbij onzekerheid en kennisintegratie centraal staan.
• Topologische Innovatie: De uitbreiding naar PC Graphs opent de deur voor het bestuderen van complexe, niet-hiërarchische netwerktopologieën die met BP niet trainbaar zijn.

Kortom, het artikel positioneert Predictive Coding niet alleen als een neuro-wetenschappelijke theorie, maar als een robuust en veelzijdig ML-raamwerk dat de basis kan vormen voor de volgende generatie efficiëntere, adaptieve en biologisch geïnspireerde AI-systemen.