Accelerated Predictive Coding Networks via Direct Kolen-Pollack Feedback Alignment

Deze paper introduceert Direct Kolen-Pollack Predictive Coding (DKP-PC), een algoritme dat de vertraging en exponentiële afname van foutsignalen in traditionele Predictive Coding oplost door directe feedbackverbindingen te gebruiken, waardoor de complexiteit van foutpropagatie van O(L) naar O(1) daalt en tegelijkertijd de prestaties worden verbeterd.

De kern

De Kern: Een snellere manier om neurale netwerken te leren

Stel je voor dat een kunstmatige hersenen (een neuraal netwerk) een enorme puzzel moet oplossen om bijvoorbeeld een foto van een kat te herkennen. Om dit te leren, moet het netwerk weten waar het fout zit.

Het oude probleem: De "Postbode" en de "Verdwijnende Brief"
In de traditionele manier van leren (die Backpropagation heet), werkt het als volgt:

1. Het netwerk maakt een gok.
2. De leraar (de computer) kijkt naar het eindresultaat en zegt: "Je hebt het fout."
3. Deze boodschap moet nu stap voor stap terug naar voren door het hele netwerk. Eerst naar de laag die het dichtst bij het eind zit, dan naar de laag daarvoor, en zo verder tot bij de eerste laag.

Dit heeft twee grote nadelen:

• Vertraging: Het duurt lang voordat de eerste laag weet dat er iets mis is. Het is alsof je in een lange rij mensen staat en de boodschap "Stop!" moet fluisteren tot aan de voorkant.
• Verdwijning: Hoe verder de boodschap terugreist, hoe zwakker hij wordt. De eerste lagen krijgen een zo'n klein piepje van een boodschap dat ze bijna niets meer kunnen doen. Dit heet het "verdwijnend gradiënt" probleem.

De oplossing: Predictive Coding (PC)
Wetenschappers hebben een alternatief bedacht genaamd Predictive Coding. Hierbij probeert elke laag van het netwerk zijn eigen voorspelling te verbeteren. Het is biologisch plausibeler (meer zoals een echt brein werkt) omdat elke laag lokaal kan leren zonder te wachten op een globale commando.

Maar ook dit heeft een probleem: De foutboodschap moet nog steeds stap voor stap terugreizen. De eerste laag moet wachten tot de boodschap van de laatste laag is aangekomen. Dat kost tijd en energie.

De Nieuwe Uitvinding: DKP-PC

De auteurs van dit paper hebben een slimme truc bedacht die ze DKP-PC noemen. Ze hebben twee ideeën samengevoegd om de problemen op te lossen:

1. Directe Feedback (De "Telefoonlijn"):
   In plaats van dat de foutboodschap stap voor stap terugreist, hebben ze een directe "telefoonlijn" aangelegd van de leraar (het eindresultaat) naar elke laag in het netwerk.

   • Vergelijking: In plaats van dat de postbode langs elke deur loopt om een brief te bezorgen, belt de leraar nu direct iedereen op zijn mobiel. Iedereen krijgt de boodschap gelijktijdig.

2. Leerzame Verbindingen (De "Slimme Telefoon"):
   Eerst dachten ze: "Laten we willekeurige telefoonlijnen gebruiken." Maar dat werkt niet goed genoeg. Ze hebben daarom de telefoonlijnen zelf ook laten leren. Ze noemen dit Direct Kolen-Pollack.

   • Vergelijking: De telefoonlijnen zijn niet statisch; ze passen zich aan zodat ze de boodschap steeds duidelijker en accurater doorgeven. Ze worden "slimmer" naarmate het netwerk meer leert.

Wat levert dit op?

Door deze combinatie (DKP-PC) krijgen ze het beste van twee werelden:

• Snelheid: Omdat elke laag direct weet waar de fout zit, hoeven ze niet te wachten. Het hele netwerk kan tegelijkertijd leren. De tijd die nodig is om te leren hangt niet meer af van hoe diep het netwerk is.
• Kracht: De boodschap verdwijnt niet meer. De eerste lagen krijgen een sterke, duidelijke boodschap, waardoor ze beter leren.
• Resultaat: In tests bleek dat dit nieuwe systeem net zo goed (of zelfs beter) presteert dan de oude methoden, maar veel sneller is. Het is vooral een enorme winst voor diepe netwerken (netwerken met veel lagen).

Samenvatting in één zin

DKP-PC is als het vervangen van een traag, stap-voor-stap fluister-spel door een systeem waar elke speler direct een sms-bericht krijgt van de trainer, waardoor iedereen tegelijkertijd en effectiever kan verbeteren.

Dit is een grote stap voorwaarts voor het maken van efficiëntere AI-chips en voor het begrijpen van hoe biologische hersenen misschien leren.

Technische samenvatting

Titel: Versnelde Predictive Coding-netwerken via Directe Kolen–Pollack Feedback Alignment

Auteurs: Davide Casnici, Martin Lefebvre, Justin Dauwels, Charlotte Frenkel (TU Delft)

---

1. Het Probleem

Predictive Coding (PC) is een biologisch geïnspireerd algoritme voor het trainen van neurale netwerken dat lokaal updates toestaat en parallel leren over lagen mogelijk maakt. Dit in tegenstelling tot Backpropagation (BP), dat een globale foutsignaal vereist dat sequentieel door het netwerk moet worden teruggepropageerd, wat leidt tot "update locking" en niet-lokale afhankelijkheden.

Hoewel PC theoretisch biologisch plausibeler is, kampen praktische implementaties met twee fundamentele beperkingen:

1. Vertraging in foutpropagatie: In standaard PC wordt het foutsignaal gegenereerd bij de output en moet het zich laag-voor-laag door het netwerk terugbewegen tijdens de inferentiefase. Dit vereist een aantal inferentiestappen dat evenredig is aan de netwerkdiepte ($L$), wat de tijdcomplexiteit tot $O(L)$ brengt en de parallelle voordelen tenietdoet.
2. Exponentiële verval (Vanishing Updates): Tijdens deze propagatie vervaagt het foutsignaal exponentieel naarmate het dieper in het netwerk komt (vanwege de leerfactor en de afstand tot de output). Dit resulteert in verwaarloosbare updates voor de vroege lagen, wat de leerprestaties in diepe netwerken beperkt.

2. Methodologie: Direct Kolen–Pollack Predictive Coding (DKP-PC)

De auteurs stellen DKP-PC voor, een hybride algoritme dat de principes van Predictive Coding combineert met Direct Kolen–Pollack (DKP) feedback alignment.

Kernmechanisme:
In plaats van te wachten op een sequentiële propagatie van fouten, introduceert DKP-PC leerbare feedbackverbindingen ($\Psi_\ell$) die direct de outputlaag verbinden met elke verborgen laag. Dit creëert een directe route voor fouttransmissie.

Het algoritme verloopt in drie hoofdfases:

1. Directe Feedback Alignment Update (Parallel):
   Na een voorwaartse initialisatie wordt direct een voorlopige update van de voorwaartse gewichten ($\Theta$) uitgevoerd. Hierbij wordt het outputfoutsignaal ($\delta_L$) direct naar elke laag geprojecteerd via de feedbackmatrices $\Psi$. Dit zorgt ervoor dat er direct een niet-nul foutterm aanwezig is in elke laag, zonder wachttijd.
2. Inferentiefase (Parallel):
   Omdat er nu direct een foutsignaal in elke laag aanwezig is, kunnen de neurale activiteiten ($\phi$) onmiddellijk worden geoptimaliseerd om de variatiele vrije energie (FE) te minimaliseren. In tegenstelling tot standaard PC, dat $L$ of meer stappen nodig heeft, volstaat bij DKP-PC vaak één enkele stap om een vergelijkbare prestatie te bereiken.
3. Leerfase en DKP-update (Parallel):
   Zowel de voorwaartse gewichten ($\Theta$) als de feedbackmatrices ($\Psi$) worden bijgewerkt op basis van de geoptimaliseerde neurale activiteiten. De update van $\Psi$ volgt een lokale regel die alleen afhankelijk is van de activiteit van de verborgen laag en het outputfoutsignaal, wat volledige parallelisatie toelaat.

Theoretische Complexiteit:
De tijdcomplexiteit voor de terugwaartse propagatie van fouten wordt gereduceerd van $O(L)$ (afhankelijk van de diepte) naar $O(1)$ (constant), omdat de fout direct beschikbaar is in alle lagen.

3. Belangrijkste Bijdragen

1. Wiskundige Motivatie: De auteurs bieden een wiskundige onderbouwing waarom DKP beter aligneert met BP dan standaard Direct Feedback Alignment (DFA). Ze tonen aan dat de feedbackmatrices in DKP convergeren naar een recursieve keten van gepseudoinverse transposities van de voorwaartse gewichten, wat de kwaliteit van de gradiënt schatting verbetert.
2. DKP-PC Algoritme: De introductie van het eerste PC-variant dat zowel de vertraging als het exponentiële verval van fouten oplost, terwijl de lokale aard van updates behouden blijft. Dit maakt voor het eerst volledige parallelisatie van PC-netwerken mogelijk, ongeacht de batchgrootte.
3. Synergie-analyse: Een theoretisch en empirisch bewijs dat de combinatie van PC en DKP leidt tot een betere en stabielere uitlijning van gradiënten met BP dan DKP alleen. De PC-inferentiestap fungeert als een regularisatiemechanisme voor de DKP-update.
4. Empirische Validatie: Uitgebreide benchmarks op diverse datasets (MNIST, Fashion-MNIST, CIFAR-10/100, Tiny ImageNet) en architecturen (MLP, VGG-7, VGG-9).

4. Resultaten

De prestaties van DKP-PC werden vergeleken met Backpropagation (BP), Direct Kolen-Pollack (DKP), standaard PC, Incremental PC (iPC) en Center-Nudging PC (CN-PC).

• Classificatieprestaties:
  • DKP-PC presteert consistent beter dan standaard PC en iPC.
  • Op de complexe Tiny ImageNet dataset behaalde DKP-PC een top-1 nauwkeurigheid van 35,04%, wat aanzienlijk hoger is dan CN-PC (31,50%) en alle andere lokale leeralgoritmen.
  • Het sluit de prestatiekloof met BP aanzienlijk in, vooral in diepere netwerken (bijv. VGG-9 op CIFAR-100).
• Trainingsnelheid en Efficiëntie:
  • DKP-PC vereist slechts één inferentiestap om de doelwitaantallen te bereiken, terwijl standaard PC vaak $L$ stappen nodig heeft.
  • Dit resulteert in een reductie van de trainingstijd met meer dan 60% voor VGG-7 en VGG-9 vergeleken met standaard PC.
  • In vergelijking met iPC is de reductie zelfs 81%.
  • Hoewel de huidige implementatie sequentieel draait (geen aangepaste CUDA-kernen), toont het al een aanzienlijke versnelling. De auteurs benadrukken dat met hardware die volledig parallelisatie ondersteunt, de snelheidswinst nog groter zal zijn.

5. Betekenis en Toekomstperspectief

Deze studie is van groot belang voor de ontwikkeling van neuromorfe computing en on-chip learning.

• Biologische Plausibiliteit: DKP-PC behoudt de lokale updates en de afwezigheid van een globale foutsignaal, wat het biologisch plausibel maakt.
• Hardware-efficiëntie: Door de eliminatie van de sequentiële foutpropagatie en de reductie van de tijdcomplexiteit naar $O(1)$, is DKP-PC bij uitstek geschikt voor parallelle hardware-architecturen die niet gebonden zijn aan de sequentiële beperkingen van BP.
• Toekomstig Werk: De auteurs wijzen op de noodzaak van aangepaste CUDA-kernen om synchronisatie-overhead te verminderen en het potentieel van parallelisatie volledig te benutten. Ook wordt voorgesteld om de feedbackmatrices te verspillen (sparsity) en te quantiseren om het geheugengebruik te verlagen.

Conclusie: DKP-PC is een doorbraak die de theoretische voordelen van Predictive Coding (lokaal, parallel) verenigt met de praktische efficiëntie en prestaties van moderne deep learning, waardoor het een sterke kandidaat wordt voor de volgende generatie energie-efficiënte en biologisch geïnspireerde AI-systemen.