Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition

Technische Samenvatting: Mono-Forward: Forward-Forward herzien via decompositie van doelstelling en localiteit

Probleemstelling
Backpropagation (BP) blijft het dominante algoritme voor het trainen van diepe neurale netwerken, maar lijdt onder aanzienlijke geheugenoverhead en is afhankelijk van globale foutpropagatie, een mechanisme dat vaak als biologisch onwaarschijnlijk wordt beschouwd. Het Forward-Forward (FF) algoritme, geïntroduceerd door Hinton, biedt een biologisch plausibel alternatief door de voorwaartse-terugwaartse pass te vervangen door twee voorwaartse passes (positief en negatief) en elke laag te trainen met een lokale "goedheid"-doelstelling. Echter, FF blijft consequent achter bij BP in nauwkeurigheid. Een centrale, onopgeloste vraag is of deze prestatiekloof voortkomt uit de inherente beperkingen van lokaal leren (het bijwerken van parameters met uitsluitend lokale informatie) of uit de specifieke contrastieve goedheidsdoelstelling die in FF wordt gebruikt (die steunt op positief-negatieve dubbele passes en een op drempels gebaseerde verliesfunctie). De strakke koppeling van deze twee ontwerpkeuzes in de oorspronkelijke FF-formulering heeft het moeilijk gemaakt om de bron van het prestatiegebrek te isoleren.

Methodologie
De auteurs stellen een decompositie van het FF-algoritme voor om twee kerncomponenten te scheiden: (1) het gebruik van lokale foutsignalen (laag-lokaal leren) en (2) de contrastieve goedheidstrainingsobjectief. Om te onderzoeken of de doelstelling of de localiteit de primaire bottleneck is, introduceren de auteurs Mono-Forward (MF).

MF is een vereenvoudigde variant van FF die de structuur van laag-lokaal leren behoudt, maar de trainingsobjectief fundamenteel verandert:

1. Vervanging van de doelstelling: In plaats van de oorspronkelijke FF-contrastieve doelstelling met positief-negatieve dubbele passes, past MF een standaard cross-entropy-doelstelling voor meervoudige klassen lokaal toe op elke laag.
2. Architectuur: Elke laag $i$ is uitgerust met een laagspecifieke "goedheidsmatrix" $M_i \in \mathbb{R}^{n \times m}$ (waarbij $n$ het aantal neuronen is en $m$ het aantal klassen). Gegeven een activatievector $a_i$, berekent de laag een goedheidsvector $g_i = a_i^\top M_i$.
3. Training: Een lokale cross-entropy-verliesfunctie wordt direct berekend uit deze goedheidsscores om de parameters van die specifieke laag en zijn goedheidsmatrix bij te werken. De activaties worden vervolgens losgekoppeld en naar de volgende laag doorgegeven.
4. Voorspelling: Tijdens inferentie kan MF ofwel goedheidsscores over alle lagen accumuleren, ofwel uitsluitend vertrouwen op de goedheidsscores van de laatste laag; dit laatste is geheugenefficiënter.

Het artikel voert ook uitgebreide ablatiestudies uit om de impact van globale foutpropagatie, goedheidsdoelstellingen met volledige vergelijking (FC-FF) en inter-laag L2-normalisatie te analyseren. Hieruit blijkt dat de oorspronkelijke FF-doelstelling een aanzienlijke bron van prestatiedegradatie is in vergelijking met standaard classificatiedoelstellingen.

Belangrijkste bijdragen

• Decompositie van FF: Het artikel biedt een conceptuele decompositie die aantoont dat de prestatiekloof tussen FF en BP niet uitsluitend te wijten is aan localiteit, maar substantieel wordt beïnvloed door de inefficiëntie van de oorspronkelijke contrastieve goedheidsdoelstelling voor toezicht op classificatietaken.
• Mono-Forward (MF): De introductie van MF als een minimale, gecontroleerde baseline voor lokaal leren. Het isoleert het effect van de FF-doelstelling door deze te vervangen door een standaard cross-entropy-verlies, terwijl lokale parameterupdates behouden blijven.
• Empirische validatie: Uitgebreide experimenten over MLP's, Convolutional Neural Networks (CNN's) en MLP-Mixer-architecturen op datasets zoals MNIST, FashionMNIST, CIFAR-10/100, PathMNIST en TinyImageNet.
• Analyse van geheugenefficiëntie: Een gedetailleerde analyse van geheugengebruik, waarbij wordt benadrukt dat MF, hoewel het het geheugengebruik in MLP-instellingen verlaagt, in CNN's hogere kosten kan hebben dan BP vanwege de opslag van goedheidsmatrices voor hoogresolutie-kenmerkkaarten.

Resultaten

• Verbeteringen in nauwkeurigheid: Over MLP-benchmarks heen presteert MF consequent beter dan standaard FF en verschillende FF-varianten (zoals Collaborative FF en SymBa). Op MLP's bereikt MF een nauwkeurigheid die vergelijkbaar is met BP, met een lichte overtreffing op MNIST en FashionMNIST, en blijft het concurrerend op CIFAR-10 en CIFAR-100.
• Prestaties van MLP-Mixer: Op PathMNIST overtreft MF BP lichtjes in nauwkeurigheid (89,32% versus 87,62% in een specifieke configuratie) terwijl het slechts 31% van het geheugen verbruikt dat door BP wordt gebruikt.
• Beperkingen van CNN's: Bij toepassing op CNN's schaalt het geheugencost van MF mee met de ruimtelijke resolutie en het aantal klassen, wat soms de geheugengebruik van BP overtreft, in tegenstelling tot volledig verbonden MLP's waar het aanzienlijke besparingen biedt.
• Kwaliteit van representatie: Analyse met behulp van linear-probe-nauwkeurigheid, k-NN-nauwkeurigheid en de Fisher-ratio geeft aan dat MF sterkere laag-voor-laag representaties leert dan standaard FF, met name in diepere lagen, en concurrerend blijft met BP.
• Hardware-efficiëntie: MF toont een verminderde wandkloktijd per epoch op CPU's (0,88–0,93x van de BP-tijd), maar is trager op GPU's (1,18x van de BP-tijd) vanwege het ontbreken van sterk geoptimaliseerde kernels voor laag-lokale doelstellingen in vergelijking met standaard backpropagation.

Betekenis en claims
Het artikel beweert dat de primaire beperking van het Forward-Forward-algoritme in toezichtsituaties niet de localiteit van de updates is, maar de specifieke contrastieve doelstelling die het hanteert. Door deze factoren te ontkoppelen, tonen de auteurs aan dat lokaal leren zeer effectief kan zijn wanneer het wordt gekoppeld aan een standaard classificatiedoelstelling.

De betekenis van Mono-Forward is tweeledig:

1. Praktisch: Het biedt een trainingsmethode die nauwkeurigheid dicht bij backpropagation bereikt met aanzienlijk verminderde geheugeneisen in specifieke architecturen (MLP's en MLP-Mixers), wat de toegankelijkheid voor omgevingen met beperkte middelen mogelijk kan verbeteren.
2. Analytisch: Het dient als een "gecontroleerde sonde" voor het veld van lokaal leren. De auteurs stellen dat het vergelijken van een methode voor lokaal leren met een variant die de localiteitsbeperking opheft (door globale foutsignalen in te voeren), een nuttige strategie is om te bepalen of prestatiekloven worden veroorzaakt door localiteit of door de keuze van de trainingsobjectief.

De auteurs blijven nederig en erkennen dat MF geen trouw biologisch model is (aangezien het nog steeds afhankelijk is van expliciete labels en op gradienten gebaseerde optimalisatie) en dat de efficiëntie afhankelijk is van de hardware. Zij claimen niet dat MF universeel superieur is aan BP, maar suggereren dat goed ontworpen lokale doelstellingen voordelig kunnen zijn in specifieke situaties, met name waar geheugenefficiëntie van het grootste belang is.