Hyperspherical Forward-Forward with Prototypical Representations

1. Probleemstelling

Het Forward-Forward (FF) algoritme, voorgesteld door Geoffrey Hinton, biedt een bio-geïnspireerd alternatief voor backpropagation (BP) door de terugwaartse pass te vervangen door een tweede voorwaartse pass. Elke laag wordt gulzig getraind op een lokaal doel om "positieve" data (juiste labels) te onderscheiden van "negatieve" data (onjuiste labels).

Het oorspronkelijke FF-algoritme lijdt echter aan een kritieke inferentie-flesnek:

• Inefficiënte Inferentie: Om een enkele testafbeelding te classificeren, moet het netwerk een aparte, volledige voorwaartse pass uitvoeren voor elke mogelijke klasse om een "goedheidsscore" (goodness score) voor elke klasse te berekenen.
• Schalbaarheidsprobleem: Dit resulteert in een inferentiekost van $O(C)$, waarbij $C$ het aantal klassen is. Voor grote datasets zoals ImageNet-1K (1.000 klassen) of CIFAR-100 (100 klassen) maakt dit inferentie computatief onhaalbaar en onpraktisch voor implementatie in de echte wereld.
• Binair Beperking: Het oorspronkelijke FF behandelt leren als een binaire discriminatietaken (positief versus negatief) in plaats van directe meer-klasse classificatie, wat zijn vermogen beperkt om efficiënt scheidbare representaties te leren.

2. Methodologie: Hyperspherical Forward-Forward (HFF)

De auteurs stellen Hyperspherical Forward-Forward (HFF) voor, een herformulering van het FF-algoritme die de inferentie-flesnek oplost door het lokale leerdoel te herdefiniëren.

Kerninnovaties

1. Hypersferische Projectie:

   • In plaats van het gebruik van ruwe activatievectoren, projecteert HFF de output van elke laag op een eenheidshypersfeer ($S^{D-1}$) via $\ell_2$-normalisatie.
   • $h^{(l)}_{norm} = \frac{h^{(l)}}{\|h^{(l)}\|_2}$.
   • Dit zorgt ervoor dat leren zich richt op de richting (hoekgelijkheid) van kenmerken in plaats van hun grootte, waardoor lagen worden voorkomen dat ze de vectorgrootte uitbuiten om de verliesfunctie te omzeilen.

2. Prototypische Representaties (Geometrische Ankers):

   • Elke laag leert een set klasspecifieke, eenheidsnorm prototypes $\{v^{(l)}_{c,p}\}$, waarbij $c$ de klasse is en $p$ de prototype-index.
   • Deze prototypes fungeren als geometrische ankers in de hypersferische kenruimte en definiëren een uniek gebied voor elke klasse.
   • In tegenstelling tot het oorspronkelijke FF, dat expliciete negatieve steekproeven vereist, dienen deze prototypes als impliciete negatieven.

3. Directe Doelstelling voor Meer-klasse Classificatie:

   • Het lokale doel verschuift van binaire goedheidsdiscriminatie naar directe meer-klasse classificatie.
   • Logit-berekening: Voor een genormaliseerde kenvector $h^{(l)}_{norm}$ wordt de score voor klasse $c$ berekend met behulp van de LogSumExp (LSE) van gelijkenissen tussen het kenmerk en alle prototypes van die klasse:
     $$g^{(l)}_{scores}[c] = \frac{1}{\tau} \log \sum_{p=1}^{P} e^{\tau \cdot (h^{(l)}_{norm})^T v^{(l)}_{c,p}}$$
     waarbij $\tau$ een temperatuurparameter is die de zachtheid van de max-operatie regelt.
   • Verliesfunctie: Een gladde randverliesfunctie (smooth margin loss) wordt gebruikt om de score van de ware klasse te maximaliseren terwijl de scores van alle andere klassen worden geminimaliseerd (impliciet afgehandeld via de LSE van negatieve klassen):
     $$L^{(l)}_{HFF} = \log(1 + e^{-(g^{(l)}_{scores}[y] - \text{LSE}(g^{(l)}_{scores}[\neg y])))}$$

4. Inferentie in Eén Pass:

   • Omdat het model op elke laag een vector van klassescores voor alle klassen simultaan output, vereist inferentie slechts één voorwaartse pass.
   • De uiteindelijke voorspelling is simpelweg $\hat{c} = \arg\max_c G_{last}(x)[c]$.
   • Dit reduceert de inferentiecomplexiteit van $O(C)$ naar $O(1)$ ten opzichte van het aantal klassen.

5. Convolutionele Adaptatie:

   • HFF breidt zich natuurlijk uit tot Convolutionele Neurale Netwerken (CNN's). Het ontkoppelt het lokale doel van kenextractie, waardoor de noodzaak voor complexe label-inbedding of ruimtelijke labelmaskers die door eerdere FF-varianten werden vereist, wordt vermeden.
   • Auxiliaire 1x1-convoluties worden gebruikt om kenmaten aan te passen voor de hypersferische projectie zonder de hoofdiepte van het netwerk te wijzigen.

3. Belangrijkste Bijdragen

• Oplossing van de Inferentie-flesnek: HFF maakt inferentie in één pass mogelijk, waardoor het Forward-Forward-algoritme >40x sneller is dan het oorspronkelijke FF op datasets met veel klassen.
• Superieure Nauwkeurigheid: De methode bereikt state-of-the-art resultaten onder backpropagation-vrije methoden, waarbij het aanzienlijk presteert boven standaard FF en andere lokale leeralgoritmen (bijv. SymBa, FFCL).
• ImageNet-schalbaarheid: HFF is een van de eerste gulzige lokaal-leer methoden die resultaten rapporteert op ImageNet-1K, met 25,70% Top-1 nauwkeurigheid vanaf scratch en 65,96% met transfer learning (wat zijn backpropagation-baseline van 65,80% in de transfer-instelling overtreft).
• Theoretische Stabiliteit: De auteurs bieden een theoretische analyse die aantoont dat HFF-lagen Lipschitz-continu zijn, wat inherente robuustheid biedt tegen inputverstoringen in vergelijking met de op grootte gebaseerde oorspronkelijke FF.
• Interpreteerbaarheid: De laag-voor-laag aard van HFF maakt fijnmazige interpreteerbaarheid mogelijk, waarbij elke laag een geldige klassenvoorspelling produceert en prototypes geometrische inzichten bieden in klassenclusters.

4. Experimentele Resultaten

De auteurs evalueerden HFF op MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 en ImageNet-1K.

• Inferentiesnelheid: Op CIFAR-100 is HFF-inferentie ongeveer 40x sneller dan het basis FF-algoritme.
• Convergentie: Hoewel HFF iets meer trainingstijd vereist dan backpropagation (1,7x), convergeert het aanzienlijk sneller dan het oorspronkelijke FF (wat 9,5x langer duurt dan BP).
• Ablatiestudies:
  • Verliesplaatsing: Verlies na activatie (na ReLU) levert betere stabiliteit op dan verlies voor activatie.
  • Prototypes: Eén prototype per klasse ($P=1$) is over het algemeen voldoende en optimaal voor generalisatie, hoewel complexe datasets kunnen profiteren van $P>1$.
  • Normalisatie: Het projecteren van kenmerken op de eenheidshypersfeer is cruciaal voor de prestaties.

5. Betekenis

Dit werk vertegenwoordigt een grote stap voorwaarts in biologisch plausibel diep leren.

1. Praktische Haalbaarheid: Door de inferentie-flesnek op te lossen, maakt HFF lokaal, backpropagation-vrij leren een haalbare kandidaat voor toepassingen in de echte wereld, met name in omgevingen met beperkte middelen (bijv. randapparaten) waar backpropagation te geheugenintensief is.
2. Overbrugging van de Kloof: HFF verkleint de prestatiekloof tussen lokaal leren en backpropagation, vooral op grote datasets zoals ImageNet, en daagt het idee uit dat globale gradiëntstroom strikt noodzakelijk is voor high-performance diep leren.
3. Geometrisch Leren: De verschuiving naar hypersferische kenruimtes en prototypisch leren biedt een nieuw perspectief op hoe neurale netwerken discriminerende representaties kunnen leren zonder globale errorsignalen, wat meer in lijn ligt met biologische leermechanismen.

Concluderend transformeert Hyperspherical Forward-Forward het Forward-Forward-algoritme succesvol van een theoretische curiositeit met praktische beperkingen naar een schaalbaar, hoogpresterend en efficiënt alternatief voor backpropagation.