Hyperspherical Forward-Forward with Prototypical Representations

1. Problemstellung

Der Forward-Forward (FF)-Algorithmus, vorgeschlagen von Geoffrey Hinton, bietet eine biologisch inspirierte Alternative zur Backpropagation (BP), indem der Rückwärtsdurchlauf durch einen zweiten Vorwärtsdurchlauf ersetzt wird. Jede Schicht wird gierig auf einem lokalen Ziel trainiert, um „positive" Daten (korrekte Labels) von „negativen" Daten (falsche Labels) zu unterscheiden.

Das ursprüngliche FF-Algorithmus leidet jedoch unter einem kritischen Inferenz-Engpass:

• Ineffiziente Inferenz: Um ein einzelnes Testbild zu klassifizieren, muss das Netzwerk für jede mögliche Klasse einen separaten, vollständigen Vorwärtsdurchlauf durchführen, um einen „Güte"-Score für jede Klasse zu berechnen.
• Skalierbarkeitsproblem: Dies führt zu einem Inferenzkosten von $O(C)$, wobei $C$ die Anzahl der Klassen ist. Für große Datensätze wie ImageNet-1K (1.000 Klassen) oder CIFAR-100 (100 Klassen) macht dies die Inferenz rechnerisch prohibitiv und für den realen Einsatz unpraktisch.
• Binäre Einschränkung: Der ursprüngliche FF behandelt Lernen als binäre Diskriminierungsaufgabe (positiv vs. negativ) anstatt als direkte Mehrklassenklassifizierung, was seine Fähigkeit einschränkt, effizient trennbare Repräsentationen zu lernen.

2. Methodik: Hyperspherical Forward-Forward (HFF)

Die Autoren schlagen Hyperspherical Forward-Forward (HFF) vor, eine Neuformulierung des FF-Algorithmus, die den Inferenz-Engpass löst, indem das lokale Lernziel neu definiert wird.

Kerninnovationen

1. Hypersphärische Projektion:

   • Anstatt rohe Aktivierungsvektoren zu verwenden, projiziert HFF den Ausgang jeder Schicht auf eine Einheits-Hypersphäre ($S^{D-1}$) via $\ell_2$-Normalisierung.
   • $h^{(l)}_{norm} = \frac{h^{(l)}}{\|h^{(l)}\|_2}$.
   • Dies stellt sicher, dass sich das Lernen auf die Richtung (Winkelähnlichkeit) der Merkmale konzentriert und nicht auf deren Betrag, wodurch verhindert wird, dass Schichten den Betragsvektor ausnutzen, um die Verlustfunktion zu manipulieren.

2. Prototypische Repräsentationen (Geometrische Anker):

   • Jede Schicht lernt eine Menge klassenspezifischer, einheitsnormierter Prototypen $\{v^{(l)}_{c,p}\}$, wobei $c$ die Klasse und $p$ der Prototypenindex ist.
   • Diese Prototypen wirken als geometrische Anker im hypersphärischen Merkmalsraum und definieren einen einzigartigen Bereich für jede Klasse.
   • Im Gegensatz zum ursprünglichen FF, der explizite negative Stichproben erfordert, dienen diese Prototypen als implizite Negative.

3. Direktes Mehrklassenklassifizierungsziel:

   • Das lokale Ziel wird von der binären Gütediskriminierung auf eine direkte Mehrklassenklassifizierung verschoben.
   • Logit-Berechnung: Für einen normalisierten Merkmalsvektor $h^{(l)}_{norm}$ wird der Score für Klasse $c$ unter Verwendung des LogSumExp (LSE) der Ähnlichkeiten zwischen dem Merkmal und allen Prototypen dieser Klasse berechnet:
     $$g^{(l)}_{scores}[c] = \frac{1}{\tau} \log \sum_{p=1}^{P} e^{\tau \cdot (h^{(l)}_{norm})^T v^{(l)}_{c,p}}$$
     wobei $\tau$ ein Temperaturparameter ist, der die Weichheit der Max-Operation steuert.
   • Verlustfunktion: Ein glatter Margin-Verlust wird verwendet, um den Score der wahren Klasse zu maximieren und gleichzeitig die Scores aller anderen Klassen zu minimieren (implizit über den LSE der negativen Klassen behandelt):
     $$L^{(l)}_{HFF} = \log(1 + e^{-(g^{(l)}_{scores}[y] - \text{LSE}(g^{(l)}_{scores}[\neg y])))}$$

4. Ein-Pass-Inferenz:

   • Da das Modell in jeder Schicht gleichzeitig einen Vektor von Klassenscores für alle Klassen ausgibt, erfordert die Inferenz nur einen Vorwärtsdurchlauf.
   • Die endgültige Vorhersage ist einfach $\hat{c} = \arg\max_c G_{last}(x)[c]$.
   • Dies reduziert die Inferenzkomplexität relativ zur Anzahl der Klassen von $O(C)$ auf $O(1)$.

5. Anpassung an Faltungsnetzwerke:

   • HFF erweitert sich natürlich auf Convolutional Neural Networks (CNNs). Es entkoppelt das lokale Ziel von der Merkmalsextraktion und vermeidet die Notwendigkeit komplexer Label-Embeddings oder räumlicher Label-Masken, die von früheren FF-Varianten erforderlich waren.
   • Auxiliare 1x1-Faltungen werden verwendet, um die Merkmalsdimensionen für die hypersphärische Projektion anzupassen, ohne die Hauptnetzwerktiefe zu verändern.

3. Hauptbeiträge

• Auflösung des Inferenz-Engpasses: HFF ermöglicht eine Ein-Pass-Inferenz und macht den Forward-Forward-Algorithmus auf Datensätzen mit vielen Klassen >40x schneller als das ursprüngliche FF.
• Überlegene Genauigkeit: Die Methode erzielt State-of-the-Art-Ergebnisse unter backpropagation-freien Methoden und übertrifft deutlich den Standard-FF sowie andere lokale Lernalgorithmen (z. B. SymBa, FFCL).
• ImageNet-Skalierbarkeit: HFF gehört zu den ersten gierigen lokalen Lernmethoden, die Ergebnisse auf ImageNet-1K berichten, und erreicht 25,70% Top-1-Genauigkeit von Grund auf (from scratch) sowie 65,96% mit Transferlernen (was die Backpropagation-Baseline von 65,80% im Transfer-Setting übertrifft).
• Theoretische Stabilität: Die Autoren liefern eine theoretische Analyse, die zeigt, dass HFF-Schichten Lipschitz-stetig sind und im Vergleich zum betragsbasierten ursprünglichen FF eine inhärente Robustheit gegenüber Eingangsstörungen bieten.
• Interpretierbarkeit: Die schichtweise Natur von HFF ermöglicht eine feinkörnige Interpretierbarkeit, wobei jede Schicht eine gültige Klassenvorhersage liefert und Prototypen geometrische Einblicke in Klassencluster bieten.

4. Experimentelle Ergebnisse

Die Autoren evaluierten HFF auf MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 und ImageNet-1K.

• Inferenzgeschwindigkeit: Auf CIFAR-100 ist die HFF-Inferenz etwa 40x schneller als der Basis-FF-Algorithmus.
• Konvergenz: Obwohl HFF etwas mehr Trainingszeit als Backpropagation benötigt (1,7x), konvergiert es deutlich schneller als das ursprüngliche FF (das 9,5x länger als BP dauert).
• Ablationsstudien:
  • Verlustplatzierung: Ein Verlust nach der Aktivierung (nach ReLU) liefert eine bessere Stabilität als vor der Aktivierung.
  • Prototypen: Ein einzelner Prototyp pro Klasse ($P=1$) ist im Allgemeinen ausreichend und optimal für die Generalisierung, obwohl komplexe Datensätze von $P>1$ profitieren können.
  • Normalisierung: Die Projektion von Merkmalen auf die Einheits-Hypersphäre ist entscheidend für die Leistung.

5. Bedeutung

Diese Arbeit stellt einen großen Schritt vorwärts im biologisch plausiblen Deep Learning dar.

1. Praktische Machbarkeit: Durch die Lösung des Inferenz-Engpasses macht HFF lokales, backpropagation-freies Lernen zu einem viable Kandidaten für reale Anwendungen, insbesondere in ressourcenbeschränkten Umgebungen (z. B. Edge-Geräte), wo Backpropagation zu speicherintensiv ist.
2. Überbrückung der Lücke: HFF verringert die Leistungslücke zwischen lokalem Lernen und Backpropagation, insbesondere auf großen Datensätzen wie ImageNet, und stellt die Annahme in Frage, dass ein globaler Gradientenfluss für leistungsstarkes Deep Learning strikt notwendig ist.
3. Geometrisches Lernen: Der Wechsel zu hypersphärischen Merkmalsräumen und prototypischem Lernen bietet eine neue Perspektive darauf, wie neuronale Netzwerke diskriminierende Repräsentationen ohne globale Fehlersignale lernen können, was sich stärker mit biologischen Lernmechanismen deckt.

Zusammenfassend transformiert Hyperspherical Forward-Forward den Forward-Forward-Algorithmus erfolgreich von einer theoretischen Neugier mit praktischen Einschränkungen in eine skalierbare, leistungsstarke und effiziente Alternative zur Backpropagation.