Sparse Goodness: How Selective Measurement Transforms Forward-Forward Learning

Diese Arbeit zeigt, dass die Einführung von Sparsity in die Gütefunktion des Forward-Forward-Algorithmus – insbesondere durch adaptive, lernbare Sparsity mittels alpha-entmax – die Genauigkeit auf Fashion-MNIST im Vergleich zur herkömmlichen Sum-of-Squares-Methode drastisch verbessert und damit die Sparsity als entscheidenden Designfaktor für Forward-Forward-Netze etabliert.

Das Wesentliche

Das große Problem: Der "Lärm" im Gehirn

Stell dir vor, du versuchst, ein neues Gehirn (ein neuronales Netzwerk) zu programmieren, das Bilder erkennt – zum Beispiel, ob auf einem Foto ein T-Shirt oder eine Jacke zu sehen ist.

Das herkömmliche Verfahren (Backpropagation) ist wie ein strenger Lehrer, der dem Schüler von hinten auf die Schulter klopft und sagt: "Du hast hier einen Fehler gemacht, korrigiere das!" Das funktioniert gut, ist aber biologisch gesehen unecht. Unser Gehirn lernt anders: Es schaut sich nur das an, was gerade passiert, und bewertet, ob das Ergebnis "gut" oder "schlecht" ist.

Das neue Verfahren, das in diesem Papier vorgestellt wird, heißt Forward-Forward (FF). Es ist wie ein Schüler, der selbstständig lernt:

1. Er sieht ein Bild mit dem richtigen Label (z. B. "T-Shirt").
2. Er sieht ein Bild mit dem falschen Label (z. B. "Jacke").
3. Jede Schicht des Gehirns muss entscheiden: "Ist das, was ich gerade sehe, gut (für das T-Shirt) oder schlecht (für die Jacke)?"

Bisher gab es nur eine einzige Regel, um zu messen, was "gut" ist: Summe der Quadrate (SoS).

• Die alte Regel: "Zähle die Energie aller Neuronen zusammen." Stell dir vor, du hast 1000 Lampen im Raum. Die alte Regel sagt: "Je heller das gesamte Zimmer leuchtet, desto besser."
• Das Problem: Wenn alle 1000 Lampen nur ein bisschen schwach glimmen, summiert sich das zu einer hohen Zahl. Das Gehirn lernt nicht, welche Lampen wichtig sind, sondern nur, dass viele Lampen angehen müssen. Es ist wie ein lautes Gemurmel, bei dem man die wichtigen Worte nicht versteht.

Die Lösung: "Die Besten auswählen" (Sparse Goodness)

Die Autoren sagen: "Halt! Wir müssen nicht das ganze Zimmer zählen. Wir sollten uns nur auf die hellsten Lampen konzentrieren."

Sie haben drei neue Ideen entwickelt, die wie ein Scharfschütze statt wie ein Bomber arbeiten:

1. Top-k Goodness: Der "Top-5-Liste"-Ansatz

Statt alle 1000 Lampen zu zählen, schauen wir uns nur die k hellsten an (z. B. die Top 20).

• Die Analogie: Stell dir vor, du bewertest einen Sänger. Die alte Regel sagt: "Je mehr Leute im Publikum klatschen, desto besser." Die neue Regel sagt: "Nur die 5 lautesten Klatscher zählen."
• Der Effekt: Das Gehirn lernt, dass es nicht reicht, einfach nur "etwas" zu machen. Es muss starke, klare Signale senden. Die schwachen, verwirrenden Signale werden ignoriert.
• Ergebnis: Das Gehirn wird viel schlauer. Auf dem Test "Fashion-MNIST" (eine Art Mode-Quiz) stieg die Leistung von 56 % auf fast 80 %. Das ist ein riesiger Sprung!

2. Entmax-Goodness: Der "intelligente Filter"

Top-k ist gut, aber etwas starr (immer genau 20 Lampen). Was, wenn das Gehirn manchmal 10 Lampen braucht und manchmal 30?
Die Autoren nutzen einen cleveren mathematischen Trick (Entmax), der dem Gehirn erlaubt, selbst zu entscheiden, wie viele Lampen wichtig sind.

• Die Analogie: Ein Top-k-Filter ist wie ein Stuhl mit genau 5 Plätzen. Ein Entmax-Filter ist wie ein magnetischer Stuhl, der sich je nach Besucher anpasst. Manchmal sitzen 3 Leute, manchmal 15, aber immer nur die, die wirklich wichtig sind.
• Das Ergebnis: Das Gehirn findet den perfekten Mittelweg. Es ist nicht zu chaotisch (alle Lampen an) und nicht zu starr (nur 5 Lampen). Es erreicht 87,1 % Genauigkeit.

3. FFCL: Der "Geheimcode" in jeder Schicht

Bisher wurde dem Gehirn nur am Anfang gesagt: "Das ist ein T-Shirt." Die tieferen Schichten des Gehirns mussten das nur raten.
Die Autoren haben eine neue Methode eingeführt, bei der das Gehirn in jeder einzelnen Schicht eine kleine Erinnerung bekommt: "Vergiss nicht, wir suchen nach einem T-Shirt!"

• Die Analogie: Stell dir vor, du suchst nach einem Schlüssel in einem Haus.
  • Alt: Du wirst ins Haus geschickt und musst selbst herausfinden, was du suchst.
  • Neu (FFCL): In jedem Raum (jeder Schicht) hängt ein Schild: "Achtung, Schlüssel suchen!"
• Der Effekt: Das Gehirn lernt viel schneller und präziser, weil es nie den Fokus verliert.

Das große Geheimnis: Weniger ist mehr (Sparsity)

Das wichtigste Fazit der Studie ist ein einfaches Prinzip: Sparsamkeit ist der Schlüssel.

• Zu viel Information (Dicht): Wenn man alles zählt, wird das Signal verrauscht. Das Gehirn wird verwirrt.
• Zu wenig Information (Starr): Wenn man zu streng filtert, verpasst man wichtige Details.
• Der Goldilocks-Effekt (Die "Goldlöckchen"-Zone): Das perfekte Ergebnis liegt genau in der Mitte. Man braucht adaptive Sparsamkeit. Das Gehirn muss lernen, sich auf das Wesentliche zu konzentrieren und den Rest als Hintergrundrauschen zu ignorieren.

Warum ist das wichtig?

Bisher dachte man, die Art und Weise, wie man die "Güte" misst, sei nebensächlich. Diese Studie zeigt, dass es die wichtigste Entscheidung ist.

• Mit der alten Methode (SoS) war das Gehirn wie ein Student, der alles auswendig lernt, aber nichts versteht.
• Mit der neuen Methode (Top-k & Entmax) ist das Gehirn wie ein erfahrener Detektiv, der sofort erkennt, welche Spur wichtig ist und welche Ablenkung ist.

Zusammenfassend:
Die Autoren haben das Gehirn nicht größer gemacht (es hat immer noch die gleiche Anzahl an Neuronen), sondern sie haben ihm beigebracht, besser zuzuhören. Anstatt auf das ganze Gemurmel zu hören, hat es gelernt, nur auf die lautesten, wichtigsten Stimmen zu achten. Das Ergebnis ist ein viel schlaueres System, das mit weniger Rechenleistung mehr erreicht.

Technische Zusammenfassung

1. Problemstellung

Der Forward-Forward (FF)-Algorithmus, eingeführt von Geoffrey Hinton, stellt eine biologisch plausible Alternative zum Backpropagation-Verfahren dar. Statt eines globalen Rückwärtsdurchlaufs trainiert FF jede Schicht lokal, indem er eine „Goodness"-Funktion (Güte-Funktion) maximiert, die positive Daten (korrekte Labels) von negativen Daten (falsche Labels) unterscheidet.

Das zentrale Problem, das in diesem Paper adressiert wird, ist die starre Abhängigkeit von der Sum-of-Squares (SoS) als Standard-Goodness-Funktion. Seit der Einführung des FF-Algorithmus wurde $g(h) = \frac{1}{d} \sum h_i^2$ (der Durchschnitt der quadrierten Aktivierungen) als einzige relevante Funktion betrachtet. Die Autoren argumentieren, dass diese Annahme suboptimal ist:

• SoS belohnt die gesamte Aktivierungsenergie, was zu diffusen Signalen führen kann.
• Es wurde bisher nicht systematisch untersucht, welche Aktivierungen gemessen werden sollten oder wie sie aggregiert werden sollten.
• Eine suboptimale Goodness-Funktion begrenzt fundamental das Potenzial von FF-Netzwerken.

2. Methodik

Die Autoren untersuchen den Designraum der Goodness-Funktionen und kombinieren dies mit einer verbesserten Architektur für die Label-Einspeisung.

A. Sparse Goodness-Funktionen (Selektive Messung)

Statt alle Neuronen zu gewichten, schlagen sie Funktionen vor, die nur die aktivsten Neuronen betrachten:

1. Top-k Goodness: Misst nur den Durchschnitt der Aktivierungen der $k$ am stärksten aktiven Neuronen.
   • Formel: $g_{top-k}(h) = \frac{1}{k} \sum_{i \in S_k(h)} h_i$, wobei $S_k$ die Indizes der $k$ größten Werte sind.
   • Effekt: Erzeugt ein fokussiertes Lernsignal, das starke Spitzenaktivitäten für positive Daten belohnt und schwache, diffuse Aktivitäten ignoriert.
2. Entmax-gewichtete Energie: Eine differenzierbare Alternative zur harten Top-k-Auswahl.
   • Nutzt die $\alpha$-entmax-Transformation, um eine sparse Wahrscheinlichkeitsverteilung $\pi$ über die Neuronen zu lernen.
   • Formel: $g_{entmax}(h; \alpha) = \sum \pi_i h_i^2$.
   • Der Parameter $\alpha$ steuert die Sparsität: $\alpha=1$ entspricht Softmax (dicht), $\alpha=2$ entspricht Sparsemax (hart), und intermediate Werte (z. B. 1.5) ermöglichen eine adaptive Sparsität, bei der die Anzahl der gewichteten Neuronen vom Eingabesignal abhängt.

B. Separate Label-Feature Forwarding (FFCL)

Im Standard-FF werden Labels nur am Eingang (Schicht 1) mit den Eingabedaten verkettet. Tiefere Schichten erhalten keine direkten Label-Informationen.

• Die Autoren nutzen FFCL (Forward-Forward with Cortical Loops): In jeder Schicht wird die Klassen-Hypothese (Label) über einen separaten linearen Projektionspfad ($W^{label}_\ell$) in die Aktivierung eingespeist.
• Die Goodness wird auf der kombinierten Darstellung berechnet, aber nur die reinen Merkmalsaktivierungen (ohne Label) werden an die nächste Schicht weitergegeben. Dies liefert ein stärkeres Trainingssignal für jede Schicht.

C. Aktivierungsfunktionen

Es wird untersucht, wie Aktivierungsfunktionen (ReLU, GELU, Swish) mit den Goodness-Funktionen interagieren. GELU und Swish erzeugen dichtere Aktivierungsmuster, was für sparse Goodness-Funktionen vorteilhaft ist, da sie echte Spitzen aus einer reichhaltigeren Verteilung auswählen können.

3. Wichtige Beiträge

1. Identifikation der Sparsität als Schlüsselfaktor: Die Autoren etablieren, dass Sparsität in der Goodness-Funktion der wichtigste Design-Entscheid für FF-Netzwerke ist.
2. Einführung von Top-k Goodness: Zeigt eine drastische Leistungssteigerung (+22,6 Prozentpunkte auf Fashion-MNIST) gegenüber SoS.
3. Entmax-gewichtete Energie: Führt eine adaptive, lernbare Sparsität ein, die die harte Top-k-Auswahl weiter verbessert.
4. Kombination mit FFCL: Zeigt, dass die separate Label-Einspeisung eine orthogonale Verbesserung liefert, die sich mit besseren Goodness-Funktionen kumuliert.
5. Sparsitäts-Spektrum-Analyse: Durch kontrollierte Experimente wird gezeigt, dass die Leistung eine invertierte-U-Kurve in Abhängigkeit von der Sparsität aufweist. Weder vollständig dicht ($\alpha=1$) noch maximal sparsam ($\alpha=2$) sind optimal; der Sweet Spot liegt bei adaptiver Sparsität ($\alpha \approx 1,5$).
6. Interaktion Goodness $\times$ Aktivierung: Es wird aufgezeigt, dass SoS mit glatten Aktivierungen (GELU/Swish) degradieren, während sparse Funktionen davon profitieren.

4. Ergebnisse

Die Experimente wurden auf MNIST und Fashion-MNIST (schwieriger) mit einem 4-Schichten-Netzwerk (4x2000 Einheiten) durchgeführt.

• Leistung auf Fashion-MNIST:
  • Baseline (SoS + ReLU): 56,41 %
  • Top-k (Swish): 79,03 % (+22,6 pp)
  • FFCL + Entmax-1.5 (GELU): 87,12 % (+30,7 pp gegenüber der Baseline).
  • Dies stellt einen neuen State-of-the-Art dar und übertrifft frühere Benchmarks (z. B. Shah & Tripathi 2025) um über 4 Prozentpunkte, obwohl diese Peer-Normalisierung und zusätzliche Klassifikatoren verwendeten.
• Robustheit: Die FFCL-Architektur ist bemerkenswert robust gegenüber der Wahl von $k$ (bei Top-k), während die Standard-FF-Architektur empfindlicher reagiert.
• Skalierbarkeit: Top-k-Goodness skaliert besser mit größeren Netzwerken als SoS. Ein kleineres Netzwerk mit Top-k (2x500) schlug ein viermal größeres Netzwerk mit SoS (4x2000).

5. Bedeutung und Fazit

Das Paper liefert einen Paradigmenwechsel für das Forward-Forward-Lernen:

• Prinzip: Die Qualität der Goodness-Funktion hängt primär von der Sparsität ab. Das Netzwerk sollte nicht die gesamte Energie messen, sondern sich auf die signifikantesten Signale konzentrieren.
• Optimierung: Die optimale Strategie ist adaptive Sparsität (via $\alpha$-entmax bei $\alpha \approx 1,5$), die einen Kompromiss zwischen der Starrheit von Top-k und der Informationsverdünung von Softmax findet.
• Biologische Plausibilität: Die Ergebnisse unterstützen die Theorie des Sparse Coding und des „k-Winners-Take-All"-Mechanismus, bei dem verschiedene Klassen unterschiedliche Neuronen-Subsets rekrutieren, um diskriminierende Repräsentationen zu bilden.

Zusammenfassend zeigen die Autoren, dass durch die Änderung der Goodness-Funktion und des Label-Pfads (ohne Änderung der Netzarchitektur oder Hyperparameter-Optimierung) die Leistung von FF-Netzwerken drastisch gesteigert werden kann, was FF als leistungsfähige Alternative zu Backpropagation weiter etabliert.