Sparse Goodness: How Selective Measurement Transforms Forward-Forward Learning

Dit paper introduceert selectieve en adaptief-sparse 'goodness'-functies, zoals top-k en entmax-gewogen energie, die samen met een verbeterde label-forwarding-methode de prestaties van het Forward-Forward-algoritme op Fashion-MNIST aanzienlijk verbeteren en aantonen dat sparsiteit de belangrijkste ontwerpfactor is.

De kern

Stel je voor dat je een groep jonge kunstenaars (de neurale netwerken) wilt leren om schilderijen te herkennen. In de traditionele manier van leren (backpropagation) kijkt een meester naar het hele schilderij, ziet één foutje, en stuurt een boodschap terug naar elke penseelstreek: "Dit hier was verkeerd, doe het anders." Dit werkt goed, maar het is niet hoe ons brein werkt.

De Forward-Forward (FF) methode, bedacht door de legendarische AI-pionier Geoffrey Hinton, is een biologischere aanpak. In plaats van terugkijken, leert elke laag van het netwerk terwijl het kijkt. Elke laag moet een oordeel vellen: "Is dit een goed voorbeeld (een echte kat) of een slecht voorbeeld (een hond die we als kat hebben voorgesteld)?"

Maar hoe meet je of een laag een "goed" oordeel heeft geveld? Dat is waar deze paper een revolutionaire ontdekking doet.

Het oude probleem: De "Gemiddelde" Fout

Tot nu toe gebruikten onderzoekers een simpele regel om een goed oordeel te meten: SoS (Sum-of-Squares).

• De analogie: Stel je voor dat je een klaslokaal hebt met 100 leerlingen. De SoS-regel zegt: "Tel de energie van alle 100 leerlingen bij elkaar op."
• Het probleem: Als 99 leerlingen slapen (niet actief) en 1 leerling schreeuwt van enthousiasme, telt de SoS-regel die ene schreeuw, maar wordt het gemiddelde toch erg klein door de 99 slapende kinderen. Het signaal is verwaterd. Het is alsof je probeert een flitsende bliksemschicht te zien door te kijken naar een hele donkere hemel; de bliksem is er, maar het gemiddelde licht is nog steeds donker.

De oplossing: Kijk alleen naar de besten!

De auteurs van dit paper zeggen: "Waarom kijken we naar iedereen? Laten we alleen kijken naar de top-k leerlingen die het hardst schreeuwen."

1. Top-k Goeds (De Selectieve Oogst):
   In plaats van alle 100 leerlingen te tellen, kijken we alleen naar de top 5 die het hardst schreeuwen.

   • Waarom werkt dit? Omdat het netwerk nu wordt beloond voor het produceren van een paar heel sterke, duidelijke signalen, in plaats van een zwakke ruis van iedereen. Het is alsof je in een drukke markt niet naar het gemiddelde volume luistert, maar alleen naar de stemmen van de verkopers die het hardst roepen. Dit bleek enorm effectief: het verbeterde de prestaties met maar liefst 22,6%!

2. Entmax (De Slimme, Leerzame Selectie):
   Top-k is goed, maar het is een beetje stug: "Altijd precies de top 5." Wat als er vandaag 3 heel goede zijn en morgen 10?
   De auteurs introduceerden Entmax. Dit is als een slimme manager die niet vastzit aan een getal, maar leert hoeveel mensen er belangrijk zijn voor de specifieke situatie.

   • De analogie: Soms heb je een klein, strak team nodig (weinig mensen), soms een grotere groep. Entmax past dit automatisch aan. Ze ontdekten dat de "gouden middenweg" (niet te veel, niet te weinig) de beste resultaten gaf.

De Tweede Grootte: Het Label-Injectie-Principe

Er was nog een tweede verbetering. In de oude methode kregen de lagen alleen het plaatje te zien, en pas aan het begin werd gezegd: "Dit is een kat." De diepere lagen zagen de kat nooit direct.
De auteurs gebruikten een methode (FFCL) waarbij elke laag direct een hint krijgt: "Denk eraan, dit zou een kat kunnen zijn."

• De analogie: Het is alsof je een detective (de laag) niet alleen de foto van de verdachte laat zien, maar ook fluistert: "Hij draagt een rode hoed." Elke laag krijgt deze hint, waardoor ze veel sneller en slimmer kunnen oordelen.

Het Grote Resultaat

Door deze twee dingen te combineren (kijken naar de besten in plaats van het gemiddelde, én elke laag direct een hint geven), sprongen ze van een prestatie van 56% naar 87% op een moeilijke taak (het herkennen van kledingstukken op foto's).

De Gouden Leerregel: "Sparsiteit"

De belangrijkste conclusie van het paper is een simpele, krachtige regel: Kies kwaliteit boven kwantiteit.

• Te veel informatie (Dicht): Je wordt overweldigd door ruis.
• Te weinig informatie (Te spaarzaam): Je mist belangrijke details.
• De perfecte balans (Adaptieve Sparsiteit): Kijk alleen naar de meest relevante signalen, en laat de rest links liggen.

Samenvattend in één zin:
In plaats van te proberen het gemiddelde van een hele menigte te meten, leer je het netwerk om te luisteren naar de helderste stemmen in de menigte, en geef je elke laag een directe hint over wat ze moeten zoeken. Dat maakt het systeem veel slimmer, sneller en efficiënter.

Technische samenvatting

Probleemstelling

Het Forward-Forward (FF) algoritme, ontwikkeld door Geoffrey Hinton, is een biologisch plausibel alternatief voor backpropagation. In plaats van een globale achterwaartse pass te gebruiken, traint het FF-algoritme neurale netwerken laag voor laag met een lokale "goedheidsfunctie" (goodness function). Deze functie moet onderscheid maken tussen positieve data (correct gelabelde invoer) en negatieve data (incorrect gelabelde invoer).

Sinds de introductie van FF is Sum-of-Squares (SoS) de enige gebruikte goedheidsfunctie geweest. SoS berekent het gemiddelde van de kwadraten van alle activaties in een laag ($g(h) = \frac{1}{d}\sum h_i^2$). De auteurs betogen dat deze keuze fundamenteel beperkend is:

1. SoS belooft diffuse totale activiteit in plaats van selectieve, sterke pieken.
2. Er is geen eerdere studie die de interactie tussen de goedheidsfunctie, activatiefuncties, label-injectiestrategieën en het onderliggende ontwerpprincipe systematisch heeft onderzocht.
3. Een suboptimale goedheidsfunctie kan de prestaties van FF-netwerken fundamenteel beperken, vooral bij complexere taken.

Methodologie

De auteurs behandelen de goedheidsfunctie als een primaire ontwerpkies en onderzoeken een ruimte van alternatieven gericht op sparsiteit (selectiviteit). De methode omvat drie hoofdcomponenten:

1. Top-k Goedheid:
   In plaats van alle neuronen te meten, meet deze functie alleen de gemiddelde activatie van de $k$ meest actieve neuronen.

   • Formule: $g_{top-k}(h) = \frac{1}{k} \sum_{i \in S_k(h)} h_i$, waarbij $S_k$ de indices van de $k$ grootste elementen zijn.
   • Dit creëert een gefocust leersignaal: de laag wordt beloond voor het produceren van sterke piekactivaties voor positieve data, wat natuurlijke, discriminatieve representaties stimuleert.

2. Entmax-Gewogen Energie:
   Om de harde selectie van top-k (waarbij exact $k$ neuronen met gelijke gewicht worden gekozen) te verbeteren, introduceren de auteurs een adaptieve, differentieerbare sparsiteitsmethode via de $\alpha$-entmax transformatie.

   • De activaties worden gemapt naar een sparsiteitskansvector $\pi = \text{entmax}_\alpha(h)$.
   • De goedheid wordt berekend als een gewogen som: $g_{entmax}(h) = \sum \pi_i h_i^2$.
   • De parameter $\alpha$ controleert de sparsiteit: $\alpha=1$ is softmax (dicht), $\alpha=2$ is sparsemax (hard spars), en waarden daar tussenin (bijv. 1.5) zorgen voor adaptieve sparsiteit afhankelijk van de invoer.

3. Scheiding van Label- en Feature-Forwarding (FFCL):
   In de standaard FF worden labels alleen aan de invoer gekoppeld. De auteurs adopteren FFCL (Forward-Forward with Cortical Loops), waarbij class-hypothese (labels) via een aparte projectie in elke laag worden geïnjecteerd.

   • Dit zorgt voor een sterker trainingsignaal in diepere lagen, omdat elke laag direct toegang heeft tot de class-hypothese, terwijl de doorgegeven representatie tussen lagen label-vrij blijft.

Belangrijkste Bijdragen

1. Identificatie van Sparsiteit als Kernprincipe: De auteurs tonen aan dat sparsiteit in de goedheidsfunctie de belangrijkste ontwerpfactor is voor FF-prestaties.
2. Top-k Goedheid: Een nieuwe, effectievere methode die alleen piekactiviteiten meet, wat leidt tot aanzienlijke verbeteringen ten opzichte van SoS.
3. Entmax-Gewogen Energie: Een geavanceerde, adaptieve methode die beter presteert dan harde top-k selectie door het aantal relevante neuronen dynamisch aan te passen.
4. Omgekeerde U-vormige Relatie: Door een "sparsity spectrum analysis" (variatie in $k$ en $\alpha$) bewijzen ze dat de optimale prestatie wordt bereikt bij intermediaire sparsiteit ($\alpha \approx 1.5$). Zowel volledig dichte (softmax) als volledig sparsere (hard top-k) opties presteren slechter.
5. Interactie met Activatiefuncties: Ze ontdekken dat SoS slecht presteert met gladde activatiefuncties (zoals GELU/Swish) omdat deze de signaalverdeling verdunnen, terwijl sparsere goedheidsfunten juist profiteren van deze rijkere verdeling.

Resultaten

De experimenten zijn uitgevoerd op Fashion-MNIST (een uitdagender dataset dan MNIST) met een 4-laags netwerk van 2000 eenheden (4x2000).

• Prestatieverbetering:
  • Baseline (SoS + ReLU): 56,41% nauwkeurigheid.
  • Top-k (Swish): 79,03% (+22,6 pp verbetering).
  • Entmax-1.5 (GELU) + FFCL: 87,12% (+30,7 pp verbetering ten opzichte van de baseline).
• Vergelijking met Bestaande Baselines: De beste resultaten van de auteurs (87,12%) overtreffen de recente state-of-the-art resultaten van Shah en Tripathi (82,84%) met 4,3 procentpunten, zelfs zonder gebruik van peer-normalisatie of downstream classificatoren.
• Robuustheid: De FFCL-architectuur is uitzonderlijk robuust voor variaties in de parameter $k$ (bij top-k), met slechts een minimale variatie in nauwkeurigheid over een breed bereik.
• Schalingsvermogen: Terwijl SoS prestaties verslechtert bij het vergroten van het netwerk (van 2x500 naar 4x2000), verbetert top-k. Een kleiner netwerk met de juiste goedheidsfunctie presteert beter dan een veel groter netwerk met SoS.

Betekenis en Conclusie

Dit artikel legt een fundamenteel inzicht bloot in het Forward-Forward leren: sparsiteit is de sleutel tot succes.

De conclusie is dat een goedheidsfunctie niet de totale energie van een laag moet meten, maar zich moet richten op de signaaldragers. Door adaptieve sparsiteit (via $\alpha$-entmax bij $\alpha \approx 1.5$) te combineren met een gescheiden label-injectie (FFCL), kunnen FF-netwerken concurreren met of zelfs betere resultaten behalen dan eerdere pogingen, zonder backpropagation. Dit verbindt FF-leren direct met de theorie van sparse coding en biedt een unificerend ontwerpprincipe voor toekomstige biologisch plausibele leeralgoritmen.

De auteurs benadrukken dat de grootste winst behaald wordt door de goedheidsfunctie en het label-pad te optimaliseren, wat suggereert dat de beperkingen van FF eerder te maken hadden met het ontwerp van de objectieve functie dan met het algoritme zelf.