FFR: Forward-Forward Learning for Regression

Dit artikel introduceert FFR, het eerste framework dat het biologisch plausibele Forward-Forward algoritme aanpast voor regressietaken door gebruik te maken van ordinale competitieve goedheid, een gestratificeerde ladderarchitectuur en hiërarchische voorspelling, waarmee een nauwkeurigheid die nabij backpropagation ligt wordt bereikt met aanzienlijk lagere geheugen- en computationele kosten.

De kern

Stel je voor dat je een team van werkers probeert te leren de toekomstige temperatuur in een kamer te voorspellen.

De Oude Manier (Backpropagation):
Decennialang was de standaardmethode als een strenge, top-down manager. De manager kijkt naar de uiteindelijke voorspelling, ziet dat deze fout is, en loopt vervolgens de hele weg terug door het hele team om elke individuele werker precies te vertellen hoe zij aan de fout hebben bijgedragen.

• Het Probleem: Dit vereist dat de manager alles onthoudt wat elke werker tijdens het proces heeft gedaan (wat veel mentale ruimte/geheugen kost). Ook kan niemand zijn fout herstellen totdat de manager klaar is met de hele terugloop. Het is traag, geheugenintensief en biologisch onrealistisch (onze hersenen werken niet zo).

De Vorige "Nieuwe" Manier (Forward-Forward):
Enkele jaren geleden werd een nieuwe methode genaamd "Forward-Forward" (FF) uitgevonden. In plaats van een manager die achteruit loopt, gebruikt het een "lokale" aanpak. Elke werker kijkt alleen naar zijn directe buurman.

• Hoe het werkte: Het was geweldig voor Ja/Nee-vragen (Classificatie). Het systeem liet een werker een "goed" voorbeeld zien (een echte kat) en een "slecht" voorbeeld (een willekeurige hond). De werker leerde te zeggen: "Ik hou van de kat, ik hou niet van de hond."
• Het Probleem: Dit werkt perfect voor het kiezen van een kat of een hond, maar het faalt jammerlijk bij het voorspellen van getallen (Regressie), zoals temperatuur. Je kunt niet gemakkelijk zeggen "Deze temperatuur is goed, die is slecht" omdat temperatuur een continue schaal is. Is 20°C "slecht" als het doel 21°C is? Wat als het 100°C is? De oude methode wist niet hoe het de afstand tussen getallen moest afhandelen, alleen of iets "goed" of "fout" was.

De Nieuwe Oplossing: FFR (Forward-Forward for Regression)
Dit artikel introduceert FFR, een nieuw systeem dat eindelijk deze "lokale werker"-methode in staat stelt om complexe, continue getallen zoals temperatuur, snelheid of prijs te verwerken. Hier is hoe ze het deden, met drie slimme trucs:

1. Een "Touwtrekgevecht" in plaats van "Goed vs. Slecht"

In plaats van een werker een "goed" voorbeeld en een "slecht" voorbeeld te laten zien, splitst FFR de werkers op in teams.

• De Analogie: Stel dat de doeltemperatuur 20°C is. De werkers zijn verdeeld in groepen: Groep A is verantwoordelijk voor 10–15°C, Groep B voor 15–20°C, Groep C voor 20–25°C, enzovoort.
• De Truc: Het systeem zegt niet alleen "Groep B is juist." Het zegt: "Groep B is de winnaar, maar Groep A en Groep C zijn nauwe tweede plaatsen, terwijl Groep Z (100°C) een totale verliezer is."
• Waarom dit helpt: Dit leert de werkers niet alleen welke groep juist is, maar ook hoe dicht ze bij het juiste antwoord zitten. Het begrijpt dat 19°C "dichterbij" 20°C ligt dan 10°C. Dit vervangt het oude "Goed vs. Slecht"-spel door een "Wie is het dichtstbij?"-competitie.

2. De "Gelaagde Ladder" (Van grof naar fijn)

Het artikel bouwt een speciale ladderstructuur waarbij de werkers nauwkeuriger worden naarmate ze hoger komen.

• De Analogie:
  • Onderste treden (Ondiepe lagen): Deze werkers zijn als ruwe ontwerpers. Ze beslissen alleen of de temperatuur "Koud", "Warm" of "Heet" is. Ze maken een grote, grove schatting.
  • Bovenste treden (Diepe lagen): Deze werkers zijn als fijne kunstenaars. Ze nemen de "Warm"-schatting van onderen en verfijnen deze tot "20,5°C".
• De Samenwerking: Het systeem gooit de grove schattingen niet zomaar weg. Het houdt ze allemaal vast. Helemaal bovenaan kijkt een "Hoofdcoach" (een laatste laag) naar de grove schattingen van onderen en de fijne schattingen van boven, mengt deze samen en maakt de uiteindelijke voorspelling. Dit zorgt ervoor dat het systeem niet vastloopt op een slechte schatting in een vroeg stadium.

3. De "Gratis Lunch" (Onzekerheid)

Normaal gesproken, om te weten hoe zelfverzekerd een computer is over zijn antwoord, moet je de simulatie duizend keer draaien en kijken hoeveel de antwoorden variëren. Dat duurt eeuwen.

• De FFR-truc: Omdat het systeem werkers heeft op elk niveau van de ladder (van grof tot fijn), kan het ze allemaal simpelweg vragen: "Wat denk jij?"
• Het Resultaat: Als de "Grove" werkers en de "Fijne" werkers het met elkaar eens zijn, is het systeem zeer zelfverzekerd. Als ze met elkaar in discussie zijn, weet het systeem: "Hé, ik weet het hier niet zeker van."
• Het Voordeel: Het systeem geeft je een voorspelling en een betrouwbaarheidsscore direct, zonder extra werk. Het is een "gratis lunch".

Wat hebben ze bewezen?

De auteurs hebben dit getest op real-world problemen zoals:

• Het voorspellen van energieverbruik in slimme huizen.
• Het voorspellen wanneer machines in fabrieken defect zullen raken.
• Het voorspellen van binnenlocaties (zonder GPS).
• Het voorspellen van gezondheidsmetingen via wearables.
• Het beoordelen van beeldkwaliteit.

De Resultaten:

• Nauwkeurigheid: FFR behaalde ongeveer 98,6% van de nauwkeurigheid van de oude, zware "Backpropagation"-methode.
• Geheugen: Het gebruikte slechts 27% van het geheugen bij matige diepte en slechts 8% bij zeer diepe niveaus. (Stel je voor dat je een rugzak draagt die altijd dezelfde grootte behoudt, ongeacht hoeveel boeken je erin stopt, terwijl de rugzak van de oude methode oneindig zwaar werd).
• Snelheid: Het trainde ongeveer 28% sneller per stap omdat het niet hoefde te wachten op de "terugloop".

Samenvattend:
FFR neemt een methode die voorheen alleen goed was voor eenvoudige "Ja/Nee"-beslissingen en upgrade deze om complexe getalvoorspellingen aan te kunnen. Dit doet het door het leerproces te veranderen in een "wie zit het dichtstbij"-competitie, een ladder van werkers te bouwen van grof naar fijn, en een betrouwbaarheidsscore gratis te verkrijgen. Het bewijst dat je slimme, efficiënte AI kunt bouwen zonder de zware, geheugenverslindende "terugloop" die decennialang de sector heeft gedomineerd.

Technische samenvatting

Technische Samenvatting: FFR (Forward-Forward voor Regressie)

1. Probleemstelling

Het Forward-Forward (FF) algoritme, voorgesteld door Hinton et al., biedt een biologisch plausibel en geheugenefficiënt alternatief voor Backpropagation (BP) door neurale netwerken te trainen via zuiver lokale, laag-specifieke optimalisatie met behulp van twee forward passes (positieve en negatieve data). Echter, FF is inherent ontworpen voor classificatietaken, waarbij vertrouwt op contrastieve paren van "echte" (positieve) en "spureuze" (negatieve) monsters. Het uitbreiden van FF naar werkelijke regressie presenteert twee fundamentele uitdagingen:

1. Afwezigheid van Natuurlijke Negatieven: In continue doelruimtes is er geen natuurlijke definitie van een "negatief" monster. In tegen tegenstelling tot classificatie, waar een willekeurige onjuiste label volstaat, kunnen continue waarden (bijv. $y+0,1$ versus $y+100$) niet triviaal als evenzeer onjuist worden gecategoriseerd; de constructie van contrastieve paren is hierdoor ambigu.
2. Blindheid voor Grootte en Ordening: De standaard FF "goodness" functie ($g = \|h\|^2$) meet de activatie-amplitude voor binaire discriminatie, maar bevat geen informatie over de grootte of de ordinale ordening van de doelwaarde. Dit maakt het ongeschikt voor het superviseren van reële voorspellingen waarbij de relatieve afstand tussen waarden van belang is.

Bestaande pogingen om deze kloof te overbruggen waren beperkt: sommigen besteedden regressie om naar binaire classificatie over tolerantiebanden (wat een hoge overhead en beperkte nauwkeurigheid behield), terwijl anderen de goodness-functie vervingen door directionele afgeleiden (wat de nauwkeurigheid opofferde voor hardware-implementeerbaarheid). Geen van deze methoden heeft een competitieve prestatie aangetoond op diverse real-world regressiedatasets vergeleken met BP.

2. Methodologie: FFR-framework

De auteurs stellen FFR (Forward-Forward voor Regressie) voor, een framework dat FF naar regressie uitbreidt via drie kerninnovaties:

2.1 Ordinale Competitieve Goodness Functie

In plaats van directe Mean Squared Error (MSE) regressie of contrastieve paren, behandelt FFR elke verborgen laag als een ordinale classifier.

• Discretisering: Het continue doelbereik $[y_{min}, y_{max}]$ wordt verdeeld in $K_\ell$ geordende bins op laag $\ell$.
• Competitieve Groepen: De neuronen in een laag worden verdeeld in disjuncte groepen $\{G_{\ell,1}, \dots, G_{\ell,K_\ell}\}$, waarbij elke groep overeenkomt met een specifieke bin.
• Ordinale Supervisie: In plaats van harde one-hot labels te gebruiken, hanteert FFR een afstand-bewuste soft label. Een Gaussische curve wordt gecentreerd op de ware doelwaarde $y$ en geprojecteerd op de middelpunten van de bins. Dit creëert een doelverdeling $q_{\ell,k}$ waarbij nabijgelegen bins een hogere waarschijnlijkheidsmassa ontvangen dan verre bins.
• Goodness Berekening: De "goodness" van een groep is de gemiddelde kwadratische activatie van haar neuronen. Deze wordt genormaliseerd naar een waarschijnlijkheidsverdeling $p_{\ell,k}$. De laag-loss is de cross-entropie tussen de soft label $q$ en de goodness-verdeling $p$. Dit behoudt lokale competitie terwijl de ordinale structuur van de doelwaarde wordt gecodeerd.

2.2 Gestratificeerde Ladderarchitectuur

Om "representatie-instorting" (waarbij alle lagen identieke grove kenmerken leren) te voorkomen en fijne regressie mogelijk te maken:

• Gestratificeerde Granulariteit: Het aantal competitieve groepen $K_\ell$ verdubbelt met elke laag ($K_\ell = 2^{d_0 + \ell - 1}$). Ondiepere lagen leren grove ordinale discriminatie (brede bins), terwijl diepere lagen deze verfijnen tot fijnmazige partities.
• Groep-gewijze Normalisatie: Om activatie-lekken tussen groepen te voorkomen, wordt normalisatie toegepast binnen elke groep in plaats van over de gehele laag.
• Ladder Aggregatie: De goodness-waarden (scalars) van alle tussenliggende lagen worden geconcateneerd en gevoed aan een terminale lineaire regressie-kop. Dit maakt samenwerking tussen de lagen mogelijk zonder gradiënten door de tussenliggende lagen te propageren, waardoor de lokale-update eigenschap van FF behouden blijft.

2.3 Hiërarchische Voorspelling met Onzekerheidsschatting

FFR maakt gebruik van de multi-schaal aard van de ladderarchitectuur om robuuste voorspellingen en onzekerheidsschattingen te bieden "voor het oprapen":

• Ensemble Voorspelling: Elke tussenliggende laag $\ell$ produceert een continue voorspelling $\mu_\ell$ op basis van zijn softmax-verdeling over de bin-middelpunten. De uiteindelijke voorspelling $\hat{y}$ is een gewogen ensemble van alle laag-outputs en de terminale kop.
• Onzekerheid als een "Free Lunch": Voorspellende onzekerheid wordt berekend als de gewogen dispersie van de laag-specifieke voorspellingen rond het ensemble-gemiddelde. Dit biedt een betrouwbaarheidsmetriek zonder dat Monte Carlo dropout of Bayesiaanse benaderingen nodig zijn.

3. Belangrijkste Bijdragen

1. Eerste Real-World FF Regressie Framework: FFR is het eerste framework dat er succesvol in is geslaagd om Forward-Forward leren uit te breiden naar real-world regressietaken, met competitieve prestaties over diverse domeinen inclus_in smart-home IoT, industriële sensoren, indoor lokalisatie, wearables voor gezondheid en beeldkwaliteitsbeoordeling.
2. Drie Technische Innovaties:
   • Een ordinale competitieve goodness functie die contrastieve paren vervangt door intra-laag competitie onder afstand-bewuste ordinale supervisie.
   • Een gestratificeerde ladderarchitectuur die de ordinale granulariteit schaalt met de diepte en multi-schaal kenmerken aggregeert.
   • Een hiërarchisch voorspellingsmechanisme dat robuuste schattingen en onzekerheidskwantificatie oplevert in een enkele forward pass.
3. Efficiëntie en Prestaties: FFR bereikt gemiddeld 98,6% van de nauwkeurigheid van een Backpropagation-getrainde equivalent (BP-UR) over vijf real-world benchmarks. Cruciaal is dat het het piekgeheugen tijdens training vermindert tot 27% van BP bij diepte 8 en 8% bij diepte 32, terwijl de per-iteratie trainingstijd op ongeveer 72% van BP wordt gehouden.

4. Experimentele Resultaten

De auteurs evalueerden FFR op:

• Synthetische Benchmarks: Sin-Cos, Exp-Trig-Poly, en multi-target varianten (MT-A, MT-B).
• Real-World Datasets: Appliances Energy, Machine Tool Wear, UJIIndoorLoc, BIDMC (wearable health), en KonIQ-10k (beeldkwaliteit).

Belangrijkste Bevindingen:

• Nauwkeurigheid: FFR presteerde beter dan alle BP-vrije concurrenten (inclusief FF-MSE, FF-CLF, FF-CAR, FF-Zero, PEPITA en F3). Op verschillende real-world datasets (UJIIndoorLoc, BIDMC, Appliances) overtrof FFR zelfs de standaard BP-baseline, wat suggereert dat het hiërarchische ensemble een complementair signaal toevoegt.
• Geheugenschaalbaarheid: In tegenstelling tot BP, waarbij het geheugengebruik lineair groeit met de diepte door opgeslagen activaties, blijft het geheugengebruik van FFR nagenoeg constant naarmate de diepte toeneemt, omdat tussenliggende activaties worden weggegooid na de lokale update.
• Onzekerheid: Visualisaties toonden aan dat de voorspellende onzekerheidsbanden correct verbreden voor moeilijke of atypische monsters, wat het nut van de "free-lunch" onzekerheidsschatting valideert.

5. Betekenis en Claims

De paper claimt dat FFR aantoont dat zorgvuldig ontworpen lokaal leren een globale optimalisatie (BP) kan evenaren tegen een fractie van de trainingskosten. Door de fundamentele mismatch tussen de contrastieve aard van FF en de continue doelruimte van regressie op te lossen, maakt FFR de inzet van biologisch plausibele, geheugenefficiënte leerprocessen mogelijk op hardware met beperkte middelen (bijv. IoT-sensoren, edge-controllers, robotica) waar BP onhaalbaar is vanwege geheugen- en update-beperkingen.

De auteurs erkennen beperkingen en merken op dat de huidige implementaties standaard floating-point precisie gebruiken en nog niet zijn gevalideerd op low-bit versnellers of analoge/fysieke computing hardware, wat als toekomstig werk wordt beschouwd.