💻 computer science

Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training

Dit artikel introduceert het DTG-FF-framework om aan te tonen dat hoewel Forward-Forward learning goed presteert op kleine synthetische benchmarks, het aanzienlijk onderpresteert vergeleken met backpropagation op grootschalige real-world datasets en geen geheugenvoordeel biedt op standaard hardware, wat de fundamentele schaalbaarheidslimieten voor laag-lokale training onthult.

Oorspronkelijke auteurs: Yucheng Chen

Gepubliceerd 2026-06-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yucheng Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Nieuwe Manier om AI te Onderwijzen

Stel je voor dat je probeert een team studenten te leren een complexe puzzel op te lossen.

De Oude Manier (Backpropagation/BP): De leraar staat voor de klas, lost de hele puzzel op en loopt dan achteruit door de rij studenten om aan elke student precies te vertellen welke fout hij heeft gemaakt, zodat hij die kan herstellen. Dit werkt ontzettend goed, maar het vereist dat de leraar de hele puzzel en de positie van elke student tegelijkert in zijn geheugen houdt. Het is als een estafette waarbij de stok (het foutsignaal) helemaal terug naar het begin moet worden doorgegeven.
De Nieuwe Manier (Forward-Forward/FF): Voorgesteld door AI-legende Geoffrey Hinton, probeert deze methode elke student onafhankelijk te onderwijzen. Elke student kijkt naar het werk dat hij zojuist heeft gedaan en vraagt zich af: "Is dit 'goed'?" Als het goed is, houdt hij het zo; als het slecht is, verandert hij het. Ze wachten niet tot een leraar achteruit loopt om te vertellen wat er mis is. Ze leren gewoon lokaal.

De Belofte: De nieuwe methode zou efficiënter moeten zijn (minder geheugen) en meer lijken op hoe het menselijk brein leert.
Het Probleem: Tot nu toe is deze methode niet zo slim als de oude methode, vooral bij grote, realistische taken.

Wat Dit Artikel Deed

De auteurs, onder leiding van Yucheng Chen, hebben de best mogelijke versie van deze nieuwe "Forward-Forward"-methode gebouwd (genaamd DTG-FF) om te zien of deze eindelijk de oude methode kon inhalen. Ze behandelden het als een stresstest: "Als we deze nieuwe methode elk mogelijk voordeel geven, kan het de oude methode verslaan op echte data?"

De Drie Belangrijkste Bevindingen

1. Het "Real-World" Plafond

De auteurs testten hun nieuwe methode op standaard afbeeldingendatasets (zoals CIFAR en ImageNet).

De Resultaten: Zelfs met hun beste opstelling verloor de nieuwe methode het nog steeds van de oude methode.
- Op een eenvoudige dataset (CIFAR-10) won de oude methode met ongeveer 2,4%.
- Op een moeilijkere dataset (CIFAR-100) groeide het gat naar 6%.
- Op een dataset met een zeer hoge resolutie (ImageNet) bereikte de nieuwe methode slechts 49% nauwkeurigheid, terwijl de oude methode meestal boven de 75% uitkomt.
De Analogie: Stel je een nieuw type automotor voor die bedoeld is om brandstofefficiënter te zijn. De auteurs bouwden de meest geavanceerde versie van deze motor. Ze ontdekten dat hoewel het prima werkt op een klein go-kart circuit (32x32 pixels), het aanzienlijk moeite heeft op een echte snelweg (ImageNet). Het raakt een "plafond" waarbij het simpelweg niet zo slim kan worden als de traditionele motor, ongeacht hoeveel ze eraan sleutelen.

2. De "Fake vs. Real" Valstrik

Eerder onderzoek beweerde dat de nieuwe methode erg goed was in het afhandelen van veel verschillende categorieën (classes). Ze testten dit op synthetische (nep) wiskundeproblemen waarbij ze het aantal categorieën verhoogden.

De Wending: Op deze nep-problemen werd de nieuwe methode zelfs beter naarmate het aantal categorieën toenam. Maar op echte afbeeldingen (zoals foto's van katten, honden en auto's) werd de nieuwe methode juist slechter naarmate de categorieën toenamen.
De Analogie: Het is als het testen van een nieuwe taalvertaler.
- Synthetische Test: Je vraagt de vertaler om bedachte woorden te vertalen. Naarmate je meer bedachte woorden toevoegt, wordt de vertaler beter in het raden van patronen.
- Echte Test: Je vraagt de vertaler om echte boeken te vertalen. Naarmate er meer complexe, genuanceerde woorden bijkomen, begint de vertaler te falen.
- Conclusie: De nep-testen waren misleidend. Ze verwarden "het hebben van meer categorieën" met "het vermogen om fijne details uit elkaar te houden". Het echte leven is moeilijker dan de wiskundeproblemen.

3. De "Geheugen" Mythe

Een van de belangrijkste redenen waarom mensen wilden overstappen naar deze nieuwe methode was het geheugen. De oude methode moet onthouden wat de studenten hebben gedaan om de feedback terug te sturen. De nieuwe methode zou alles onmiddellijk moeten vergeten, wat enorme hoeveelheden computergeheugen bespaart.

De Realiteitscheck: De auteurs testten dit op standaard, betaalbare computerchips (8GB geheugen).
De Resultaten: De nieuwe methode bespaarde in de praktijk geen geheugen. Sterker nog, het gebruikte meer geheugen en was trager dan de oude methode wanneer de oude methode een standaard truc gebruikte (genaamd "gradient accumulation") om ruimte te besparen.
De Analogie: De nieuwe methode werd verkocht als een "rugzak die niets weegt". De auteurs testten het en ontdekten dat het in de praktijk eigenlijk zwaarder is dan de oude rugzak, omdat de oude rugzak een slim vouwmechanisme heeft dat de nieuwe niet gebruikt.

De "Waarom" Achter de Mislukking

De auteurs bieden een theorie aan waarom de nieuwe methode moeite heeft.

De Oude Methode (BP): De leraar geeft een specifiek, globaal signaal: "Je hebt hier een fout gemaakt, en dat komt door deze specifieke verbinding." Dit verbindt alle studenten perfect met elkaar.
De Nieuwe Methode (FF): Elke student krijgt alleen een vaag signaal: "Dit ziet er goed/slecht uit."
Inzicht van het Papier: De auteurs ontdekten dat de nieuwe methode diverse "hacks" gebruikt (zoals het toevoegen van willekeurige ruis, speciale wiskundige trucs, of het combineren van de gokken van alle studenten aan het einde) om een globaal signaal te faken. Deze hacks helpen, maar het zijn slechts "gedeeltelijke vervangingen". Ze kunnen de krachtige, directe verbinding die de oude methode biedt niet volledig vervangen.

Samenvatting

Dit artikel is een "reality check" voor een populair nieuw AI-idee.

Ze hebben de sterkst mogelijke versie van de nieuwe methode gebouwd.
Ze ontdekten dat deze nog steeds achterloopt op de oude methode bij real-world taken.
Ze ontdekten dat eerdere "successen" vaak gebaseerd waren op nep, gemakkelijke tests die niet vertaalbaar waren naar het echte leven.
Ze ontdekten dat de beloofde geheugenbesparingen niet daadwerkelijk plaatsvinden op standaard hardware.

De Kernboodschap: Hoewel het "Forward-Forward"-idee interessant en biologisch geïnspireerd is, is het nog geen levensvatbaar alternatief voor de traditionele "Backpropagation"-methode voor het trainen van grote, real-world AI-modellen. De kloof tussen de twee is echt, en die wordt groter naarmate de taken moeilijker worden.

Technische Samenvatting: Synthetische Benchmarks Overschatten de Forward-Forward Schaling

Probleemstelling
Het Forward-Forward (FF) algoritme, voorgesteld door Hinton [2022], biedt een strikt laag-lokale alternatief voor backpropagation (BP) door de globale backward pass te vervangen door lokale "goodness" updates. Hoewel recente FF-CNN varianten de nauwkeurigheidskloof met BP op kleine schaal (bijv. 32×32 CIFAR-10) hebben verkleind, blijft het onduidelijk of laag-lokale training een levensvatbaar alternatief is voor realistische schalen of complexe real-world datadistributies. Een cruciale vraag is of de geobserveerde prestaties van FF worden beperkt door suboptimale implementaties of door fundamentele architecturale beperkingen. Bovendien suggereren bestaande synthetische benchmarks vaak dat FF goed schaalt met het aantal klassen ( $K$ ), maar het is onbekend of deze overdraagbaarheid standhoudt voor echte beelddistributies waar $K$ correleert met de moeilijkheidsgraad van fijnmazige discriminatie. Ten slotte is het geclaimde systeemvoordeel van FF—specifiek de $O(1)$ activatiegeheugencomplexiteit vergeleken met de $O(L)$ van BP—niet rigoureus gecontroleerd tegen geheugengeoptimaliseerde BP-baselines op standaard hardware.

Methodologie: DTG-FF
Om deze vragen aan te pakken, introduceren de auteurs DTG-FF, een nieuw instrument ontworig om de grenzen van laag-lokale training te testen. DTG-FF integreert drie specifieke mechanisme-niveau verbeteringen om een nieuwe state-of-the-art (SOTA) voor de FF-familie te vestigen:

Dynamic Temperature Goodness (DTG): In plaats van een vaste schaling, leert elke laag $l$ een scalaire temperatuur $T_l$ via een leerbare parameter $\alpha_l$ . Deze temperatuur schaalt het lokale goodness-signaal ( $\tilde{u}_l = u_l / T_l$ ) voordat het wordt doorgegeven aan een vaste willekeurige projectie-readout. Dit maakt het mogelijk dat de magnitude van het optimalisatiesignaal zich per laag aanpast zonder de representatie-inhoud te wijzigen.
Decoupled Normalization: De auteurs identificeren dat Batch Normalization (BN) goodness-gebaseerd leren verstoort door de klasse-conditionele variantie in gekwadrateerde activatiënormen te laten instorten. DTG-FF gebruikt een drie-pad architectuur:
- Goodness Path: Ruwe post-ReLU activaties voeden direct de lokale loss (geen normalisatie).
- Propagation Path: Activaties gaan door een non-affine LayerNorm (opererend binnen een no_grad regio) om de schaal voor de volgende laag te controleren zonder het FF training-signaal te beïnvloeden.
- Classifier Path: Kenmerken worden geëxtraheerd via Global Average Pooling (GAP), geconcateneerd, en gevoed aan een leerbare classifier.
Multi-Layer Fusion: Kenmerken van meerdere tussenliggende lagen worden geconcateneerd en verwerkt door een globale classifier (of geaggregeerd via logit-sum voor inferentie). Dit aggregeert niet-redundante hypothesen van verschillende lagen, wat het gebrek aan cross-layer gradiëntstroom adresseert.

De auteurs evalueren DTG-FF over negen real-world benchmarks (CIFAR-10/100, Tiny ImageNet, ImageNet-100, en MedMNIST varianten) met behulp van VGG8 en VGG11 backbones. Cruciaal is dat zij architectuur-gematchte BP-controls gebruiken (specifiek BP-DeepSup) die getraind zijn met identieke recepten, backbones en hyperparameters om een eerlijke vergelijking te garanderen.

Belangrijkste Resultaten

Real-Data Scaling Ceiling: Ondanks het instellen van een nieuwe FF-familie SOTA (91,79% op CIFAR-10, 67,28% op CIFAR-100, en de eerste FF baseline op ImageNet-100 bij 224×224 met 49,4%), blijft DTG-FF consistent achter bij de architectuur-gematchte BP-DeepSup.
- Op CIFAR-10 ( $K=10$ ), is het gat 2,40 procentpunt (pp).
- Op CIFAR-100 ( $K=100$ ), wordt het gat groter tot 5,93 pp.
- Op ImageNet-100 (224×224), bereikt DTG-FF 49,4%, terwijl typische BP-baselines boven de 75% uitkomen. Dit legt een "real-data plafond" bloot dat onzichtbaar is bij 32×32 resoluties.
Synthetisch vs. Real $K$ -Conflict: In synthetische teacher-student taken neemt het voordeel van DTG-FF ten opzichte van BP toe naarmate het aantal klassen $K$ groeit (bereikt +2,00 pp bij $K=50$ ). Daarentegen, op echte beelden (CIFAR-10/100), keert het gat om en wordt het groter naarmate $K$ toeneemt. Een binnen-dataset probe op CIFAR-100 (grove $K=20$ vs. fijne $K=100$ ) bevestigt dat het synthetische voordeel voortkomt uit de output-dimensionaliteit, terwijl de prestaties op echte data worden gehinderd door de moeilijkheidsgraad van fijnmazige discriminatie.
Systems Audit: Het paper daagt de geheugen-efficiëntie rechtvaardiging van FF uit. Op commodity 8 GB hardware (RTX 4060 Laptop), wordt een gepipelde DTG-FF implementatie (7,90 GB piekgeheugen, 138 imgs/s) overtroffen door standaard BP met gradient accumulation (4,18 GB piekgeheugen, 157 imgs/s) bij dezelfde effectieve batch grootte. Hoewel FF zijn theoretische $O(1)$ activatiegeheugen limiet bereikt, vertaalt dit zich niet in een praktisch systeemvoordeel over geheugengeoptimaliseerde BP in dit regime.

Belangrijkste Bijdragen

DTG-FF Instrument: Een robuuste FF-familie architectuur die SOTA zet over negen benchmarks, en een geloofwaardige "vloer" biedt voor het auditeren van de limieten van laag-lokale training.
Scaling Diagnose: Empirisch bewijs dat de FF–BP kloof groter wordt met het aantal klassen en de resolutie op echte data, wat in tegenspraak is met de trends gezien in synthetische settings.
Synthetisch-Real Discrepantie: Een demonstratie dat synthetische $K$ -sweeps de output-dimensionaliteit verwarren met fijnmazige discriminatie, wat leidt tot een overschatting van de real-data overdraagbaarheid van FF.
Systems Audit: Een eerlijke-baseline vergelijking die laat zien dat het structurele geheugenvoordeel van gepipelde FF geen throughput of geheugen voordeel oplevert over standaard BP met gradient accumulation op huidige commodity hardware.

Betekenis en Claims
Het paper betoogt dat huidige FF benchmarks, met name die die vertrouwen op synthetische taken of kleine schaal 32×32 datasets, de levensvatbaarheid van laag-lokale training overschatten voor realistische workloads. De auteurs stellen een "BP-shadow lens" voor, waarbij zij gevestigde FF verbeteringen (label overlay, spatial goodness, multi-layer fusion) interpreteren als partiële substituten voor het gesuperviseerde cross-layer signaal dat BP inherent biedt. De resterende kloof tussen DTG-FF en BP suggereert dat geen enkele huidige substituut volledig de coördinatie en supervisie kan herstellen die inherent is aan backpropagation.

De auteurs concluderen dat hoewel DTG-FF de state of the art vertegenwoordigt voor de FF-familie, strikt laag-lokale training momenteel een real-data prestatieplafond ervaart en geen systeemvoordeel biedt ten opzichte van geheugengeoptimaliseerde BP op standaard hardware. Het werk dient als een rigoureuze audit in plaats van een claim van de superioriteit van FF, en benadrukt de noodzaak voor verder onderzoek naar hoe laag-lokale methoden kunnen schalen naar complexe, hoge-resolutie real-world taken.