💻 computer science

Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training

Dieses Paper führt das DTG-FF-Framework ein, um zu demonstrieren, dass Forward-Forward-Learning zwar bei kleinen synthetischen Benchmarks gut abschneidet, im Vergleich zu Backpropagation auf groß angelegten, realen Datensätzen jedoch signifikant schlechter abschneidet und keinen Speicher-Vorteil auf Standardhardware bietet, was grundlegende Skalierungsgrenzen für lokales Schichttraining offenbart.

Ursprüngliche Autoren: Yucheng Chen

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yucheng Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Grundidee: Eine neue Art, KI zu lehren

Stellen Sie sich vor, Sie versuchen, ein Team von Schülern beizubringen, ein komplexes Rätsel zu lösen.

Der alte Weg (Backpropagation/BP): Der Lehrer steht vorne, löst das gesamte Rätsel und geht dann rückwärts durch die Reihe der Schüler, um jedem genau zu sagen, welchen Fehler er gemacht hat, damit er ihn korrigieren kann. Das funktioniert hervorragend, erfordert aber, dass der Lehrer das gesamte Rätsel und die Position jedes Schülers gleichzeitig im Kopf behält. Es ist wie ein Staffellauf, bei dem der Stab (das Fehlersignal) den ganzen Weg zurück zum Start übergeben werden muss.
Der neue Weg (Forward-Forward/FF): Dieser von der KI-Legende Geoffrey Hinton vorgeschlagene Weg versucht, jeden Schüler unabhängig zu unterrichten. Jeder Schüler schaut sich seine gerade geleistete Arbeit an und fragt sich: „Ist das ‚gut‘?“ Wenn es gut ist, behält er es; wenn es schlecht ist, ändert er es. Er wartet nicht darauf, dass ein Lehrer rückwärts läuft und ihm sagt, was falsch war. Er lernt einfach lokal.

Das Versprechen: Die neue Methode soll effizienter sein (weniger Speicherbedarf) und eher so funktionieren, wie das menschliche Gehirn lernt.
Das Problem: Bisher war sie nicht so intelligent wie die alte Methode, insbesondere bei großen, realen Aufgaben.

Was diese Arbeit getan hat

Die Autoren, angeführt von Yucheng Chen, haben die bestmögliche Version dieser neuen „Forward-Forward“-Methode (genannt DTG-FF) gebaut, um zu sehen, ob sie endlich mit der alten Methode mithalten kann. Sie betrachteten dies als einen Stresstest: „Wenn wir dieser neuen Methode jeden erdenklichen Vorteil geben, kann sie die alte Methode bei echten Daten schlagen?“

Die drei Hauptergebnisse

1. Die „Real-World“-Decke

Die Autoren testeten ihre neue Methode auf Standard-Bilddatensätzen (wie CIFAR und ImageNet).

Das Ergebnis: Selbst mit ihrem besten Setup verlor die neue Methode gegen die alte Methode.
- Bei einem einfachen Datensatz (CIFAR-10) gewann die alte Methode um etwa 2,4 %.
- Bei einem schwierigeren Datensatz (CIFAR-100) wuchs der Abstand auf 6 %.
- Bei einem sehr hochauflösenden Datensatz (ImageNet) erreichte die neue Methode nur 49 % Genauigkeit, während die alte Methode normalerweise über 75 % erreicht.
Die Analogie: Stellen Sie sich einen neuen Motortyp vor, der eigentlich treibstoffeffizienter sein soll. Die Autoren bauten die fortschrittlichste Version dieses Motors. Sie fanden heraus, dass er auf einer kleinen Go-Kart-Strecke (32x32 Pixel) zwar ganz okay funktioniert, aber auf einer echten Autobahn (ImageNet) erheblich zu kämpfen hat. Er stößt an eine „Decke“, an der er einfach nicht intelligenter werden kann, egal wie sehr man ihn optimiert.

2. Die „Fake vs. Real“-Falle

Frühere Forschungen behaupteten, die neue Methode sei großartig darin, viele verschiedene Kategorien (Klassen) zu handhaben. Dies wurde an synthetischen (künstlichen) Matheaufgaben getestet, bei denen die Anzahl der Kategorien erhöht wurde.

Die Wendung: Bei diesen künstlichen Problemen wurde die neue Methode tatsächlich besser, wenn die Anzahl der Kategorien zunahm. Aber bei echten Bildern (wie Fotos von Katzen, Hunden und Autos) wurde die neue Methode schlechter, wenn die Kategorien zunahmen.
Die Analogie: Es ist wie bei einem neuen Sprachübersetzer.
- Synthetischer Test: Man bittet ihn, ausgedachte Wörter zu übersetzen. Je mehr ausgedachte Wörter man hinzufügt, desto besser wird der Übersetzer darin, Muster zu erraten.
- Echter Test: Man bittet ihn, echte Bücher zu übersetzen. Je mehr komplexe, nuancierte Wörter man verwendet, desto eher scheitert der Übersetzer.
- Fazit: Die künstlichen Tests waren irreführend. Sie verwechselten „das Vorhandensein von mehr Kategorien“ mit „der Fähigkeit, feine Details voneinander zu unterscheiden“. Das echte Leben ist schwieriger als Matheaufgaben.

3. Der „Speicher“-Mythos

Einer der Hauptgründe, warum Menschen zu dieser neuen Methode wechseln wollten, war der Speicher. Die alte Methode muss sich an alles erinnern, was die Schüler getan haben, um das Feedback rückwärts zu senden. Die neue Methode sollte alles sofort vergessen und so massiv Arbeitsspeicher sparen.

Der Realitätscheck: Die Autoren testeten dies auf Standard-Chips mit erschwinglichem Speicher (8 GB).
Das Ergebnis: Die neue Methode sparte in der Praxis keinen Speicher. Tatsächlich verbrauchte sie sogar mehr Speicher und war langsamer als die alte Methode, wenn die alte Methode einen Standard-Trick (genannt „Gradient Accumulation“) zur Platzersparnis nutzte.
Die Analogie: Die neue Methode wurde als „Rucksack, der nichts wiegt“ vermarktet. Die Autoren testeten sie und fanden heraus, dass sie in der Realität tatsächlich schwerer ist als der alte Rucksack, weil der alte Rucksack einen cleveren Faltmechanismus besaß, den der neue nicht nutzte.

Das „Warum“ hinter dem Scheitern

Die Autoren bieten eine Theorie an, warum die neue Methode Schwierigkeiten hat.

Die alte Methode (BP): Der Lehrer gibt ein spezifisches, globales Signal: „Du hast hier einen Fehler gemacht, und das liegt an dieser spezifischen Verbindung.“ Dies verbindet alle Schüler perfekt miteinander.
Die neue Methode (FF): Jeder Schüler erhält nur ein vages Signal: „Das sieht gut/schlecht aus.“
Die Erkenntnis der Arbeit: Die Autoren fanden heraus, dass die neue Methode verschiedene „Hacks“ (wie das Hinzufügen von zufälligem Rauschen, die Verwendung spezieller mathematischer Tricks oder das Kombinieren der Vermutungen aller Schüler am Ende) verwendet, um das globale Signal zu simulieren. Diese Hacks helfen zwar, aber sie sind nur „partielle Ersatzstoffe“. Sie können das mächtige, direkte Signal, das die alte Methode bietet, nicht vollständig ersetzen.

Zusammenfassung

Diese Arbeit ist ein „Realitätscheck“ für eine populäre neue KI-Idee.

Sie haben die stärkstmögliche Version der neuen Methode gebaut.
Sie fanden heraus, dass sie bei realen Aufgaben immer noch hinter der alten Methode zurückbleibt.
Sie stellten fest, dass frühere „Erfolge“ oft auf künstlichen, einfachen Tests basierten, die sich nicht auf das echte Leben übertragen ließen.
Sie fanden heraus, dass die versprochenen Speicherersparnisse auf Standard-Hardware nicht tatsächlich stattfinden.

Das Fazente: Obwohl die „Forward-Forward“-Idee interessant und biologisch inspiriert ist, ist sie noch kein praktikabler Ersatz für die traditionelle „Backpropagation“-Methode beim Training großer, realer KI-Modelle. Die Lücke zwischen den beiden ist real und wird größer, je anspruchsvoller die Aufgaben werden.

Technisches Resümee: Synthetische Benchmarks überbewerten die Skalierbarkeit von Forward-Forward

Problemstellung
Der Forward-Forward (FF)-Algorithmus, vorgeschlagen von Hinton [2022], bietet eine strikt schichtlokale Alternative zur Backpropagation (BP), indem er den globalen Rückwärtsgang durch lokale „Goodness“-Updates ersetzt. Während jüngste FF-CNN-Varianten die Genauigkeitslücke zu BP bei kleinskaligen Benchmarks (z. B. 32×32 CIFAR-10) verringert haben, bleibt unklar, ob schichtlokales Training eine lebensfähige Alternative für realistische Skalen oder komplexe reale Datenverteilungen darstellt. Eine kritische Frage ist, ob die beobachtete Performance von FF durch suboptimale Implementierungen oder durch fundamentale architektonische Einschränkungen begrenzt wird. Zudem legen bestehende synthetische Benchmarks oft nahe, dass FF gut mit der Klassenzahl ( $K$ ) skaliert, aber es ist unbekannt, ob diese Übertragbarkeit für reale Bildverteilungen gilt, bei denen $K$ mit der Schwierigkeit der feingliedrigen Diskriminierung korreliert. Schließlich wurde der behauptete Systemvorteil von FF – speziell seine $O(1)$ Aktivierungs-Speicherkomplexität im Vergleich zu den $O(L)$ von BP – noch nicht rigoros gegen speicheroptimierte BP-Baselines auf Standard-Hardware geprüft.

Methodik: DTG-FF
Um diese Fragen zu adressieren, führen die Autoren DTG-FF ein, ein neues Instrument, das darauf ausgelegt ist, die Grenzen des schichtlokalen Trainings unter Belastung zu testen. DTG-FF integriert drei spezifische Verbesserungen auf Mechanismus-Ebene, um einen neuen State-of-the-Art (SOTA) für die FF-Familie zu etablieren:

Dynamic Temperature Goodness (DTG): Anstelle einer festen Skalierung lernt jede Schicht $l$ einen Skalarwert für die Temperatur $T_l$ über einen lernbaren Parameter $\alpha_l$ . Diese Temperatur skaliert das lokale Goodness-Signal ( $\tilde{u}_l = u_l / T_l$ ), bevor es an ein festes zufälliges Projektions-Readout weitergegeben wird. Dies ermöglicht es, die Magnitude des Optimierungssignals pro Schicht anzupassen, ohne den Repräsentationsinhalt zu verändern.
Decoupled Normalization (Entkoppelte Normalisierung): Die Autoren identifizieren, dass Batch Normalization (BN) das Goodness-basierte Lernen stört, indem sie die klassenbedingte Varianz in den quadrierten Aktivierungsnormen kollabieren lässt. DTG-FF verwendet eine Drei-Pfad-Architektur:
- Goodness-Pfad: Rohe Post-ReLU-Aktivierungen speisen direkt in den lokalen Loss (keine Normalisierung).
- Propagations-Pfad: Aktivierungen durchlaufen eine nicht-affine LayerNorm (die innerhalb eines no_grad-Bereichs operiert), um die Skalierung für die nächste Schicht zu kontrollieren, ohne das FF-Trainingssignal zu beeinflussen.
- Classifier-Pfad: Merkmale werden über Global Average Pooling (GAP) extrahiert, konkateniert und an einen lernbaren Klassifikator übergeben.
Multi-Layer Fusion: Merkmale aus mehreren Zwischenschichten werden konkateniert und von einem globalen Klassifikator verarbeitet (oder via Logit-Sum für die Inferenz aggregiert). Dies aggregiert nicht-redundante Hypothesen aus verschiedenen Schichten und adressiert den Mangel an Cross-Layer-Gradientenfluss.

Die Autoren evaluieren DTG-FF über neun reale Benchmarks (CIFAR-10/100, Tiny ImageNet, ImageNet-100 und MedMNIST-Varianten) unter Verwendung von VGG8- und VGG11-Backbones. Entscheidend ist, dass sie architektur-angepasste BP-Controls (speziell BP-DeepSup) verwenden, die mit identischen Rezepten, Backbones und Hyperparametern trainiert wurden, um einen fairen Vergleich zu gewährleisten.

Wesentliche Ergebnisse

Skalierungsobergrenze bei realen Daten: Trotz der Einstellung eines neuen FF-Familien-SOTA (91,79 % auf CIFAR-10, 67,28 % auf CIFAR-100 und der erste FF-Baseline auf ImageNet-100 bei 224×224 mit 49,4 %) liegt DTG-FF konsistent hinter der architektur-angepassten BP-DeepSup zurück.
- Auf CIFAR-10 ( $K=10$ ) beträgt die Lücke 2,40 Prozentpunkte (pp).
- Auf CIFAR-100 ( $K=100$ ) weitet sich die Lücke auf 5,93 pp aus.
- Auf ImageNet-100 (224×224) erreicht DTG-FF 49,4 %, während typische BP-Baselines über 75 % liegen. Dies legt eine „Real-Data-Ceiling“ offen, die bei 32×32-Auflösungen unsichtbar ist.
Synthetischer vs. Realer $K$ -Konflikt: In synthetischen Teacher-Student-Aufgaben nimmt der Vorteil von DTG gegenüber BP zu, wenn die Anzahl der Klassen $K$ steigt (erreicht +2,00 pp bei $K=50$ ). Im Gegensatz dazu kehrt sich der Effekt bei realen Bildern (CIFAR-10/100) um und die Lücke vergrößert sich mit steigendem $K$ . Eine Untersuchung innerhalb des Datensatzes auf CIFAR-100 (grob $K=20$ vs. fein $K=100$ ) bestätigt, dass der synthetische Vorteil aus der Ausgabendimensionalität resultiert, während die Leistung auf realen Daten durch die Schwierigkeit der feingliedrigen Diskriminierung behindert wird.
System-Audit: Die Arbeit stellt die Rechtfertigung der Speichereffizienz von FF infrage. Auf einer handelsüblichen 8-GB-Hardware (RTX 4060 Laptop) wird eine gepipelte DTG-FF-Implementierung (7,90 GB Peak-Speicher, 138 Bilder/s) von einer Standard-BP mit Gradient Accumulation (4,18 GB Peak-Speicher, 157 Bilder/s) bei gleicher effektiver Batch-Größe übertroffen. Obwohl FF seine theoretische $O(1)$ Aktivierungs-Speicherkomplexität erreicht, führt dies auf aktueller Commodity-Hardware nicht zu einem praktischen Systemvorteil gegenüber optimierter BP.

Zentrale Beiträge

DTG-FF Instrument: Eine robuste FF-Familie-Architektur, die den SOTA über neun Benchmarks setzt und einen glaubwürdigen „Boden“ für die Prüfung der Grenzen des schichtlokalen Trainings bietet.
Skalierungs-Diagnose: Empirische Belege dafür, dass sich die FF–BP-Lücke mit der Klassenzahl und der Auflösung bei realen Daten vergrößert, was den Trends in synthetischen Settings widerspricht.
Synthetisch-Reale Diskrepanz: Eine Demonstration, dass synthetische $K$ -Sweeps die Ausgabendimensionalität mit der feingliedrigen Diskriminierung verwechseln, was zu einer Überschätzung der Übertragbarkeit von FF auf reale Daten führt.
System-Audit: Ein fairer Baseline-Vergleich, der zeigt, dass der strukturelle Speicher-Vorteil von gepipelter FF keinen Durchsatz- oder Speicher-Vorteil gegenüber Standard-BP mit Gradient Accumulation auf aktueller Commodity-Hardware bietet.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass aktuelle FF-Benchmarks, insbesondere solche, die auf synthetischen Aufgaben oder kleinskaligen 32×32-Datensätzen basieren, die Lebensfähigkeit von schichtlokalem Training für realistische Arbeitslasten überbewerten. Die Autoren schlagen eine „BP-Schatten-Linse“ vor und interpretieren etablierte FF-Verbesserungen (Label Overlay, Spatial Goodness, Multi-Layer Fusion) als partielle Ersatzmittel für das von BP bereitgestellte überwachte Cross-Layer-Signal. Die verbleibende Lücke zwischen DTG-FF und BP deutet darauf an, dass kein aktueller Ersatz die Koordination und Supervision vollständig wiederherstellen kann, die Backpropagation nativ bietet.

Die Autoren kommen zu dem Schluss, dass DTG-FF zwar den Stand der Technik für die FF-Familie darstellt, strikt schichtlokales Training jedoch derzeit einer Leistungs-Obergrenze bei realen Daten gegenübersteht und keinen Systemvorteil gegenüber optimierter BP auf Standard-Hardware bietet. Die Arbeit dient als rigoroses Audit statt als Behauptung der Überlegenheit von FF und hebt die Notwendigkeit für weitere Forschung darüber hervor, wie schichtlokale Methoden auf komplexe, hochauflösende reale Aufgaben skalieren können.