Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition

Technische Zusammenfassung: Mono-Forward: Eine Neubetrachtung von Forward-Forward durch Zerlegung in Ziel und Lokalität

Problemstellung
Backpropagation (BP) bleibt der vorherrschende Algorithmus zum Training tiefer neuronaler Netze, leidet jedoch unter erheblichem Speicherbedarf und ist auf eine globale Fehlerausbreitung angewiesen, ein Mechanismus, der oft als biologisch unplausibel gilt. Der Forward-Forward (FF)-Algorithmus, eingeführt von Hinton, bietet eine biologisch plausible Alternative, indem er den Vorwärts-Rückwärts-Durchlauf durch zwei Vorwärtspässe (positiv und negativ) ersetzt und jede Schicht anhand eines lokalen „Güte"-Ziels trainiert. Dennoch bleibt FF in der Genauigkeit konsistent hinter BP zurück. Eine zentrale ungelöste Frage ist, ob diese Leistungslücke aus den inhärenten Einschränkungen des lokalen Lernens (Aktualisierung von Parametern unter Verwendung ausschließlich lokaler Informationen) resultiert oder aus dem spezifischen kontrastiven Güte-Ziel von FF (das auf dualen Passagen mit positiven und negativen Beispielen sowie einem spezifischen schwellenwertbasierten Verlust beruht). Die enge Kopplung dieser beiden Designentscheidungen in der ursprünglichen FF-Formulierung hat es erschwert, die Quelle des Leistungsdefizits zu isolieren.

Methodik
Die Autoren schlagen eine Zerlegung des FF-Algorithmus vor, um seine beiden Kernkomponenten zu trennen: (1) die Verwendung lokaler Fehlersignale (schichtenlokales Lernen) und (2) das kontrastive Güte-Trainingsziel. Um zu untersuchen, ob das Ziel oder die Lokalität der primäre Engpass ist, führen die Autoren Mono-Forward (MF) ein.

MF ist eine vereinfachte Variante von FF, die die Struktur des schichtenlokalen Lernens beibehält, aber das Trainingsziel grundlegend verändert:

1. Zielersetzung: Anstelle des ursprünglichen kontrastiven Ziels von FF mit positiven und negativen dualen Passagen wendet MF ein standardmäßiges Multi-Class-Cross-Entropy-Ziel lokal in jeder Schicht an.
2. Architektur: Jede Schicht $i$ ist mit einer schichtspezifischen „Güte-Matrix" $M_i \in \mathbb{R}^{n \times m}$ ausgestattet (wobei $n$ die Anzahl der Neuronen und $m$ die Anzahl der Klassen ist). Gegeben einen Aktivierungsvektor $a_i$ berechnet die Schicht einen Güte-Vektor $g_i = a_i^\top M_i$.
3. Training: Ein lokaler Cross-Entropy-Verlust wird unmittelbar aus diesen Güte-Werten berechnet, um die Parameter dieser spezifischen Schicht und ihre Güte-Matrix zu aktualisieren. Die Aktivierungen werden anschließend getrennt und zur nächsten Schicht weitergeleitet.
4. Vorhersage: Beim Inferenzlauf kann MF entweder Güte-Werte über alle Schichten hinweg akkumulieren oder sich ausschließlich auf die Güte-Werte der letzten Schicht verlassen, wobei Letzteres speichereffizienter ist.

Die Arbeit führt zudem umfangreiche Ablationsstudien durch, um den Einfluss globaler Fehlerausbreitung, vollständiger Vergleichs-Güte-Ziele (FC-FF) und interner L2-Normalisierung zwischen den Schichten zu analysieren. Dabei wird gezeigt, dass das ursprüngliche FF-Ziel im Vergleich zu Standard-Klassifikationszielen eine wesentliche Quelle für Leistungsverschlechterungen darstellt.

Hauptbeiträge

• Zerlegung von FF: Die Arbeit liefert eine konzeptionelle Zerlegung, die zeigt, dass die Leistungslücke zwischen FF und BP nicht allein auf Lokalität zurückzuführen ist, sondern maßgeblich durch die Ineffizienz des ursprünglichen kontrastiven Güte-Ziels für überwachte Klassifikationsaufgaben beeinflusst wird.
• Mono-Forward (MF): Die Einführung von MF als minimaler, kontrollierter Basislinie für lokales Lernen. MF isoliert den Effekt des FF-Ziels, indem es dieses durch einen standardmäßigen Cross-Entropy-Verlust ersetzt, während lokale Parameteraktualisierungen beibehalten werden.
• Empirische Validierung: Umfangreiche Experimente mit MLPs, Convolutional Neural Networks (CNNs) und MLP-Mixer-Architekturen auf Datensätzen einschließlich MNIST, FashionMNIST, CIFAR-10/100, PathMNIST und TinyImageNet.
• Analyse der Speichereffizienz: Eine detaillierte Analyse des Speicherbedarfs, die hervorhebt, dass MF zwar den Speicherbedarf in MLP-Szenarien reduziert, seine Speicherkosten in CNNs jedoch BP übersteigen können, bedingt durch die Speicherung von Güte-Matrizen für hochauflösende Feature-Maps.

Ergebnisse

• Genauigkeitsverbesserungen: Über MLP-Benchmarks hinweg übertrifft MF konsistent das reine FF und verschiedene FF-Varianten (z. B. Collaborative FF, SymBa). Auf MLPs erreicht MF eine mit BP vergleichbare Genauigkeit, übertrifft diese leicht bei MNIST und FashionMNIST und bleibt bei CIFAR-10 und CIFAR-100 konkurrenzfähig.
• MLP-Mixer-Leistung: Auf PathMNIST übertrifft MF BP in der Genauigkeit leicht (89,32 % vs. 87,62 % in einer spezifischen Konfiguration), benötigt jedoch nur 31 % des von BP verbrauchten Speichers.
• Einschränkungen bei CNNs: Bei Anwendung auf CNNs skalieren die Speicherkosten von MF mit der räumlichen Auflösung und der Anzahl der Klassen und übersteigen manchmal den Speicherbedarf von BP, im Gegensatz zu vollvernetzten MLPs, wo sie erhebliche Einsparungen bietet.
• Qualität der Repräsentation: Analysen mittels Linear-Probe-Genauigkeit, k-NN-Genauigkeit und Fisher-Ratio zeigen, dass MF stärkere schichtweise Repräsentationen als reines FF lernt, insbesondere in tieferen Schichten, und mit BP konkurrenzfähig bleibt.
• Hardware-Effizienz: MF zeigt reduzierte Wandzeit pro Epoche auf CPUs (0,88–0,93-fache der BP-Zeit), ist jedoch auf GPUs langsamer (1,18-fache der BP-Zeit), bedingt durch das Fehlen hochoptimierter Kernel für schichtenweise lokale Ziele im Vergleich zur Standard-Backpropagation.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die primäre Einschränkung des Forward-Forward-Algorithmus in überwachten Szenarien nicht die Lokalität seiner Aktualisierungen ist, sondern vielmehr das spezifische kontrastive Ziel, das er verwendet. Durch die Entkopplung dieser Faktoren demonstrieren die Autoren, dass lokales Lernen hochwirksam sein kann, wenn es mit einem Standard-Klassifikationsziel kombiniert wird.

Die Bedeutung von Mono-Forward ist zweifach:

1. Praktisch: Es bietet eine Trainingsmethode, die eine Genauigkeit nahe an Backpropagation bei deutlich reduziertem Speicherbedarf in bestimmten Architekturen (MLPs und MLP-Mixer) erreicht, was die Zugänglichkeit für ressourcenbeschränkte Umgebungen potenziell verbessert.
2. Analytisch: Es dient als „kontrollierte Sonde" für das Feld des lokalen Lernens. Die Autoren gehen davon aus, dass der Vergleich einer lokalen Lernmethode mit einer Variante, die ihre Lokalitätsbeschränkung lockert (durch Einführung globaler Fehlersignale), eine nützliche Strategie ist, um zu identifizieren, ob Leistungslücken durch Lokalität oder durch die Wahl des Trainingsziels verursacht werden.

Die Autoren bleiben bescheiden und räumen ein, dass MF kein getreues biologisches Modell ist (da es weiterhin auf expliziten Labels und gradientenbasierter Optimierung beruht) und dass seine Effizienz hardwareabhängig ist. Sie behaupten nicht, dass MF BP universell überlegen ist, sondern schlagen vor, dass sorgfältig gestaltete lokale Ziele in bestimmten Szenarien vorteilhaft sein können, insbesondere dort, wo Speichereffizienz von größter Bedeutung ist.