🤖 machine learning

Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

Dieser Artikel zeigt, dass der praktische induktive Bias trainierter tiefer Netzwerke nicht nur von ihrer Architektur bestimmt wird, sondern auch davon, wie die Trainingsdynamik – insbesondere die Lernrate, die Wahl des Optimierers und die Regularisierung – die Erinnerung an die zufällige Initialisierung filtert oder auslöscht, wobei SGD mit niedriger Lernrate diesen anfänglichen Bias bewahrt, während adaptive Verfahren und eine explizite Normkontrolle ihn effektiv auslöschen.

Ursprüngliche Autoren: Mohua Das, Pierfrancesco Beneventano, Shibshankar Dey, Gareth H. McKinkey, Tomaso Poggio

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohua Das, Pierfrancesco Beneventano, Shibshankar Dey, Gareth H. McKinkey, Tomaso Poggio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Koch ein, um ein komplexes Gericht zuzubereiten. Sie geben ihm eine spezifische Auswahl an Zutaten (die Initialisierung) und ein Rezept (die Trainingspipeline).

Diese Arbeit stellt eine einfache, aber tiefgründige Frage: Hängt der endgültige Geschmack des Gerichts davon ab, wie genau der Koch die Zwiebeln ganz am Anfang gehackt hat, oder löscht der Kochprozess selbst diese anfänglichen Unterschiede aus?

In der Welt der KI wird das „Hacken von Zwiebeln" als Initialisierung bezeichnet. Es ist der zufällige Startpunkt eines neuronalen Netzwerks, bevor es etwas gelernt hat. Der „Kochprozess" ist das Training, bei dem das Netzwerk aus Daten lernt.

Hier ist das, was die Arbeit entdeckt hat, aufgeschlüsselt in alltägliche Konzepte:

1. Das „Gedächtnis" des Kochs

Die Forscher führten ein Konzept namens „Initialisierungs-Gedächtnis" ein. Dies ist eine Methode, um zu messen, wie sehr die finale KI noch ihren zufälligen Startpunkt „erinnert".

Hohes Gedächtnis: Die finale KI verhält sich sehr unterschiedlich, je nachdem, wie sie gestartet wurde. Wenn Sie mit einem leicht anderen Zufallssamen beginnen, wird die KI zu einem völlig anderen (und potenziell schlechteren) Koch.
Niedriges Gedächtnis: Die finale KI vergisst ihren Startpunkt. Egal, wie Sie die Zwiebeln anfangs hacken, der Kochprozess glättet alles, und Sie erhalten dasselbe großartige Gericht.

2. Die zwei Arten von Köchen (Optimierer)

Die Arbeit testete verschiedene „Kochmethoden" (Optimierer), um herauszufinden, welche vergessen und welche sich erinnern.

Der langsame, sorgfältige Koch (Low-Learning-Rate-SGD):
Stellen Sie sich einen Koch vor, der winzige, vorsichtige Schritte macht. Die Arbeit ergab, dass dieser Koch alles erinnert. Selbst nachdem er lange gekocht und das Rezept perfekt auswendig gelernt hat (Trainingsgenauigkeit), schmeckt das finale Gericht immer noch unterschiedlich, je nachdem, wie die Zutaten anfangs angeordnet waren.
- Das Ergebnis: Wenn Sie mit einem „großen" zufälligen Hack beginnen, schmeckt das Gericht möglicherweise schrecklich. Beginnen Sie mit einem „kleinen" Hack, schmeckt es großartig. Der Koch vergisst das anfängliche Chaos nie vollständig.
Der adaptive, schnelle Koch (Adam, AdamW, Muon):
Stellen Sie sich einen Koch vor, der seine Messergeschwindigkeit und den Druck basierend auf dem Essen, das er schneidet, anpasst. Diese Methoden vergessen den Startpunkt sehr schnell.
- Das Ergebnis: Egal, wie unterschiedlich der anfängliche Hack war, der adaptive Koch passt seine Technik so gut an, dass das finale Gericht fast genau gleich schmeckt. Sie „löschen" die Erinnerung an den Start.

3. Zeit hilft nicht immer

Eine verbreitete Annahme ist, dass der langsame Koch (SGD), wenn man ihn einfach länger arbeiten lässt, schließlich den schlechten Start vergisst.

Die Erkenntnis der Arbeit: Nein. Selbst wenn Sie den langsamen Koch 5.000 Stunden (Epochen) arbeiten lassen, erinnert er sich immer noch an den anfänglichen Hack. Der „schlechte Start" bleibt bestehen.
Die Lösung: Um den langsamen Koch zum Vergessen zu bringen, benötigen Sie nicht nur mehr Zeit; Sie müssen den Stil des Kochens ändern. Sie müssen Regularisierung hinzufügen (wie das Hinzufügen eines bestimmten Gewürzes oder einer Einschränkung, z. B. L2-Gewichtsdecay) oder mit größeren Schritten kochen (höhere Lernrate). Diese Änderungen wirken wie ein „Reset-Knopf", der die Tafel wieder leert.

4. Die „Uhr" des Vergessens

Die Arbeit argumentiert, dass wir das Vergessen nicht danach messen sollten, wie viele Stunden (Epochen) der Koch gearbeitet hat. Stattdessen sollten wir es nach der Gesamtmenge an „Aufwand" oder „Regularisierung" messen, die angewendet wurde.

Denken Sie daran wie an einen Eimer Wasser (das Gedächtnis des Starts).
Langsames Kochen (niedrige Lernrate) hat ein winziges Loch im Eimer. Das Wasser (Gedächtnis) sickert so langsam heraus, dass der Eimer selbst nach langer Zeit noch voll ist.
Adaptives Kochen oder Hinzufügen von Gewichtsdecay erzeugt ein großes Loch. Das Wasser läuft schnell ab, und der Eimer ist schnell leer (vergessen).

5. Die große Erkenntnis

Die „Bias" oder „Persönlichkeit" einer KI wird nicht nur durch ihre Architektur (der Topf und die Pfanne) bestimmt. Sie wird auch davon geprägt, wie der Trainingsprozess mit ihrem Startpunkt umgeht.

Wenn Sie ein „vergessliches" Trainingsrezept verwenden (wie Adam oder SGD mit Gewichtsdecay), wird die KI robust. Es spielt keine Rolle, ob Sie mit einem glücklichen oder unglücklichen Zufallssamen beginnen; sie wird dieselbe gute Lösung lernen.
Wenn Sie ein „erinnerndes" Rezept verwenden (wie langsames SGD ohne zusätzliche Hilfe), ist die KI fragil. Ein schlechter Start kann die finale Leistung ruinieren, selbst wenn die KI die Trainingsdaten perfekt gelernt hat.

Kurz gesagt: Die Arbeit beweist, dass eine gute Generalisierung (gute Vorhersagen auf neuen Daten zu treffen) eng mit der Fähigkeit des Trainingsprozesses verknüpft ist, ihren zufälligen Start zu „vergessen". Die Mechanismen, die einer KI helfen, sich gut zu generalisieren, sind genau dieselben Mechanismen, die sie dazu bringen, ihre Initialisierung zu vergessen.

Technische Zusammenfassung: „Vergessen tiefe Netzwerke die Initialisierung? Eine Sicht auf die Vergessenszeit als praktische induktive Verzerrung"

Problemstellung
Moderne neuronale Netze sind stark überparametrisiert, was bedeutet, dass ihre Kapazität allein die Generalisierung nicht erklären kann. Während die Trainingspipeline (Architektur, Optimierer, Regularisierung usw.) eine spezifische Funktion aus der Hypothesenklasse auswählt, bleibt die Rolle der initialen zufälligen Gewichte bei der Bestimmung des finalen Prädiktors unklar. Die bestehende Literatur präsentiert zwei widersprüchliche Ansichten:

Initialisierung als Quelle von Verzerrung: Theoretische Arbeiten deuten darauf hin, dass zufällige Netzwerke eine inhärente „Simplicity Bias" (eine Prior-Verteilung über Funktionen) besitzen, die das Training überdauern und die Generalisierung antreiben kann.
Initialisierung als Mechanismus für Trainierbarkeit: Das praktische Training im großen Maßstab betrachtet die Initialisierung oft lediglich als Werkzeug zur Stabilisierung der Signalpropagation und zur Verhinderung explodierender oder verschwindender Gradienten, wobei angenommen wird, dass der finale Prädiktor nach Konvergenz des Trainings weitgehend unabhängig vom initialen Seed ist.

Die Arbeit untersucht eine präzise Teilfrage: In welchem Maße hängt der von einer modernen Trainingspipeline ausgewählte finale Prädiktor von der Skala der zufälligen Initialisierung ab? Spezifisch: „Vergisst" der Trainingsprozess die Anfangsbedingung, oder persistiert die initiale Verzerrung in der finalen Lösung?

Methodik
Die Autoren führen eine kontrollierte empirische Studie mit ResNets auf dem CIFAR-10-Datensatz durch. Sie führen eine diagnostische Metrik namens Initialisierungsgedächtnis ein, definiert als die Abhängigkeit des zur Validierung ausgewählten Prädiktors von der Initialisierungsskala $\sigma_w$ .

Experimentelles Design: Sie variieren die globale Skala $\sigma_w$ der zufälligen Kernel-Initialisierung, während alle anderen Faktoren (Architektur, Datenaufteilung, Optimierer, Batch-Größe, Lernraten-Schedule und Trainingshorizont) konstant gehalten werden.
Metriken:
- Test-Genauigkeits-Spreizung: Der Unterschied zwischen der besten und der schlechtesten Testgenauigkeit über verschiedene $\sigma_w$ -Werte hinweg am Checkpoint mit dem besten Validierungsverlust.
- Interpolations-Epoch ( $\tau_{interp}$ ): Die Epoch, in der die Trainingsgenauigkeit 99,5 % erreicht.
- Frobenius-Norm ( $\|W\|_F$ ): Wird verwendet, um das „radiale Gedächtnis" zu messen (ob die finale Gewichtsnorm mit der initialen Norm gekoppelt bleibt).
- Reparatur-Lücke: Die Änderung der Validierungsgenauigkeit zwischen Interpolation und dem finalen Checkpoint.
Variablen: Die Studie variiert Optimierer (SGD, SGD mit Momentum, Adam, AdamW, Muon), Batch-Größen ( $b \in \{16, 32, 64, 128, 256\}$ ), Initialisierungsskalen ( $\sigma_w \in [0.1, 2.5]$ ), Netzwerktiefen (ResNet-9, 56, 110) und explizite Regularisierung (L2-Gewichtsdecay).
Theoretischer Rahmen: Die Autoren wenden eine Rückwärtsfehleranalyse an, um diskrete Optimierer als Gradientenflüsse auf modifizierten Zielfunktionen zu interpretieren. Sie schlagen „Vergessenszeitskalen" vor, die auf der kumulierten Stärke von Regularisierungsmechanismen basieren, anstatt auf einfachen Epochenzahlen.

Hauptergebnisse

Abhängigkeit vom Optimierer:
- SGD erinnert sich: Bei niedrigen Lernraten behält Vanilla SGD ein starkes Initialisierungsgedächtnis. Auf ResNet-9 mit Batch-Größe $b=128$ variiert die Testgenauigkeit über die Initialisierungsskalen hinweg um 26,5 Prozentpunkte, trotz Erreichen von $\ge 99,5\%$ Trainingsgenauigkeit. Die finale Gewichtsnorm bleibt mit der initialen Norm gekoppelt.
- Adaptive Methoden vergessen: Adam, AdamW und Muon löschen die Abhängigkeit von der Initialisierungsskala weitgehend. Unter denselben Bedingungen ist ihre Testgenauigkeits-Spreizung minimal (z. B. ~4,0 pp für Muon). Sie konvergieren unabhängig von der initialen Skala zu einer gemeinsamen finalen Normskala.
Abhängigkeit von Hyperparametern:
- Trainingszeit ist unzureichend: Die Erweiterung von SGD mit niedriger Lernrate auf 5.000 Epochen reduziert die Initialisierungsspreizung nicht signifikant; das Gedächtnis persistiert.
- Regularisierung und Lernrate: SGD kann dazu gebracht werden, die Initialisierung zu vergessen, wenn das Trainingsrezept größere Lernraten oder expliziten L2-Regularisierung (Gewichtsdecay) beinhaltet. Beispielsweise reduziert die Hinzufügung von L2-Decay mit $\eta=10^{-2}$ die Spreizung auf nahezu Null.
- Batch-Größe: Größere Batch-Größen verlangsamen den Vergessensprozess für SGD und erhöhen die Spreizung.
Tiefe und Architektur:
- In tieferen Netzwerken (ResNet-56, ResNet-110) manifestieren sich schlechte Vergessensdynamiken anders: Anstatt nur mit schlechter Generalisierung zu interpolieren, versagen die Netzwerke bei großen Initialisierungsskalen oft darin, gut zu trainieren (versagen beim Interpolieren).
Vergessenszeitskalen:
Die Autoren identifizieren, dass das Vergessen durch kumulative „Uhren" und nicht durch die Epochenzahl gesteuert wird:
- $T_{SGD} = \frac{1}{b} \sum \eta_k^2$ : Die Zeitskala für stochastische Effekte mit endlichen Schritten (Minibatch-Rauschen). SGD mit niedriger LR hat eine winzige $T_{SGD}$ , was zu Gedächtniserhaltung führt.
- $T_{L2} = \lambda \sum \eta_k$ : Die Zeitskala für expliziten Norm-Decay.
- $T_{adapt} = \sum \eta_k$ : Die Zeitskala für adaptive Vorbedingung.
  Adaptive Methoden operieren auf der $T_{adapt}$ -Skala, die signifikant größer ist (schnelleres Vergessen) als die $T_{SGD}$ -Skala von SGD mit niedriger LR.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die „praktische induktive Verzerrung" eines trainierten Netzwerks nicht allein der bei der Initialisierung vorhandene architektonische Prior ist, sondern vielmehr der durch die Vergessensdynamik der Trainingspipeline gefilterte architektonische Prior.

Auflösung des Paradoxons: Die Autoren lösen den scheinbaren Widerspruch zwischen Theorien der Simplicity Bias und der praktischen Trainingsstabilität auf. Sie argumentieren, dass die Mechanismen, die die Generalisierung verbessern (z. B. Gewichtsdecay, adaptive Optimierer, größere Lernraten), genau diejenigen sind, die das Gedächtnis der Initialisierung auslöschen.
Rolle der Initialisierung: In Regularisierung-reichen, modernen Trainingspipelines dient die Initialisierung primär als Trainierbarkeitsvorrichtung (Stabilisierung der Optimierung, Ermöglichung von Tiefe) und nicht als persistierende Quelle induktiver Verzerrung. Das „Ockhams Rasiermesser", das in der Praxis zählt, wird durch die kumulierten Regularisierer entlang der Trajektorie auferlegt, nicht durch die initiale Parameterkarte.
Einschränkungen: Die Autoren räumen ein, dass ihre Ergebnisse auf BatchNorm-ResNets auf CIFAR-10 basieren. Die vorgeschlagenen Zeitskalen-Ausdrücke sind organisierende Prinzipien, die aus linearen und skalierungsinvarianten Argumenten abgeleitet wurden, keine universellen Theoreme für nichtlineare BatchNorm-Netzwerke. Dennoch stimmt die beobachtete empirische Hierarchie (SGD erinnert sich, adaptive Methoden vergessen, Regularisierung löscht das Gedächtnis) mit diesen theoretischen Uhren überein.

Zusammenfassend zeigt die Arbeit, dass tiefe Netzwerke die Initialisierung nicht automatisch vergessen; sie vergessen sie nur, wenn die spezifischen Trainingsdynamiken (Stochastizität, Adaptivität oder explizite Regularisierung) genügend „Vergessenszeit" bieten, um die initialen geometrischen Verzerrungen zu überschreiben.