🔬 condensed matter

Spectral Dynamics in Deep Networks: Feature Learning, Outlier Escape, and Learning Rate Transfer

Dieser Beitrag stellt eine zweistufige dynamische Mittelwertfeldtheorie vor, um die Entwicklung versteckter Gewichtsspektren in breiten neuronalen Netzen zu analysieren, wobei aufgedeckt wird, wie sich die Dynamik von Ausreißern und die Übertragung von Hyperparametern zwischen Parametrisierungen unterscheiden und wie sich das spektrale Verhalten mit zunehmender Aufgabenkomplexität und Output-Dimension von ausreißergetriebenen zu massenumschichtenden Mechanismen verschiebt.

Ursprüngliche Autoren: Clarissa Lauditi, Cengiz Pehlevan, Blake Bordelon

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Clarissa Lauditi, Cengiz Pehlevan, Blake Bordelon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein neuronales Netzwerk als ein riesiges, chaotisches Orchester von Musikern (Neuronen) vor, die versuchen, ein Lied zu lernen. Am Anfang spielen alle zufällige Noten. Während der Dirigent (der Trainingsalgorithmus) sie führt, beginnen sie, die Melodie zu finden.

Dieser Artikel ist eine theoretische Studie darüber, wie sich der „Klang" dieses Orchesters verändert, während es lernt. Konkret betrachten die Autoren die „spektralen Dynamiken", was eine ausgefallene Art ist, die Verteilung der Energie in den Verbindungen des Netzwerks zu beschreiben.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die zwei Arten von Klang: Die Menge und die Solisten

Wenn das Orchester zufällig zu spielen beginnt, ist der Klang ein gleichmäßiges, statisches Summen. Mathematisch wird dies als „Bulk" (Volumen) bezeichnet. Es ist wie eine Menschenmenge, die in einem Stadion murmelt; man kann keine einzelne Stimme hören, nur eine Wand aus Lärm.

Während das Netzwerk lernt, heben sich einige spezifische „Musiker" (oder Richtungen in der Mathematik) hervor und spielen eine klare, deutliche Melodie. Dies sind die „Outliers" (Ausreißer) oder „Spikes".

Die Entdeckung des Artikels: Die Autoren entwickelten ein neues mathematisches Werkzeug (genannt Two-Level DMFT), um genau zu verfolgen, wann und wie diese Solisten aus der Menge hervortreten.
Der Haken: In der Standardmathematik gehen wir normalerweise davon aus, dass diese Solisten unabhängig von der Menge sind. Aber in einem lernenden neuronalen Netzwerk werden die Solisten von der Menge erschaffen. Sie sind statistisch verknüpft. Das neue Werkzeug der Autoren ist das erste, das diese spezifische Beziehung genau verfolgen kann.

2. Die „Magie" der Skalierung (µP vs. NTK)

Eine der größten Fragen in der KI lautet: „Wenn ich mein Netzwerk 10-mal größer mache, muss ich dann alle Einstellungen neu justieren?"

Der alte Weg (NTK): Stellen Sie sich eine kleine Band vor. Wenn Sie plötzlich 100 weitere Musiker hinzufügen, verändert sich der Klang komplett. Die „Solisten" verhalten sich anders, und Sie müssen die Lautstärkeregler (Lernraten) völlig neu einstellen. Der Artikel zeigt, dass in diesem „NTK"-Setup das Verhalten der Solisten stark davon abhängt, wie groß das Orchester ist.
Der neue Weg (µP): Die Autoren untersuchten eine spezifische Justierungsmethode namens µP (Maximal Update Parameterization). Sie fanden heraus, dass sich bei µP die „Solisten" unabhängig von der Orchestergröße konsistent verhalten.
- Die Analogie: Es ist wie ein magischer Dirigent, der sicherstellt, dass der Leadsänger, egal ob Sie 10 Musiker oder 10.000 haben, immer zur gleichen Zeit denselben hohen Ton trifft. Dies erklärt, warum µP einen „Hyperparameter-Transfer" ermöglicht: Sie können ein kleines Modell trainieren, die perfekten Einstellungen finden und sie auf ein riesiges Modell anwenden, ohne neu justieren zu müssen.

3. Wenn sich das ganze Orchester verändert (Das „extensive" Problem)

Der Artikel fand heraus, dass ihre Theorie „Menge vs. Solist" für einfache Aufgaben perfekt funktioniert (wie das Erkennen von Katzen vs. Hunden in CIFAR-10). In diesen Fällen treten nur wenige „Solisten" aus dem Rauschen hervor.

Für massive Aufgaben wie Sprachmodelle (GPT) oder ImageNet jedoch:

Der Wandel: Der Ausgabewortschatz ist so riesig (denken Sie an 50.000 Wörter), dass es nicht nur wenige Solisten sind, die hervortreten. Stattdessen verändert sich der gesamte Charakter der Menge. Der „Bulk" selbst verschiebt sich und formt sich neu.
Die Analogie: Es sind nicht mehr nur ein paar Leute, die aufstehen, um zu singen; die gesamte Atmosphäre des Stadions verändert sich. Das „Rauschen" wird zu einer anderen Art von Rauschen.
Die Lösung: Die Autoren bauten ein „Spielzeugmodell" (eine vereinfachte Simulation), um zu zeigen, dass selbst in diesem chaotischen Szenario, wenn das Netzwerk breit genug ist, sich der „Rand" des Klangs (der lauteste Teil) schließlich stabilisiert. Dies deutet darauf hin, dass selbst für riesige Modelle eine vorhersehbare Grenze dafür existiert, wie sich die Lern-Dynamiken beruhigen.

4. Der „Rand der Stabilität"

Der Artikel berührt ein Konzept namens „Edge of Stability" (EoS).

Die Analogie: Stellen Sie sich vor, Sie fahren ein Auto. Wenn Sie zu schnell fahren, haben Sie einen Unfall. Wenn Sie zu langsam fahren, kommen Sie nirgendwohin. Es gibt einen „Sweet Spot" genau am Rande eines Unfalls, wo Sie am schnellsten fahren.
Die Erkenntnis: Der Artikel zeigt, dass die „Solisten" (die Ausreißer) diejenigen sind, die diese Geschwindigkeitsbegrenzung bestimmen. Im µP-Setup ist diese Geschwindigkeitsbegrenzung stabil, egal wie groß das Netzwerk ist. Im alten Setup ändert sich die Geschwindigkeitsbegrenzung je nach Größe des Netzwerks, was es schwer vorhersehbar macht.

Zusammenfassung

Was sie taten: Sie schufen ein neues mathematisches Mikroskop, um zu beobachten, wie neuronale Netzwerke lernen, und verfolgten speziell, wie „ausreißerartige" Signale aus zufälligem Rauschen hervortreten.
Was sie fanden:
1. µP ist besonders: Es hält die Lern-Dynamiken über verschiedene Netzwerkgrößen hinweg konsistent und erklärt, warum es hervorragend für die Skalierung von Modellen geeignet ist.
2. Einfach vs. Komplex: Bei kleinen Aufgaben erzeugt das Lernen einige deutliche „Solisten". Bei massiven Aufgaben (wie LLMs) formt das Lernen die gesamte „Menge" des Rauschens neu.
3. Vorhersehbarkeit: Selbst im Szenario der massiven Umformung stabilisiert sich der „Rand" der Lern-Dynamiken schließlich, wenn das Netzwerk breit genug ist.

Der Artikel ist rein theoretisch; er erklärt, warum bestimmte Trainingsmethoden besser funktionieren als andere, und liefert den mathematischen „Bauplan" dafür, wie sich diese Netzwerke entwickeln, ohne zu behaupten, spezifische reale Probleme wie die Heilung von Krankheiten oder den Bau von selbstfahrenden Autos zu lösen.

Technische Zusammenfassung: Spektrale Dynamik in tiefen Netzwerken

Problemstellung

Das Verständnis der Evolution verborgener Repräsentationen in großen neuronalen Netzwerken bleibt eine zentrale Herausforderung in der Theorie des Deep Learning. Während unendlich breite Grenzen wesentliche Einblicke geliefert haben, besteht eine kritische Lücke in Regimen, in denen Netzwerke Feature-Learning (das „reiche" Regime) zeigen, anstatt lediglich lineare Modelle auf statischen Merkmalen anzupassen (das „faule" oder Kernel-Regime). Insbesondere fehlt es an vollständigen theoretischen Erklärungen für:

Wie sich die spektrale Dynamik verborgener Gewichtsmatrizen während des Trainings entwickelt, insbesondere das Auftreten isolierter singulärer Werte (Ausreißer) aus dem zufälligen Bulk.
Die Mechanismen, die der Hyperparameter-Übertragung (z. B. Stabilität der Lernrate) über verschiedene Netzwerkbreiten hinweg zugrunde liegen.
Das Verhalten von Netzwerken mit extensiven Ausgabedimensionen (z. B. Sprachmodelle mit großen Vokabularen), bei denen das Standardbild „Bulk + endliche Ausreißer" versagen kann.

Aktuelle Modelle der Zufallsmatrixtheorie (Random Matrix Theory, RMT), wie der BBP-Übergang (Baik-Ben Arous-Péché), gehen typischerweise davon aus, dass Signalspitzen statistisch unabhängig vom zufälligen Noise-Bulk sind. In trainierten neuronalen Netzwerken sind die gelernten Richtungen (Spitzen) jedoch kausal von den initialen zufälligen Gewichten abhängig, wodurch Standard-Spitzenmatrixmodelle unzureichend werden.

Methodik

Die Autoren entwickeln ein zweistufiges Dynamical-Mean-Field-Theorie (DMFT)-Rahmenwerk, um die Spektren singulärer Werte von breiten, zufällig initialisierten tiefen Netzwerken zu verfolgen, die mittels (stochastischen) Gradientenabstiegs trainiert werden.

Kerntheoretisches Rahmenwerk

Statistisch gekoppelte Spitzen: Die Theorie modelliert die Gewichtsmatrix $W^{(S)}$ als zufällige Initialisierung $W^{(0)}$ plus eine Update-Struktur endlichen Ranges (Spitzen), wobei die Spitzenvektoren funktional von der initialen zufälligen Matrix abhängig sind. Dies erfasst die kausale Abhängigkeit gelernter Merkmale von der Initialisierung.
Zweistufige DMFT:
- Ebene 1 (Trainingsdynamik): Beschreibt die Evolution der Trainingsfelder (vorwärtsgewandte Merkmale $\phi$ und rückwärtsgewandte Gradienten $g$ ), die durch Gradientenabstieg erzeugt werden. Diese Felder bestimmen die Struktur der Spitzen.
- Ebene 2 (Spektrale Sonde): Führt eine lineare spektrale Sonde ein, um das Spektrum der resultierenden Gewichtsmatrix aufzulösen. Diese Ebene unterscheidet zwischen dem kontinuierlichen Bulk (governed by the Marchenko-Pastur law) und isolierten Ausreißern.
Kriterium zur Ausreißererkennung: Das Rahmenwerk leitet eine endlich-dimensionale Bedingung für das Auftreten von Ausreißern ab. Spezifisch entsprechen Ausreißer den Nullstellen der Determinante einer matrixwertigen Funktion $A(z)$ , die aus den Korrelations- und Antwortfunktionen der DMFT konstruiert wird.

Anwendungsregime

Das Rahmenwerk wird auf zwei spezifische Settings angewendet:

Super-breite nichtlineare Netzwerke: Unendlich breite Grenzen mit fester Batch-Größe und Trainingszeit (Mean-field/ $\mu$ P-Skalierung).
Proportionale hochdimensionale lineare Netzwerke: Grenzen, bei denen Breite ( $N$ ), Eingabedimension ( $D$ ) und Stichprobengröße ( $P$ ) mit festen Verhältnissen divergieren ( $\nu = N/D$ , $\alpha = P/D$ ).

Hauptbeiträge

1. Theorie statistisch abhängiger Spitzen

Die Arbeit liefert eine exakte theoretische Charakterisierung der Dynamik singulärer Werte für Matrix-Ensembles, bei denen Spitzen statistisch mit dem zufälligen Bulk gekoppelt sind. Dies erweitert die Standard-RMT auf den Kontext trainierter neuronaler Netzwerke und liefert ein Kriterium dafür, wann und wie Ausreißer als Funktion von Trainingszeit, Breite und Initialisierung aus dem Bulk „entweichen" (BBP-Übergang).

2. Mechanismus der Hyperparameter-Übertragung

Die Theorie erklärt, warum $\mu$ P (maximal update parameterization) eine breitengerechte Hyperparameter-Übertragung ermöglicht, während die NTK-Parametrisierung dies nicht tut:

$\mu$ P: Der führende spektrale Ausreißer (NTK-Modus) zeigt breitengestützte Dynamik. Die Zeit bis zum Erreichen des „Edge of Stability" (EoS) und das Wachstum des führenden Eigenwerts sind über verschiedene Breiten hinweg konsistent.
NTK-P: Obwohl sie gegen einen stabilen Grenzwert großer Breite konvergieren, sind die Ausreißerdynamiken stark breitenabhängig, was zu inkonsistenter Lernraten-Übertragung führt.

3. Grenzen des Bilds endlicher Ausreißer

Die Autoren zeigen, dass das Bild „Bulk + endliche Ausreißer" für Aufgaben mit kleinen Ausgabekanälen (z. B. CIFAR-10-Klassifizierung) beschreibend ist. Für Aufgaben mit extensiven Ausgabekanälen (bei denen die Anzahl der Klassen $C$ mit der Breite $N$ skaliert, wie beim GPT-artigen Sprachmodellieren) restrukturiert das Training jedoch den gesamten spektralen Bulk, anstatt isolierte Spitzen zu erzeugen.

4. Modell für extensive Ausgabekanäle

Um das extensive Regime zu adressieren, schlagen die Autoren ein Toy-Modell für lineare Netzwerke mit $C \sim O(N)$ Ausgabekanälen vor. Sie zeigen, dass in diesem Regime der spektrale Bulk sich verschiebt und verbreitert und dass die Kante des Spektrums nur konvergiert, wenn die Breite im Verhältnis zur Ausgabedimension ausreichend groß ist.

Ergebnisse

Empirische und theoretische Validierung

CIFAR-10 (nichtlineare Netzwerke): Die Theorie sagt die Dynamik spektraler Ausreißer in breiten ResNets, die auf CIFAR-10 trainiert wurden, genau voraus. Die beobachtete Dynamik zeigt eine endliche Anzahl von Spitzen, die sich von einem stabilen Marchenko-Pastur-Bulk ablösen, was mit dem BBP-Übergang konsistent ist.
Tiefe lineare Netzwerke:
- Die Theorie sagt voraus, dass in $\mu$ P der führende NTK-Eigenwert auf konsistente Weise zur Breite hin gegen den Edge of Stability wächst.
- Im Gegensatz dazu zeigt die NTK-Parametrisierung eine starke Breitenabhängigkeit im Wachstum des führenden Eigenwerts und unterstützt keine konsistente Lernraten-Übertragung.
ImageNet und GPT (extensive Ausgaben):
- ImageNet: Das Training modifiziert den Bulk des Spektrums der verborgenen Gewichte (verschiebt ihn nach links und erzeugt einen rechten Schwanz), anstatt nur isolierte Ausreißer zu erzeugen.
- GPT-Pretraining: Eine ähnliche Bulk-Restrukturierung wird in Sprachmodellen beobachtet, bei denen die Vokabulargröße ( $\sim 50k$ ) die verborgene Breite übersteigt. Die spektrale Dichte kann nicht durch einen konstanten Bulk plus eine endliche Menge an Ausreißern beschrieben werden.
- Toy-Modell: Das vorgeschlagene lineare Netzwerkmodell mit extensiven Klassen rekapituliert diese Bulk-Restrukturierung. Die theoretische Analyse zeigt, dass die spektrale Kante gegen eine verschobene Marchenko-Pastur-Plateau konvergiert, wobei endliche-Breiten-Korrekturen als $O(1/\nu)$ skalieren.

Bedeutung und Behauptungen

Die Arbeit beansprucht, eine mechanistische Diagnose zu liefern für:

Feature-Learning: Die Evolution des spektralen Bulks und isolierter Ausreißer dient als Signatur des Übergangs von faulen zu reichen Regimen.
Hyperparameter-Übertragung: Breitengestützte Ausreißerdynamiken werden als notwendige Bedingung für eine erfolgreiche Lernraten-Übertragung über Modellgrößen hinweg identifiziert. Die Theorie erklärt, warum $\mu$ P diesbezüglich erfolgreich ist, wo NTK versagt.
Skalierungsgesetze: Die Arbeit verbindet spektrale Dynamik mit neuronalen Skalierungsgesetzen und legt nahe, dass das Bild „Bulk + Ausreißer" für moderne großskalige Aufgaben mit extensiven Ausgaben unzureichend ist und eine Betrachtung des Trainings als Restrukturierung des gesamten spektralen Bulks erfordert.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und erkennen an, dass die aktuelle Theorie strikt auf super-breite nichtlineare Netzwerke (wo das Bulk+Spitzen-Bild gilt) oder proportionale lineare Netzwerke mit endlichen Ausgabekanälen anwendbar ist. Die Analyse extensiver Klassen ist derzeit auf einen einzelnen Gradientenschritt beschränkt, und die Dynamik des Spektrums in vollständig trainierten Netzwerken mit extensiven Ausgaben bleibt zukünftiger Arbeit vorbehalten.