Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

Technische Zusammenfassung: Zum Verständnis der Gradientenfluss-Dynamik homogener neuronaler Netze jenseits des Ursprungs

Problemstellung
Moderne tiefe neuronale Netze, die mittels gradientenbasierter Methoden trainiert werden, zeigen oft eine starke Generalisierung trotz Überparametrisierung – ein Phänomen, das auf die durch den Trainingsalgorithmus induzierte implizite Regularisierung zurückzuführen ist. Während erhebliche Fortschritte beim Verständnis der Trainingsdynamik im Neural Tangent Kernel (NTK)-Regime (große Initialisierung) und in den späten Stadien des Trainings erzielt wurden, bleibt das „Small Initialization“-Regime (kleine Initialisierung) weniger verstanden. In diesem Regime operieren Netzwerke in einem Modus des Merkmalslernens (Feature-Learning), doch die hochgradig nichtlineare Entwicklung der Gewichte stellt eine analytische Herausforderung dar.

Vorherige Arbeiten (z. B. Maennel et al., 2018; Kumar und Haupt, 2024, 2025) haben etabliert, dass homogene neuronale Netze mit kleiner Initialisierung über einen längeren Zeitraum nahe am Ursprung verbleiben. Während dieser Phase konvergieren die Gewichte in ihrer Richtung gegen einen Karush-Kuhn-Tucker-Punkt (KKT-Punkt) einer Neural Correlation Function (NCF), ein Phänomen, das als „frühe Richtungskonvergenz“ bekannt ist. Darüber hinaus weisen diese frühen KKT-Punkte oft eine gewisse Sparsität (Dünnbesetztheit) auf. Das Verhalten des Gradientenflusses nach dem Verlassen des Ursprungs durch die Gewichte und die Bewahrung der entstehenden Sparsitätsstruktur während dieses Übergangs wurden jedoch nicht vollständig charakterisiert. Diese Arbeit adresst diese Lücke, indem sie die Gradientenfluss-Dynamik homogener neuronaler Netze unmittelbar nach dem Verlassen des Ursprungs bis zum ersten gefundenen Sattelpunkt analysiert.

Methodik und Setup
Die Arbeit untersucht homogene neuronale Netze $H(x; w)$, die $L$-positiv homogen ($L \ge 2$) sind, was bedeutet, dass $H(x; cw) = c^L H(x; w)$ für $c \ge 0$ gilt. Die Analyse setzt voraus, dass das Netzwerk lokal Lipschitz-stetige Gradienten besitzt, was tiefe lineare Netzwerke und Netzwerke mit polynomischen ReLU-Aktivierungen ($p \ge 2$) einschließt, aber Standard-ReLU-Netzwerke ($p=1$) explizit ausschließt, da diese am Ursprung nicht differenzierbar sind, obwohl empirische Ergebnisse auf potenzielle Erweiterungen hindeuten.

Das Trainingsziel ist die Minimierung einer Verlustfunktion $\mathcal{L}(w)$ mittels Gradientenfluss:
$$\dot{w} = -\nabla \mathcal{L}(w)$$
Die Autoren bauen auf dem Konzept der Neural Correlation Function (NCF) auf, definiert als $N(u) = \bar{e}_y^\top H(X; u)$, wobei $\bar{e}_y = -\ell'(0, y)$. Sie analysieren die beschränkte Optimierung von $N(u)$ auf der Einheitssphäre.

Die Kernmethodik umfasst:

1. Konstruktion der Grenztrajektorie: Definition einer Grenz-Lösung $p(t)$, die den Pfad des Gradientenflusses nach dem Verlassen des Ursprungs repräsentiert. Dies wird durch eine Zeitverschiebung der Lösung $\psi(t, \delta w_0)$ (wobei $\delta$ die Skalierung der Initialisierung ist) um einen Term, der von $\ln(1/\delta)$ abhängt, und der Bildung des Grenzwerts für $\delta \to 0$ erreicht.
2. Stabilitätsanalyse: Nutzung der Eigenschaften von $\Delta$-sekundär-positiven KKT-Punkten der beschränkten NCF. Die Autoren nehmen an, dass die Anfangsrichtung der Gewichte in der stabilen Menge eines solchen KKT-Punkts der NCF liegt.
3. Null-erhaltende Teilmengen (Zero-Preserving Subsets): Einführung des Konzepts einer „null-erhaltenden Teilmenge“ von Gewichten – Gewichten, die bei Null initialisiert wurden und unter dem Gradientenfluss während des gesamten Trainings bei Null bleiben. Dies wird verwendet, um die Bewahrung der Sparsität zu analysieren.

Wesentliche Beiträge und Ergebnisse

1. Gradientenfluss-Dynamik nach dem Verlassen des Ursprungs (Theoreme 4 und 10)
Die Arbeit stellt fest, dass für eine ausreichend kleine Initialisierung die Trajektorie des Gradientenflusses nach dem Verlassen des Ursprungs eng einer spezifischen Grenzpfad $p(t)$ folgt, unabhängig von der spezifischen kleinen Initialisierungsskala $\delta$, sofern die Anfangsrichtung mit einer stabilen Menge eines sekundär-positiven KKT-Punkts der NCF übereinstimmt.

• Zwei-homogene Netzwerke ($L=2$): Theorem 4 zeigt, dass die Trajektorie $\psi(t, \delta w_0)$ nach einer Zeitskalierung von $O(\ln(1/\delta))$ gegen $p(t)$ mit einer Fehlerschranke von $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$ konvergiert.
• Tiefe homogene Netzwerke ($L > 2$): Theorem 10 erweitert dies auf $L$-homogene Netzwerke. Die Verlassenszeit skaliert als $O(\delta^{-(L-2)})$, und die Trajektorie konvergiert ähnlich einem Grenzpfad $p(t)$ mit einer spezifischen Fehlerschranke.
• Implikation: Das Verhalten des Gradientenflusses unmittelbar nach dem Verlassen des Ursprungs wird primtär durch den KKT-Punkt der NCF bestimmt, dem die Gewichte während des Aufenthalts nahe am Ursprung nähergekommen sind.

2. Charakterisierung des ersten Sattelpunkts (Korollare 5, 6, 11, 12)
Die Autoren demonstrieren, dass die Grenztrajektorie $p(t)$ gegen einen stationären Punkt (Sattelpunkt) der Trainingsverlustfunktion konvergiert. Folglich wird die tatsächliche Gradientenfluss-Trajektorie $\psi(t, \delta w_0)$ für eine ausreichend kleine Initialisierung nach dem Verlassen des Ursprungs denselben Sattelpunkt anstreben.

• Das Papier unterscheidet zwischen Fällen, in denen der Sattelpunkt endlich ist (beschränkte Trajektorie), und Fällen, in denen er im Unendlichen liegt (unbeschränkte Trajektorie, häufig bei der Logistic Loss).
• Die Ergebnisse implizieren, dass der Gradientenfluss einer „Sattel-zu-Sattel“-Trajektorie folgt, wobei insbesondere der erste nach dem Ursprung auftretende Sattelpunkt charakterisiert wird.

3. Bewahrung der Sparsität in Feed-Forward-Netzwerken (Abschnitt 4 und Theorem 18)
Ein entscheidender Beitrag ist der Beweis, dass die während der „nahe-am-Ursprung“-Phase entstehende Sparsitätsstruktur nach dem Verlassen des Ursprungs bis zum ersten Sattelpunkt bewahrt wird.

• Null-erhaltende Teilmengen: Die Autoren beweisen, dass für Feed-Forward-homogene Netzwerke die Zeilen und Spalten der Gewichtmatrizen, die Null-Betrags-Einträgen in einem KKT-Punkt der NCF entsprechen, eine „null-erhaltende Teilmenge“ bilden. Wenn diese Gewichte bei Null initialisiert wurden, bleiben sie während des gesamten Trainings unter dem Gradientenfluss bei Null.
• Bewahrung der Sparsität: Da der Gradientenfluss mit kleiner Initialisierung in Richtung eines KKT-Punkts mit spezifischer Sparsität (bei dem bestimmte Gewichte Null sind) konvergiert und diese Null-Gewichte eine null-erhaltende Teilmenge bilden, bleibt die Sparsitätsstruktur erhalten, während das Netzwerk den Ursprung verlässt und sich dem ersten Sattelpunkt nähert.
• Theorem 18: Formalisiert, dass sowohl für $L=2$ als auch für $L>2$ Netzwerke die Magnitude der Gewichte in der null-erhaltenden Teilmenge selbst nach der Verlassenszeit vernachlässigbar klein bleibt ($O(\delta^{\text{Exponent}})$), wodurch das Sparsitätsmuster effektiv bewahrt wird.

Experimentelle Validierung
Die Arbeit liefert numerische Experimente (Figuren 1, 4, 5, 6) unter Verwendung von quadratischen Aktivierungsfunktionen ($L=2$) und polynomischen ReLU-Aktivierungen.

• Quadratische Aktivierung: Experimente bestätigen, dass Gewichte vor dem Verlassen des Ursprungs sparser werden und dass diese Sparsität am nächsten Sattelpunkt bewahrt wird.
• ReLU-Aktivierung: Obwohl der theoretische Rahmen Standard-ReLU ($L=1$) ausschließt, zeigen Experimente an ReLU-Netzwerken, dass die Gewichte zwar nicht perfekt spars (mehr Nicht-Null-Einträge als im polynomischen Fall), die relative Sparsitätsstruktur (wo kleine Gewichte klein bleiben) jedoch bewahrt wird. Dies deutet darauf hin, dass die Ergebnisse empirisch auch auf ReLU-Netzwerke übertragbar sein könnten, trotz des Mangels an lokal Lipschitz-stetigen Gradienten am Ursprung.

Bedeutung und Ansprüche
Das Papier beansprucht, eine rigorose Charakterisierung eines spezifischen Segments der Trainingsdynamik zu liefern: den Übergang von der „nahe-am-Ursprung“-Phase zum ersten Sattelpunkt.

• Mechanismus der impliziten Regularisierung: Es verknüpft die beobachtete implizite Regularisierung in Small-Initialization-Regimen mit der Geometrie der NCF und den spezifischen KKT-Punkten, gegen die das Netzwerk konvergiert.
• Stabilität der Sparsität: Es bietet eine theoretische Erklärung dafür, warum in der frühen Trainingsphase beobachtete Sparsitätsmuster bestehen bleiben, indem es dies auf die „null-erhaltende“ Natur spezifischer Gewichtsteilmengen in Feed-Forward-Architekturen zurückführt.
• Einschränkungen: Die Autoren betonen die Bescheidenheit ihres Umfangs. Die Ergebnisse sind beschränkt auf:
  1. Homogene Netzwerke mit lokal Lipschitz-stetigen Gradienten (unter Ausschluss von Standard-ReLU).
  2. Die Dynamik nur bis zum ersten nach dem Verlassen des Ursprungs auftretenden Sattelpunkt. Das Verhalten jenseits dieses Punktes (z. B. das Verlassen des Sattelpunkts hin zu einem globalen Minimum) wird nicht abgedeckt und als Richtung für zukünftige Arbeiten identifiziert.
  3. Die Annahme, dass die Anfangsrichtung in der stabilen Menge eines sekundär-positiven KKT-Punkts liegt.

Zusammenfassend schließt das Paper die Lücke zwischen der frühen Richtungskonvergenz und der nachfolgenden Trainingsphase, indem es zeigt, dass die strukturellen Eigenschaften (insbesondere die Sparsität), die während der Nähe zum Ursprung etabliert wurden, die Trajektorie und Stabilität des Netzwerks bestimmen, während es beginnt, Merkmale zu lernen und sich dem ersten Sattelpunkt zu nähern.