🤖 machine learning

Effects of width-dependent model hyperparameters and $\ell_2$ -regularization on the loss landscape of two-layer ReLU networks

Diese Arbeit untersucht, wie breitenabhängige Hyperparameter und $\ell_2$ -Regularisierung die Verlustlandschaft von zwei Schichten tiefen ReLU-Netzwerken formen, leitet Bedingungen für den Kollaps der Null-Lösung ab, liefert eine analytische Lösung für eindimensionale Eingaben und zeigt auf, dass AdamW einen Parameterkollaps verhindert, während SGD dies nicht tut.

Ursprüngliche Autoren: Haruka Eshima, Makoto Yamada

Veröffentlicht 2026-07-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haruka Eshima, Makoto Yamada

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Katzen zu erkennen. Sie geben ihm ein Gehirn, das aus Schichten winziger Schalter besteht, und lassen ihn üben, indem Sie ihm tausende Bilder zeigen. Aber hier ist der Haken: Das Gehirn des Roboters ist ein wenig chaotisch. Manchmal, wenn Sie versuchen, ihn zu lehren, fährt das ganze System einfach herunter und vergisst alles, was in einem Gehirn voller Nullen endet. Das ist ein bisschen so, als würde man versuchen, ein Kartenhaus an einem windigen Tag zu balancieren; wenn der Wind (oder die Mathematik hinter dem Training) zu stark ist, bricht die gesamte Struktur zusammen.

In der Welt des maschinellen Lernens untersuchen Wissenschaftler die „Loss Landscape“ (Verlustlandschaft). Stellen Sie sich dies als eine riesige, hügelige Gebirgslandschaft vor, in der die Höhe des Geländes darstellt, wie schlecht der Roboter seine Aufgabe erfüllt. Das Ziel ist es, das tiefste Tal zu finden, was bedeutet, dass der Roboter sein Bestes gibt. Aber diese Landschaft ist tückisch. Sie verändert ihre Form, je nachdem, wie breit das Gehirn des Roboters ist (wie viele Schalter er hat) und wie viel „Weight Decay“ (Gewichtszerfall) angewendet wird. Weight Decay ist wie eine sanfte Hand, die ständig versucht, das Gehirn des Roboters zu Einfachheit zu drängen, um zu verhindern, dass es zu kompliziert wird. Die große Frage ist: Hilft dieser sanfte Druck dem Roboter beim Lernen, oder drückt er das ganze Gehirn versehentlich in ein flaches, nutzloses Null-Niveau?

Diese Arbeit mit dem Titel „Effects of width-dependent model hyperparameters and ℓ2-regularization on the loss landscape of two-layer ReLU networks“ taucht tief in genau dieses Problem ein. Die Autoren, Haruka Eshima und Makoto Yamada, untersuchten einen spezifischen Typ eines einfachen neuronalen Netzwerks (ein zweischichtiges Netzwerk mit ReLU-Aktivierung), um zu sehen, was passiert, wenn man die Größe des Netzwerks und die Stärke des Weight Decay verändert. Sie wollten wissen: Unter welchen Bedingungen kollabiert das Gebilde des Robotergehirns in das Nichts, und können wir das verhindern?

Die Forscher fanden heraus, dass die Antwort stark davon abhängt, wie man die Dinge skaliert. Sie entdeckten einen mathematischen „Kipppunkt“. Wenn man das Netzwerk breiter macht (mehr Schalter hinzufügt), aber den Weight Decay im Verhältnis zu dieser Breite zu stark ansetzt, wird das Gehirn des Roboters unweigerlich kollabieren. Der einzige Weg, das Tal zu erreichen, besteht darin, dass jeder einzelne Schalter ausgeschaltet ist, was bedeutet, dass der Roboter nichts lernt. Es ist, als würde man versuchen, einen Swimmingpool mit einem winzigen Becher zu füllen, während der Abfluss weit offen steht; egal wie viel man eingießt, der Pool bleibt leer.

Die Arbeit enthüllt jedoch auch eine faszinierende Wendung in der Art und Weise, wie der Roboter lernt. Die Autoren führten Computersimulationen durch, um zu sehen, was passiert, wenn man verschiedene „Optimizer“ (Optimierer) verwendet – die Algorithmen, die die Lernschritte des Roboters leiten. Sie fanden heraus, dass der Roboter, wenn man eine Standardmethode namens SGD (Stochastic Gradient Descent) verwendet, sein Gehirn tatsächlich in Null kollabieren lässt, wenn der Weight Decay zu stark ist, genau wie die Mathematik es vorhersagte. Aber wenn man eine andere Methode namens AdamW verwendet, überlebt der Roboter! Selbst wenn die Mathematik sagt, dass er kollabieren müsste, hält AdamW das Gehirn aktiv und lernfähig. Es ist, als hätte AdamW einen speziellen Trick, wie etwa einen Sicherheitsgurt, der verhindert, dass der Roboter in das Null-Loch fällt, selbst wenn das Gelände gefährlich aussieht.

Das Team zoomte zudem auf ein sehr spezifisches, vereinfachtes Szenario, in dem der Roboter immer nur eine Zahl auf einmal sieht (ein eindimensionaler Input). In dieser kontrollierten Umgebung waren sie in der Lage, eine exakte Karte der bestmöglichen Lösungen aufzustellen. Sie fanden heraus, dass das Hinzufügen von Weight Decay wie ein Bildhauermeißel wirkt. Ohne ihn sind die besten Lösungen überall verstreut und bilden eine riesige, verbundene und unbegrenzte Wolke von Möglichkeiten. Aber mit Weight Decay schrumpft die Wolke und wird viel organisierter. Die „Konnektivität“ – also wie einfach es ist, von einer guten Lösung zur anderen zu wandern, ohne von einer Klippe zu stürzen – bleibt gleich, unabhängig davon, wie breit das Netzwerk ist. Die „Dimensionalität“ – die Anzahl der Wege, wie der Robot sein Gehirn bewegen kann, um eine Lösung zu finden – schrumpft jedoch signifikant, wenn das Netzwerk breiter wird. Es ist, als würde man einen riesigen, weitläufigen Spielplatz nehmen und ihn in eine schmale, klar definierte Rennbahn verwandeln.

Kurz gesagt zeigt diese Arbeit, dass die Größe Ihres neuronalen Netzwerks und die Stärke Ihrer Regularisierung ein empfindlicher Tanz sind. Wenn man sie nicht korrekt aufeinander abstimmt, kollabiert das Netzwerk. Aber wenn man den richtigen Lernalgorithmus (wie AdamW) wählt, kann man den Tanz fortsetzen, selbst wenn die Bedingungen unmöglich scheinen. Die Ergebnisse basieren auf strengen mathematischen Beweisen für den Kollaps und den vereinfachten eindimensionalen Fall sowie werden durch numerische Experimente mit realen Daten wie der Hydrodynamik von Yachten und MNIST-Ziffern gestützt. Während die Mathematik beweist, dass der Kollaps unter bestimmten Bedingungen stattfindet, beobachteten die Autoren das Überleben des Netzwerks mit AdamW in ihren Simulationen, was darauf hindeutet, dass die Wahl des Optimierers ein kritischer, vielleicht verborgener Faktor dafür ist, warum Deep Learning in der Praxis so gut funktioniert.

Technische Zusammenfassung: Auswirkungen von breitenabhängigen Modell-Hyperparametern und $\ell_2$ -Regularisierung auf die Verlustlandschaft von zwei-schichtigen ReLU-Netzwerken

Problemstellung
Die theoretischen Eigenschaften tiefer neuronaler Netze, insbesondere von zwei-schichtigen ReLU-Netzwerken, sind nach wie vor unzureichend verstanden, wenn explizite Gewichtsbeschränkung (Weight Decay bzw. $\ell_2$ -Regularisierung) angewendet wird. Während neuere Arbeiten die globalen Optima und deren geometrische Strukturen für regularisierte Netzwerke charakterisiert haben, wurden die systematischen Auswirkungen von breitenabhängigen Hyperparameter-Skalierungen auf diese Verlustlandschaften bisher nicht vollständig untersucht. Insbesondere ist unklar, wie die Skalierung der Netzwerkbreite ( $m$ ) im Verhältnis zur Skalierung des Outputs ( $\alpha$ ), der Initialisierung ( $\tau$ ) und des Regularisierungskoeffizienten ( $\beta$ ) die Existenz, Dimensionalität und Konnektivität globaler Minima beeinflusst.

Methodik
Die Autoren analysieren ein zwei-schichtiges ReLU-Netzwerk $f_\theta: \mathbb{R}^d \to \mathbb{R}$ , definiert als:
$f_\theta(x) = \frac{1}{\alpha} \sum_{j=1}^m (x u_j)_+ \omega_j$
wobei $\theta = (u_j, \omega_j)_{j=1}^m$ . Die Studie konzentriert sich auf die Minimierung einer Verlustfunktion $\mathcal{L}_\ell(\theta) = \ell(\theta) + \frac{\beta}{2} \sum_{j=1}^m (\|u_j\|_2^2 + \omega_j^2)$ .

Der zentrale methodische Ansatz besteht in der Einführung einer breitenabhängigen Hyperparameter-Einstellung, bei der die Parameter mit der Netzwerkbreite $m$ skalieren:

Output-Skalierung: $\alpha = m^a$
Initialisierungs-Skalen: $\tau_1 = m^{-b_1}, \tau_2 = m^{-b_2}$
Regularisierungskoeffizient: $\beta = m^{-\delta}$

Die Analyse erfolgt in zwei Hauptrichtungen:

Allgemeine Dimensionalität ( $d$ ): Ableitung hinreichender Bedingungen, unter denen die globalen Minima zum Null-Lösungspunkt kollabieren, basierend auf der Beziehung zwischen den Skalierungsexponenten $a$ und $\delta$ .
Eindimensionaler Input ( $d=1$ ): Beschränkung der Eingangsdimension auf eins, um analytische geschlossene Lösungen für die global optimalen Parametersätze abzuleiten. Dies ermöglicht eine präzise Charakterisierung der Geometrie (Dimension, Beschränktheit und Konnektivität) der Lösungssets sowohl für den unregularisierten ( $\beta=0$ ) als auch für den regularisierten ( $\beta>0$ ) Fall. Die Beweise nutzen die konvexe Formulierung von zwei-schichtigen ReLU-Netzwerken nach Pilanci und Ergen [31], welche im 1D-Fall berechenbar wird.

Wesentliche Beiträge und Ergebnisse

Kollaps der globalen Optima:
Die Arbeit stellt eine hinreichende Bedingung fest, unter der die globalen Minima zum Null-Vektor kollabieren. Theorem 1 beweist, dass, falls der Regularisierungskoeffizient schneller skaliert als die Netzwerk-Output-Skalierung (d. h. $\delta < a$ ), für ein ausreichend großes $m$ das einzige globale Minimum der Null-Gewichtsvektor ist. Dies gilt für die meisten in der Praxis verwendeten konvexen Verlustfunktionen.
Optimizer-abhängiger Kollaps:
Numerische Experimente zeigen eine kritische Diskrepanz zwischen theoretischen globalen Minima und der praktischen Trainingsdynamik. Wenn $\delta < a$ (Bedingungen, die einen Kollaps begünstigen), führt SGD dazu, dass die gelernten Parameter gegen Null kollabieren, was konsistent mit Theorem 1 ist. AdamW hingegen verhindert diesen Kollaps und hält die Parameter von Null fern. Die Autoren legen nahe, dass dies mit dem entkoppelten Weight Decay von AdamW zusammenhängen könnte, welcher einen impliziten Bias hin zu einer $\ell_\infty$ -beschränkten Optimierung aufweist, was sich von der Optimierung des expliziten $\ell_2$ -regularisierten Objekts unterscheidet.
Analytische Charakterisierung von 1D-globalen Minima:
Für $d=1$ leiten die Autoren exakte Beschreibungen der Lösungssets ab:
- Unregularisiert ( $\beta=0$ ): Das Set der globalen Minima $\phi^*(m)$ $ϕ^{*} (m)$ wird durch Beschränkungen der Summen von Produkten $u_j \omega_j$ $u_{j} ω_{j}$ charakterisiert.
  - Konnektivität: Für $m=1$ ist das Set leer; für $m=2$ hat es genau 2 zusammenhängende Komponenten; für $m \ge 3$ ist es zusammenhängend.
  - Dimension: Die Dimension ist $2m-2$ , und das Set ist unbeschränkt.
- Regularisiert ( $\beta>0$ ): Das Set der globalen Minima $\Theta^*(m)$ $Θ^{*} (m)$ ist signifikant stärker eingeschränkt.
  - Konnektivität: Die Arbeit identifiziert kritische Breiten $M$ und $\bar{M}$ (abhängig von den Hyperparametern), welche die Phasenübergänge bestimmen. Für $m < M$ ist die Lösung der Null-Vektor. Für $m > M$ wird das Set zusammenhängend. Im Gegensatz zum unregularisierten Fall ist das Konnektivitätsverhalten restriktiver, wobei nur drei mögliche Verhaltensweisen auftreten (Einzellösung, endliche Menge oder zusammenhängendes Set) für nicht-leere Mengen.
  - Dimension: Die Dimension des Lösungssets wird auf $m-2$ reduziert.
  - Beschränktheit: Im Gegensatz zum unregularisierten Fall ist das regularisierte Lösungsset beschränkt. Die Norm der optimalen Parameter skaliert als $\Theta(m^{a/2})$ .
Breitenabhängige Effekte:
Die Analyse zeigt, dass $\ell_2$ -Regularisierung einen breiten-invarianten Effekt auf die Konnektivität hat (sobald das Netzwerk breit genug ist, um nicht-trivial zu sein), aber einen dimensionsreduzierenden Effekt, der mit der Breite stärker wird. Speziell wächst die Differenz der Dimension zwischen dem Parameterraum ( $2m$ ) und dem regularisierten Lösungsset linear mit $m$ (von einer Differenz von 2 im unregularisierten Fall zu einer Differenz von $m+2$ im regularisierten Fall).

Bedeutung
Die Arbeit liefert einen rigorosen theoretischen Rahmen, um zu verstehen, wie die Skalierung von Hyperparametern mit der Regularisierung in überparametrierten Netzwerken interagiert. Sie verdeutlicht, dass die Geometrie der Verlustlandschaft nicht statisch ist, sondern entscheidend von der relativen Skalierung des Regularisierungskoeffizienten und der Netzwerkbreite abhängt. Die Ergebnisse bieten eine theoretische Erklärung für den empirischen Erfolg von AdamW bei der Verhinderung von Parameter-Kollaps in Regimen, in denen SGD versagt, und klären, wie Regularisierung die Geometrie optimaler Lösungen fundamental verändert, indem sie die Dimensionalität reduziert und Beschränktheit erzwingt – Effekte, die mit zunehmender Netzwerkbreite deutlicher werden.

Mehr davon