🤖 AI

Optimizer-Induced Mode Connectivity: From AdamW to Muon

Dieser Artikel zeigt, dass Optimierer wie AdamW und Muon in neuronalen Netzen unterschiedliche, oft unverbundene Nullverlust-Lösungsmannigfaltigkeiten induzieren, was offenbart, dass die Modenkonnektivität grundlegend vom spezifischen Optimierer und seiner impliziten Regularisierung abhängt und keine universelle Eigenschaft der Verlustlandschaft ist.

Ursprüngliche Autoren: Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einer weiten, bergigen Landschaft zu finden. Diese Landschaft repräsentiert die „Verlustfunktion" eines neuronalen Netzwerks: Je höher Sie sind, desto schlechter performt Ihr Modell; je niedriger Sie sind, desto besser.

Lange Zeit glaubten Forscher, dass Sie, wenn Sie zwei verschiedene Modelle trainieren, um den tiefsten Punkt dieses Tals zu erreichen (den „Verlust-Null"-Zustand), einen einfachen, glatten Pfad zwischen ihnen zeichnen könnten, ohne jemals einen Hügel wieder hinaufsteigen zu müssen. Diese Idee nennt man Mode Connectivity (Modus-Konnektivität). Es ist so, als würde man sagen: „Wenn zwei Wanderer den Boden desselben Tals gefunden haben, muss es einen flachen Pfad geben, der sie verbindet."

Dieser Artikel stellt jedoch eine neue Frage: Hängt der Pfad davon ab, wie die Wanderer gegangen sind?

Die Autoren führen zwei verschiedene „Wanderstile" (Optimierer) ein:

AdamW: Der klassische, zuverlässige Wanderer.
Muon: Ein neuerer, spezialisierterer Wanderer, der sich anders bewegt.

Hier ist das, was der Artikel entdeckt hat, erklärt durch einfache Analogien:

1. Der „spektrale Fingerabdruck"

Jedes Modell hat einen einzigartigen „Fingerabdruck", der aus Zahlen besteht, die Singulärwerte genannt werden (denken Sie an diese als die innere „Muskulatur" oder „Form" des Modells).

AdamW-Modelle neigen dazu, einige sehr starke Muskeln und viele schwache zu haben (Ausreißer im Spektrum).
Muon-Modelle neigen dazu, Muskeln zu haben, die alle etwa gleich groß sind (ein ausgeglicheneres, „isotropes" Spektrum).

Der Artikel fand heraus, dass Sie, wenn Sie zwei Modelle nehmen, die mit AdamW trainiert wurden, zwischen ihnen wandern können, und ihre „Muskulatur" konsistent bleibt. Wenn Sie zwei Muon-Modelle nehmen, gilt dasselbe. Sie bleiben in ihren eigenen „Nachbarschaften".

2. Die Optimierer-interne Autobahn (Intra-Optimizer Connectivity)

Der Artikel beweist mathematisch, dass, wenn das neuronale Netzwerk breit genug ist (genug Neuronen hat), alle Lösungen, die von AdamW gefunden wurden, durch einen glatten, verlustarmen Pfad verbunden sind. Dasselbe gilt für Muon.

Analogie: Stellen Sie sich eine große, flache Wiese vor. Wenn Sie und Ihr Freund dieselben Wanderschuhe (AdamW) tragen, können Sie von Ihrem Standort zum Standort Ihres Freundes gehen, ohne jemals auf einen Felsen zu treten oder einen Hügel hinaufzugehen. Sie bleiben in derselben „Schuhabdruck"-Zone.

3. Die Optimierer-übergreifende Barriere (Inter-Optimizer Disconnectivity)

Dies ist der überraschendste Teil. Was passiert, wenn Sie versuchen, von einem AdamW-Modell zu einem Muon-Modell zu wandern?

Die Theorie: In einem kleinen, einfachen Netzwerk haben die Autoren bewiesen, dass das „AdamW-Tal" und das „Muon-Tal" möglicherweise durch einen hohen Gebirgskamm getrennt sind. Sie können nicht von einem zum anderen wandern, ohne hinaufzuklettern und Leistung zu verlieren. Sie befinden sich auf verschiedenen „Inseln" des Lösungsraums.
Die Realität (Große Modelle): In ihren groß angelegten Experimenten (unter Verwendung von GPT-2, einem Sprachmodell) fanden sie heraus, dass Sie sie zwar verbinden können, der Pfad jedoch speziell ist. Wenn Sie von AdamW zu Muon wandern, verändert sich die „Muskulatur" (Spektrum) des Modells nicht nur einfach; sie verwandelt sich glatt.
- Analogie: Stellen Sie sich vor, Sie wandern von einem Kiefernwald (AdamW) zu einem Eichenwald (Muon). Sie teleportieren sich nicht einfach; Sie gehen durch eine Übergangszone, in der sich die Bäume allmählich von Kiefer zu Eiche verändern. Der Pfad existiert, führt aber durch eine einzigartige „Hybrid"-Landschaft, die keiner der Optimierer von allein natürlich schaffen würde.

4. Der „Smoothie"-Effekt (Generalisierung)

Der Artikel testete, was passiert, wenn Sie ein Modell nehmen, das genau auf halbem Weg zwischen einer AdamW-Lösung und einer Muon-Lösung liegt.

Das Ergebnis: Diese „Hybrid"-Modelle performten oft besser auf Daten, die sie zuvor noch nicht gesehen hatten (Generalisierung außerhalb der Verteilung), als die ursprünglichen Modelle.
Analogie: Wenn Sie einen Kaffee (AdamW) und einen Tee (Muon) mischen, erhalten Sie ein neues Getränk, das für manche Menschen besser schmecken könnte als entweder der Kaffee oder der Tee allein. Die „Mischung" erkundet Teile der Landschaft, die die einzelnen Optimierer verpasst haben.

Zusammenfassung der Behauptungen

Gleicher Optimierer: Wenn Sie denselben Optimierer zweimal verwenden, sind die Lösungen durch einen glatten Pfad verbunden, der die interne Struktur des Modells konsistent hält.
Verschiedene Optimierer: Wenn Sie verschiedene Optimierer verwenden, können die Lösungen in kleinen Netzwerken durch eine Barriere getrennt sein oder in großen Netzwerken durch einen Pfad verbunden sein, der die interne Struktur des Modells glatt übergeht.
Der Vorteil: Das Wandern zwischen diesen verschiedenen Optimierer-Lösungen erzeugt „Hybrid"-Modelle, die sich besser auf neue, ungesehene Daten generalisieren lassen.

Der Artikel behauptet nicht, dass dies für medizinische Diagnosen, autonomes Fahren oder spezifische zukünftige KI-Anwendungen funktioniert. Er konzentriert sich strikt auf die mathematische Geometrie, wie diese Modelle verbunden sind, und auf die empirische Beobachtung, dass ihre Mischung die Generalisierung beim Training von Sprachmodellen verbessert.

Technische Zusammenfassung: Optimierer-induzierte Moden-Konnektivität: Von AdamW zu Muon

Problemstellung

Moden-Konnektivität, das Phänomen, dass unabhängig voneinander trainierte neuronale Netzwerkmodelle durch einen Pfad mit geringem Verlust verbunden werden können, wurde umfassend untersucht. Die bestehende Literatur behandelt den Lösungsraum jedoch weitgehend als monolithische Entität und geht häufig von einer Konnektivität aus, die unabhängig von den spezifischen Optimierungsdynamiken ist, die zur Erreichung dieser Lösungen verwendet wurden. Diese Arbeit vertritt die These, dass verschiedene Optimierer unterschiedliche implizite Verzerrungen (Regularisierung) auferlegen und Lösungen effektiv auf verschiedene Regionen der Verlustlandschaft beschränken. Die zentrale Frage lautet: Wie verhält sich die Moden-Konnektivität, wenn sie auf Lösungen beschränkt wird, die mit der impliziten Verzerrung eines spezifischen Optimierers konsistent sind? Konkret untersuchen die Autoren, ob Lösungen, die vom selben Optimierer gefunden wurden, eine zusammenhängende Menge bilden (Intra-Optimierer-Konnektivität), und ob Lösungen, die von verschiedenen Optimierern gefunden wurden, ohne Verlustbarriere verbunden werden können (Inter-Optimierer-Konnektivität).

Methodik

Theoretischer Rahmen

Die Autoren formalisieren das Konzept der optimierer-regulierten Lösungsmengen. Basierend auf jüngsten theoretischen Charakterisierungen adaptiver Optimierer (z. B. AdamW und die Lion-K-Familie) definieren sie die Grenzwerte dieser Optimierer als Lösungen von restringierten Optimierungsproblemen:

AdamW: Konvergiert zu Lösungen, die eine $\ell_\infty$ -Norm-Bedingung erfüllen ( $\|\theta\|_{\max} \leq 1/\lambda$ ).
Muon (und Lion-K mit nuklearer Norm): Konvergiert zu Lösungen, die eine Operator-Norm-Bedingung erfüllen ( $\|\theta\|_{\text{op}} \leq 1/\lambda$ ).

Die Arbeit führt zwei Definitionen ein:

Intra-Optimierer-Konnektivität: Die Menge der Lösungen $O_A(\lambda)$ für einen spezifischen Optimierer $A$ ist zusammenhängend.
Inter-Optimierer-Konnektivität: Die Vereinigung der Lösungsmengen $O_{A_1}(\lambda_1) \cup O_{A_2}(\lambda_2)$ ist zusammenhängend.

Die theoretische Analyse wird an zweischichtigen ReLU-Netzen im Interpolationsregime durchgeführt (wo ein Trainingsverlust von Null erreichbar ist). Die Autoren analysieren die Geometrie dieser regulierten Mengen unter Variation der Netzwerkbreiten ( $m$ ).

Experimentelles Setup

Die empirische Validierung erfolgt an GPT-2-Vorabtrainingsaufgaben über fünf Datensätze hinweg (enwik8, WikiText-103, Stories, BookCorpus, One Billion Word) unter Verwendung zweier Modellskalen (~30M und ~50M Parameter).

Optimierer: AdamW und Muon.
Pfadkonstruktion: Die Autoren verwenden einen modifizierten Polychain-Interpolationsalgorithmus in Kombination mit symmetrischer Ausrichtung (Permutation und orthogonale Ausrichtung von Aufmerksamkeitsköpfen und MLP-Neuronen). Diese Methode konstruiert einen stückweise linearen Pfad mit einem lernbaren Biegepunkt, um Verlustbarrieren zwischen den Modellen zu minimieren.
Metriken: Die Studie verfolgt Verlustbarrieren auf Validierungsdaten und die Entwicklung der Singulärwert-Spektren (insbesondere der stabilen Rangzahl) entlang der Interpolationspfade.

Hauptbeiträge

1. Theoretische Beweise für Intra-Optimierer-Konnektivität

Die Arbeit beweist, dass für hinreichend breite zweischichtige ReLU-Netze die durch spezifische Optimierer induzierten Lösungsmengen zusammenhängend sind:

Satz 3.1: Intra-Optimierer-Konnektivität gilt für Muon (und Normalisierte Gradientenabstiege mit Momentum), wenn die Netzwerkbreite $m \geq 4P$ ist, wobei $P$ die Anzahl der verschiedenen Hyperplane-Anordnungsmuster ist.
Satz 3.2: Intra-Optimierer-Konnektivität gilt für AdamW (und Signum), wenn $m \geq m^*$ , wobei $m^*$ eine kritische Breite ist, die durch die Daten und Regularisierungsparameter bestimmt wird.
Mechanismus: Die Beweise beinhalten die Reduktion beliebiger Lösungen auf „sparse" oder „equalisierte" kanonische Formen innerhalb der regulierten Menge und den Nachweis, dass diese Formen über stetige Pfade verbunden werden können, die die impliziten Normbeschränkungen erhalten.

2. Charakterisierung der Inter-Optimierer-Konnektivität

Die Autoren stellen fest, dass die Konnektivität zwischen verschiedenen durch Optimierer induzierten Regionen kritisch von der Netzwerkbreite und der Regularisierungsstärke abhängt:

Regime großer Breite: Die Vereinigung zweier regulierter Mengen ist genau dann zusammenhängend, wenn sich die Mengen überschneiden (d. h., die Null-Verlust-Menge verläuft durch den Schnitt ihrer jeweiligen Normkugeln). Die Anzahl der zusammenhängenden Komponenten kann von eins auf zwei übergehen, wenn die Regularisierungsstärke zunimmt.
Konstruktion endlicher Breite: Die Arbeit konstruiert einen spezifischen Datensatz und eine Breite ( $m=2$ ), bei der die Null-Verlust-Lösungsmenge in mehrere unzusammenhängende Komponenten zerfällt. Entscheidend beweisen sie, dass AdamW und Muon durch die Wahl geeigneter Regularisierungsparameter in verschiedene Komponenten gezwungen werden können. In diesem Szenario existiert kein Null-Verlust-Pfad zwischen einer AdamW-Lösung und einer Muon-Lösung; jeder verbindende Pfad muss eine nachweisbare Verlustbarriere in Kauf nehmen (mindestens $1/2$ für quadratischen Verlust).

3. Empirische Spektralübergänge

Experimente mit GPT-2 zeigen unterschiedliches spektrales Verhalten:

Pfade desselben Optimierers: Die Interpolation zwischen zwei Modellen, die mit demselben Optimierer trainiert wurden (z. B. AdamW-AdamW), erhält das Singulärwert-Spektrum (z. B. behält AdamW Ausreißer bei, Muon bleibt isotrop) und hält den Verlust niedrig.
Pfade über Optimierer hinweg: Die Interpolation zwischen verschiedenen Optimierern (z. B. AdamW-Muon) führt zu einem glatten spektralen Phasenübergang. Das Spektrum entwickelt sich entlang des Pfades vom AdamW-Signaturprofil zum Muon-Signaturprofil. Obwohl der Verlust relativ niedrig bleibt, weisen die intermediären Modelle spektrale Profile auf, die sich von beiden Endpunkten unterscheiden.

4. Out-of-Distribution (OOD) Generalisierung

Die Arbeit zeigt, dass Interpolationspfade über Optimierer hinweg die OOD-Generalisierung verbessern können. Modelle, die entlang des AdamW-Muon-Pfades abgetastet werden, weisen auf OOD-Datensätzen negative Verlustbarrieren auf (sie performen besser als die lineare Interpolation der Endpunkte), was darauf hindeutet, dass das Durchqueren des Raums zwischen verschiedenen Optimierer-Verzerrungen strukturell diverse Modelle mit überlegenen Generalisierungseigenschaften hervorbringt.

Ergebnisse und Bedeutung

Zusammenfassung der Erkenntnisse

Optimierer-abhängige Struktur: Die Verlustlandschaft ist kein einzelner zusammenhängender Klumpen von Lösungen mit geringem Verlust; vielmehr enthält sie optimiererspezifische „Becken" oder Regionen, die durch implizite Regularisierung definiert sind.
Konnektivität ist bedingt: Während Lösungen desselben Optimierers in breiten Netzwerken verbunden sind, können verschiedene Optimierer in Einstellungen endlicher Breite zu unzusammenhängenden Komponenten konvergieren, die durch Verlustbarrieren getrennt sind.
Spektrale Fingerabdrücke: Das Singulärwert-Spektrum dient als robuster Proxy für die durch den Optimierer induzierte Region. Pfade desselben Optimierers erhalten diesen Fingerabdruck; Pfade über Optimierer hinweg durchqueren einen Übergang.

Behauptete Bedeutung

Die Arbeit behauptet, optimierer-abhängige Strukturen aufzudecken, die für die klassische Literatur zur Moden-Konnektivität unsichtbar sind. Durch die Verfeinerung der Definition der Moden-Konnektivität unter Berücksichtigung der impliziten Verzerrung zeigen die Autoren, dass:

Die Wahl des Optimierers die Topologie des erreichbaren Lösungsraums grundlegend prägt.
Die Interpolation über Optimierer hinweg ein tragfähiger Mechanismus für das Zusammenführen von Modellen ist, der auf diverse Regionen des Lösungsraums zugreift und potenziell nachgelagerte Eigenschaften wie Quantisierung und Generalisierung verbessert.
Theoretische Garantien für Konnektivität nun den spezifischen Regularisierer berücksichtigen müssen, der durch den Optimierer induziert wird, und nicht nur die Netzwerkarchitektur.

Die Arbeit schließt die Lücke zwischen der theoretischen Analyse impliziter Verzerrungen und der praktischen Modellfusion und legt nahe, dass der „beste" Pfad zwischen Modellen möglicherweise vom Durchqueren der Grenzen verschiedener durch Optimierer induzierter Regularisierungen abhängt.