🤖 machine learning

Beyond a Single Explanation of the Adam--SGD Gap

Durch eine kontrollierte empirische Studie über verschiedene Domänen hinweg zeigt diese Arbeit auf, dass die Leistungsdifferenz zwischen Adam und SGD aus komplexen Daten-Architektur-Interaktionen resultiert, anstatt auf einem einzelnen Faktor zu beruhen, aber konsistent durch eine theoretische „Crossover-Batch-Größe“ charakterisiert ist, bei der sich der relative Vorteil von SGD zu Adam verschiebt, während die Batch-Größe skaliert.

Ursprüngliche Autoren: Chenxiang Zhang, Rustem Islamov, Enea Monzio Compagnoni, Jun Pang, Aurelien Lucchi, Antonio Orvieto

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chenxiang Zhang, Rustem Islamov, Enea Monzio Compagnoni, Jun Pang, Aurelien Lucchi, Antonio Orvieto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter eine neue Fähigkeit beizubringen, wie zum Beispiel das Schreiben einer Geschichte oder das Erkennen einer Katze auf einem Foto. Um dies zu tun, benötigen Sie einen „Lehrer“ (einen Optimierer), der den Lernprozess des Roboters leitet. Lange Zeit gab es zwei Hauptlehrer: SGD (ein stetiger, traditioneller Lehrer) und Adam (ein moderner, adaptiver Lehrer).

Jahrelang diskutierten Forscher darüber, welcher Lehrer besser ist. Einige sagten, Adam gewinne wegen der Daten (wie z. B. die Verwendung von Wörtern in der Sprache). Andere sagten, Adam gewinne wegen der Architektur (dem spezifischen Design des Gehirns des Roboters). Wieder andere sagten, es liege an der Batch-Größe (wie viele Beispiele der Roboter gleichzeitig sieht).

Dieses Paper ist wie ein massives, kontrolliertes Experiment, bei dem die Forscher all diese Theorien in verschiedenen Welten auf die Probe gestellt haben: Sprache, Vision (Bilderkennung), Genomik (DNA) und Graphen. Hier ist das, was sie herausgefunden haben, einfach erklärt:

1. Es gibt keine einzelne „Wunderwaffe“

Die wichtigste Erkenntnis ist, dass kein einzelner Faktor erklärt, warum Adam meistens besser ist. Es sind nicht nur die Daten, und es ist nicht nur das Design des Roboters.

Der Daten-Mythos: Man dachte, Adam gewinne nur deshalb, weil Sprachdaten „heavy-tailed“ sind (das heißt, einige wenige Wörter werden ständig verwendet, während die meisten selten sind, wie in einer Zipf-Verteilung). Die Forscher testeten dies mit DNA-Daten, bei denen das „Vokabular“ winzig ist (nur 4 Buchstaben: A, C, G, T) und sehr gleichmäßig verwendet wird. Überraschenderweise gewann Adam auch hier. Also sind seltsame Daten nicht der einzige Grund.
Der Design-Mythos: Man dachte, Adam gewinne nur aufgrund komplexer „Transformer“-Designs (wie dem Attention-Mechanismus in moderner KI). Die Forscher entfernten diese komplexen Teile und nutzten einfachere, ältere Designs. Adam gewann trotzdem.
Der „Einheitsgröße“-Mythos: Sie fanden auch heraus, dass manchmal der traditionelle Lehrer (SGD) tatsächlich besser ist! Wenn man das Design des Roboters leicht verändert (z. B. durch Austausch einer Art von Aktivierungsfunktion), kann sich der Vorteil umkehren, und SGD wird zum Gewinner.

2. Der „Crossover“-Punkt: Es kommt auf die Klassengröße an

Wenn weder die Daten noch das Design die alleinige Antwort sind, was ist es dann? Das Paper legt nahe, dass die Antwort in der Frage liegt, wie viele Beispiele der Roboter gleichzeitig sieht (die „Batch-Größe“).

Stellen Sie sich ein Klassenzimmer vor:

Kleine Klasse (Kleine Batch-Größe): Wenn der Roboter immer nur von wenigen Beispielen gleichzeitig lernt, ist das Rauschen hoch. In dieser chaotischen Umgebung kommt der traditionelle Lehrer (SGD) oft genauso gut mit oder ist sogar besser als der adaptive Lehrer (Adam).
Große Klasse (Große Batch-Größe): Wenn man die Anzahl der Beispiele erhöht, die der Roboter gleichzeitig sieht, glättet sich das „Rauschen“. An einem bestimmten Punkt – dem sogenannten Crossover-Batch-Punkt – zieht der adaptive Lehrer (Adam) plötzlich davon und beginnt zu gewinnen.

Das Paper zeigt, dass dieser „Crossover-Punkt“ je nach Daten und Design variiert.

Bei Sprachaufgaben erfolgt der Crossover relativ früh (Adam gewinnt bereits bei moderaten Klassengrößen).
Bei Vision-Aufgaben (wie dem Erkennen von Bildern) erfolgt der Crossover viel später. Man benötigt eine riesige Klassengröße, bevor Adam beginnt, SGD zu schlagen. Dies erklärt, warum SGD bei Bildaufgaben immer noch sehr beliebt ist.

3. Die Theorie: Eine Karte des Geländes

Die Forscher bauten ein mathematisches Modell, um zu erklären, warum dieser Crossover stattfindet. Sie verglichen das „Gelände“, das der Roboter erklimmen muss.

Manchmal ist das Gelände hügelig und uneben (hohes Rauschen).
Manchmal ist es glatt.

Ihr Modell sagt voraus, dass, wenn das Gelände „rau“ genug ist und man eine ausreichend große Klassengröße hat, der adaptive Lehrer (Adam) dieses Gelände viel schneller navigieren kann. Aber wenn das Gelände glatter ist oder die Klasse klein ist, ist der stetige Lehrer (SGD) völlig ausreichend. Das Modell bestätigt, dass der „Gewinner“ von der Wechselwirkung zwischen der Form der Daten, dem Design des Roboters und der Größe der Klasse abhängt.

4. Die „One-Epoch“-Realität

Das Paper hebt auch einen Unterschied zwischen dem Training der „alten Schule“ und dem modernen Training hervor:

Alte Schule (Überparametrisiert): Wenn man den Roboter lange Zeit auf einem kleinen Datensatz trainieren lässt, lernt er schließlich alles perfekt. In diesem Fall schrumpft die Lücke zwischen den Lehrern, da beide den Boden des Hügels erreichen können.
Modern (Unterparametrisiert): In modernen Large Language Models trainieren wir oft auf massiven Datensätzen für nur einen einzigen Durchgang (eine Epoche). Hier hat der Roboter nicht die Zeit, alles perfekt zu lernen. In diesem Rennen beendet der adaptive Lehrer (Adam) konsistent das Rennen mit einer niedrigeren Fehlerrate als der traditionelle Lehrer.

Zusammenfassung

Das Paper kommt zu dem Schluss, dass die Debatte über „Adam vs. SGD“ nicht darin besteht, einen Gewinner basierend auf einer einzigen Regel zu wählen. Stattdessen geht es darum, den Crossover-Punkt zu finden.

Denken Sie an das Fahren eines Autos:

Auf einer schmalen, holprigen Schotterstraße (kleine Batch, spezifische Daten) kommt vielleicht ein robuster, einfacher LKW (SGD) besser zurecht.
Auf einer breiten, glatten Autobahn (große Batch, andere Daten) wird ein Hochleistungs-Sportwagen (Adam) davonsausen.

Der „Gewinner“ hängt völlig von den Straßenbedingungen (Daten), dem Autodesign (Architektur) und der Geschwindigkeit, mit der Sie fahren (Batch-Größe), ab. Es gibt kein einzelnes Auto, das jedes Rennen gewinnt.

Technisches Resümee: Jenseits einer einzelnen Erklärung für die Adam–SGD-Lücke

Problemstellung

Seit über einem Jahrzehnt ist die Leistungsdisparität zwischen dem adaptiven Optimierer Adam und dem stochastischen Gradientenabstieg (SGD) eine zentrale Frage im Deep Learning, insbesondere im Kontext von Transformer-basierten Large Language Models (LLMs). Während Adam der De-facto-Standard für moderne Fundamentmodelle ist, bieten bestehende Literaturarbeiten fragmentierte Erklärungen für diese „Adam–SGD-Lücke“. Diese Erklärungen werden typischerweise isoliert untersucht und führen die Lücke auf spezifische Faktoren zurück:

Dateneigenschaften: Schwanzverteilungen (Zipf-Verteilungen) in Vokabularverteilungen von Textdaten, die anisotrope Optimierungslandschaften erzeugen.
Architektur: Komponentenheterogenität in Transformern (z. B. Softmax-Attention, Embedding-, Normalisierungsschichten).
Optimierungsdynamik: Batch-Größen-Effekte und Charakteristika des Gradientenrauschens (z. B. schwerfälliges, „heavy-tailed“ Rauschen).

Das Kernproblem, das mit dieser Arbeit adressiert wird, ist das Fehlen eines einheitlichen Verständnisses darüber, wie diese Faktoren interagieren. Es bleibt unklar, ob ein einzelner Faktor die Lücke universell antreibt oder ob das Phänomen aus komplexen Interaktionen zwischen Daten, Architektur und Trainings-Hyperparametern über verschiedene Domänen hinweg entsteht.

Methodik

Die Autoren führen eine kontrollierte, groß angelegte empirische Studie durch, die vier verschiedene Domänen umfasst: Sprache, Vision, Genomik und Graph-Learning. Die Studie nutzt sowohl moderne Transformer-Architekturen als auch klassische Nicht-Transformer-Modelle (z. B. ResNet, GCNN, GAT).

Experimentelles Design:

Vereinheitlichtes Tuning-Protokoll: Um Störfaktoren zu kontrollieren, führen die Autoren gemeinsame Sweeps für Lernraten ( $\eta$ ) und Momentum-Parameter ( $\beta$ ) für beide Optimierer durch. Für Adam verwenden sie eine gekoppelte Parametrisierung ( $\beta_1 = \beta_2 = \beta$ ), um mit der SignSGD-Theorie übereinzustimmen, testen jedoch auch die unabhängige Abstimmung in Ablationsstudien.
Globale Constraints: Die Experimente verwenden globales Gradienten-Norm-Clipping (auf 1) sowie konsistente Warmup- und Cosine-Schedules.
Lücken-Metrik: Die Leistungsdifferenz ist definiert als $\Delta^* = L^*_{Adam} - L^*_{SGD}$ , wobei $L^*$ der endgültige Trainingsverlust der besten Hyperparameter-Konfiguration ist. Ein negatives $\Delta^*$ bedeutet, dass Adam SGD übertrifft.
Theoretische Modellierung: Die Autoren ergänzen ihre empirischen Befunde durch ein theoretisches Lückenmodell basierend auf nicht-euklidischen Konvergenzschranken (Kovalev, 2025). Sie vergleichen Normalized SGD (NSGD) mit Momentum gegen einen SignSGD-Proxy für Adam und analysieren, wie die Lücke vom Verhältnis der Glattheitskonstanten ( $r = L_\infty / L_2$ ) und der Batch-Größe ( $B$ ) abhängt.

Zentrale Beiträge und Ergebnisse

1. Kein einzelner Faktor erklärt die Lücke

Die Studie widerlegt systematisch die Hypothese, dass irgendein einzelner Faktor (Vokabularverteilung, Attention-Mechanismen oder Architekturtyp) notwendig oder hinreichend ist, um die Adam–SGD-Lücke zu erklären.

Vokabularverteilung: Die Lücke bleibt selbst bei Genomik-Daten (HG38) mit einer nahezu uniformen Vokabularverteilung ( $v=5$ ) und kleiner Vokabulargröße bestehen, was der Hypothese der schwerfälligen Klassenimbalance widerspricht.
Softmax-Attention: Das Ersetzen von Softmax-Attention-Schichten in GPT durch Gated Convolutions (GCNN) eliminiert die Lücke nicht; Adam übertrifft weiterhin SGD, was darauf hindeutet, dass Attention-Mechanismen nicht der alleinige Treiber sind.
Architektonische Heterogenität: Während die Komponentenheterogenität (z. B. Embedding vs. Head-Layer) die Lücke beeinflusst, ist sie nicht deterministisch. Ein Vision Transformer (ViT), der auf ImageNet21K trainiert wurde, kann einen umgekehrten Trend zeigen, bei dem SGD Adam übertrifft, obwohl er eine ähnliche architektonische Komplexität aufweist wie Modelle, bei denen Adam gewinnt.

2. Das Crossover-Batch-Size-Phänomen

Der primäre empirische Befund ist die Existenz einer Crossover-Batch-Größe. Wenn die Batch-Größe ( $B$ ) skaliert, verschiebt sich der relative Vorteil von SGD zu Adam.

Interaktion von Daten und Architektur: Der spezifische Punkt des Crossovers und die Steigung des Übergangs hängen gemeinsam von der Datendomäne und der Architektur ab. Beispielsweise benötigt Bilddaten (I21K) signifikant größere Batch-Größen, um den Vorteil zu Adam zu verschieben, im Vergleich zu Sprach- oder Genomikdaten, was konsistent mit dem historischen Erfolg von SGD in Vision-Aufgaben ist.
Architektonische Sensitivität: Kleine architektonische Änderungen, wie das Ersetzen von ReLU durch GeLU oder BatchNorm durch LayerNorm, können die Präferenz des Optimierers auf demselben Datensatz von SGD zu Adam verschieben.

3. Abhängigkeit vom Trainingsregime

Die Lücke verhält sich je nach Optimierungsregime unterschiedlich:

Überparametrisiert (Multi-Epoch): In Settings, in denen das Modell einen Trainingsverlust nahe Null erreichen kann (z. B. kleine Datensätze, die über viele Epochen trainiert werden), schrumpft die Lücke im Verlauf des Trainings, und SGD kann Adam schließlich ebenbürtig werden.
Unterparametrisiert (One-Epoch): In modernen LLM-Settings (große Datensätze, eine Epoche) bleibt die Lücke während des gesamten Trainings bestehen, wobei Adam einen konsistenten Vorteil gegenüber SGD beibehält.

4. Theoretisches Lückenmodell

Die Autoren schlagen ein theoretisches Modell vor, das zwei Regime basierend auf dem Verhältnis der geometrischen Glattheit $r = L_\infty / L_2$ vorhersagt:

Regime I ( $1 < r < d^{1/3}$ ): Es tritt ein Crossover auf, bei dem SGD bei kleinen Batch-Größen bevorzugt wird und Adam mit zunehmendem $B$ favorisiert wird. Dies entspricht den meisten experimentellen Setups.
Regime II ( $d^{1/3} < r < d$ ): SGD (NSGD) wird über alle Batch-Größen hinweg bevorzugt. Dieses Regime entspricht den ResNet-Experimenten auf ImageNet21K, bei denen SGD selbst bei großen Batch-Größen Adam übertrifft.
Das Modell legt nahe, dass die Lücke durch das Zusammenspiel von Optimierungsgeometrie, Dateneigenschaften und Gradientenrausch-Varianz bestimmt wird.

Bedeutung

Das Paper beansprucht, eine vereinheitlichte Perspektive zu bieten, die zuvor widersprüchliche Hypothesen versöhnt. Anstatt die Adam–SGD-Lücke einem einzelnen Grund zuzuschreiben (z. B. „Textdaten sind Zipf-verteilt“ oder „Transformer sind komplex“), zeigen die Autoren, dass die Lücke eine emergente Eigenschaft der Interaktion zwischen Datenverteilung, architektonischem Design und Batch-Größe ist.

Die Identifizierung der Crossover-Batch-Größe liefert eine praktische Heuristik: Die Wahl zwischen Adam und SGD sollte nicht absolut sein, sondern die spezifische Batch-Größen-Regime und das Daten-Architektur-Paar berücksichtigen sollte. Das theoretische Modell validiert zudem diese empirischen Beobachtungen, indem es vorhersagt, dass die relative Leistung vom Glattheitsverhältnis der Verlustlandschaft und den Charakteristika des Gradientenrauschens abhängt.

Die Arbeit kommt zu dem Schluss, dass Adam zwar einen konsistenten praktischen Vorteil in modernen, groß angelegten, unterparametrisierten Settings bietet (insbesondere bei großen Batch-Größen), SGD jedoch in spezifischen Regimes (z. B. Vision-Aufgaben mit großen Batches oder überparametrisierten Settings) wettbewerbsfähig oder sogar überlegen bleibt, was die Vorstellung eines universellen Gewinner-Optimierers infrage stellt.