📊 statistics

Uniform Scaling Limits in AdamW-Trained Transformers

Dieser Artikel zeigt, dass die gemeinsamen Dynamiken der versteckten Zustände und der zurückpropagierten Variablen in mit AdamW trainierten Transformern bei zunehmender Tiefe und wachsender Anzahl an Aufmerksamkeitsköpfen gleichmäßig gegen ein Vorwärts-Rückwärts-System von gewöhnlichen Differentialgleichungen konvergieren (speziell eine McKean-Vlasov-Gleichung bei Abwesenheit kausaler Maskierung) und dabei dimensionsunabhängige Fehlerschranken liefert, ohne auf Überdeckungsargumente zurückzugreifen.

Ursprüngliche Autoren: William Gibson, Christoph Reisinger

Veröffentlicht 2026-05-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: William Gibson, Christoph Reisinger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Von einer chaotischen Menge zu einem glatten Fluss

Stellen Sie sich einen Transformer (die Art von KI hinter modernen Chatbots) als ein riesiges, mehrstöckiges Gebäude vor.

Die Etagen: Das Gebäude hat $L$ Etagen (Schichten).
Die Arbeiter: Auf jeder Etage gibt es $H$ Teams von Arbeitern (Aufmerksamkeitsköpfe), die auf die Informationen schauen, die von unten kommen.
Die Daten: Die Informationen sind ein Strom von "Tokens" (Wörtern oder Bildausschnitten), der das Gebäude hinaufströmt.
Das Training: Das Gebäude wird mit einem Optimierer namens AdamW "trainiert". Stellen Sie sich AdamW als einen sehr strengen, klugen Vorarbeiter vor, der die Werkzeuge der Arbeiter anpasst, um Fehler zu minimieren, und gleichzeitig sanft die Werkzeuggrößen verkleinert, damit sie nicht zu groß und instabil werden (dies nennt man Gewichtsverfall oder weight decay).

Das Problem:
Wenn dieses Gebäude riesig ist (tausende Etagen und Millionen von Arbeitern), wird es unmöglich, die Bewegung jedes einzelnen Arbeiters zu verfolgen. Es ist wie der Versuch, den exakten Pfad jedes Sandkorns in einem massiven Sandsturm vorherzusagen. Normalerweise sagen Mathematiker: "Wenn wir den ganzen Sturm verstehen wollen, müssen wir jedes Korn zählen", was bedeutet, dass die Mathematik von der Anzahl der Körner (Tokens) abhängt.

Der Durchbruch:
Dieses Papier beweist, dass Sie nicht jedes Korn zählen müssen. Selbst wenn Sie eine Milliarde Tokens haben, konvergiert das Verhalten des gesamten Systems zu einem glatten, vorhersehbaren Fluss, der gleich aussieht, unabhängig davon, wie viele Tokens Sie haben.

Die Kernanalogie: Das "Interagierende Teilchensystem"

Die Autoren modellieren die verborgenen Zustände (die Daten, die durch das Netzwerk fließen) als ein Interagierendes Teilchensystem (IPS).

Der alte Weg: Stellen Sie sich einen Raum voller Menschen (Tokens) vor, die versuchen, miteinander zu sprechen. Wenn Sie wissen wollen, was die Gruppe denkt, müssen Sie jedes einzelne Gespräch anhören. Wenn der Raum größer wird, wird die Mathematik schwieriger.
Der neue Weg: Die Autoren zeigen, dass Sie, wenn Sie genug Menschen haben, aufhören können, auf Einzelne zu hören, und einfach nur die "durchschnittliche Stimmung" des Raumes anhören können.
- Anstatt Person A bei der Unterhaltung mit Person B zu verfolgen, verfolgen Sie, wie sich der "durchschnittliche Mensch" mit der "durchschnittlichen Stimmung" interagiert.
- Dies verwandelt ein chaotisches, diskretes Durcheinander individueller Updates in einen glatten, kontinuierlichen Datenfluss.

Der "Uniform"-Zauber: Warum es keine Rolle spielt, wie viele Tokens Sie haben

Der überraschendste Teil des Papiers ist das Wort "Uniform" (gleichmäßig).

In der Mathematik müssen Sie, wenn Sie beweisen wollen, dass etwas für alle möglichen Eingaben funktioniert, sich normalerweise um das "schlimmstmögliche Szenario" sorgen. Wenn Sie 100 Tokens haben, ist die Mathematik das eine. Wenn Sie 1.000.000 Tokens haben, wird die Mathematik normalerweise viel unübersichtlicher, und die Fehlergrenzen (wie weit Ihre Vorhersage danebenliegen könnte) verschlechtern sich.

Die Behauptung des Papiers: Die Autoren beweisen, dass der Fehler zwischen dem realen, chaotischen Transformer und ihrem glatten, kontinuierlichen "Fluss"-Modell nicht schlechter wird, wenn Sie mehr Tokens hinzufügen.
Die Metapher: Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen. Normalerweise wird Ihr Vorhersagemodell komplexer und schwieriger zu lösen, wenn Sie mehr Wetterstationen (Tokens) hinzufügen. Dieses Papier sagt: "Nein. Sobald Sie genug Stationen haben, wird das Wettermuster zu einer glatten, vorhersehbaren Kurve, die genauso einfach zu berechnen ist, egal ob Sie 10 Stationen oder 10 Millionen haben."

Sie erreichten dies, indem sie einen mathematischen Trick namens "Überdeckungsargument" (covering argument) vermieden (was wie der Versuch ist, jede einzelne Straße in einer Stadt zu kartieren, um den Verkehr zu verstehen). Stattdessen verwendeten sie eine Technik namens Konzentration des Maßes, die wie die Erkenntnis ist, dass in einer riesigen Menge das durchschnittliche Verhalten so stabil ist, dass die Ausreißer keine Rolle spielen.

Die Rolle von AdamW: Der "entkoppelte" Vorarbeiter

Das Papier betrachtet speziell AdamW, den Standardoptimierer zum Trainieren dieser Modelle.

Das Problem: In vielen mathematischen Modellen können die "Werkzeuge" (Parameter), die die Arbeiter verwenden, unendlich groß und wild werden, was die Mathematik explodieren lässt.
Die Lösung: AdamW hat eine spezielle Funktion namens entkoppelter Gewichtsverfall (decoupled weight decay). Es ist wie ein Vorarbeiter, der sagt: "Sie können Ihre Werkzeuge anpassen, um Fehler zu beheben, aber ich werde Ihre Werkzeuge jeden Tag sanft wieder auf eine sichere Größe zurückverkleinern."
Das Ergebnis: Dies hält alle Werkzeuge der Arbeiter innerhalb eines festen, sicheren "Kastens" (einer kompakten Menge). Da die Werkzeuge nie zu wild werden, bleibt die Mathematik stabil, und die Autoren können beweisen, dass das "Fluss"-Modell perfekt funktioniert, selbst über lange Trainingszeiträume hinweg.

Die "Flusskarte" und der "Rückwärtsfluss"**

Das Papier betrachtet nicht nur Daten, die vorwärts fließen (Eingang $\to$ Ausgang). Es betrachtet auch Backpropagation (wie das Modell aus seinen Fehlern lernt).

Vorwärtsfluss: Daten fließen das Gebäude hinauf.
Rückwärtsfluss: Gradienten (die "gelernten Lektionen") fließen das Gebäude hinunter.
Das System: Die Autoren zeigen, dass sowohl der vorwärts fließende Datenstrom als auch die rückwärts fließenden Lektionen zu einem System von gewöhnlichen Differentialgleichungen (ODEs) konvergieren.
- Stellen Sie sich dies als ein Paar synchronisierter Flüsse vor, die in entgegengesetzte Richtungen strömen.
- Sie bewiesen, dass die diskreten Schritte des realen Computers (das Springen von Etage zu Etage) fast identisch mit dem glatten Fluss dieser mathematischen Flüsse sind.

Das Hauptergebnis (der "Satz")

Das Papier liefert eine spezifische Formel dafür, wie nah der reale Transformer an ihrem glatten mathematischen Modell ist. Der Fehler hängt ab von:

$L$ (Tiefe): Wie hoch das Gebäude ist.
$H$ (Köpfe): Wie viele Arbeiterteams es gibt.

Der Fehler schrumpft, wenn das Gebäude höher wird und mehr Teams hat. Entscheidend ist, dass die Anzahl der Tokens ( $N$ ) in der Fehlerformel nicht vorkommt.

In einfacher Sprache:
Wenn Sie einen Transformer mit unendlicher Tiefe und unendlicher Breite bauen, der mit AdamW trainiert wird, wird sein Verhalten perfekt vorhersehbar und glatt. Sie können das gesamte System mit einem einfachen Satz von Gleichungen beschreiben, und es spielt keine Rolle, ob Sie 10 Wörter oder 10 Milliarden Wörter verarbeiten; die Spielregeln bleiben gleich.

Zusammenfassung der Beiträge

Glätte: Sie verwandelten das chaotische, schrittweise Training eines Transformers in einen glatten, kontinuierlichen Fluss (ODEs).
Token-Unabhängigkeit: Sie bewiesen, dass diese Glätte unabhängig davon gilt, wie viele Tokens Sie dem Modell zuführen. Dies ist ein seltenes und kraftvolles Ergebnis, da es den "Fluch der Dimensionalität" bezüglich der Anzahl der Tokens beseitigt.
AdamW-Stabilität: Sie zeigten, dass die spezifische Art und Weise, wie AdamW Gewichte verkleinert, das System stabil hält und ihnen ermöglicht, diese Ergebnisse zu beweisen, ohne dass die Mathematik explodiert.
Dimensionsunabhängigkeit (Bonus): Wenn sie eine bestimmte Version von AdamW verwenden (Blockweise), hört die Mathematik auch auf, sich um die Größe der Wort-Embeddings (die "Wortgröße" der Mathematik) zu kümmern, was das Modell noch skalierbarer macht.

Das Fazit:
Dieses Papier gibt uns eine mathematische "Linse", die es uns ermöglicht, den Wald statt der Bäume zu sehen. Es sagt uns, dass diese KI-Modelle, je größer sie werden, nicht nur komplexer werden; sie werden tatsächlich einfacher und vorhersehbarer, regiert von glatten Gesetzen, die unabhängig von der schieren Menge der Daten sind, die sie verarbeiten.

Technische Zusammenfassung: Gleichmäßige Skalierungsgrenzen bei AdamW-trainierten Transformern

Problemstellung
Der Beitrag adressiert die theoretische Herausforderung, die Trainingsdynamik von Large Language Models (LLMs), insbesondere Transformern, zu verstehen, wenn diese in der Tiefe ( $L$ ) und Breite (Anzahl der Attention-Köpfe, $H$ ) skaliert werden. Während empirische Skalierungsgesetze die Branche dazu antreiben, die Modellgröße zu erhöhen, bleibt ein rigoroses theoretisches Verständnis davon, wie Designentscheidungen die Generalisierbarkeit und Robustheit im Grenzfall unendlicher Tiefe und unendlicher Breite beeinflussen, unvollständig.

Die bestehende Literatur zur Konvergenz des Gradientenabstiegs zur globalen Optimalität stützt sich häufig auf Grenzmodelle (z. B. Neuronale ODEs oder Mean-Field-Grenzen). Die Übertragung von Ergebnissen aus diesen Grenzen auf praktische Modelle erfordert jedoch Konvergenzschranken, die über den Modelleingaben gleichmäßig gelten. In der Literatur besteht eine signifikante Lücke hinsichtlich von Transformern, die mit dem AdamW-Optimierer trainiert werden. Frühere Arbeiten gehen oft von Gradientenabstieg aus oder erfordern, dass Parameter über die Schichten hinweg geteilt oder voneinander abhängig sind, was der Standardpraxis der unabhängigen und identisch verteilten (i.i.d.) Initialisierung nicht entspricht. Darüber hinaus erschwert das kubische Wachstum der Gradienten in der Softmax-Selbstaufmerksamkeit (bedingt durch die Matrixprodukte $Q, K, O, V$ ) theoretische Garantien, was häufig zu Schranken führt, die exponentiell mit den Trainingsschritten wachsen. Schließlich hängen Standard-Konvergenzschranken oft über Abdeckungsbetrachtungen (z. B. Dudleys Entropie-Integral-Theorem) von der Anzahl der Tokens ( $N$ ) ab, was ihre Anwendbarkeit auf die gleichmäßige Konvergenz über beliebige Eingangsverteilungen einschränkt.

Methodik
Die Autoren modellieren die Dynamik der versteckten Zustände eines unmaskierten, rein auf Aufmerksamkeit basierenden Transformers, der mit AdamW trainiert wird, als ein durch den Aufmerksamkeitsmechanismus gekoppeltes System interagierender Teilchen (IPS). Die Analyse erfolgt in folgenden Schritten:

Mean-Field-Formulierung: Die diskrete Dynamik der $N$ Tokens und $H$ Köpfe wird durch einen kontinuierlichen Zeitlimit approximiert. Es wird gezeigt, dass sich die versteckten Zustände und die rückwärts propagierten (adjungierten) Variablen gegen die Lösung eines Vorwärts-Rückwärts-Systems von gewöhnlichen Differentialgleichungen (ODEs) konvergieren.
McKean–Vlasov-ODEs (MVODEs): Wenn keine kausale Maskierung vorliegt, wird das Grenzsystem als McKean–Vlasov-ODE identifiziert. Das Geschwindigkeitsfeld dieser ODE wird durch den Erwartungswert über die Parameterverteilung definiert.
Umgang mit AdamW und Nichtlinearität: Ein kritischer Bestandteil der Methodik ist die Behandlung des AdamW-Optimierers. Im Gegensatz zum Standard-SDG entkoppelt AdamW den Gewichtsverfall. Die Autoren nutzen diese Eigenschaft, um zu beweisen, dass der Träger der Parametermaße über alle Trainingsschritte hinweg innerhalb einer kompakten Menge bleibt. Dies ermöglicht globale Lipschitz-Konstanten für den Aufmerksamkeitsmechanismus und seine Ableitungen und verhindert das exponentielle Wachstum von Schranken, das typischerweise mit dem kubischen Gradientenwachstum in der Selbstaufmerksamkeit verbunden ist.
Gleichmäßige Konvergenz ohne Abdeckung: Um Schranken zu erreichen, die unabhängig von der Anzahl der Tokens ( $N$ $N$ ) sind, vermeiden die Autoren traditionelle Abdeckungsbetrachtungen. Stattdessen nutzen sie:
- Konzentration des Maßes: Anwendung von Techniken zur Abschätzung der $L^1$ -Norm von Martingaldifferenzen, die mit der Parameterinitialisierung verbunden sind.
- Blockweise Taylor-Approximation: Aufteilung der Schichten in Blöcke und Approximation der Flussabbildungen innerhalb jedes Blocks mittels Taylor-Reihenentwicklungen.
- Tensorstruktur: Ausnutzung der spezifischen algebraischen Struktur des Aufmerksamkeitsmechanismus (ausgedrückt als Verhältnisse linearer Funktionen von Maßen), um zu zeigen, dass das Supremum über Anfangsbedingungen auf einen endlichdimensionalen Raum reduziert werden kann, wodurch die Abhängigkeit von $N$ eliminiert wird.
Blockweises AdamW: Die Autoren führen eine Variante von AdamW (Blockweises AdamW) ein, die Blöcke von Parametern separat regularisiert. Diese Anpassung ermöglicht es, dass die abgeleiteten Schranken auch unabhängig von der Token-Einbettungsdimension ( $d$ ) sind.

Hauptbeiträge

Theorem der gleichmäßigen Konvergenz: Das Hauptergebnis (Theorem 7) stellt fest, dass der unmaskierte, rein auf Aufmerksamkeit basierende Transformer, dessen Parameter i.i.d. aus einer kompakt getragenen Verteilung initialisiert wurden, in $L^2$ gleichmäßig über Anfangsbedingungen gegen ein System interagierender Teilchen von mittleren ODEs konvergiert. Die Konvergenzrate beträgt $O(L^{-1} + L^{-1/3}H^{-1/2})$ .
Unabhängigkeit von der Token-Anzahl: Im Gegensatz zu früheren Schranken, die mit $\sqrt{\log(N)}$ skalieren oder über Abdeckungsbetrachtungen von $N$ abhängen, sind die abgeleiteten Schranken unabhängig von der Anzahl der Tokens $N$ . Dies impliziert, dass die Ergebnisse auch für Anfangsbedingungen gelten, die nicht in den Trainingsdaten vorhanden sind.
AdamW-Anpassung: Die Arbeit erweitert Konvergenzergebnisse für große Tiefen auf mit AdamW trainierte Transformer. Sie zeigt, dass der entkoppelte Gewichtsverfall von AdamW sicherstellt, dass die Parameter in einer kompakten Menge verbleiben, und liefert eine global-in-Training-Lipschitz-Stetigkeit für den Aufmerksamkeitsmechanismus.
Dimensionsunabhängigkeit: Durch die Nutzung von blockweisem AdamW wird gezeigt, dass die Schranken unabhängig von der Token-Einbettungsdimension $d$ sind.
Explizite Ableitungen: Der Beitrag berechnet explizit Lions-Ableitungen für den Aufmerksamkeitsmechanismus auf der Maßkomponente und stellt eine lokale Lipschitz-Stetigkeit bezüglich der $p$ -Wasserstein-Distanz für alle $p \in [1, \infty]$ her.

Ergebnisse
Der Beitrag beweist, dass unter geeigneter Skalierung der Attention-Köpfe und bei i.i.d. initialisierten Parametern die gemeinsamen Dynamiken der versteckten Zustände und der rückwärts propagierten Variablen gegen die Lösung eines Vorwärts-Rückwärts-Systems von ODEs konvergieren.

Konvergenzrate: Der Fehler zwischen dem diskreten Transformer-Modell und dem kontinuierlichen Mean-Field-Limit ist durch $C(L^{-1} + L^{-1/3}H^{-1/2})$ beschränkt, wobei $C$ eine Konstante ist, die unabhängig von $N$ und unter blockweisem AdamW unabhängig von $d$ ist.
Gleichmäßigkeit: Die Konvergenz ist über kompakten Mengen von Anfangsbedingungen gleichmäßig.
Parametergrenzen: Die Autoren zeigen, dass AdamW-Aktualisierungen die Parameter über alle Trainingsschritte hinweg gleichmäßig in einer kompakten Menge $S(R_\theta)$ einschränken, eine Eigenschaft, die für die Etablierung globaler Lipschitz-Konstanten entscheidend ist.

Bedeutung und Behauptungen
Der Beitrag beansprucht, eine rigorose theoretische Grundlage für das Verständnis des Skalierungsverhaltens von mit dem dominierenden Optimierer AdamW trainierten Transformern zu liefern. Die Bedeutung liegt in:

Überbrückung der Lücke: Er verbindet die diskreten Trainingsdynamiken praktischer, großskaliger Transformer mit kontinuierlichen Mean-Field-Grenzen und bietet einen handhabbaren Rahmen für die Analyse.
Robustheit gegenüber der Eingabegröße: Durch die Etablierung von Schranken, die unabhängig von der Anzahl der Tokens sind, deuten die Ergebnisse darauf hin, dass das theoretische Verhalten des Modells inhärent zu seiner Architektur und Initialisierung ist und nicht Artefakte der spezifischen Datensatzgröße darstellt. Dies ist insbesondere für die Generalisierung auf ungesehene Daten relevant.
Stabilität der Optimierung: Die Analyse hebt die stabilisierende Rolle des entkoppelten Gewichtsverfalls von AdamW bei der Kontrolle des Parameterwachstums hervor, was für die theoretischen Garantien der Lipschitz-Stetigkeit im Vorhandensein nichtlinearer Aufmerksamkeitsmechanismen unerlässlich ist.

Die Autoren räumen einen Kompromiss ein: Die Konvergenzrate $O(L^{-1} + L^{-1/3}H^{-1/2})$ ist leicht langsamer als die in einigen ResNet-Studien beobachtete Rate von $O(L^{-1} + (LH)^{-1/2})$ , ein Opfer, das eingegangen wird, um gleichmäßige, von $N$ unabhängige Schranken zu erreichen. Sie weisen darauf hin, dass die Erweiterung dieser Ergebnisse auf kausale Maskierung (Standard im Sprachmodellieren) und SDE-Skalierungsregime ein offenes Feld für zukünftige Forschung bleibt.