🤖 machine learning

Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

Diese Arbeit analysiert die Evolution des Weibull-Skalenparameters $\lambda$ während des AdamW-Trainings durch die Ableitung einer Drei-Kraft-Zerlegung der quadrierten Gewichtsnorm, wobei nachgewiesen wird, dass eine Ausrichtungskraft die initiale Wachstumsphase dominiert, während ein Gleichgewicht zwischen Ausrichtung und Gewichtszunahme-Abfall die anschließende Relaxation antreibt, ergänzt durch eine vorgeschlagene Spline-Displacement-Methode, die eine präzise Rekonstruktion dieser Dynamiken aus spärlichen Checkpoints ermöglicht.

Ursprüngliche Autoren: Tiexin Ding

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tiexin Ding

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, das Training eines riesigen KI-Modells wie AdamW wäre der Versuch, eine massive, komplexe Skulptur aus Millionen winziger, unsichtbarer Lego-Steine zu bauen. Das Ziel ist es, diese Steine so zu formen, dass sie perfekt zusammenarbeiten. Aber wie bewegen sich die Steine eigentlich und finden sie ihre endgültigen Positionen?

Dieses Paper fungiert wie eine Detektivgeschichte, die untersucht, warum die Größe dieser Lego-Steine (die „Gewichte“) wächst, über das Ziel hinausschießt und sich dann wieder einpendelt. Die Autoren nutzen ein spezielles Messwerkzeug namens Weibull-Skala (nennen wir es die „Größenanzeige“), um dies zu verfolgen.

Hier ist die einfache Aufschlüsselung dessen, was sie herausgefunden haben:

1. Das Rätsel der „Größenanzeige“

In früheren Studien bemerkten Forscher ein seltsames Muster: Die „Größenanzeige“ ( $\lambda$ ) der KI-Gewichte wächst nicht einfach stetig an. Sie schießt hoch, wird zu groß (overshoot) und schrumpft dann wieder auf eine angenehme Ruhegröße zusammen.

Die Frage: Warum passiert das? Welche Kräfte drücken die Gewichte nach oben und ziehen sie nach unten?

2. Die drei unsichtbaren Hände

Die Autoren entdeckten, dass die Bewegung dieser Gewichte von drei unterschiedlichen Kräften gesteuert wird, wie drei Personen, die eine schwere Kiste schieben und ziehen:

Die Ausrichtungskraft (Der „Schieber“): Dies ist der Hauptmotor. Er drückt die Gewichte in die Richtung, in die sie gehen wollen, basierend auf dem Lernsignal. Stellen Sie es sich wie einen starken Wind vor, der die Skulptur in Form bläst. Die Autoren fanden heraus, dass während der „Wachstumsphase“ diese Kraft 88 % bis 94 % der Arbeit leistet. Es ist der dominante Treiber.
Die Injektionskraft (Das „Zittern“): Ein winziger, konstanter Stoß, der durch die Zufälligkeit der Daten (Rauschen) verursacht wird. Es ist wie eine leichte Vibration des Tisches. Sie ist immer da, aber sehr klein (nur etwa 4 % der Anstrengung).
Die Zerfallskraft (Der „Zieher“): Dies ist eine eingebaute Bremse. Sie versucht ständig, die Gewichte zurück auf Null zu schrumpfen, um das Modell einfach zu halten und zu verhindern, dass es zu wild wird. Es ist wie ein Gummiband, das die Skulptur zurück zur Mitte zieht.

3. Die Geschichte der Kurve (Aufstieg, Peak, Entspannung)

Das Paper erklärt die seltsame „Auf-und-Ab“-Kurve der Größenanzeige mithilfe dieser drei Kräfte:

Der Aufstieg: Zu Beginn ist der Schieber (Ausrichtung) viel stärker als der Zieher (Zerfall). Die Gewichte wachsen schnell, weil der Druck gewinnt.
Der Peak: Wenn das Modell näher daran ist, „fertig“ zu sein, wird der Schieber müde (er richtet weniger perfekt aus) und der Zieher wird stärker, da die Gewichte größer werden. Schließlich treffen sie in der Mitte aufeinander. Drücken und Ziehen gleichen sich perfekt aus. Das Wachstum stoppt. Dies ist der Peak.
Die Entspannung: Wenn der Zieher jemals etwas stärker als der Schieber wird, schrumpfen die Gewichte ein wenig zurück, bis sie ein neues, stabiles Gleichgewicht finden. Dies erzeugt den „Boden“, auf dem sich das Modell einpendelt.

4. Die „Magische Brücke“ (Verbindungen herstellen)

Es gab ein Problem: Die Mathematik für diese Kräfte arbeitet auf der Gesamtgröße der Gewichte (RMS), aber die „Größenanzeige“ (Weibull) misst die Verteilung der Gewichte.

Die Lösung: Die Autoren fanden eine „magische Brücke“. Sie entdeckten, dass die Form der Gewichtverteilung während des Trainings fast perfekt an Ort und Stelle fixiert bleibt (wie eine starre Form). Da sich die Form nicht ändert, bewegen sich die Gesamtgröße und die „Größenanzeige“ im perfekten Gleichschritt. Dies ermöglichte es ihnen, die Mathematik der Kräfte direkt in das Verhalten der Größenanzeige zu übersetzen.

5. Das Rätsel der „fehlenden Daten“ lösen

Reale KI-Modelle werden oft ohne das „interne Tagebuch“ (Optimizer-Momente) veröffentlicht, das zeigt, wie genau die Kräfte bei jedem Schritt angewendet wurden. Wir haben nur Schnappschüsse der endgültigen Gewichte.

Der Trick: Die Autoren erfanden eine „Spline-Displacement-Methode“. Stellen Sie sich vor, Sie haben ein Video von einem Auto, aber Sie haben nur alle 10 Sekunden ein Foto. Sie können die Geschwindigkeit zwischen den Fotos nicht sehen. Aber wenn Sie eine glatte Kurve (einen Spline) zeichnen, die die Punkte verbindet, können Sie die Geschwindigkeit sehr genau schätzen.
Das Ergebnis: Diese Methode ermöglichte es ihnen, die „Schieber“-Kraft aus spärlichen Schnappschüssen mit einer Genauigkeit von 92–94 % zu erraten, was doppelt so gut ist, wie einfach nur zwischen zwei Punkten zu raten.

6. Ein Blick auf die Daten

Die Autoren bemerkten auch etwas Interessantes: Die Höhe des Peaks (wie groß die Gewichte werden, bevor sie schrumpfen) scheint davon abzuhängen, was die KI liest.

Wenn die KI eine einzige Art von Text liest (wie ein spezifisches Wiki), werden die Gewichte sehr groß (hoher Peak).
Wenn die KI eine Mischung aus vielen verschiedenen Themen liest, ist der Peak niedriger.
Hinweis: Die Autoren sagen, dies sei nur ein „Hinweis“ für die zukünftige Forschung. Sie haben noch nicht bewiesen, warum das so ist, vermuten aber, dass das Lesen diverser Daten widersprüchliche Richtungen erzeugt, die das Wachstum der Gewichte begrenzen.

Zusammenfassung

Kurz gesagt erklärt dieses Paper, dass das „Atmungsmuster“ der KI-Gewichte (wachsen, überschießen und sich einpendeln) nicht zufällig ist. Es ist ein präziser Tanz zwischen einer starken Druckkraft (Lernen) und einer stetigen Zugkraft (Zerfall). Wenn der Druck gewinnt, wachsen die Gewichte. Wenn sie sich ausgleichen, pendelt sich das Modell ein. Die Autoren haben auch herausgefunden, wie man diesen Tanz beobachten kann, selbst wenn man kein vollständiges Video hat, sondern nur ein paar Schnappschüsse.

Technisches Resümee: Evolution des Weibull-Skalenparameters unter AdamW

Problemstellung
Das Verständnis der Evolution von neuronalen Netzwerk-Gewichten während des Trainings ist zentral für Optimierung und Generalisierung. Ein vorangegangener Rahmen (Ding, 2026) etablierte eine Zwei-Parameter-Weibull-Verteilung zur Diagnose der Transformer-Gewichtsmagnituden und identifizierte eine „Transmission-Klasse“-Regularität, bei der der Formparameter $k$ nahe bei $k_0 \approx 1,20$ arretiert bleibt, während der Skalenparameter $\lambda$ einer charakteristischen Trajektorie folgt: Anstieg, Überschwingen, Relaxation und Bodenbildung. Der Mechanismus, der diese Trajektorie antreibt, blieb jedoch ungeklärt. Da die AdamW-Dynamik auf der Ebene einzelner Parameter und Optimizer-Zustände definiert ist, die Weibull-Parameter jedoch Verteilungs-Statistiken auf hoher Ebene darstellen, fehlte eine Brücke, um zu erklären, warum $\lambda$ ansteigt und dann relaxiert. Insbesondere war unklar, welche Optimizer-basierten Kräfte das Modell entlang der $\lambda$ -Koordinate bewegen.

Methodik
Die Arbeit schließt die Lücke zwischen der Dynamik einzelner Parameter und statistischen Verteilungsmaßen durch einen dreistufigen Ansatz:

Drei-Kraft-Zerlegung: Ausgehend von der entkoppelten AdamW-Update-Regel leiten die Autoren eine führende Ordnung der Zerlegung der quadrierten Gewichtsnorm-Dynamik ( $\Delta \Sigma W^2$ ) in drei distinkte Kräfte ab:
- Alignment-Kraft ( $F_{align}$ ): $-2\eta \langle W, \hat{u} \rangle$ , welche die Korrelation zwischen den aktuellen Gewichten und der adaptiven Update-Richtung misst.
- Injektionskraft ( $F_{inj}$ ): $+\eta^2 \|\hat{u}\|^2$ , die die quadrierte Magnitude des adaptiven Schrittes (stochastisches Rauschen) repräsentiert.
- Zerfallsrate ( $F_{decay}$ ): $-2\eta \lambda_{wd} \Sigma W^2$ , den strukturellen Beitrag durch entkoppelten Weight Decay.
Die $k$ -Lock-Brücke: Um diese quadrierten Norm-Kräfte mit dem Weibull-Skalenparameter $\lambda$ zu verknüpfen, nutzt die Arbeit die Beobachtung, dass $k$ für Komponenten der Transmission-Klasse annähernd konstant bleibt ( $k \approx 1,20$ ). Dies ermöglicht es, die RMS ( $\sigma$ ) und $\lambda$ über einen nahezu fixen multiplikativen Faktor zu verbinden ( $\sigma = \lambda \sqrt{\Gamma(1+2/k)}$ ), wodurch die Übersetzung der Kraftdynamik auf $\sigma^2$ in die Trajektorie von $\lambda(t)$ ermöglicht wird.
Sparse Checkpoint Recovery (Spline-Displacement): Da öffentliche Modell-Releases keine Optimizer-Momente ( $\hat{m}, \hat{v}$ ) enthalten, führen die Autoren eine Methode zur Rekonstruktion von Kraftinformationen aus spärlichen Gewicht-Checkpoints ein. Durch das Anpassen eines kubischen Splines an gespeicherte Gewichtstrajektorien schätzen sie die erforderliche Einzelschritt-Displacement, um die Alignment-Kraft zu berechnen. Diese Methode wurde gegen die Ground-Truth-Momente selbst trainierter Modelle validiert.

Wichtigste Ergebnisse

Dominanz der Anstiegsphase: Bei selbst trainierten Pythia-70M-Modellen mit Ground-Truth-Optimizer-Momenten dominiert die Alignment-Kraft die Anstiegsphase und trägt 88–94 % zum absoluten Kraftbudget bei. Diese Dominanz ist robust gegenüber vier zufälligen Seeds und bleibt stabil, selbst nach Entfernung von „Super-Weight“-Ausreißern. Die Injektionskraft trägt nur etwa 4 % bei, der Zerfall etwa 2–7 %.
Übergang zur Relaxation: Der Übergang vom Wachstum der Gewichtsskala zur Relaxation entspricht einem Wechsel im Kraftgleichgewicht. Mit fortschreitendem Training in Richtung Sättigung nimmt die Alignment-Kraft ab, während die Zerfallskraft zunimmt. Nahe am Peak und in der Relaxationsphase nähern sich Alignment und Zerfall einem Gleichgewicht an ($F_{align} \approx |F_{decay}|), was die Nettokraft gegen Null gehen lässt und die Gewichtsskala stabilisiert oder schrumpfen lässt.
Architekturübergreifende Robustheit: Der Mechanismus der Alignment-Dominanz gilt sowohl für Pythia-Stil (GPT-NeoX) als auch für Llama-Stil Architekturen, wobei der Anteil der Alignment-Kraft während der Anstiegsphase im Bereich von 88–94 % bleibt.
Rekonstruktionsgenauigkeit: Die vorgeschlagene Spline-Displacement-Methode rekonstruiert die Alignment-Kraft aus spärlichen Checkpoints mit einer Genauigkeit von 92–94 %, was etwa der doppelten Leistung einer naiven Zwei-Punkt-Baseline entspricht.
RMS-zu-Weibull-Offset: Die geschlossene Integration der Kräfte zur Vorhersage von $\lambda(t)$ zeigt einen systematischen Offset von etwa 5–6 % in dicht gesampelten Regionen. Dieser setzt sich aus einem ~4,6 % hohen Bridge-Error (RMS-zu-Weibull-Rekonstruktion) und einem ~1,9 % hohen Integrationsfehler zusammen, was bestätigt, dass die Kraftdynamiken die dominante Komponente der Trajektorie bestimmen.
Datenabhängige Modulation: Eine explorative Beobachtung legt nahe, dass der absolute Spitzenwert von $\lambda(t)$ mit der Kohärenz der Trainingsdaten variiert. Modelle, die auf Single-Domain-Daten (wikitext-103) trainiert wurden, erreichen höhere Spitzenwerte für $\lambda$ (~0,069–0,076) als jene, die auf Multi-Domain-Daten (The Pile, ~0,035) trainiert wurden. Eine Continue-Training-Intervention bei einem auf The Pile trainierten Modell, die zu wikitext-103 wechselte, führte zu einem 2,6-fachen Anstieg von $\lambda$ , was darauf hindeutet, dass die Datenkohärenz die Alignment-Kraft moduliert.

Bedeutung und Ansprüche
Die Arbeit beansprucht, die erste mechanistische Erklärung für die beobachtete Aufwärts-, Überschwing- und Relaxations-Trajektorie des Weibull-Gewichtsskalenparameters $\lambda$ unter AdamW-Training zu liefern. Ihre primären Beiträge sind:

Verbindung der Beschreibungsebenen: Sie schließt erfolgreich die Lücke zwischen den Low-Level-AdamW-Update-Regeln und den High-Level-Verteilungsdiagnosen, indem sie zeigt, dass $\lambda(t)$ die Gewichtsskala einer führenden Ordnung des Kraftbudgets verfolgt.
Identifizierung des Treibers: Sie identifiziert die Alignment-Kraft als den dominierenden Treiber des Wachstums der Gewichtsskala während der Anstiegsphase des Trainings und stellt damit die Annahme infrage, dass Weight Decay oder Rauschen die primären Faktoren in dieser Phase sind.
Erklärung der Trajektorie: Sie erklärt das Überschwingen und die Relaxation als Folge des Übergangs von der Alignment-Dominanz zu einem Alignment-Zerfall-Gleichgewicht nahe der Sättigung.
Praktische Anwendbarkeit: Sie bietet eine validierte Methode (Spline-Displacement) zur Rekonstruktion von Kraftdynamiken aus realen Modellen, bei denen die Optimizer-Zustände nicht verfügbar sind, und erweitert die Analyse über selbst trainierte Umgebungen hinaus.

Die Autoren merken explizit an, dass die Beobachtung der Datenkohärenz explorativ ist und dass eine vollständige Charakterisierung der Effekte der Datendiversität kontrollierte Folgestudien erfordert. Der primäre Beitrag bleibt die Kraftbudget-Erklärung der Gewichtsskalen-Dynamik, wobei das Datenergebnis als Motivation für zukünftige kontrollierte Experimente dient.