📊 statistics

Correcting Stochastic Update Bias in Preconditioned Language Model Optimizers

Dieser Beitrag identifiziert und korrigiert zwei Verzerrungen endlicher Stichproben in vorkonditionierten Optimierern für Sprachmodelle – die Kopplung von Gradient und Vorkonditionierer sowie eine nichtlineare Inversionsverzerrung – durch die Einführung eines Einzelbatch-Rahmens, der cross-fittede Vorkonditionierung mit einer varianzkorrigierten Inversion kombiniert, wodurch der Vorab-Trainingsverlust reduziert und die Leistung bei Modellen wie AdamW, Sophia und Shampoo verbessert wird.

Ursprüngliche Autoren: Nikhil Nayak, Julia White, Urchade Zaratiana, Kelton Zhang, Henrijs Princis, Dhruv Atreja, Henry Fawcett, Matthew Thomas, George Hurn-Maloney, Ash Lewis

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikhil Nayak, Julia White, Urchade Zaratiana, Kelton Zhang, Henrijs Princis, Dhruv Atreja, Henry Fawcett, Matthew Thomas, George Hurn-Maloney, Ash Lewis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Gedichte zu schreiben. Um dies zu tun, zeigen Sie ihm Tausende von Beispielen für Gedichte und bitten ihn, sein „Gehirn" (seine Parameter) anzupassen, um besser zu werden. Der Roboter verwendet ein spezielles Werkzeug namens Optimierer, um herauszufinden, in welche Richtung er sein Gehirn leicht verschieben soll.

Die meisten modernen Optimierer sind „intelligent". Sie betrachten nicht nur den Fehler, den der Roboter gemacht hat, sondern auch die Form des Fehlers, um zu entscheiden, wie groß der Schritt sein soll. Dies wird als Vorkonditionierung bezeichnet.

Allerdings haben die Autoren dieses Papiers entdeckt, dass diese intelligenten Optimierer einen versteckten Fehler haben: Sie sind leicht verzerrt, weil sie versuchen, Entscheidungen auf Basis kleiner, verrauschter Datenstichproben zu treffen. Es ist, als würde man versuchen, das Wetter zu beurteilen, indem man nur fünf Sekunden lang aus dem Fenster schaut.

Hier ist das Problem und ihre Lösung, erklärt durch einfache Analogien.

Die zwei versteckten Fehler

Das Papier identifiziert zwei spezifische Wege, auf denen der Optimierer die Mathematik falsch berechnet, wenn er mit kleinen Datenbatches arbeitet:

1. Der „Selbstbedienende" Bias (Kopplungs-Bias)

Die Analogie: Stellen Sie sich einen Schüler vor, der einen Test macht. Um seine eigene Arbeit zu benoten, verwendet er dasselbe Testblatt, das er gerade geschrieben hat, um seine Punktzahl zu berechnen. Natürlich könnte er versucht sein, sich selbst zu streng oder zu nachsichtig zu benoten, da die Fragen und die Antworten in seinem Kopf perfekt aufeinander abgestimmt sind.
Die Realität: Im Optimierer berechnet der Roboter die „Richtung, in die er sich bewegen soll" (den Gradienten) und die „Größe des Schritts" (den Vorkonditionierer) unter Verwendung exakt derselben kleinen Datenmenge. Da sie aus derselben Quelle stammen, sind sie statistisch „gekoppelt". Dies erzeugt eine subtile Verzerrung in der Aktualisierungsregel, wodurch der Schritt des Roboters leicht vom Ziel abweicht.

2. Der „Nichtlineare" Bias (Inverse Verzerrung)

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Durchschnittsgeschwindigkeit eines Autos zu erraten. Sie wissen, dass die durchschnittliche Zeit, die es braucht, um eine Meile zu fahren, 1 Minute beträgt. Sie denken vielleicht: „Okay, also ist die Durchschnittsgeschwindigkeit 60 Meilen pro Stunde." Aber Mathematik funktioniert nicht so einfach! Wenn Sie zuerst die Zeiten mitteln und dann die Geschwindigkeit berechnen, erhalten Sie eine andere Antwort, als wenn Sie die Geschwindigkeit für jede einzelne Fahrt berechnen und danach mitteln. Dies liegt daran, dass „Geschwindigkeit" das Inverse von „Zeit" ist, und das Rechnen mit Inversen ist knifflig.
Die Realität: Der Optimierer muss durch eine Zahl (den Vorkonditionierer) teilen, um die Schrittgröße zu ermitteln. Selbst wenn der Roboter den Vorkonditionierer im Durchschnitt perfekt schätzt, führt der Akt des Invertierens (das Umkehren, um zu teilen) zu einem systematischen Fehler. Es ist, als würde man versuchen, die durchschnittliche Körpergröße einer Gruppe von Menschen zu erraten, indem man zuerst ihre Schuhgrößen mittelt; die Mathematik wird verzerrt.

Die Lösung: Ein „Doppel-Check"-System

Die Autoren schlagen eine clevere Korrektur vor, die es dem Roboter nicht erfordert, die Daten erneut zu lesen oder sich signifikant zu verlangsamen. Sie nennen es Single-Batch-Bias-Korrektur.

Sie verwenden zwei Haupttricks, die sie gleichzeitig anwenden:

1. Cross-Fitting (Die „Unabhängigen Richter")

Wie es funktioniert: Anstatt dieselbe Datenmenge sowohl für die „Richtung" als auch für die „Schrittgröße" zu verwenden, teilt der Roboter seinen aktuellen Datenbatch in zwei separate Gruppen auf.
- Gruppe A berechnet die Richtung.
- Gruppe B berechnet die Schrittgröße.
Das Ergebnis: Indem die Richter unabhängig voneinander gehalten werden, wird der „selbstbedienende" Bias beseitigt. Die Schrittgröße wird nicht mehr durch die spezifische Richtung genau derselben Datenmenge beeinflusst.

2. Varianzkorrektur (Das „Rausch-Messgerät")

Wie es funktioniert: Der Roboter betrachtet, wie stark die Schätzung der „Schrittgröße" über winzige Untergruppen der Daten variiert. Wenn die Schätzung wackelig ist (hohe Varianz), weiß der Roboter, dass die Mathematik aufgrund dieses nichtlinearen Inversionsproblems wahrscheinlich verzerrt ist.
Das Ergebnis: Der Roboter verwendet eine statistische Formel (basierend auf der „Delta-Methode"), um diesen erwarteten Fehler abzuziehen. Es ist wie ein Mechaniker, der weiß, dass ein bestimmtes Werkzeug bei feuchter Luft tendenziell 2 % zu hoch misst, und daher automatisch 2 % vom Messwert abzieht, um den wahren Wert zu erhalten.

Was passierte, als sie es ausprobierten?

Das Team testete diese Korrektur an drei verschiedenen Arten von „intelligenten" Optimierern, die zum Trainieren großer Sprachmodelle (wie denen, die Chatbots antreiben) verwendet werden:

AdamW: Der Standard-Optimierer, der als Arbeitstier dient.
Sophia: Ein Optimierer, der versucht, die „Krümmung" des Problems zu erraten (wie zu wissen, ob ein Hügel steil oder flach ist).
Shampoo: Ein sehr komplexer Optimierer, der Matrixmathematik verwendet, um große Datenmengen zu bewältigen.

Die Ergebnisse:

Pretraining (Lernen von Grund auf): Beim Trainieren eines Modells von Null an funktionierte die Bias-Korrektur sehr gut. Sie senkte die Fehlerrate (Loss) für alle drei Optimierer erheblich. Es ist, als hätte der Roboter die Gedichte schneller und genauer gelernt, weil er nicht durch seine eigenen verrauschten Berechnungen in die Irre geführt wurde.
Instruction Tuning (Feinabstimmung eines bereits intelligenten Modells): Als sie versuchten, einem bereits trainierten Modell neue Aufgaben beizubringen, waren die Ergebnisse „neutral bis positiv". Die Korrektur schadete nicht, und in einigen Fällen gab es einen kleinen Schub, aber die Gewinne waren geringer. Dies ergibt Sinn, da das Modell bereits stabil war, sodass das „Rauschen" weniger problematisch war.

Das Fazit

Das Papier argumentiert, dass wir diese Optimierer so behandelt haben, als wären sie perfekte mathematische Maschinen, aber sie machen tatsächlich kleine, konsistente Fehler, weil sie mit begrenzten Daten arbeiten.

Indem sie einfach die Daten aufteilen, um Richtung und Schrittgröße unabhängig zu halten, und das Rauschen messen, um den Inversionsfehler abzuziehen, schufen die Autoren eine „Bias-Korrekturschicht". Diese Schicht macht den Trainingsprozess effizienter und ermöglicht es Sprachmodellen, etwas besser und schneller zu lernen, insbesondere wenn sie von Grund auf beginnen. Es ist eine kleine statistische Anpassung mit einer überraschend großen Auswirkung darauf, wie gut diese KI-Modelle lernen.

Technische Zusammenfassung: Korrektur der stochastischen Update-Bias in vorgewichteten Optimierern für Sprachmodelle

1. Problemstellung

Vorgewichtete Optimierer (z. B. AdamW, Sophia, Shampoo) sind zentral für das Training großer Sprachmodelle (LLMs). Diese Methoden schätzen eine Abstiegsrichtung und einen Geometrie-Term (Vorgewicht) aus Minibatches ab, um den idealen Populations-Update zu approximieren:
$u^\star(\theta) = P(\theta)^{-1}\nabla f(\theta)$
In der Praxis wenden Optimierer einen stochastischen Update unter Verwendung von Minibatch-Schätzungen $\hat{g}$ und $\hat{P}$ an:
$\hat{u} = \hat{P}^{-1}\hat{g}$

Die Arbeit identifiziert, dass selbst dann, wenn $\hat{g}$ und $\hat{P}$ unverzerrte Schätzer des Populationsgradienten bzw. des Vorgewichts sind, das Produkt $\hat{P}^{-1}\hat{g$ im Allgemeinen ein verzerrter Schätzer des idealen Updates ist. Diese Verzerrung durch endliche Stichproben entsteht aus zwei unterschiedlichen Quellen:

Gradient-Vorgewicht-Kopplungs-Bias: Wenn $\hat{g}$ und $\hat{P}$ aus derselben Minibatch geschätzt werden, sind sie statistisch abhängig. Diese Kopplung führt zu einem Kreuzmoment-Term, der vom Ziel-Populationsvektorfeld abweicht.
Inverse-Vorgewicht-Bias: Die Matrixinversion (oder Inverse-Wurzel-Operationen) ist eine nichtlineare Transformation. Nach der Ungleichung von Jensen ist, selbst wenn $\hat{P}$ für $P$ unverzerrt ist, der Erwartungswert der Inversen $\mathbb{E}[\hat{P}^{-1}]$ nicht gleich der Inversen des Erwartungswerts $(\mathbb{E}[\hat{P}])^{-1}$ . Diese Verzerrung ist besonders ausgeprägt, wenn Vorgewicht-Schätzungen verrauscht, aggressiv oder matrixwertig sind.

Diese Verzerrungen sind keine Implementierungsfehler, sondern inhärente Konsequenzen der Anwendung nichtlinearer adaptiver Regeln auf endliche stochastische Schätzungen.

2. Methodik

Die Autoren schlagen ein Bias-Korrektur-Framework mit Einzel-Batch vor, das beide Quellen der Verzerrung adressiert, ohne dass eine erneute Betrachtung desselben Parameterwerts erforderlich ist (was im Training neuronaler Netze unpraktisch ist). Die Methode arbeitet an einem festen Parameter-Schritt $\theta_t$ , indem sie den aktuellen Trainingsbatch in Microbatch-Gruppen aufteilt.

2.1 Kreuzangepasste Vorgewichtung (Adressierung der Kopplung)

Um die Gradient-Vorgewicht-Kopplung zu eliminieren, schätzt die Methode den Zähler (Gradient) und den Nenner (Vorgewicht) aus unabhängigen Microbatch-Gruppen.

Seien $A$ und $B$ zwei unabhängige Gruppen, die aus derselben Trainingsverteilung gezogen wurden.
Der Gradient wird aus $A$ geschätzt: $\hat{g}_A$ .
Das Vorgewicht wird aus $B$ geschätzt: $\hat{P}_B$ .
Der Update wird zu $\hat{u}_{cf} = \hat{P}_B^{-1}\hat{g}_A$ .
Aufgrund der Unabhängigkeit gilt $\mathbb{E}[\hat{P}_B^{-1}\hat{g}_A] = \mathbb{E}[\hat{P}_B^{-1}]\mathbb{E}[\hat{g}_A]$ , wodurch der Kopplungs-Bias-Term effektiv entfernt wird.

2.2 Varianz-korrigierte Inversion (Adressierung der Nichtlinearität)

Um die durch die Nichtlinearität der Inversion eingeführte Verzerrung zu reduzieren, nutzt die Methode die Variabilität innerhalb der Vorgewicht-Schätzgruppe $B$ .

Gruppe $B$ wird in $m$ Microbatches $B_1, \dots, B_m$ aufgeteilt.
Diagonaler Fall (AdamW, Sophia): Die Autoren wenden eine Delta-Methode-Korrektur an. Für einen skalaren Vorgewichtseintrag $p$ wird die inverse Funktion $T(p) = (p+\lambda)^{-1}$ bis zur zweiten Ordnung entwickelt. Der führende Bias-Term, der proportional zur Varianz des Microbatch-Mittels ist, wird geschätzt und subtrahiert:
$\tilde{T}(\bar{p}) = \frac{1}{\bar{p} + \lambda} - \frac{\widehat{\text{Var}}(\bar{p})}{(\bar{p} + \lambda)^3}$
Diese Korrektur wird elementweise auf diagonale Vorgewichte angewendet.
Matrix-Fall (Shampoo): Für matrixwertige Vorgewichte wendet die Methode die Korrektur in der Eigenbasis des gemittelten Vorgewichts $\bar{P}$ an. Microbatch-Vorgewichte werden in diese Basis projiziert, und die skalare Delta-Methode-Korrektur wird auf die Eigenwerte (oder Inverse-Wurzel-Eigenwerte) angewendet, bevor die Matrix rekonstruiert wird.
Jackknife-Alternative: Eine allgemeinere Leave-One-Out (LOO) Jackknife-Korrektur wird ebenfalls beschrieben, die den führenden $O(1/m)$ -Bias-Term aufhebt, obwohl sie für matrixwertige Vorgewichte rechenintensiv sein kann.

3. Hauptbeiträge

Statistische Zerlegung: Die Arbeit zerlegt den stochastischen Update-Fehler bei vorgewichteten Optimierern explizit in zwei Verzerrungen durch endliche Stichproben: Gradient-Vorgewicht-Kopplung und die Nichtlinearität der Inversion.
Korrektur-Framework: Es wird ein praktisches, einstufiges Framework vorgeschlagen, das kreuzangepasste Vorgewichtung (zur Beseitigung der Kopplung) und varianz-korrigierte Inversion (zur Beseitigung der Inversions-Bias) unter Verwendung der Microbatch-Variabilität kombiniert.
Empirische Umsetzung: Das Framework wird für drei wichtige Optimierer-Familien umgesetzt:
- AdamW: Diagonal momentenbasiert (unter Verwendung von LOO-Kreuzanpassung und Jensen-/Delta-Korrektur).
- Sophia: Diagonal krümmungsbasiert.
- Shampoo: Matrix-vorgewichtet (unter Verwendung von Eigenbasis-Korrektur).

4. Experimentelle Ergebnisse

Das Framework wurde an Qwen2.5-0.5B unter zwei Regimen evaluiert:

Pretraining: Von zufälliger Initialisierung auf FineWeb-Edu-Sequenzen (bereinigt und gemischte Qualität/verrauscht).
Instruction Tuning: Überwachtes Feinabstimmen (SFT) auf Alpaca-artigen Daten.

Wichtige Erkenntnisse:

Pretraining-Leistung: Die Bias-Korrektur reduzierte konsistent den zurückgehaltenen Pretraining-Verlust (Cross-Entropy) über alle drei Optimierer-Familien hinweg:
- AdamW: Verlustreduktion um 0,149 Nats (von 4,836 auf 4,687).
- Sophia: Verlustreduktion um 0,070 Nats (von 6,665 auf 6,595).
- Shampoo: Verlustreduktion um 0,110 Nats (von 5,792 auf 5,681).
- Beim Pretraining mit gemischter Qualität (verrauscht) zeigte die korrigierte AdamW-Variante einen kleineren, aber positiven Gewinn (0,019 Nats) auf bereinigten Evaluationsdaten, während sie korrupte Spannen weniger aggressiv anpasste.
Instruction Tuning: Die Ergebnisse waren „neutral bis positiv“.
- AdamW: Zeigte kleine Gewinne (z. B. -0,001 Nats) nach Neujustierung der Lernraten.
- Sophia: Lag auf kleinen Datensätzen fast gleichauf mit der Standardoptimierung, war auf größeren 5K-Datensätzen leicht besser.
- Shampoo: In der reinen Attention-SFT-Einstellung effektiv neutral.
Ablationsstudien: Die Arbeit stellt fest, dass eine naive Zweiteilung (Verwendung der Hälfte des Batches für den Nenner) aufgrund erhöhten Rauschens zu konservativ sein kann. Der vorgeschlagene Leave-One-Out (LOO)-Aufbau für AdamW erhält die Nennerskala bei gleichzeitiger Beseitigung der Kopplung, was sich als entscheidend für die Leistung erwies.

5. Bedeutung und Behauptungen

Die Arbeit positioniert diese Forschung als einen praktischen Mechanismus zur Verbesserung vorgewichteter Optimierer durch Adressierung statistischer Verzerrungen, die in Updates mit endlichen Stichproben inhärent sind, anstatt eine neue Optimierer-Architektur oder Krümmungsapproximation vorzuschlagen.

Theoretische Einsicht: Sie stellt fest, dass Standard-Update-Regeln verzerrte Schätzer der Populations-Vorgewicht-Richtung aufgrund von Kopplung und Nichtlinearität sind.
Praktischer Nutzen: Die Korrektur ist für diagonale Optimierer leichtgewichtig und auf matrixbasierte Optimierer erweiterbar. Sie verbessert die Stichprobeneffizienz und Stabilität, insbesondere in Pretraining-Regimen, wo Schätzungen verrauscht sind und Trainingsläufe lang dauern.
Bescheidener Umfang: Die Autoren sind bescheiden hinsichtlich der Generalisierbarkeit der Effektstärke. Sie erkennen an, dass die Ergebnisse auf einer einzelnen Modellskala (0,5B) und einzelnen Seed-Läufen basieren. Sie stellen fest, dass bei kurzen Instruction-Tuning-Läufen, die von starken vortrainierten Checkpoints ausgehen, die Varianzkosten der Stichprobenaufteilung die Vorteile der Bias-Reduktion ausgleichen können, was zu neutralen Ergebnissen führt.
Fazit: Der Hauptbeitrag besteht darin zu zeigen, dass die Korrektur von Verzerrungen durch endliche Stichproben in stochastischen Updates die Optimierung vorgewichteter Sprachmodelle effektiver machen kann, insbesondere beim Pretraining, ohne grundlegende Änderungen am Speicherverbrauch oder an der Update-Struktur des Optimierers vorzunehmen.