📊 statistics

Optimizer Memory Makes Shuffle Order a First-Order Source of Fine-Tuning Noise

Diese Arbeit zeigt auf, dass der Fixed-Clock-Optimizer-Speicher in Algorithmen wie AdamW die Shuffle-Reihenfolge von einem vernachlässigbaren Effekt zweiter Ordnung zu einer dominanten Quelle erster Ordnung des Fine-Tuning-Rauschens erhebt, was eine präzise, fit-freie Quantifizierung dieser Variabilität ermöglicht, um die Zuverlässigkeit von A/B-Vergleichen zu verbessern.

Ursprüngliche Autoren: John Sweeney

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: John Sweeney

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Warum die Reihenfolge Ihrer Daten wichtiger ist, als Sie denken

Stellen Sie sich vor, Sie sind ein Koch, der ein komplexes Gericht zubereitet. Sie haben einen Korb mit Zutaten (Ihre Daten), die Sie schneiden und mischen müssen. In einer perfekten, magischen Küche wäre es egal, ob Sie zuerst die Zwiebeln oder zuerst die Karotten schneiden; der endgültige Geschmack wäre exakt derselbe.

Diese Arbeit argumentiert jedoch, dass die Küche beim modernen KI-Training (speziell beim „Fine-Tuning“ großer Sprachmodelle) nicht magisch ist. Die Reihenfolge, in der Sie die Daten der KI füttern, verändert tatsächlich das Endergebnis, und zwar viel dramatischer, als Wissenschaftler zuvor glaubten.

Der Übeltäter? Das „Gedächtnis“ der KI.

Das Problem: Die „feste Uhr“ vs. der „fließende Fluss“

Um dies zu verstehen, müssen wir uns ansehen, wie KI-Optimierer (die Motoren, die die KI lehren) funktionieren.

1. Die alte Sichtweise (gedächtnislos/SGD):
Stellen Sie sich einen fließenden Fluss vor. Wenn Sie ein Blatt (ein Stück Daten) in den Fluss werfen, treibt es flussabwärts. Wenn Sie ein zweites Blatt hineinwerfen, folgt es dem ersten. Der Fluss „erinnert“ sich nicht an das erste Blatt; er reaget nur auf die Strömung.

Die Behauptung der Arbeit: Wenn die KI wie dieser Fluss arbeitet, spielt die Reihenfolge der Blätter keine große Rolle. Wenn Sie die Reihenfolge zweier gleicher Blattstapel vertauschen, ändert sich die Endposition des Wassers nur minimal (mathematisch gesehen ist es ein „ordnungsgemäßer“ Effekt zweiter Ordnung, was bedeutet, dass er winzig ist).

2. Die neue Realität (Fest-Uhr-Optimierer wie AdamW):
Stellen Sie sich nun vor, die KI besitzt eine Stoppuhr und ein Notizbuch, das mit jedem einzelnen Schritt vorwärts tickt, unabhängig davon, wie schnell oder langsam das Wasser fließt.

Der Mechanismus: Moderne Optimierer (wie AdamW) führen ein „Momentum-Buffer“ (ein Notizbuch vergangener Gradienten) und einen „Zähler“ (die Stoppuhr).
Der Fehler: Selbst wenn die KI exakt dieselben Zutaten sieht, zählt die Zeit, zu der sie sie sieht.
- Wenn Sie der KI „Zutat A“ bei Schritt 10 zeigen, sagt die Stoppuhr „10“ und das Notizbuch ist halbvoll.
- Wenn Sie „Zutat A“ bei Schritt 50 zeigen, sagt die Stoppuhr „50“ und das Notizbuch ist fast voll.
- Da das Notizbuch anders aussieht, reagiert die KI je nach dem Zeitpunkt ihres Erscheinens in der Sequenz unterschiedlich auf dieselbe exakte Zutat.

Die Analogie: Denken Sie an einen Schüler, der eine Prüfung schreibt.

Gedächtnislos: Wenn der Schüler nach jeder Frage alles vergisst, spielt die Reihenfolge der Fragen keine Rolle.
Fest-Uhr: Der Schüler ist müde. Wenn Frage A am Anfang der Prüfung kommt, beantwortet er sie mit frischer Energie. Wenn Frage A ganz am Ende kommt, beantwortet er sie, während er erschöpft ist. Dieselbe Frage erhält eine andere Antwort, basierend auf ihrer Position.

Die Entdeckung: Eine „erster Ordnung“ Rauschquelle

Die Arbeit beweist, dass durch diesen „Stoppuhr-Effekt“ das Durchmischen (Shuffling) der Datenreihenfolge eine große Quelle von Rauschen erzeugt.

Alte Vorhersage: Wissenschaftler dachten, dass das Durchmischen der Daten nur winzige, vernachlässigbare Änderungen verursachen würde (wie ein Flüstern).
Neue Erkenntnis: Die Arbeit zeigt, dass das Durchmischen der Daten für Optimierer wie AdamW eine laute Änderung verursacht (wie ein Schrei).
Das Ergebnis: Wenn Sie zwei Experimente (A/B-Tests) mit denselben Daten, aber in einer anderen Reihenfolge durchführen, kann das „Rauschen“ durch die Reihenfolge so groß sein, dass es den Gewinner kippt. Sie denken vielleicht, Konfiguration A sei besser, aber wenn Sie nur die Datenreihenfolge vertauscht haben, könnte plötzlich Konfiguration B besser aussehen.

Der Beweis: Die „Exponent“-Aufspaltung

Die Autoren führten Experimente durch, um zu messen, wie stark sich die Ergebnisse ändern, wenn sie die „Lernrate“ (wie schnell die KI lernt) variieren.

SGD (Der Fluss): Als sie die Daten durchmischten, änderten sich die Ergebnisse sehr langsam (mathematisch gesehen wuchs das Rauschen mit dem Quadrat der Lernrate).
AdamW (Die Stoppuhr): Als sie die Daten durchmischten, änderten sich die Ergebnisse linear mit der Lernrate.
Die Metapher: Es ist wie der Vergleich eines Autos mit einer sanften Federung (SGD) mit einem Auto mit defekten Stoßdämpfern (AdamW). Auf einer holprigen Straße (durchgemischte Daten) schüttelt sich das kaputte Auto heftig, während das sanfte Auto es kaum bemerkt.

Die Lösung: Wie man es behebt

Die Arbeit bietet zwei Hauptpunkte für Forscher:

1. Die „Matched-Clock“-Lösung:
Wenn Sie es schaffen, dass die interne Stoppuhr der KI im Einklang mit der Lerngeschwindigkeit tickt (sodass die „Müdigkeit“ des Schülers perfekt mit der Schwierigkeit der Prüfung skaliert), können Sie die „sanfte Federung“ wiederherstellen. Die Reihenfolge der Daten spielt dann nicht mehr so eine große Rolle.

2. Die „Seed-Budget“-Warnung:
Wenn Sie die Uhr nicht korrigieren können, müssen Sie Ihre Experimente sorgfältiger durchführen.

Das Problem: Wenn Sie ein Experiment nur einmal mit einer einzigen zufälligen Durchmischung der Daten durchführen, erhalten Sie vielleicht ein glückliches (oder unglückliches) Ergebnis.
Die Lösung: Die Arbeit liefert eine Formel, mit der Sie berechnen können, wie oft Sie das Experiment mit verschiedenen Datendurchmischungen (verschiedenen „Seeds“) wiederholen müssen, um sicher zu sein, dass Ihre Ergebnisse nicht nur ein Zufall durch die Datenreihenfolge sind.
Reale Auswirkungen: In ihren Tests fanden sie heraus, dass bei hohen Lernraten eine einzige zufällige Durchmischung den Gewinner eines Vergleichs 33 % bis 44 % der Zeit kippen konnte. Das bedeutet, dass viele vergangene Vergleiche möglicherweise falsch waren, einfach weil sie dieses „Reihenfolge-Rauschen“ nicht berücksichtigt haben.

Zusammenfassung

Der Bösewicht: Optimierer wie AdamW besitzen eine interne Uhr, die dazu führt, dass sie auf dieselben Daten anders reagieren, je nachdem, an welcher Position sie in der Sequenz stehen.
Der Effekt: Dies verwandelt das Durchmischen der Daten von einem winzigen, harmlosen Problem in eine massive Fehlerquelle, die die Ergebnisse wissenschaftlicher Experimente kippen kann.
Die Lösung: Entweder ändern Sie den Optimierer, um die „Uhr anzupassen“ (damit die Reihenfolge keine Rolle spielt), oder Sie führen Ihre Experimente viel häufiger mit verschiedenen Datenreihenfolgen durch, um das Rauschen herauszumitteln.

Die Arbeit sagt im Wesentlichen: „Gehen Sie nicht davon aus, dass Ihrer KI die Reihenfolge Ihrer Daten egal ist. Sie ist es, und sie kümmert sich sehr darum.“

Technisches Resümee: Optimierer-Speicher macht die Shuffle-Reihenfolge zu einer primären Quelle von Fine-Tuning-Rauschen

1. Problemstellung

Beim Fine-Tuning von Large Language Models kann die Reihenfolge, in der Datendomänen (oder Batches) präsentiert werden, die finalen Modellparameter signifikant beeinflussen. Vorherige theoretische Analysen, die oft von speicherlosen Gradientenschritten ausgehen, prognostizierten, dass eine Umordnung eines identischen Multimengen-Datensatzes den Endzustand nur auf einer Sekundär-Ebene ( $O(\eta^2)$ ) relativ zur Lernrate $\eta$ beeinflussen sollte. Dies liegt daran, dass der Term erster Ordnung in einer speicherlosen Expansion eine flache Summe über die Multimenge ist, die unter Permutation invariant bleibt.

Praktische Optimierer wie AdamW sind jedoch nicht speicherlos; sie führen Zustands-Buffer (Momentum, Varianzschätzungen und Bias-Korrektur-Zähler) bereit, die basierend auf dem diskreten Schrittindex $k$ voranschreiten, nicht basierend auf der kontinuierlichen Zeit-Trainingsvariable $\tau = \eta k$ . Das Paper postuliert, dass dieser „Fixed-Clock“-Zustandsfortschritt (fester Takt) dazu führt, dass derselbe Gradient je nach seiner Position in der Sequenz unterschiedliche Gewichte erhält. Folglich kann der Kontrast zwischen zwei verschiedenen Anordnungen desselben Datensatzes (z. B. Sequenz $AB$ vs. $BA$) ein Effekt erster Ordnung ( $O(\eta)$ ) sein, statt ein Effekt zweiter Ordnung, was die Shuffle-Reihenfolge potenziell zu einer dominanten Quelle von Rauschen in Fine-Tuning-Vergleichen macht.

2. Methodik

Theoretischer Rahmen: Lifted-State Clock Theorem

Die Autoren führen ein „Lifted-State“-Framework ein, bei dem der Optimiererzustand $z = (\theta, \xi)$ sowohl die Parameter $\theta$ als auch interne Buffer $\xi$ umfasst. Sie analysieren das lokale Verhalten des Optimierers über ein endliches Fenster von $K$ Schritten mit einem festen Messzustand.

Reguläre Optimierer: Definiert als jene, bei denen die lokale Zustandsabbildung $F^\eta_D(z) = z + \eta X_D(z) + O(\eta^2)$ eine positionsunabhängige Impulsgewichtung besitzt. Für diese sind Kontraste identischer Multimengen $O(\eta^2)$ .
Fixed-Clock Optimierer: Bei Optimierern wie AdamW schreitet der Zustandsupdate für Buffer (z. B. $m_{t} = \beta_1 m_{t-1} + (1-\beta_1)g_t$ ) mit dem Schrittindex $t$ voran. Die Autoren leiten ein Lifted-State Clock Theorem her, das zeigt, dass für Fixed-Clock Optimierer der Differenzwert der Endparameter zwischen zwei Permutationen $w$ und $w'$ derselben Multimenge wie folgt lautet:
$\langle u, \theta_K(w) - \theta_K(w') \rangle = \eta \Lambda_{w,w'}(u) + O(\eta^2)$
wobei $\Lambda_{w,w'}(u)$ der Unterschied in den „eingefrorenen Parameter-Optimierer-Replays“ ist. Wenn dieser Replay-Koeffizient ungleich Null ist, skaliert der Ordnungskontrast als $O(\eta)$ .

Analytische Spezialisierung: Frozen-Preconditioner AdamW

Um geschlossene Ergebnisse abzuleiten, spezialisiert das Paper auf AdamW mit einem eingefrorenen Preconditioner ( $P_0$ ) am Messzustand, während die First-Moment-Buffer und Bias-Korrektur-Uhren aktiv bleiben.

Impuls-Gewichte: Die Autoren leiten eine positionsabhängige Impuls-Gewichtskernel $W^{(s,\beta)}_{r,K}$ für einen Gradienten an Position $r$ ab. Im Gegensatz zu regulären Optimierern sind diese Gewichte nicht flach (z. B. abfallend von 0,815 auf 0,100 über ein Fenster von 16 Schritten bei typischen Hyperparametern).
Varianz-Floor: Sie leiten eine asymptotische untere Schranke für die Varianz der Ergebnisse über zufällige Permutationen ab. Der führende Term ist:
$\text{Var}_w[\langle g_E, \theta_K(w) \rangle] \approx \eta^2 \frac{K}{K-1} \sigma^2_\phi V_K$
wobei $\sigma^2_\phi$ die Varianz der projizierten Gradienten ist und $V_K$ ein Maß für den Optimierer-Memory-Kontrast (Varianz der Impuls-Gewichte) darstellt. Für reguläre Optimierer ist $V_K=0$ , was eine $O(\eta^4)$ Varianz ergibt; für Fixed-Clock Optimierer ist $V_K > 0$ , was eine $O(\eta^2)$ Varianz ergibt.

Experimentelles Protokoll

Die Autoren validieren diese Behauptungen mittels lokaler LoRA Fine-Tuning-Zellen auf Modellen wie Pythia-1B und Llama-3.2-1B.

Exponent Split: Sie messen die Skalierung der medianen Parameterdifferenz ( $\|\theta_{AB} - \theta_{BA}\|$ ) gegen die Lernrate $\eta$ .
Kontrollen: Sie vergleichen AdamW mit:
- SGD: Speicherlos.
- Matched-Clock Momentum: Wo der Zerfall $\beta$ und die Normalisierung mit $\eta$ skaliert werden (z. B. $\beta = e^{-a\eta}$ ), um das reguläre $O(\eta^2)$ Verhalten wiederherzustellen.
- Fixed- $\beta$ Momentum: Ein nicht-adaptiver Kontrollfall, um den Effekt des Buffering vom Effekt der Koordinaten-Adaptivität zu isolieren.
Bitweise-deterministischer Replay: Um den Mechanismus zu isolieren, verzweigen sie einen vorgewärmten Optimiererzustand und spielen ihn mit unterschiedlichen Ordnungen bitweise-deterministisch ab, wodurch das stochastische Gradientenrauschen eliminiert wird.
Diagnostik: Sie führen Metriken wie $\rho$ (Trust-Region-Verhältnis für lokale Gültigkeit), $\chi$ (Konservativitätslücke zwischen skalarer gefrorener-P und vollem Replay) und $\rho_{curl}$ (skalare Sortierbarkeit von paarweisen Ordnungspräferenzen) ein.

3. Kernergebnisse

1. Exponenten-Shift von zweiter zu erster Ordnung

Empirische Messungen bestätigen den theoretischen Shift der Skalierungsexponenten:

SGD und Matched-Clock Momentum: Der Ordnungskontrast skaliert nahe $\eta^2$ (Exponenten $\approx 2,0$ ).
Fixed-Clock AdamW und Lion: Der Ordnungskontrast skaliert nahe $\eta^1$ (Exponenten $\approx 0,91 - 1,09$ ).
Fixed- $\beta$ Momentum: Ein nicht-adaptiver Kontrollfall mit Fixed-Clock Buffering zeigt ebenfalls einen Exponenten nahe $1,0$ (Steigung 0,998), was bestätigt, dass Buffering allein (oh: die Koordinaten-Adaptivität) ausreicht, um den ersten Ordnung-Kanal zu erzeugen.

2. Varianz-Floor und Ordnungsrauschen

Varianz-Skalierung: Die Varianz der Order-Orbit über Fixed-Clock AdamW skaliert mit $\eta^{1,20}$ (roh) oder $\eta^{1,83}$ (wenn die Heterogenität der Eingabe kontrolliert wird), was signifikant größer ist als die $\eta^{3,83}$ – $\eta^{4,00}$ Skalierung, die für SGD und Matched-Clock Kontrollen beobachtet wurde.
Deterministischer Replay: Der bitweise-deterministische Replay liefert Varianz-Steigungen von 1,83 (AdamW), 2,00 (Fixed- $\beta$ Momentum) und 4,00 (SGD), was den Mechanismus vom stochastischen Gradientenrauschen isoliert.

3. Lokale Gültigkeit und Sortierbarkeit

Trust-Region ( $\rho$ ): Die erste Näherung mit Frozen-P sagt Live-Ergebnisse mit hoher Korrelation (Pearson 0,80) voraus, wenn $\rho < 1$ .
Skalare Sortierbarkeit ( $\rho_{curl}$ ): Im perturbativen Regime sind paarweise Ordnungspräferenzen weitgehend durch ein skalares Potenzial sortierbar (keine gerichteten 3-Zyklen beobachtet, wenn $\rho_{curl} < 1$ ). Wenn $\rho_{curl}$ sich 1 nähert, können nicht-konservative Bracket-Terme gerichtete Zyklen (intransitive Präferenzen) erzeugen.

4. Shuffle-Seed-Budget

Das Paper liefert eine Formel zur Berechnung der Anzahl der benötigten Shuffle-Seeds, um eine Performance-Differenz $\Delta$ aufzulösen, gegeben die Ordnung-Rausch-Standardabweichung $\sigma_{ord}$ .

Implikation: Wenn die Differenz zwischen Konfigurationen vergleichbar mit dem Ordnung-Rausch-Niveau ist ( $|\Delta|/\sigma_{ord} < 1$ ), ist ein Single-Shuffle-Vergleich unterpowert und kann das Vorzeichen des Ergebnisses leicht umkehren. Beispielsweise erreichten die Signum-Änderungsraten bei einer Held-out NLL-Kalibrierung 33–44 %, wenn der Gap im Verhältnis zum Rauschen klein war.

4. Bedeutung und Behauptungen

Das Paper behaupten, es isoliere und quantifiziere einen spezifischen Mechanismus – Fixed-Clock Optimierer-Speicher –, der die Datenreihenfolge von einem vernachlässigbaren Effekt zweiter Ordnung zu einer dominanten Quelle des ersten Ordnung Rauschens beim Fine-Tuning erhebt.

Identifikation des Mechanismus: Es zeigt, dass die „speicherlose“ Annahme früherer theoretischer Arbeiten für Standard-Optimierer fehlschlägt, da deren interne Uhren (Schrittzähler) nicht mit der Lernrate skalieren. Dies erzeugt positionsabhängige Gewichte für Gradienten.
Praktische Auswirkungen: Der resultierende „Ordnungskanal“ ist groß genug, dass ein einzelner Zufallssamen das Ergebnis eines engen A/B-Tests beim Fine-Tuning umkehren kann. Dies stellt die Zuverlässigkeit von Single-Seed-Vergleichen beim Hyperparameter-Tuning und der Modellselektion in Frage.
Diagnostische Werkzeuge: Die Autoren bieten eine „fit-freie“ Methode an, um dieses Rauschen mittels der abgeleiteten Varianz-Floor und Impuls-Gewichte zu bestimmen, und bieten so ein Kriterium zur Bestimmung des notwendigen Shuffle-Seed-Budgets für reproduzierbare Vergleiche.
Geltungsbereich: Die Autoren betonen explizit, dass ihre geschlossenen Ergebnisse lokal zu einem endlichen Messfenster sind und auf einer Frozen-Preconditioner-Approximation beruhen. Sie behaupten nicht, globale Konvergenzprobleme zu lösen oder eine universelle Ordnungsstrategie bereitzustellen, sondern erklären die beobachtete Varianz in lokalen Fine-Tuning-Zellen.

Zusammenfassend argumentiert das Paper, dass Optimierer-Speicher die Shuffle-Reihenfolge zu einer primären Quelle von Fine-Tuning-Rauschen macht, was größere Seed-Budgets und eine sorgfältige Interpretation von Fine-Tuning-Vergleichen bei Verwendung von Fixed-Clock Optimierern wie AdamW erforderlich macht.