Technische Samenvatting: Optimizergeheugen maakt shuffle-volgorde een eerstegraads bron van fine-tuning ruis

1. Probleemstelling

Bij het fine-tunen van grote taalmodellen kan de volgorde waarin datadomeinen (of batches) worden gepresenteerd een significante impact hebben op de uiteindelijke modelparameters. Eerdere theoretische analyses, die vaak uitgingen van geheugenloze gradiëntstappen, voorspelden dat het herordenen van een gelijke multiset aan data alleen het eindtoestand zou beïnvloeden op een tweedegraads niveau ($O(\eta^2)$ ten opzichte van de leersnelheid $\eta$). Dit komt doordat de eerstegraads term in een geheugenloze expansie een vlakke som is over de multiset, die invariant blijft onder permutatie.

Echter, praktische optimizers zoals AdamW zijn niet geheugenloos; ze onderhouden state-buffers (momentum, variantie-schattingen en bias-correctie tellers) die voortvallen op basis van de discrete stapindex $k$, en niet op de continue tijd-trainingsvariabele $\tau = \eta k$. Het artikel stelt dat deze "fixed-clock" state-voortgang ervoor zorgt dat dezelfde gradiënt verschillende gewichten krijgt, afhankelijk van de positie in de sequentie. Bijgevolg kan het contrast tussen twee verschillende ordeningen van dezelfde data (bijv. sequentie $AB$ versus $BA$) een eerstegraads effect worden ($O(\eta)$) in plaats van een tweedegraads effect, wat de shuffle-volgorde een dominante bron van ruis maakt in fine-tuning vergelijkingen.

2. Methodologie

Theoretisch Kader: Lifted-State Clock Theorem

De auteurs introduceren een "lifted-state" raamwerk waarbij de optimizer state $z = (\theta, \xi)$ zowel parameters $\theta$ als interne buffers $\xi$ bevat. Ze analyseren het lokale gedrag van de optimizer over een eindig venster van $K$ stappen met een vaste meettoestand.

• Reguliere Optimizers: Gedefinieerd als optimizers waarbij de lokale state map $F^\eta_D(z) = z + \eta X_D(z) + O(\eta^2)$ een impulsgewicht heeft dat onafhankelijk is van de positie. Voor deze optimizers zijn contrasten tussen gelijke multisets $O(\eta^2)$.
• Fixed-Clock Optimizers: In optimizers zoals AdamW vordert de state-update voor buffers (bijv. $m_{t} = \beta_1 m_{t-1} + (1-\beta_1)g_t$) met de stapindex $t$. De auteurs leiden een Lifted-State Clock Theorem af, die aantoont dat voor fixed-clock optimizers het verschil in eindparameter tussen twee permutaties $w$ en $w'$ van dezelfde multiset is:
  $$\langle u, \theta_K(w) - \theta_K(w') \rangle = \eta \Lambda_{w,w'}(u) + O(\eta^2)$$
  waarbij $\Lambda_{w,w'}(u)$ het verschil is in "frozen-parameter optimizer-state replays". Als deze replay-coëfficiënt niet nul is, schaalt het order-contrast als $O(\eta)$.

Analytische Specialisatie: Frozen-Preconditioner AdamW

Om gesloten vorm resultaten te verkrijgen, specialiseert het artikel zich naar AdamW met een frozen preconditioner ($P_0$) bij de meettoestand, terwijl de first-moment buffer en bias-correctie klokken actief blijven.

• Impulsgewichten: De auteurs leiden een positie-afhankelijke impulsgewicht-kernel $W^{(s,\beta)}_{r,K}$ af voor een gradiënt op positie $r$. In tegenstelling tot reguliere optimizers zijn deze gewichten niet vlak (bijv. afnemend van 0.815 naar 0.100 over een venster van 16 stappen voor typische hyperparameters).
• Variantievloer: Ze leiden een asymptotische ondergrens af voor de variantie van uitkomsten over willekeurige permutaties. De leidende term is:
  $$\text{Var}_w[\langle g_E, \theta_K(w) \rangle] \approx \eta^2 \frac{K}{K-1} \sigma^2_\phi V_K$$
  waarbij $\sigma^2_\phi$ de variantie van de geprojecteerde gradiënten is en $V_K$ een metriek is van de optimizer-geheugen contrast (variantie van de impulsgewichten). Voor reguliere optimizers is $V_K=0$, wat $O(\eta^4)$ variantie oplevert; voor fixed-clock optimizers is $V_K > 0$, wat $O(\eta^2)$ variantie oplevert.

Experimenteel Protocol

De auteurs valideren deze claims met lokale LoRA fine-tuning cellen op modellen zoals Pythia-1B en Llama-3.2-1B.

• Exponent Split: Ze meten de schaling van het mediaan parameterverschil ($\|\theta_{AB} - \theta_{BA}\|$) tegen de leersnelheid $\eta$.
• Controles: Ze vergelijken AdamW met:
  • SGD: Geheugenloos.
  • Matched-Clock Momentum: Waarbij de decay $\beta$ en normalisatie worden geschaald met $\eta$ (bijv. $\beta = e^{-a\eta}$) om het reguliere $O(\eta^2)$ gedrag te herstellen.
  • Fixed-$\beta$ Momentum: Een non-adaptieve controle om het effect van buffering te isoleren van coördinaat-adaptiviteit.
• Bitwise-Deterministische Replay: Om het mechanisme te isoleren, forken ze een verwarmde optimizer state en spelen deze opnieuw af met verschillende ordeningen met bitwise-deterministische stappen, waardoor stochastische gradiëntruis wordt geëlimineerd.
• Diagnostiek: Ze introduceren metrieken zoals $\rho$ (trust-region ratio voor lokale validiteit), $\chi$ (conservativiteitskloof tussen scalaire frozen-P en volledige replay) en $\rho_{curl}$ (scalaire sorteerbaarheid van pairwise order voorkeuren).

3. Belangrijkste Resultaten

1. Exponentverschuiving van Tweede naar Eerste Orde

Empirische metingen bevestigen de theoretische verschuiving in schalingsexponenten:

• SGD en Matched-Clock Momentum: Het order-contrast schaalt nabij $\eta^2$ (exponenten $\approx 2.0$).
• Fixed-Clock AdamW en Lion: Het order-contrast schaalt nabij $\eta^1$ (exponenten $\approx 0.91 - 1.09$).
• Fixed-$\beta$ Momentum: Een non-adaptieve controle met fixed-clock buffering vertoont eveneens een exponent nabij $1.0$ (helling 0.998), wat bevestigt dat buffering alleen (zonder coördinaat-adaptiviteit) voldoende is om het eerstegraads order-kanaal te creëren.

2. Variantievloer en Order-ruis

• Variantie Schaling: De order-orbit variantie voor fixed-clock AdamW schaalt met $\eta^{1.20}$ (raw) of $\eta^{1.83}$ (wanneer heterogeniteit input gecontroleerd is), wat aanzienlijk groter is dan de $\eta^{3.83}$–$\eta^{4.00}$ schaling waargenomen voor SGD en matched-clock controles.
• Deterministische Replay: Bitwise-deterministische replay levert variantie-hellingen op van 1.83 (AdamW), 2.00 (fixed-$\beta$ momentum) en 4.00 (SGD), waarmee het mechanisme wordt geïsoleerd van stochastische gradiëntruis.

3. Lokale Validiteit en Sorteerbaarheid

• Trust-Region ($\rho$): De eerstegraads frozen-P benadering voorspelt live uitkomsten met een hoge correlatie (Pearson 0.80) wanneer $\rho < 1$.
• Scalaire Sorteerbaarheid ($\rho_{curl}$): In het perturbatieve regime zijn pairwise order voorkeuren grotendeels sorteerbaar door een scalaire potentiaal (geen gerichte 3-cycli waargenomen wanneer $\rho_{curl} < 1$). Wanneer $\rho_{curl}$ de 1 nadert, kunnen non-conservatieve bracket termen gerichte cycli creëren (intransitieve voorkeuren).

4. Shuffle-Seed Budget

Het artikel biedt een formule om te berekenen hoeveel shuffle seeds vereist zijn om een prestatiekloof $\Delta$ te resolveren, gegeven de order-ruis standaarddeviatie $\sigma_{ord}$.

• Implicatie: Wanneer de kloof tussen configuraties vergelijkbaar is met de order-ruis vloer ($|\Delta|/\sigma_{ord} < 1$), is een enkele shuffle-vergelijking onderbezet en kan deze de teken van het resultaat gemakkelijk omdraaien. Bijvoorbeeld, in een held-out NLL kalibratie bereikten sign-change rates 33–44% wanneer de kloof klein was ten opzichte van de ruis.

4. Betekenis en Claims

Het artikel beweert een specifiek mechanisme te hebben geïsoleerd en gekwantificeerd—fixed-clock optimizer geheugen—dat de datavolgorde verheft van een verwaarloosbaar tweedegraads effect naar een dominante eerstegraads bron van ruis in fine-tuning.

• Identificatie van het Mechanisme: Het demonstreert dat de "geheugenloze" assumptie in eerdere theoretische werken faalt voor standaard optimizers omdat hun interne klokken (stap tellers) niet schalen met de leersnelheid. Dit creëert positie-afhankelijke gewichten voor gradiënten.
• Praktische Impact: Het resulterende "order kanaal" is groot genoeg zodat een enkele willekeurige seed de uitkomst van een nauwe A/B test in fine-tuning kan doen omslaan. Dit daagt de betrouwbaarheid van single-seed vergelijkingen in hyperparameter tuning en modelselectie uit.
• Diagnostische Instrumenten: De auteurs bieden een "fit-free" manier om deze ruis te dimensioneren met behulp van de afgeleide variantievloer en impulsgewichten, wat een criterium biedt voor het bepalen van de noodzakelijke shuffle-seed budget voor reproduceerbare vergelijkingen.
• Scope Beperkingen: De auteurs verklaren expliciet dat hun closed-form resultaten lokaal zijn binnen een eindig meetvenster en steunen op een frozen-preconditioner benadering. Ze beweren niet globale convergentieproblemen op te lossen of een universeel ordeningsbeleid te bieden, maar verklaren de variantie waargenomen in lokale fine-tuning cellen.

Samenvattend betoogt het artikel dat optimizergeheugen de shuffle-volgorde een eerstegraads bron van fine-tuning ruis maakt, wat grotere seed budgets en zorgvuldige interpretatie van fine-tuning vergelijkingen noodzakelijk maakt wanneer fixed-clock optimizers zoals AdamW worden gebruikt.