📊 statistics

Optimizer Memory Makes Shuffle Order a First-Order Source of Fine-Tuning Noise

यह शोध पत्र प्रकट करता है कि AdamW जैसे एल्गोरिदम में फिक्स्ड-क्लॉक ऑप्टिमाइज़र मेमोरी, शफल ऑर्डर (shuffle order) को एक नगण्य द्वितीय-क्रम के प्रभाव से बदलकर फाइन-ट्यूनिंग शोर (fine-tuning noise) के एक प्रमुख प्रथम-क्रम के स्रोत के रूप में ऊपर उठा देती है, जिससे इस परिवर्तनशीलता के सटीक और फिट-मुक्त परिमाणीकरण को सक्षम बनाया जा सके ताकि A/B तुलनाओं की विश्वसनीयता में सुधार किया जा सके।

मूल लेखक: John Sweeney

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: John Sweeney

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: आपके डेटा का क्रम आपकी सोच से कहीं अधिक महत्वपूर्ण है

कल्पना कीजिए कि आप एक जटिल व्यंजन तैयार करने वाले शेफ हैं। आपके पास सामग्रियों की एक टोकरी (आपका डेटा) है जिसे आपको काटना और मिलाना है। एक आदर्श, जादुई रसोई में, इससे कोई फर्क नहीं पड़ता कि आप प्याज पहले काटते हैं या गाजर पहले; अंतिम स्वाद बिल्कुल एक जैसा ही होगा।

हालाँकि, यह पेपर तर्क देता है कि आधुनिक AI प्रशिक्षण (विशेष रूप से बड़े लैंग्वेज मॉडल्स को "फाइन-ट्यूनिंग" करते समय) में, रसोई जादुई नहीं है। आप AI को जिस क्रम में डेटा खिलाते हैं, वह वास्तव में अंतिम परिणाम को बदल देता है, और यह उससे कहीं अधिक नाटकीय रूप से करता है जितना वैज्ञानिक पहले मानते थे।

इसका दोषी कौन है? AI की "याददाश्त" (Memory)।

समस्या: "फिक्स्ड क्लॉक" (निश्चित घड़ी) बनाम "फ्लोइंग रिवर" (बहती नदी)

इसे समझने के लिए, हमें यह देखना होगा कि AI ऑप्टिमाइज़र (वे इंजन जो AI को सिखाते हैं) कैसे काम करते हैं।

1. पुराना दृष्टिकोण (मेमोरीलेस/SGD):
एक बहती हुई नदी की कल्पना करें। यदि आप नदी में एक पत्ता (डेटा का एक टुकव) डालते हैं, तो वह नीचे की ओर बह जाता है। यदि आप दूसरा पत्ता डालते हैं, तो वह भी उसके पीछे चलता है। नदी पहले पत्ते को "याद" नहीं रखती; वह बस धारा के प्रति प्रतिक्रिया करती है।

पेपर का दावा: यदि AI इस नदी की तरह काम करता है, तो पत्तियों के क्रम से ज्यादा फर्क नहीं पड़ता। यदि आप दो समान ढेरों की पत्तियों का क्रम बदलते भी हैं, तो पानी की अंतिम स्थिति बहुत मामूली रूप से बदलती है (गणितीय रूप से, यह एक "सेकंड-ऑर्डर" प्रभाव है, जिसका अर्थ है कि यह बहुत छोटा है)।

2. नई वास्तविकता (फिक्स्ड-क्लॉक ऑप्टिमाइज़र जैसे AdamW):
अब, कल्पना कीजिए कि AI के पास एक स्टॉपवॉच और एक नोटबुक है जो हर एक स्टेप के साथ आगे बढ़ती है, चाहे पानी कितनी भी तेजी से या धीरे बह रहा हो।

तंत्र (Mechanism): आधुनिक ऑप्टिमाइज़र (जैसे AdamW) एक "मोमेंटम बफ़र" (पिछले ग्रेडिएंट्स की नोटबुक) और एक "काउंटर" (स्टॉपवॉच) रखते हैं।
ग्लिच (खराबी): भले ही AI बिल्कुल एक ही सामग्री देखे, लेकिन वह उन्हें किस समय देख रहा है, यह मायने रखता है।
- यदि आप AI को स्टेप 10 पर "सामग्री A" दिखाते हैं, तो स्टॉपवॉच कहती है "10," और नोटबुक आधी भरी हुई है।
- यदि आप "सामग्री A" को स्टेप 50 पर दिखाते हैं, तो स्टॉपवॉच कहती है "50," और नोटबुक लगभग भरी हुई है।
- क्योंकि नोटबुक अलग है, इसलिए AI एक ही सामग्री के प्रति अलग तरह से प्रतिक्रिया करता है, यह इस बात पर निर्भर करता है कि वह अनुक्रम (sequence) में कब दिखाई देती है।

उपमा (Analogy): एक छात्र की कल्पना करें जो परीक्षा दे रहा है।

मेमोरीलेस: यदि छात्र हर प्रश्न के बाद सब कुछ भूल जाता है, तो प्रश्नों का क्रम मायने नहीं रखता।
फिक्स्ड-क्लॉक: छात्र थका हुआ है। यदि प्रश्न A परीक्षा की शुरुआत में आता है, तो वह ताज़ा ऊर्जा के साथ उसका उत्तर देता है। यदि प्रश्न A बिल्कुल अंत में आता है, तो वह थकान के साथ उसका उत्तर देता है। वही प्रश्न अपनी स्थिति के आधार पर अलग उत्तर प्राप्त करता है।

खोज: एक "फर्स्ट-ऑर्डर" शोर (Noise) का स्रोत

यह पेपर सिद्ध करता है कि इस "स्टॉपवॉच" प्रभाव के कारण, डेटा के क्रम को बदलने (shuffling) से एक बड़ा शोर पैदा होता है।

पुराना अनुमान: वैज्ञानिकों का मानना था कि डेटा को शफल करने से केवल बहुत छोटे, नगण्य परिवर्तन होंगे (जैसे एक फुसफुसाहट)।
नई खोज: पेपर दिखाता है कि AdamW जैसे ऑप्टिमाइज़र के लिए, डेटा को शफल करना एक ज़ोरदार बदलाव पैदा करता है (जैसे एक चिल्लाहट)।
परिणाम: यदि आप एक ही डेटा के साथ दो प्रयोग (A/B टेस्ट) चलाते हैं लेकिन अलग क्रम में, तो क्रम से होने वाला "शोर" इतना बड़ा हो सकता है कि वह विजेता को बदल दे। आपको लग सकता है कि कॉन्फ़िगरेशन A बेहतर है, लेकिन यदि आपने बस डेटा का क्रम बदल दिया होता, तो कॉन्फ़िगरेशन B अचानक बेहतर दिखने लगता।

प्रमाण: "एक्सपोनेंट" विभाजन

लेखकों ने यह मापने के लिए प्रयोग चलाए कि जैसे-जैसे वे "लर्निंग रेट" (AI कितनी तेज़ी से सीखता है) को बदलते हैं, परिणाम कितने बदलते हैं।

SGD (नदी): जब उन्होंने डेटा को शफल किया, तो परिणाम बहुत धीरे-धीरे बदले (गणितीय रूप से, शोर लर्निंग रेट के वर्ग के साथ बढ़ता है)।
AdamW (स्टॉपवॉच): जब उन्होंने डेटा को शफल किया, तो परिणाम लर्निंग रेट के साथ लीनियरली (रैखिक रूप से) बदले।
रूपक (Metaphor): यह एक चिकने सस्पेंशन वाली कार और टूटे हुए शॉक एब्जॉर्बर वाली कार की तुलना करने जैसा है। ऊबड़-खाबड़ सड़क पर (शफल किया गया डेटा), टूटी हुई कार बुरी तरह हिलती है, जबकि चिकनी कार उसे शायद ही महसूस करती है।

समाधान: इसे कैसे ठीक करें

पेपर शोधकर्ताओं के लिए दो मुख्य बातें बताता है:

1. "मैच्ड क्लॉक" (Matched Clock) समाधान:
यदि आप AI की आंतरिक स्टॉपवॉच को सीखने की गति के साथ तालमेल बिठाने के लिए बना सकते हैं (ताकि छात्र की "थकान" परीक्षा की कठिनाई के साथ पूरी तरह से स्केल हो सके), तो आप "चिकने सस्पेंशन" को वापस ला सकते हैं। इससे डेटा का क्रम उतना महत्वपूर्ण नहीं रह जाता।

2. "सीड बजट" (Seed Budget) चेतावनी:
यदि आप घड़ी को ठीक नहीं कर सकते, तो आपको अपने प्रयोग अधिक सावधानी से चलाने की आवश्यकता है।

समस्या: यदि आप केवल एक बार एक रैंडम शफल के साथ प्रयोग चलाते हैं, तो आपको एक भाग्यशाली (या दुर्भाग्यपूर्ण) परिणाम मिल सकता है।
समाधान: पेपर एक फॉर्मूला प्रदान करता है जो आपको यह बताने के लिए है कि आपको अपने परिणामों को सुनिश्चित करने के लिए कितने बार अलग-अलग डेटा शफल (अलग-अलग "सीड्स") के साथ प्रयोग को दोहराने की आवश्यकता है।
वास्तविक दुनिया का प्रभाव: अपने परीक्षणों में, उन्होंने पाया कि उच्च लर्निंग रेट के साथ, एक सिंगल रैंडम शफल तुलना के विजेता को 33% से 44% तक बदल सकता है। इसका मतलब है कि कई पिछले तुलनात्मक अध्ययन गलत रहे होंगे क्योंकि उन्होंने इस "ऑर्डर नॉइज़" पर ध्यान नहीं दिया था।

सारांश

विलेन (Vill Villain): AdamW जैसे ऑप्टिमाइज़र में एक आंतरिक घड़ी होती है जो उन्हें एक ही डेटा के प्रति अलग तरह से प्रतिक्रिया करने के लिए प्रेरित करती है, यह इस पर निर्भर करता है कि वह अनुक्रम में कहाँ है।
प्रभाव: यह डेटा शफलिंग को एक मामूली, हानिरहित मुद्दे से बदलकर वैज्ञानिक प्रयोगों के परिणामों को बदलने वाले एक विशाल त्रुटि स्रोत में बदल देता है।
समाधान: या तो ऑप्टिमाइज़र को "मैच द क्लॉक" (ताकि क्रम मायने न रखे) में बदलें या शोर को औसत निकालने के लिए अपने प्रयोगों को बहुत अधिक बार चलाएं।

यह पेपर मूल रूप से कहता है: "यह मानना बंद करें कि आपका AI आपके डेटा के क्रम की परवाह नहीं करता। वह करता है, और बहुत अधिक करता है।"

तकनीकी सारांश: ऑप्टिमाइज़र मेमोरी शफल ऑर्डर को फाइन-ट्यूनिंग शोर के प्रथम-क्रम के स्रोत के रूप में बनाती है

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स के फाइन-ट्यूनिंग में, डेटा डोमेन (या बैचों) के प्रस्तुत होने का क्रम अंतिम मॉडल पैरामीटर्स को महत्वपूर्ण रूप से प्रभावित कर सकता है। पिछले सैद्धांतिक विश्लेषणों ने, जो अक्सर मेमोरीलेस ग्रेडिएंट स्टेप्स को मानते थे, यह भविष्यवाणी की थी कि समान मल्टीसेट (equal multiset) के पुनर्व्यवस्था (reordering) से केवल एक द्वितीय-क्रम स्तर ( $O(\eta^2)$ ) पर अंतिम अवस्था प्रभावित होगी, जो लर्निंग रेट $\eta$ के सापेक्ष है। ऐसा इसलिए है क्योंकि मेमोरीलेस एक्सपेंशन में प्रथम-क्रम का पद मल्टीसेट पर एक फ्लैट योग (flat sum) होता है, जो क्रमपरिवर्तन (permutation) के तहत अपरिवर्तित रहता है।

हालाँकि, AdamW जैसे व्यावहारिक ऑप्टिमाइज़र्स मेमोरीलेस नहीं हैं; वे स्टेट बफ़र्स (मोमेंटम, वेरिएंस अनुमान, और बायस-करेक्शन काउंटर्स) बनाए रखते हैं जो निरंतर-समय प्रशिक्षण चर $\tau = \eta k$ के बजाय, डिस्क्रीट स्टेप इंडेक्स $k$ के आधार पर आगे बढ़ते हैं। यह पेपर तर्क देता है कि यह "फिक्स्ड-क्लॉक" (fixed-clock) स्टेट एडवांसमेंट यह सुनिश्चित करता है कि एक ही ग्रेडिएंट को उसके अनुक्रम में स्थिति के आधार पर अलग-अलग वेट प्राप्त हों। फलस्वरूप, एक ही डेटा के दो अलग-अलग क्रमों (जैसे, अनुक्रम $AB $बनाम$ BA $) के बीच का अंतर एक द्वितीय-क्रम प्रभाव के बजाय एक प्रथम-क्रम प्रभाव ($ O(\eta)$) बन सकता है, जिससे शफल ऑर्डर फाइन-ट्यूनिंग तुलनाओं में शोर का एक प्रमुख स्रोत बन सकता है।

2. कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा: लिफ्टेड-स्टेट क्लॉक थ्योरम (Lifted-State Clock Theorem)

लेखक एक "लिफ्टेड-स्टेट" ढांचे को पेश करते हैं जहाँ ऑप्टिमाइज़र स्टेट $z = (\theta, \xi)$ में पैरामीटर्स $\theta$ और आंतरिक बफ़र्स $\xi$ दोनों शामिल हैं। वे एक निश्चित मेजरमेंट स्टेट के साथ $K$ स्टेप्स की एक सीमित विंडो के दौरान ऑप्टिमाइज़र के स्थानीय व्यवहार का विश्लेषण करते हैं।

रेगुलर ऑप्टिमाइज़र्स (Regular Optimizers): उन्हें उन ऑप्टिमाइज़र्स के रूप में परिभाषित किया गया है जहाँ स्थानीय स्टेट मैप $F^\eta_D(z) = z + \eta X_D(z) + O(\eta^2)$ का इम्पल्स वेट (impulse weight) स्थिति से स्वतंत्र होता है। इनके लिए, समान-मल्टीसेट कंट्रास्ट $O(\eta^2)$ होता है।
फिक्स्ड-क्लॉक ऑप्टिमाइज़र्स (Fixed-Clock Optimizers): AdamW जैसे ऑप्टिमाइज़र्स में, बफ़र्स के लिए स्टेट अपडेट (जैसे, $m_{t} = \beta_1 m_{t-1} + (1-\beta_1)g_t$ ) स्टेप इंडेक्स $t$ के साथ आगे बढ़ता है। लेखक एक लिफ्टेड-स्टेट क्लॉक थ्योरम व्युत्पन्न करते हैं, जो यह दर्शाता है कि फिक्स्ड-क्लॉक ऑप्टिमाइज़र्स के लिए, एक ही मल्टीसेट के दो क्रम $w$ और $w'$ के बीच एंडपॉइंट पैरामीटर अंतर है:
$\langle u, \theta_K(w) - \theta_K(w') \rangle = \eta \Lambda_{w,w'}(u) + O(\eta^2)$
जहाँ $\Lambda_{w,w'}(u)$ "फ्रोजन-पैरामीटर ऑप्टिमाइज़र-स्टेट रिप्ले" का अंतर है। यदि यह रिप्ले गुणांक गैर-शून्य है, तो ऑर्डर कंट्रास्ट $O(\eta)$ के रूप में स्केल करता है।

विश्लेषणात्मक विशिष्टता: फ्रोजन-प्रीकंडीशनर AdamW (Frozen-Preconditioner AdamW)

स्पष्ट परिणाम (closed-form results) प्राप्त करने के लिए, पेपर मेजरमेंट स्टेट पर एक फ्रोजन प्रीकंडीशनर ( $P_0$ ) के साथ AdamW को विशेष रूप (specialize) करता है, जबकि फर्स्ट-मोमेंट बफ़र और बायस-करेक्शन क्लॉक्स को सक्रिय रखता है।

इम्पल्स वेट्स (Impulse Weights): लेखक एक स्थिति-निर्भर इम्पल्स वेट कर्नेल $W^{(s,\beta)}_{r,K}$ व्युत्पन्न करते हैं। रेगुलर ऑप्टिमाइज़र्स के विपरीत, ये वेट्स नॉन-फ्लैट होते हैं (उदाहरण के लिए, विशिष्ट हाइपरपैरामीटर्स के लिए 16 स्टेप्स की विंडो में 0.815 से 0.100 तक घटते हैं)।
वेरिएंस फ्लोर (Variance Floor): वे रैंडम परम्यूटेशन के परिणामों के लिए एक एसिम्प्टोटिक लोअर बाउंड व्युत्पन्न करते हैं। लीडिंग टर्म है:
$\text{Var}_w[\langle g_E, \theta_K(w) \rangle] \approx \eta^2 \frac{K}{K-1} \sigma^2_\phi V_K$
जहाँ $\sigma^2_\phi$ प्रोजेक्टेड ग्रेडिएंट्स का वेरिएंस है और $V_K$ ऑप्टिमाइज़र-मेमोरी कंट्रास्ट (इम्पल्स वेट्स का वेरिएंस) का एक मीट्रिक है। रेगुलर ऑप्टिमाइज़र्स के लिए, $V_K=0$ होता है (जिससे $O(\eta^4)$ वेरिएंस मिलता है); फिक्स्ड-क्लॉक ऑप्टिमाइज़र्स के लिए, $V_K > 0$ होता है (जिससे $O(\eta^2)$ वेरिएंस मिलता है)।

प्रयोगात्मक प्रोटोकॉल (Experimental Protocol)

लेखक Pythia-1B और Llama-3.2-1B जैसे मॉडल्स पर लोकल LoRA फाइन-ट्यूनिंग सेल्स का उपयोग करके इन दावों को सत्यापित करते हैं।

एक्सपोनेंट स्प्लिट (Exponent Split): वे लर्निंग रेट $\eta$ के विरुद्ध मीडियन पैरामीटर डिफरेंस ( $\|\theta_{AB} - \theta_{BA}\|$ ) के स्केलिंग को मापते हैं।
कंट्रोल्स (Controls): वे AdamW की तुलना निम्नलिखित से करते हैं:
- SGD: मेमोरीलेस।
- मैच्ड-क्लॉक मोमेंटम (Matched-Clock Momentum): जहाँ डिके $\beta$ और नॉर्मलाइजेशन को $\eta$ के साथ स्केल किया जाता है (जैसे, $\beta = e^{-a\eta}$ ), ताकि रेगुलर $O(\eta^2)$ व्यवहार को बहाल किया जा सके।
- फिक्स्ड- $\beta$ मोमेंटम (Fixed- $\beta$ Momentum): कोऑर्डिनेट एडेप्टिविटी से बफरिंग के प्रभाव को अलग करने के लिए।
बिटवाइज़-डिटरमिनिस्टिक रिप्ले (Bitwise-Deterministic Replay): तंत्र को अलग करने के लिए, वे एक वॉर्मड ऑप्टिमाइज़र स्टेट को फोर्क करते हैं और बिटवाइज़-डिटरमिनिस्टिक स्टेप्स के साथ विभिन्न क्रमों के साथ इसे रिप्ले करते हैं, जिससे स्टोकेस्टिक ग्रेडिएंट नॉइज़ समाप्त हो जाती है।
डायग्नोस्टिक्स (Diagnostics): वे $\rho$ (लोकल वैलिडिटी के लिए ट्रस्ट-रीजन रेश्यो), $\chi$ (स्कलर फ्रोजन-P और फुल रिप्ले के बीच कंजर्वेटिविटी गैप), और $\rho_{curl}$ (पेयरवाइज ऑर्डर प्रेफरेंस का स्केलर सॉर्टेबिलिटी) जैसे मेट्रिक्स पेश करते हैं।

3. मुख्य परिणाम (Key Results)

1. दूसरे से प्रथम क्रम में एक्सपोनेंट शिफ्ट

अनुभवजन्य माप (Empirical measurements) सैद्धांतिक स्केलिंग एक्सपोनेंट्स के शिफ्ट की पुष्टि करते हैं:

SGD और मैच्ड-क्लॉक मोमेंटम: ऑर्डर कंट्रास्ट $\eta^2$ के करीब स्केल करता है (एक्सपोनेंट्स $\approx 2.0$ )।
फिक्स्ड-क्लॉक AdamW और Lion: ऑर्डर कंट्रास्ट $\eta^1$ के करीब स्केल करता है (एक्सपोनेंट्स $\approx 0.91 - 1.09$ )।
फिक्स्ड- $\beta$ मोमेंटम: एक नॉन-एडेप्टिव कंट्रोल जिसमें फिक्स्ड-क्लॉक बफरिंग भी $1.0$ के पास का एक्सपोनेंट प्रदर्शित करती है, जो पुष्टि करती है कि बफरिंग अकेले ही (कोऑर्डिनेट एडेप्टिविटी के बिना भी) प्रथम-क्रम का ऑर्डर चैनल बनाने के लिए पर्याप्त है।

2. वेरिएंस फ्लोर और ऑर्डर नॉइज़

वेरिएंस स्केलिंग: फिक्स्ड-क्लॉक AdamW के लिए ऑर्डर-ऑर्बिट वेरिएंस $\eta^{1.20}$ (रॉ) या $\eta^{1.83}$ (जब हेटेरोजेनिटी इनपुट को नियंत्रित किया जाता है) के रूप में स्केल करता है, जो SGD और मैच्ड-क्लॉक कंट्रोल्स के लिए देखे गए $\eta^{3.83}$ – $\eta^{4.00}$ स्केलिंग से काफी अधिक है।
डिटरमिनिस्टिक रिप्ले: बिटवाइज़-डिटरमिनिस्टिक रिप्ले 1.83 (AdamW), 2.00 (फिक्स्ड- $\beta$ मोमेंटम), और 4.00 (SGD) के वेरिएंस स्लोप देता है, जो स्टोकेस्टिक ग्रेडिएंट नॉइज़ से तंत्र को अलग करता है।

3. लोकल वैलिडिटी और सॉर्टेबिलिटी

ट्रस्ट-रीजन ( $\rho$ ): प्रथम-क्रम का फ्रोजन-P एप्रोक्सिमेशन हाई कोरिलेशन (पियर्सन 0.80) के साथ लाइव आउटकम्स की भविष्यवाणी करता है जब $\rho < 1$ हो।
स्केलर सॉर्टेबिलिटी ( $\rho_{curl}$ ): पर्सर्बेटिव रिजीम में, पेयरवाइज ऑर्डर प्रेफरेंस काफी हद तक एक स्केलर पोटेंशियल द्वारा सॉर्टेबल होते हैं (जब $\rho_{curl} < 1$ हो तो शून्य निर्देशित 3-साइकिल देखे गए)। जब $\rho_{curl}$ 1 के करीब पहुँच जाता है, तो नॉन-कंजर्वेटिव ब्रैकेट टर्म्स निर्देशित चक्र (directed cycles) बना सकते हैं।

4. शफल-सीड बजट (Shuffle-Seed Budget)

पेपर एक फॉर्मूला प्रदान करता है जिसका उपयोग ऑर्डर-नॉइज़ स्टैंडर्ड डेविएशन $\sigma_{ord}$ को देखते हुए एक प्रदर्शन अंतर $\Delta$ को हल करने के लिए आवश्यक शफल सीड्स की संख्या की गणना करने के लिए किया जाता है।

निहितार्थ: जब दो कॉन्फ़िगरेशन के बीच का अंतर ऑर्डर-नॉइज़ फ्लोर के तुल्य हो ( $|\Delta|/\sigma_{ord} < 1$ ), तो एक सिंगल-शफल तुलना अंडरपावर्ड होती है और आसानी से परिणाम का साइन बदल सकती है। उदाहरण के लिए, जब गैप नॉइज़ के सापेक्ष छोटा था, तो होल्ड-आउट NLL कैलिब्रेशन में साइन-चेंज रेट 33–44% तक पहुँच गया।

4. महत्व और दावे (Significance and Claims)

यह पेपर एक विशिष्ट तंत्र को अलग और मात्रा निर्धारित करने का दावा करता है—फिक्स्ड-क्लॉक ऑप्टिमाइज़र मेमोरी—जो डेटा ऑर्डरिंग को एक नगण्य द्वितीय-क्रम प्रभाव से हटाकर फाइन-ट्यूनिंग शोर के एक प्रमुख प्रथम-क्रम स्रोत के रूप में ऊपर उठाता है।

तंत्र की पहचान: यह सिद्ध करता है कि पिछले सैद्धांतिक कार्यों में "मेमोरीलेस" धारणा मानक ऑप्टिमाइज़र्स के लिए विफल हो जाती है क्योंकि उनके आंतरिक क्लॉक्स (स्टेप काउंटर्स) लर्निंग रेट के साथ स्केल नहीं होते हैं। यह ग्रेडिएंट्स के लिए स्थिति-निर्भर वेट्स बनाता है।
व्यावहारिक प्रभाव: परिणामी "ऑर्डर चैनल" इतना बड़ा है कि एक सिंगल रैंडम सीड फाइन-ट्यूनिंग में एक करीबी A/B टेस्ट के परिणाम को बदल सकता है। यह हाइपरपैरामीटर ट्यूनिंग और मॉडल सिलेक्शन में सिंगल-सीड तुलनाओं की विश्वसनीयता को चुनौती देता है।
डायग्नोस्टिक टूल्स: लेखक इस शोर के आकार को मापने के लिए एक "फिट-फ्री" तरीका प्रदान करते हैं, जो आवश्यक शफल-सीड बजट को निर्धारित करने के लिए एक मानदंड प्रदान करता है।
दायरा सीमाएँ: लेखक स्पष्ट रूप से कहते हैं कि उनके क्लोज्ड-फॉर्म परिणाम एक सीमित मेजरमेंट विंडो के लिए स्थानीय (local) हैं और फ्रोजन-प्रीकंडीशनर एप्रोक्सिमेशन पर निर्भर करते हैं। वे वैश्विक अभिसरण (global convergence) समस्याओं को हल करने या सार्वभौमिक ऑर्डरिंग पॉलिसी प्रदान करने का दावा नहीं करते हैं, बल्कि स्थानीय फाइन-ट्यूनिंग सेल्स में देखे गए वेरिएंस को समझाने का प्रयास करते हैं।

संक्षेप में, यह पेपर तर्क देता है कि ऑप्टिमाइज़र मेमोरी शफल ऑर्डर को फाइन-ट्यूनिंग शोर के एक प्रथम-क्रम स्रोत के रूप में बनाती है, जिसके लिए AdamW जैसे फिक्स्ड-क्लॉक ऑप्टिमाइज़र्स का उपयोग करते समय बड़े सीड बजट और सावधानीपूर्वक व्याख्या की आवश्यकता होती।