📊 statistics

Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging

यह शोध पत्र यह प्रदर्शित करता है कि वेट एवरेजिंग (weight averaging) को सरल, हॉराइजन-मुक्त लर्निंग रेट शेड्यूल्स (जैसे कि पॉलिनॉमियल डिके या $1/\sqrt{t}$ ) के साथ संयोजित करने से बड़े भाषा मॉडलों (LLMs) के लिए ट्यून्ड कोसाइन शेड्यूल्स के तुलनीय अंतिम प्रदर्शन प्राप्त होता है, जो उन ओपन-एंडेड सेटिंग्स में प्रशिक्षण के लिए एक व्यावहारिक और सैद्धांतिक रूप से पुष्ट विकल्प प्रदान करता है जहाँ कुल हॉराइजन अज्ञात होता है।

मूल लेखक: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

प्रकाशित 2026-08-26

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) वे इंजन हैं जो राइटिंग असिस्टेंट से लेकर जटिल तर्क करने वाले टूल्स तक, सब कुछ संचालित करते हैं। इन इंजनों को चलाने के लिए, शोधकर्ताओं को उन्हें टेक्स्ट की विशाल मात्रा खिलाकर सिखाना पड़ता है, जिसे प्रीट्रेनिंग (pretraining) कहा जाता है। इस शिक्षण के लिए गति और सटीकता के बीच एक सावधानीपूर्ण संतुलन की आवश्यकता होती है, जिसे 'लर्निंग रेट' (learning rate) नामक सेटिंग द्वारा नियंत्रित किया जाता है। इस दर को नए डेटा के आधार पर मॉडल द्वारा अपने आंतरिक ज्ञान को समायोजित करने की गति के रूप में समझें। यदि गति बहुत तेज़ है, तो मॉडल सच्चाई से आगे निकल जाएगा; यदि यह बहुत धीमी है, तो वह कुछ भी नहीं सीख पाएगा। वर्षों से, इस गति को प्रबंधित करने का मानक तरीका 'कोसाइन डिके' (cosine decay) नामक एक शेड्यूल रहा है। यह विधि मॉडल को एक मध्यम गति से शुरू करती है, धीरे-धीरे एक सुचारू वक्र (curve) में धीमा करती है, और एक सटीक क्षण पर रुक जाती है। हालाँकि, इस मानक दृष्टिकोण में एक महत्वपूर्ण दोष है: इसके लिए यह जानना आवश्यक है कि पहला कदम उठाने से पहले प्रशिक्षण कितने समय तक चलेगा। एक ऐसी दुनिया में जहाँ डेटा निरंतर आता रहता है और सूचना की कुल मात्रा अज्ञात होती है, यह आवश्यकता एक ऐसी कार चलाने की कोशिश करने जैसी है जिसके पास केवल गंतव्य का नक्शा है, वहां तक पहुँचने की दूरी का नहीं।

हार्वर्ड यूनिवर्सिटी और केम्पनर इंस्टीट्यूट के शोधकर्ताओं ने इस समस्या का समाधान करने के लिए इन मॉडल्स को प्रशिक्षित करने का एक नया तरीका विकसित किया है, जिसमें पहले से निर्धारित समाप्ति तिथि की आवश्यकता नहीं होती। उनका कार्य, जो गणितीय सिद्धांत को बड़े पैमाने के प्रयोगों के साथ जोड़ता है, यह प्रदर्शित करता है कि मॉडल्स को बिना यह जाने प्रभावी ढंग से प्रशिक्षित किया जा सकता है कि प्रशिक्षण कब समाप्त होगा। उन्होंने पाया कि एक सरल, स्थिर गति का उपयोग करके जो समय के साथ स्वाभाविक रूप से धीमी हो जाती है, और यात्रा के दौरान मॉडल की प्रगति का औसत निकालकर, वे पारंपरिक पद्धति के समान ही अच्छे परिणाम प्राप्त कर सकते हैं। यह खोज बताती है कि उन्नत आर्टिफिशियल इंटेलिजेंस बनाने के लिए अतीत के कठोर, पूर्व-नियोजित शेड्यूल्स की आवश्यकता नहीं है, जो निरंतर उपलब्ध होने वाले नए डेटा के साथ सीखने वाले सिस्टम के लिए द्वार खोलता है।

समस्या का मूल आधुनिक डेटा की प्रकृति में निहित है। अतीत के निश्चित डेटासेट्स के विपरीत, आज की जानकारी निरंतर प्रवाहित होती रहती है। एक मॉडल को एक सप्ताह, फिर एक महीने, या संभावित रूप से वर्षों के लिए प्रशिक्षित किया जा सकता है, जो इस पर निर्भर करता है कि कितना डेटा उपलब्ध है। पारंपरिक कोसाइन डिके शेड्यूल "होराइजन-डिपेंडेंट" (horizon-dependent) होता है, जिसका अर्थ है कि इसे एक ज्ञात अवधि के लिए विशेष रूप से ट्यून किया जाना चाहिए। यदि एक शोधकर्ता एक महीने के रन के लिए शेड्यूल को ट्यून करता है लेकिन प्रोजेक्ट तीन महीने तक बढ़ जाता है, तो मॉडल का प्रदर्शन प्रभावित होता है क्योंकि लर्निंग रेट को बहुत जल्दी धीमा करने के लिए डिज़ाइन किया गया था। शोधकर्ताओं ने एक "होराइजन-फ्री" (horizon-free) विकल्प खोजने का प्रयास किया, एक ऐसी विधि जो इस बात पर निर्भर नहीं करती कि प्रशिक्षण कल समाप्त होगा या अगले वर्ष। उन्होंने प्रस्तावित किया कि एक जटिल वक्र के बजाय, एक सरल शेड्यूल जो समय के साथ धीरे-धीरे घटता है, और 'वेट एवरेजिंग' (weight averaging) नामक तकनीक के संयोजन से इस समस्या को हल किया जा सकता है। वेट एवरेजिंग एक ऐसी प्रक्रिया है जहाँ अंतिम मॉडल केवल बनाया गया अंतिम संस्करण नहीं होता, बल्कि प्रशिक्षण प्रक्रिया के दौरान कई संस्करणों का मिश्रण होता है, जो शोर (noise) को कम करता है और परिणाम को स्थिर करता है।

इस विचार का परीक्षण करने के लिए, टीम ने पहले गणितीय सिद्धांत का सहारा लिया। उन्होंने सीखने के एक सरलीकृत मॉडल के व्यवहार का विश्लेषण किया, जिसमें रैखिक प्रतिगमन (linear regression) का उपयोग किया गया जो भाषा में पाए जाने वाले जटिल पैटर्न की नकल करता है। उनके विश्लेषण ने दिखाया कि कुछ प्रकार के डेटा के लिए, एक लर्निंग रेट जो समय के साथ धीरे-धीरे घटती है, विशेष रूप से एक ऐसे पैटर्न का पालन करती है जहाँ दर समय के वर्गमूल (square root) के बढ़ने के साथ गिरती है, सैद्धांतिक रूप से इष्टतम (optimal) है। महत्वपूर्ण रूप से, उन्होंने सिद्ध किया कि जब इस विशिष्ट डिके को वेट एवरेजिंग के साथ जोड़ा जाता है, तो यह विधि बिना यह जाने कि कुल प्रशिक्षण समय क्या है, सीखने की सर्वोत्तम संभव गति प्राप्त करती है। इस सैद्धांतिक निष्कर्ष ने एक मजबूत आधार प्रदान किया, जिससे पता चला कि एक सरल, स्थिर दृष्टिकोण जटिल, पूर्व-नियोजित वक्रों की तुलना में बेहतर प्रदर्शन कर सकता है।

शोधकर्ताओं ने फिर सिद्धांत से व्यवहार की ओर बढ़ते हुए, 150 मिलियन और 300 मिलियन पैरामीटर्स वाले लार्ज लैंग्वेज मॉडल्स को प्रशिक्षित किया। उन्होंने इन मॉडल्स को टेक्स्ट के एक विशाल डेटासेट पर प्रशिक्षित किया, जिससे वे अपने आकार के मॉडल्स के लिए आमतौर पर उपयोग किए जाने वाले डेटा से 32 गुना अधिक डेटा सीखने के लिए प्रेरित हुए। यह पैमाना महत्वपूर्ण है क्योंकि यह उन स्थितियों को दर्शाता है जिनमें दुनिया के सबसे उन्नत AI सिस्टम बनाए जाते हैं। उन्होंने अपने नए होराइजन-फ्री शेड्यूल्स की तुलना मानक कोसाइन डिके शेड्यूल से की, जिसे प्रशिक्षण की प्रत्येक विशिष्ट अवधि के लिए सावधानीपूर्वक ट्यून किया गया था। परिणाम आश्चर्यजनक थे। नए तरीकों ने, जो एवरेजिंग के साथ या तो निरंतर लर्निंग रेट या धीरे-धीरे घटते हुए रेट का उपयोग करते थे, बेहतरीन-ट्यून किए गए कोसाइन शेड्यूल्स के प्रदर्शन को लगभग पूरी तरह से ट्रैक किया। पूरे प्रशिक्षण काल के दौरान, छोटे रन से लेकर सबसे लंबे संभव अंतराल तक, होराइजन-फ्री विधियों ने पारंपरिक दृष्टिकोण के समान ही अंतिम परिणाम प्राप्त किए।

इस कार्य के सबसे सम्मोहक पहलुओं में से एक इसकी व्यावहारिकता है। शोधकर्ताओं ने दिखाया कि प्रशिक्षण प्रक्रिया के शुरुआती चरण में चुना गया सेटिंग्स का एक एकल समूह पूरे प्रोजेक्ट की अवधि के लिए उपयोग किया जा सकता है, भले ही वह प्रोजेक्ट अचानक विस्तारित हो जाए। उन्होंने प्रदर्शित किया कि यदि एक मॉडल को एक विशिष्ट मध्यवर्ती बिंदु के लिए ट्यून किया जाता है, जैसे कि मानक डेटा मात्रा का चार गुना, तो वही सेटिंग्स तब भी अच्छा प्रदर्शन करती रहेंगी जब प्रशिक्षण 32 गुना तक बढ़ जाता है। यह हर बार प्रशिक्षण क्षितिज (training horizon) बदलने पर मॉडल को रोकने और पुनः ट्यून करने की आवश्यकता को समाप्त करता है। इसके अलावा, उन्होंने 'वार्मअप-स्टेबल-डिके' (warmup-stable-decay) नामक एक लोकप्रिय वैकल्पिक विधि का भी परीक्षण किया, जो अधिकांश प्रशिक्षण के लिए दर को स्थिर रखकर और अंत में इसे कम करके दोनों दुनियाओं का सर्वश्रेष्ठ देने की कोशिश करती है। हालांकि इस विधि ने अच्छा प्रदर्शन किया, लेकिन इसे डिके चरण शुरू करने के समय को जानने की आवश्यकता थी, जो इसे लेखकों द्वारा प्रस्तावित वास्तव में होराइजन-फ्री दृष्टिकोण की तुलना में कम लचीला बनाता है।

अध्ययन ने यह भी पता लगाया कि ये विधियाँ तब कैसे व्यवहार करती हैं जब प्रशिक्षण डेटा बहुत बड़ा होता है, जो एक ऐसी स्थिति है जहाँ सीखने की प्रक्रिया में शोर (noise) स्वाभाविक रूप से कम होता है। इन स्थितियों में, शोधकर्ताओं ने पाया कि लर्निंग रेट को बिल्कुल भी कम करने की आवश्यकता नहीं थी। वेट एवरेजिंग के साथ एक निरंतर लर्निंग रेट, शीर्ष प्रदर्शन प्राप्त करने के लिए पर्याप्त था। यह उनके सैद्धांतिक अनुमान के अनुरूप है कि जब डेटा में वेरिएंस (variance) या शोर कम होता है, तो मॉडल बायस (bias) या त्रुटि को कम करने के बजाय एक स्थिर गति बनाए रखने से अधिक लाभान्वित होता है। यह अंतर्दृष्टि बताती है कि जैसे-जैसे कंप्यूटिंग शक्ति बढ़ती है और मॉडल्स बड़े बैचों के डेटा को प्रोसेस कर सकते हैं, जटिल डिके शेड्यूल्स की आवश्यकता पूरी तरह से कम हो सकती है, और उनकी जगह सरल, अधिक मजबूत रणनीतियाँ ले सकती हैं।

अंततः, यह शोध आर्टिफिशियल इंटेलिजेंस प्रशिक्षण के भविष्य के लिए एक स्पष्ट मार्ग प्रदान करता है। यह सुझाव देता है कि कठोर, पूर्व-निर्धारित शेड्यूल्स जो वर्षों से इस क्षेत्र में हावी रहे हैं, निरंतर डेटा के युग में मॉडल्स को प्रशिक्षित करने का एकमात्र या शायद सबसे अच्छा तरीका नहीं हैं। यह सिद्ध करके कि सरल, होराइजन-फ्री शेड्यूल्स को वेट एवरेजिंग के साथ जोड़ने से सबसे सावधानीपूर्वक ट्यून किए गए पारंपरिक तरीकों के प्रदर्शन के बराबर परिणाम मिल सकते हैं, लेखकों ने ओपन-एंडेड लर्निंग के लिए एक व्यावहारिक समाधान पेश किया है। यह दृष्टिकोण मॉडल्स को उपलब्ध डेटा की किसी भी मात्रा के अनुकूल होने की अनुमति देता है, जिससे प्रशिक्षण प्रक्रिया अधिक लचीली और कुशल हो जाती है। निष्कर्ष संकेत देते हैं कि लार्ज लैंग्वेज मॉडल प्रशिक्षण का भविष्य जटिल शेड्यूलिंग एल्गोरिदम में नहीं, बल्कि सरल, अधिक लचीली रणनीतियों में निहित है जो एक पूर्व-निर्धारित अंत के बिना निरंतर सीख सकती हैं।

तकनीकी सारांश: क्षितिज-मुक्त लर्निंग-रेट शेड्यूल्स के साथ एनीटाइम प्रीट्रेनिंग (Anytime Pretraining with Horizon-Free Learning-Rate Schedules)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को तेजी से निरंतर (continual) या ओपन-एंडेड सेटिंग्स में प्रशिक्षित किया जा रहा है जहाँ कुल प्रशिक्षण क्षितिज (कुल प्रोसेस किए जाने वाले टोकन की संख्या) का पहले से पता नहीं होता है। इसके बावजूद, मानक प्रीट्रेनिंग रेसिपीज़ क्षितिज-निर्भर (horizon-dependent) लर्निंग रेट शेड्यूल्स पर निर्भर करती हैं, विशेष रूप से कोसाइन डिके (cosine decay)। कोसाइन डिके को डिके कर्व को परिभाषित करने के लिए पहले से कुल प्रशिक्षण लंबाई $N$ जानने की आवश्यकता होती है, जो इसे उन परिदृश्यों के लिए अनुपयुक्त बनाता है जहाँ डेटा निरंतर आता है या प्रशिक्षण बजट को गतिशील रूप से बढ़ाया जाता है।

मौजूदा "लगभग-एनीटाइम" विकल्प, जैसे कि वॉर्मअप-स्टेबल-डिके (WSD) शेड्यूल, इस निर्भरता को कम करते हैं लेकिन उन्हें विस्तारित करने के लिए अतिरिक्त ओवरहेड (विशिष्ट अंतरालों पर चेकपॉइंट्स स्टोर करना) और री-ट्यूनिंग या री-डिके की आवश्यकता होती है, जो कम्प्यूटेशनल लागत को बढ़ाता है और "एनीटाइम" गुण को तोड़ देता है। मुख्य चुनौती एक ऐसा लर्निंग रेट शेड्यूल खोजने की है जो:

प्रशिक्षण क्षितिज $N$ पर निर्भर न हो।
बिना पूर्व ज्ञान के किसी भी मध्यवर्ती चेकपॉइंट $T < N$ पर प्रतिस्पर्धी प्रदर्शन (कोसाइन एनवेलप को ट्रैक करना) प्राप्त करे।

कार्यप्रणाली (Methodology)

सैद्धांतिक विश्लेषण (Theoretical Analysis)

लेखक पावर-लॉ स्पेक्ट्रा वाले गौसियन डेटा पर ओवरपैरामीटराइज्ड लीनियर रिग्रेशन का उपयोग करके एक सैद्धांतिक विश्लेषण प्रदान करते हैं। यह LLM प्रीट्रेनिंग के एक प्रॉक्सी के रूप में कार्य करता है।

सेटअप: अध्ययन एक क्वाड्रेटिक लॉस फंक्शन पर स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) और इटरेट एवरेजिंग (वेट एवरेजिंग) पर विचार करता है। डेटा कोवेरिएंस मैट्रिक्स $H$ और टारगेट वेक्टर $w^*$ पावर-लॉ डिस्ट्रीब्यूशन का पालन करते हैं, जो एक कैपेसिटी एक्सपोनेंट $a$ (आइजनवैल्यू का क्षय $\lambda_k \sim k^{-a}$ ) और एक सोर्स एक्सपोनेंट $b$ (टारगेट कोऑर्डिनेट्स $(w^*_k)^2 \sim k^{-b}$ ) द्वारा अभिलक्षित हैं।
मुख्य अंतर्दृष्टि: लेखक रिस्क के बायस-वेरिएंस अपघटन (bias-variance decomposition) का विश्लेषण करते हैं। वे प्रदर्शित करते हैं कि जबकि एवरेजिंग के साथ स्थिर लर्निंग रेट कुछ रेजिम्स ( $b \le a$ ) में इष्टतम हो सकते हैं, वे अक्सर $b > a$ के लिए क्षितिज-निर्भर स्केलिंग की आवश्यकता रखते हैं।
प्रस्तावित शेड्यूल: पेपर यह व्युत्पन्न करता है कि $\eta_t = \eta / t^\gamma$ $η_{t} = η / t^{γ}$ के रूप में एक पॉलिनोमियल लर्निंग रेट शेड्यूल, इटरेट एवरेजिंग (विशेष रूप से एक्सपोनेंशियल मूविंग एवरेज, EMA) के साथ मिलकर, बिना $N$ $N$ को जाने मिनिमैक्स ऑप्टिमल कन्वर्जेंस रेट प्राप्त कर सकता है।
- रेजिम $1 < a < b \le 2a$ के लिए, इष्टतम डिके एक्सपोनेंट $\gamma^* = 1 - a/b$ के रूप में निकाला गया है।
- एक उल्लेखनीय विशेष मामला $\gamma = 1/2$ (अर्थात $1/\sqrt{t}$ ) है, जिसे विशिष्ट स्पेक्ट्रल स्थितियों के तहत लॉगरिदमिक फैक्टर्स और कांस्टेंट्स के साथ एनीटाइम-ऑप्टिमल दिखाया गया है।
वेट एवरेजिंग: विश्लेषण इस बात पर प्रकाश डालता है कि वेट एवरेजिंग इष्टतम कन्वर्जेंस रेट प्राप्त करने के लिए केंद्रीय है। एवरेजिंग के बिना, $\gamma$ के साथ मानक SGD अक्सर लीनियर रिग्रेशन सेटिंग में इष्टतम दर प्राप्त करने में विफल रहता है।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

प्रस्तावित शेड्यूल्स का परीक्षण OLMo कोडबेस का उपयोग करके LLM प्रीट्रेनिंग पर किया गया है।

मॉडेल्स: दो मॉडल प्रशिक्षित किए गए: 150M और 300M पैरामीटर्स।
स्केल: प्रशिक्षण को 150M मॉडल के लिए चिनचिला-ऑप्टिमल टोकन काउंट के 32 $\times$ और 300M के लिए 16 $\times$ तक संचालित किया गया।
बेसलाइन्स:
- कोसाइन एनवेलप: एक "गोल्ड स्टैंडर्ड" बेसलाइन जिसे प्रत्येक पावर-ऑफ-2 क्षितिज (1 $\times$ से 32 $\times$ ) के लिए स्वतंत्र रूप से ट्यून किए गए कोसाइन शेड्यूल के आधार पर बनाया गया है और प्रत्येक बिंदु पर सर्वश्रेष्ठ वैलिडेशन लॉस लिया गया है।
- WSD: वॉर्मअप-स्टेबल-डिके शेड्यूल, जिसे लक्षित क्षितिज के 90% पर चेकपॉइंट सेव करके और अंतिम 10% के लिए डिके करके लागू किया गया है।
उम्मीदवार (Candidates):
- Constant LR + EMA: एक फिक्स्ड लर्निंग रेट विद EMA विंडो जो समय के अनुपात में बढ़ती है ( $f=25$ )।
- $1/\sqrt{t}$ + EMA: EMA के साथ एक पॉलिनोमियलली डिके होने वाला शेड्यूल $\eta_t = \eta \sqrt{\alpha/(t+\alpha)}$ ।
प्रोटोकॉल: लेखक यह मूल्यांकन करते हैं कि क्या एक एकल फिक्स्ड कॉन्फ़िगरेशन (एक बार चुने गए हाइपरपैरामीटर्स) प्रत्येक मध्यवर्ती चेकपॉइंट पर कोसाइन एनवेलप को ट्रैक कर सकता है, बजाय इसके कि प्रत्येक क्षितिज के लिए री-ट्यून किया जाए।

मुख्य योगदान (Key Contributions)

एनीटाइम शेड्यूल्स का सैद्धांतिक व्युत्पन्न: पेपर सिद्ध करता है कि पावर-लॉ डेटा के लिए लीनियर रिग्रेशन में $1/t^\gamma$ के रूप में एक लर्निंग रेट शेड्यूल, इटरेट एवरेजिंग के साथ मिलकर, प्रशिक्षण क्षितिज पर निर्भरता के बिना मिनिमैक्स ऑप्टिमल रेट प्राप्त करता है। विशेष रूप से, यह $\gamma$ को सोर्स और कैपेसिटी एक्सपोनेंट्स ( $a$ और $b$ ) के फलन के रूप में स्थापित करता है।
वेट एवरेजिंग की भूमिका: कार्य इस बात पर प्रकाश डालता है कि वेट एवरेजिंग (मॉडल मर्जिंग) केवल सामान्यीकरण (generalization) के लिए एक ह्यूरिस्टिक नहीं है, बल्कि ओवरपैरामीटराइज्ड सेटिंग्स में इष्टतम कन्वर्जेंस रेट प्राप्त करने के लिए एक सैद्धांतिक आवश्यकता है।
बड़े पैमाने पर अनुभवजन्य सत्यापन: लेखक प्रदर्शित करते हैं कि सरल, क्षितिज-मुक्त शेड्यूल्स (Constant LR + EMA और $1/\sqrt{t}$ + EMA) एक विशाल प्रशिक्षण रेंज (32 $\times$ चिनचिला तक) में एक सावधानीपूर्वक ट्यून किए गए, क्षितिज-निर्भर कोसाइन एनवेलप को ट्रैक करने के लिए एक एकल हाइपरपैरामीटर कॉन्फ़िगरेशन का उपयोग करके प्रतिस्पर्धी प्रदर्शन कर सकते हैं।
प्रोस्पेक्टिव ट्रांसफर: अध्ययन दिखाता है कि एक मध्यवर्ती चेकपॉइंट (जैसे, 4 $\times$ चिनचिला) पर ट्यून किए गए हाइपरपैरामीटर्स को बिना री-ट्यूनिंग के काफी लंबे प्रशिक्षण रन (32 $\times$ तक) के लिए सफलतापूर्वक ट्रांसफर किया जा सकता है, जो ओपन-एंडेड ट्रेनिंग के लिए एक व्यावहारिक प्रोटोकॉल प्रदान करता है।

परिणाम (Results)

कोसाइन बनाम प्रदर्शन: पूर्ण प्रशिक्षण रेंज (1 $\times$ से 32 $\times$ ) में, प्रस्तावित एनीटाइम शेड्यूल्स (Constant + EMA और $1/\sqrt{t}$ + EMA) स्वतंत्र रूप से ट्यून किए गए कोसाइन एनवेलप के समान वैलिडेशन लॉस प्राप्त करते हैं। अंतर न्यूनतम है (अक्सर 0.005 वैलिडेशन लॉस यूनिट के भीतर)।
सिंगल ट्रजेक्टरी सफलता: कोसाइन डिके के विपरीत, जिसे मध्यवर्ती चरणों पर इष्टतम प्रदर्शन से बचने के लिए विभिन्न क्षितिजों के लिए री-ट्यूनिंग की आवश्यकता होती है, एनीटाइम शेड्यूल्स का एक एकल रन प्रभावी रूप से "कोसाइन एनवेलप" को ट्रैक करता है।
लार्ज बैच रेजिम: एक बड़े बैच प्रयोग (बैच साइज 4096) में, जहाँ ग्रेडिएंट नॉइज़ को दबा दिया गया है, 'कांस्टेंट लर्निंग रेट विद एवरेजिंग' ने कोसाइन डिके और $1/\sqrt{t}$ शेड्यूल से बेहतर प्रदर्शन किया। यह सैद्धांतिक भविष्यवाणी के अनुरूप है कि जब वेरिएंस कम होता है, तो डिके अनावश्यक होता है, और एक बड़ा कांस्टेंट रेट बायस रिडक्शन को तेज करता है।
WSD के साथ तुलना: WSD शेड्यूल कोसाइन और प्रस्तावित एनीटाइम मेथड्स के समान प्रदर्शन करता है। हालाँकि, WSD पूरी तरह से क्षितिज-मुक्त नहीं है क्योंकि इसे डिके चरण शुरू करने के लिए रन के 90% पर चेकपॉइंट सेव करने की आवश्यकता होती है, जबकि प्रस्तावित तरीके बिना किसी हस्तक्षेप के काम करते हैं।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि वेट एवरेजिंग को सरल, क्षितिज-मुक्त स्टेप साइजेस के साथ मिलाने से लार्ज लैंग्वेज मॉडल प्रीट्रेनिंग के लिए एक व्यावहारिक और प्रभावी विकल्प मिलता है।

व्यावहारिकता: प्रस्तावित विधि को कुल प्रशिक्षण बजट का पहले से जानने की आवश्यकता नहीं होती है, जिससे वास्तव में निरंतर और ओपन-एंडेड ट्रेनिंग सुलभ होती है।
सरलता: प्रस्तावित शेड्यूल WSD (डिके शुरू करने के लिए चेकपॉइंटिंग ओवरहेड) की तुलना में कम्प्यूटेशनल रूप से सस्ते हैं और कोसाइन एनीलिंग के लिए लागू करने में आसान हैं।
सैद्धांतिक आधार: इनका अनुभवजन्य सफलता एक कठोर सैद्धांतिक विश्लेषण द्वारा समर्थित है, जो बताता है कि इन शेड्यूल्स के लाभ केवल अनुभवजन्य आर्टिफैक्ट्स नहीं हैं बल्कि ओवरपैरामीटराइज्ड सेटिंग्स में मौलिक अनुकूलन गुणों से उत्पन्न होते हैं।

लेखक विनम्र रहते हुए नोट करते हैं कि उनके सैद्धांतिक बाउंड्स केवल कांस्टेंट्स और लॉगरिदमिक फैक्टर्स तक ही मिनिमैक्स रेट से मेल खाते हैं, और उनके अनुभवजन्य निष्कर्ष वर्तमान में विशिष्ट मॉडल आकार (150M/300M) और ऑप्टिमाइज़र (बिना वेट डिके के AdamW) तक सीमित हैं। वे भविष्य के कार्य के रूप में इष्टतम ट्यूनिंग पॉइंट (जैसे, 4 $\times$ चिनचिला) को स्वचालित रूप से चुनने को समझने और इन निष्कर्षों को बड़े स्केल और विभिन्न ऑप्टिमाइज़र तक विस्तारित करने की पहचान करते हैं।