📊 statistics

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

यह शोध पत्र ScheduleFree+ को प्रस्तुत करता है, जो एक लर्निंग-रेट-मुक्त और शेड्यूल-मुक्त विधि है जो बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) तक Schedule-Free Learning को सफलतापूर्वक स्केल करती है, और विशेष रूप से लंबी अवधि के प्रशिक्षण परिदृश्यों में Warmup-Stable-Decay जैसे अत्याधुनिक प्रशिक्षण शेड्यूल्स की तुलना में काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Aaron Defazio

प्रकाशित 2026-05-20

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aaron Defazio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अति-बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल) को मानव भाषा बोलना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आप उसे अरबों वाक्य दिखाते हैं और उसे अगला शब्द अनुमान लगाने देते हैं, और उसकी गलतियों को बार-बार सुधारते हैं।

लंबे समय तक, इस रोबोट को सिखाने का मानक तरीका एक लर्निंग रेट शेड्यूल (Learning Rate Schedule) का उपयोग करना था। इसे एक सख्त शिक्षक के रूप में सोचें जो कक्षा शुरू करते समय बहुत तेज़ और ऊर्जावान आवाज़ (उच्च लर्निंग रेट) का उपयोग करता है, लेकिन जैसे-जैसे कक्षा समाप्त होती है, वह धीरे-धीरे फुसफुसाने लगता है और आवाज़ कम कर देता है (कम लर्निंग रेट)। समस्या यह है कि आपको यह अनुमान लगाना पड़ता है कि फुसफुसाना कब शुरू करना है और कितनी तेज़ी से आवाज़ कम करनी है। यदि आपका अनुमान गलत होता है, तो रोबोट ठीक से नहीं सीख पाता है।

यह पेपर एक नई विधि पेश करता है जिसे ScheduleFree+ कहा जाता है। एक ऐसे शिक्षक के बजाय जो समय के साथ अपनी आवाज़ का वॉल्यूम बदलता है, यह विधि एक "स्मार्ट एवरेजिंग" (smart averaging) तकनीक का उपयोग करती है जो रोबोट को बिना किसी जटिल शेड्यूल के एक स्थिर, आत्मविश्वासी गति से सीखने देती है।

यहाँ यह पेपर बताता है कि ScheduleFree+ के पीछे का जादू क्या है, सरल उपमाओं का उपयोग करते हुए:

1. "स्मार्ट एवरेजिंग" ट्रिक (मुख्य विचार)

पारंपरिक प्रशिक्षण में, रोबोट अपने मस्तिष्क को उस बहुत अंतिम चीज़ के आधार पर अपडेट करता है जो उसने देखी होती है। यह एक ऐसे छात्र की तरह है जो केवल कक्षा में पूछे गए अंतिम प्रश्न को याद रखता है।

Schedule-Free इसे बदल देता है। यह रोबोट के मस्तिष्क के दो संस्करण रखता है:

"एक्टिव" मस्तिष्क ( $z$ ): यह वह है जो वास्तविक समय में खुद को अपडेट कर रहा है, नवीनतम गलतियों से सीख रहा है।
"एवरेज" मस्तिष्क ( $x$ ): यह एक शांत, स्थिर संस्करण है जो रोबोट ने अब तक जो कुछ भी सीखा है उसके औसत (average) को याद रखता है।

जादू तब होता है जब रोबोट अगला कदम उठाने का निर्णय लेने के लिए केवल "एक्टिव" मस्तिष्क को नहीं देखता। वह "एक्टिव" मस्तिष्क और "एवरेज" मस्तिष्क के एक मिश्रण को देखता है।

उपमा: कल्पना कीजिए कि आप एक जहाज का संचालन कर रहे हैं। "एक्टिव" मस्तिष्क वह कप्तान है जो अभी लहरों को देख रहा है (बहुत प्रतिक्रियाशील)। "एवरेज" मस्तिष्क वह नाविक है जो अब तक की पूरी यात्रा के मानचित्र को देख रहा है (बहुत स्थिर)। नई विधि कप्तान को इन दोनों के मिश्रण के आधार पर जहाज चलाने के लिए कहती है। यह जहाज को छोटी लहरों से टकराने पर अनियंत्रित होने से रोकता है, जिससे यात्रा बहुत सुचारू और तेज़ हो जाती है।

2. यह पहले क्यों विफल हुआ ( "बिग बैच" की समस्या)

लेखकों ने पाया कि जबकि यह "स्मार्ट एवरेजिंग" छोटे रोबोटों के लिए बहुत अच्छा काम करती थी, लेकिन जब उन्होंने विशाल रोबोटों को डेटा के बड़े बैचों के साथ प्रशिक्षित करने की कोशिश की, तो यह टूट गई।

समस्या: जब आप एक साथ रोबोट को बहुत अधिक डेटा खिलाते हैं (एक बड़ा "बैच"), तो "एक्टिव" मस्तिष्क भ्रमित हो जाता है और डगमगाने लगता है, जिससे प्रशिक्षण क्रैश हो जाता है।
समाधान: उन्होंने इसमें इनर मोमेंटम (Inner Momentum) जोड़ा। इसे रोबोट को थोड़ी "जड़ता" (inertia) या "गति" (momentum) देने के रूप में सोचें। ठीक वैसे ही जैसे एक भारी ट्रक को एक साइकिल की तुलना में रोकना और मोड़ना कठिन होता है, मोमेंटम जोड़ने से रोबोट को भारी और शोर वाले डेटा के बावजूद अपने पथ पर रहने में मदद मिलती है। इसने उन्हें इस विधि को विशाल मॉडलों तक स्केल करने में सक्षम बनाया।

3. "स्व-समायोजित" गति (अब अनुमान लगाने की ज़रूरत नहीं)

आमतौर पर, इंसानों को मैन्युअल रूप से यह ट्यून करना पड़ता है कि रोबोट कितनी तेज़ी से सीखेगा। यह पेपर एक पोलियाक स्टेप साइज (Polyak Step Size) पेश करता है, जो एक सेल्फ-ड्राइविंग स्पीडोमीटर की तरह है।

यह कैसे काम करता है: इंसान द्वारा गति निर्धारित करने के बजाय, रोबोट देखता है कि वह कितना "भ्रमित" है (उसकी गलतियों का आकार) और स्वचालित रूप से अपनी गति को समायोजित करता है। यदि गलतियाँ बड़ी हैं, तो वह सावधानी से सोचने के लिए धीमा हो जाता है। यदि गलतियाँ छोटी हैं, तो वह तेज़ हो जाता है।
परिणाम: अब आपको लर्निंग रेट का अनुमान लगाने की आवश्यकता नहीं है। यह विधि "लर्निंग-रेट-फ्री" है, जिसका अर्थ है कि यह खुद ही सही गति का पता लगा लेती है।

4. "ड्रिफ्टिंग" वेट्स (Drifting Weights) को ठीक करना

पेपर ने एक अजीब दुष्प्रभाव की खोज की: इस नई विधि का उपयोग करते समय, रोबोट के आंतरिक "वेट्स" (कनेक्शन की ताकत) कभी-कभी बहुत बड़े या बहुत छोटे हो जाते थे, जिससे रोबोट अस्थिर हो जाता था।

उपमा: कल्पना कीजिए कि रोबोट की मस्तिष्क कोशिकाएं बहुत बड़ी हो रही हैं, जिससे तार खिंच रहे हैं और टूटने की कगार पर हैं।
समाधान: उन्होंने एक विशेष "इनवर्स-ग्रेडिएंट" (inverse-gradient) सुधार लागू किया। इसे एक स्मार्ट रेगुलेटर के रूप में सोचें जो रोबोट की मस्तिष्क कोशिकाओं के बहुत बड़ा होने पर पेंचों को कस देता है, जिससे सब कुछ स्थिर रहता है और तारों के टूटने से बचाव होता है। यह उन्हें बिना टूटे बहुत लंबे समय तक प्रशिक्षण लेने की अनुमति देता है।

5. "वार्म-अप" और "कूल-डाउन" सुधार

इसे लंबे प्रशिक्षण सत्रों के लिए एकदम सटीक बनाने के लिए, उन्होंने दो अंतिम चीजें जोड़ीं:

वार्म-स्टार्ट (Warm-Start): बिल्कुल शुरुआत में, वे रोबोट को "एवरेजिंग" ट्रिक के बिना कुछ समय के लिए सामान्य रूप से सीखने देते हैं। यह एक धावक को दौड़ शुरू करने से पहले कुछ चक्कर लगाने देने जैसा है, ताकि वह शुरुआती रेखा पर लड़खड़ा न जाए।
बीटा एनिलिंग (Beta Annealing): जैसे-जैसे प्रशिक्षण आगे बढ़ता है, वे "एक्टिव" और "एवरेज" मस्तिष्क के बीच के "मिश्रण" को धीरे-धीरे बदलते हैं। शुरुआत में, वे "एक्टिव" मस्तिष्क को अधिक सुनते हैं (तेज़ी से सीखने के लिए)। बाद में, वे "एवरेज" मस्तिष्क को अधिक सुनते हैं (सटीकता के लिए)। यह एक छात्र की तरह है जो शुरुआत में नोट्स लिखने में बहुत सक्रिय रहता है, लेकिन सेमेस्टर के अंत तक, वह अपने अच्छी तरह से व्यवस्थित अध्ययन गाइड पर अधिक भरोसा करता है।

बड़ा परिणाम

जब उन्होंने विशाल भाषा मॉडलों पर ScheduleFree+ का परीक्षण किया:

यह तेज़ था: समान स्तर की बुद्धिमत्ता तक पहुँचने के लिए, इसने मौजूदा सर्वोत्तम विधियों की तुलना में 31% कम समय लिया।
यह अधिक स्थिर था: इसकी लर्निंग कर्व (सीखने की प्रक्रिया) सुचारू और अनुमानित थी, जो पुराने तरीकों के ऊबड़-खाबड़ और उतार-चढ़ाव वाले कर्व के विपरीत थी।
यह "एनीटाइम" (Anytime) प्रशिक्षण के लिए काम करता है: आप प्रशिक्षण को किसी भी क्षण रोक सकते हैं, और रोबोट उस क्षण के लिए अपनी सर्वश्रेष्ठ स्थिति में होगा। आपको एक अच्छे मॉडल को प्राप्त करने के लिए किसी विशिष्ट "शेड्यूल के अंत" का इंतज़ार करने की आवश्यकता नहीं है।

संक्षेप में: यह पेपर दिखाता है कि रोबोट के वर्तमान विचारों को उसके औसत विचारों के साथ मिलाकर, स्थिरता के लिए थोड़ा मोमेंटम जोड़कर, और रोबोट को अपनी गति स्वयं समायोजित करने देकर, हम विशाल AI मॉडल को तेज़, सुचारू और बिना किसी मानवीय हस्तक्षेप के बेहतर तरीके से प्रशिक्षित कर सकते हैं।

तकनीकी सारांश: ScheduleFree+ बड़े भाषा मॉडलों (LLMs) के लिए लर्निंग-रेट-मुक्त और शेड्यूल-मुक्त स्केलिंग

1. समस्या विवरण (Problem Statement)

पारंपरिक मशीन लर्निंग अनुकूलन (optimization) प्रभावी होने के बावजूद, कन्वर्जेंस (convergence) सुनिश्चित करने के लिए लर्निंग रेट शेड्यूल्स (जैसे, Linear Decay, Cosine, Warmup-Stable-Decay) पर बहुत अधिक निर्भर करता है। हालांकि ये प्रभावी हैं, लेकिन इन विधियों के लिए महत्वपूर्ण ट्यूनिंग की आवश्यकता होती है और अक्सर इनके परिणामस्वरूप अस्थिर या अप्रत्याशित ट्रेनिंग कर्व्स प्राप्त होते हैं। हालिया "Schedule-Free" लर्निंग विधियों ने छोटे पैमाने के बेंचमार्क पर आशाजनक परिणाम दिखाए हैं, जो आक्रामक इटरैट एवरेजिंग (aggressive iterate averaging) का उपयोग करती हैं, लेकिन ऐतिहासिक रूप से वे लार्ज लैंग्वेज मॉडल (LLM) ट्रेनिंग में विफल रही हैं। विशेष रूप से, पूर्ववर्ती Schedule-Free कार्यान्वयन निम्नलिखित समस्याओं से ग्रस्त थे:

बड़े बैच साइज पर विचलन (Divergence): जैसे-जैसे बैच साइज छोटे पैमाने की सीमाओं से आगे बढ़ा, प्रदर्शन में काफी गिरावट आई।
ग्रेडिएंट नॉर्म ड्रिफ्ट (Gradient norm drift): विधि को कार्य करने के लिए असामान्य रूप से कम वेट डिके (weight decay) मानों की आवश्यकता थी, जिससे अस्थिर वेट नॉर्म्स और लंबी अवधि की ट्रेनिंग में खराब प्रदर्शन हुआ।
लंबी अवधि के रन में उप-इष्टतम कन्वर्जेंस (Suboptimal convergence): यह विधि लंबे प्रशिक्षण क्षितिज (जैसे, 1000 टोकन प्रति पैरामीटर) पर एवरेजिंग के लाभों का पूर्ण लाभ नहीं उठा सकी।

यह शोध पत्र LLM प्रीट्रेनिंग के लिए स्टेट-ऑफ-द-आर्ट (SOTA) शेड्यूल-आधारित विधियों के प्रदर्शन से मेल खाने या उससे बेहतर प्रदर्शन करने के उद्देश्य से, Schedule-Free लर्निंग को स्केल करने की चुनौती को संबोधित करता है, जिसका लक्ष्य एक स्थिर, "एनीटाइम" (anytime) प्रशिक्षण प्रक्रिया प्रदान करना है जिसमें लर्निंग रेट ट्यूनिंग की आवश्यकता न हो।

2. कार्यप्रणाली: ScheduleFree+ (Methodology: ScheduleFree+)

लेखक ScheduleFree+ का प्रस्ताव करते हैं, जो एक कंपोजिट विधि है जो बेस Schedule-Free एल्गोरिदम में कई विशिष्ट संशोधनों को एकीकृत करती है ताकि इसे LLMs के लिए सुदृढ़ बनाया जा सके। इसके मुख्य घटक हैं:

A. इनर मोमेंटम का पुन: परिचय (Reintroduction of Inner Momentum)

जबकि मूल Schedule-Free कार्य ने मेमोरी बचाने के लिए इनर मोमेंटम (जैसे, Adam का $\beta_1$ ) को हटा दिया था, लेखकों ने पाया कि यह बड़े बैच साइज के लिए हानिकारक था।

सुधार: बेस ऑप्टिमाइज़र में इनर मोmentum (जैसे, $\beta_1 = 0.75$ या $0.9$) को पुन: पेश करें।
प्रभाव: यह बड़े बैच साइज के लिए मजबूती बहाल करता है और विचलन के बिना उच्च लर्निंग रेट की अनुमति देता है, जिससे मानक Schedule-Free AdamW में देखे गए "स्केलिंग क्लिफ" (scaling cliff) की समस्या हल हो जाती है।

B. इनवर्स-ग्रेडिएंट नॉर्म वेटिंग (पोलियाक स्टेप साइज) (Inverse-Gradient Norm Weighting - Polyak Step Size)

मानक Schedule-Free लर्निंग को अक्सर बढ़ते ग्रेडिएंट नॉर्म्स की भरपाई के लिए कम वेट डिके की आवश्यकता होती थी, जिससे अस्थिरता पैदा होती थी। लेखकों ने पॉलीआक स्टेप साइज पर आधारित एक सैद्धांतिक सुधार व्युत्पन्न किया है।

तंत्र (Mechanism): स्टेप साइज $\gamma_t$ को ग्रेडिएंट के L1 नॉर्म के व्युत्क्रमानुपाती (inversely proportional) रूप से स्केल किया जाता है ( $\gamma_t \propto 1/\|g_t\|_1$ )।
कार्यान्वयन: डिनेमिनेटर (denominator) का अनुमान लगाने के लिए ग्रेडिएंट L1 नॉर्म के एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग किया जाता है, जो कन्वेक्स रिग्रेट बाउंड्स (convex regret bounds) से प्राप्त इष्टतम वेटिंग का सन्निकटन (approximation) करता है।
परिणाम: यह सुधार नॉर्मलाइजेशन लेयर्स द्वारा उत्पन्न प्रभावी लर्निंग रेट ड्रिफ्ट को काउंटर करता है, जिससे मानक, बड़े वेट डिके मानों (जैसे, 0.05–0.5) का उपयोग संभव होता है जो वेट नॉर्म्स को स्थिर करते हैं और लंबी अवधि के रन को अस्थिर करने वाले "श्रिंकिंग वेट नॉर्म" (shrinking weight norm) की घटना को रोकते हैं।

C. पॉलीआक स्टेप के माध्यम से लर्निंग-रेट-फ्री ऑप्टिमाइजेशन (Learning-Rate-Free Optimization via Polyak Step)

इनवर्स-ग्रेडिएंट वेटिंग पर आधारित, लेखक एक संशोधित पॉलीआक स्टेप साइज का उपयोग करके पूरी तरह से लर्निंग-रेट-फ्री वेरिएंट लागू करते हैं:
$\gamma_t = \frac{f(y_t) - f^* + \beta \langle \nabla f(y_t), z_t - x_t \rangle}{\sqrt{\pi/2} \| \nabla f(y_t) \|_1}$

स्थिरता (Stability):ity: अंश (numerator) शोर वाले वर्तमान इटरैट के बजाय फंक्शन वैल्यू गैप ( $f(z_t) - f^*$ ) के अनुमान का उपयोग करता है, और हर (denominator) स्मूथ L1 नॉर्म का उपयोग करता है। यह स्टोकैस्टिक पॉलीआक स्टेप्स में सामान्य रूप से देखी जाने वाली वैनिशिंग डिनेमिनेटर समस्याओं से बचता है।
अनुकूलनशीलता (Adaptivity): यह दृष्टिकोण स्वचालित रूप से बैच साइज के साथ लर्निंग रेट को स्केल करता है (AdamW के लिए $\sqrt{b}$ स्केलिंग का पालन करते हुए) और मैन्युअल लर्निंग रेट ग्रिड सर्च की आवश्यकता को समाप्त करता है।

D. वॉर्म-स्टार्ट और एनीलिंग रणनीतियाँ (Warm-Start and Annealing Strategies)

C-Warmup: शुरुआती तीव्र कन्वर्जेंस चरणों में एवरेजिंग बफर को पतला (dilute) होने से रोकने के लिए, लेखक एक प्रारंभिक अवधि (जैसे, $2\times$ लर्निंग रेट वॉर्मअप अवधि) के लिए एवरेजिंग अपडेट को विलंबित करते हैं ( $c_t = 1$ )।
बीटा एनीलिंग (Beta Annealing): इंटरपोलेशन पैरामीटर $\beta$ (जो वर्तमान इटरैट $z_t$ और औसत $x_t$ को मिलाता है) को प्रशिक्षण रन के दौरान कम मान (जैसे, 0.9) से उच्च मान (जैसे, 0.965) तक एनेल (anneal) किया जाता है। यह तेज़ प्रारंभिक कन्वर्जेंस को कैप्चर करता है जबकि दीर्घकालिक लॉस रिडक्शन के लिए अनुकूलित करता है।
वेटेड एवरेजिंग ( $r=1$ ): लंबी अवधि के रन के लिए, एवरेजिंग वेट्स को डिफ़ॉल्ट $r=0$ के बजाय $r=1$ (रैखिक रूप से बढ़ते वेट्स) पर सेट किया जाता है, जो नॉन-स्ट्रॉन्गली कॉन्वेक्स समस्याओं के लिए कन्वर्जेंस को तेज करता है।

3. मुख्य परिणाम (Key Results)

लेखकों ने 120M से 1B पैरामीटर्स तक के LLMs पर व्यापक स्केलिंग प्रयोग किए, जिन्हें 1000 टोकन प्रति पैरामीटर तक प्रशिक्षित किया गया।

लंबी अवधि की ट्रेनिंग (1000 TPP): इस स्केल पर, ScheduleFree+ दोनों Warmup-Stable-Decay (WSD) और Linear Decay शेड्यूल्स को महत्वपूर्ण रूप से पछाड़ देता है।
- दक्षता (Efficiency): यह Linear Decay शेड्यूल के समान अंतिम लॉस प्राप्त करने के लिए 31% कम प्रशिक्षण समय लेता है (लक्ष्य लॉस तक पहुँचने के लिए आवश्यक टोकन में 45% की कमी)।
- स्थिरता (Stability): यह विधि स्मूथ, अनुमानित लॉस कर्व्स बनाती है जो $1/\sqrt{t}$ डिके दर का पालन करते हैं, जिससे शुरुआती ट्रेनिंग डेटा से अंतिम लॉस का सटीक अनुमान लगाना संभव होता है।
लघु अवधि की ट्रेनिंग (20–100 TPP): ScheduleFree+ सभी मॉडल साइज के लिए WSD शेड्यूल्स से बेहतर प्रदर्शन करता है। Linear Decay के मुकाबले, यह बहुत कम हॉरिजन (20 TPP) पर प्रतिस्पर्धी प्रदर्शन करता है क्योंकि इसे स्टेडी स्टेट तक पहुँचने में समय लगता है, लेकिन आम तौर पर यह प्रतिस्पर्धी रहता है।
बैच साइज स्केलिंग: इनर मोमेंटम के साथ, ScheduleFree+ 8M के बैच साइज तक मजबूती से स्केल करता है, जो Linear Decay के साथ मानक AdamW के प्रदर्शन से मेल खाता है।
वेट नॉर्म स्थिरता: पॉलीआक स्टेप साइज और बड़े वेट डिके का उपयोग करके, विधि स्थिर वेट नॉर्म बनाए रखती है, जिससे अनमॉडिफाइड Schedule-Free विधियों द्वारा आवश्यक छोटे वेट डिके मानों से जुड़े विचलन और क्वांटाइजेशन मुद्दों से बचा जा सकता है।

4. महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि ScheduleFree+ प्रीट्रेनिंग के दौरान मॉडल एवरेजिंग और चेकपॉइंट मर्जिंग के लिए एक सैद्धांतिक आधार प्रदान करता है, जो ऑनलाइन ऑप्टिमाइजेशन और ऑफलाइन मॉडल सुपिंग (model souping) के बीच के अंतर को पाटता है।

एनीटाइम ट्रेनिंग (Anytime Training): WSD शेड्यूल्स के विपरीत, जिन्हें लाभ प्राप्त करने के लिए प्रशिक्षण के अंत में एक विशिष्ट एनीलिंग चरण की आवश्यकता होती है, ScheduleFree+ एक वास्तविक "एनीटाइम" क्षमता प्रदान करता है। मॉडल किसी भी स्टॉपिंग पॉइंट पर उपयोग करने योग्य और इष्टतम होता है, बिना किसी समर्पित डिके चरण के।
ट्यूनिंग का उन्मूलन: यह विधि लर्निंग रेट ग्रिड सर्च की आवश्यकता को समाप्त करती है, जो बैच साइज और प्रशिक्षण अवधि के अनुकूल होने के लिए पॉलीआक स्टेप साइज और इनवर्स-ग्रेडिएंट वेटिंग पर निर्भर करती है।
अनुमान लगाने की क्षमता (Predictability): लेखक तर्क देते हैं कि Schedule-Free लर्निंग के लॉस कर्व्स न केवल अनुभवजन्य रूप से स्थिर हैं, बल्कि सैद्धांतिक रूप से भी सुदृढ़ हैं, जो नॉन-कॉन्वेक्स LLM सेटिंग में भी कन्वेक्स ऑप्टिमाइजेशन थ्योरी द्वारा अनुमानित $1/\sqrt{t}$ कन्वर्जेंस रेट का बारीकी से पालन करते हैं।

संक्षेप में, यह पेपर प्रदर्शित करता है कि विशिष्ट संशोधनों—इनर मोमेंटम, इनवर्स-ग्रेडिएंट वेटिंग और एडेप्टिव एनीलिंग—के साथ, Schedule-Free लर्निंग को LLMs को प्रशिक्षित करने के लिए एक बेहतर, स्थिर और ट्यूनिंग-मुक्त विकल्प बनने के लिए स्केल किया जा सकता है।