🔬 condensed matter

Theory of Optimal Learning Rate Schedules and Scaling Laws for a Random Feature Model

यह शोध पत्र अनुकूल नियंत्रण सिद्धांत (optimal control theory) का उपयोग करके रैंडम फीचर मॉडल्स के लिए इष्टतम लर्निंग रेट शेड्यूल्स को सैद्धांतिक रूप से व्युत्पन्न और मान्य करता है, जो विशिष्ट "आसान" और "कठिन" प्रशिक्षण चरणों की पहचान करता है जो यह निर्धारित करते हैं कि मानक बेंचमार्क की तुलना में पॉलीनोमियल डिके या वॉर्मअप-स्टेबल-डिके रणनीतियाँ बेहतर प्रदर्शन प्रदान करती हैं।

मूल लेखक: Blake Bordelon, Francesco Mori

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Blake Bordelon, Francesco Mori

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक जटिल पहेली हल करने के लिए प्रशिक्षित कर रहे हैं। आपके पास समय की एक सीमित मात्रा ("प्रशिक्षण क्षितिज" या training horizon) और अभ्यास समस्याओं का एक सीमित भंडार ("डेटा बजट") है। आपका सबसे महत्वपूर्ण उपकरण लर्निंग रेट (LR) है। लर्निंग रेट को छात्र द्वारा उठाए जाने वाले कदमों के आकार के रूप में सोचें।

बड़े कदम: छात्र तेजी से सीखता है लेकिन समाधान से आगे निकल सकता है या शोर (noise) से भ्रमित हो सकता है।
छोटे कदम: छात्र सावधान और सटीक है लेकिन उसे पूरा करने में बहुत समय लग सकता है।

वर्षों तक, शोधकर्ताओं ने अनुमान लगाया है कि समय के साथ इन कदमों के आकार (एक "शेड्यूल") को बदलने का सबसे अच्छा तरीका क्या है (अक्सर परीक्षण और त्रुटि के माध्यम से)। यह शोध पत्र एक विशिष्ट प्रकार के लर्निंग मॉडल के लिए गणित का उपयोग करके एक परफेक्ट, वैज्ञानिक रूप से अनुकूलित शेड्यूल खोजने का उपयोग करता है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पहेलियों के दो प्रकार: "आसान" बनाम "कठिन"

लेखकों ने पाया कि सभी सीखने के कार्य एक जैसे नहीं होते हैं। डेटा की प्रकृति के आधार पर, कार्य इन दो श्रेणियों में से एक में आता है:

आसान चरण (Smooth Sailing - सुगम यात्रा):
- उपमा: कल्पना कीजिए कि आप एक हल्की, चिकनी पहाड़ी से नीचे उतर रहे हैं। आप नीचे के हिस्से को स्पष्ट रूप से देख सकते हैं।
- रणनीति: सबसे अच्छी रणनीति यह है कि जैसे-जैसे आप फिनिश लाइन के करीब पहुँचते हैं, अपने कदमों को धीरे-धीरे छोटा करते जाएँ। आप एक मध्यम गति से शुरू करते हैं और फिर अंत में बिल्कुल सटीक स्थान पर पहुँचने के लिए अपनी गति को बहुत धीमा कर देते हैं।
- वास्तविक दुनिया का उदाहरण: शोध पत्र ने पाया कि GPT-शैली के लैंग्वेज मॉडल (जैसे जो टेक्स्ट लिखते हैं) इस तरह व्यवहार करते हैं। जैसे-जैसे आप उन्हें लंबे समय तक प्रशिक्षित करते हैं, शुरुआती कदम का आकार छोटा और छोटा होता जाना चाहिए।
कठिन चरण (The Rocky Mountain - पथरीला पहाड़):
- उपमा: कल्पना कीजिए कि आप एक ऊबड़-खाबड़, पथरीली चट्टान पर खड़े होकर घास के ढेर में सुई खोजने की कोशिश कर रहे हैं। यदि आप छोटे कदम लेते हैं, तो आप पत्थरों में फंस जाएंगे। यदि आप बहुत बड़े कदम लेते हैं, तो आप चट्टान से गिर जाएंगे।
- रणनीति: यहाँ सबसे अच्छी रणनीति वार्मअप-स्टेबल-डिके (WSD) है।
  1. वार्मअप/स्टेबल: तुरंत अधिकतम सुरक्षित कदम लें और लगभग पूरी यात्रा के दौरान उन्हें स्थिर रखें। आपको शोर और ऊबड़-खाबड़ इलाके को पार करने के लिए शक्ति की आवश्यकता है।
  2. डिके (Decay): केवल अंतिम बहुत छोटे हिस्से में ही, आप अचानक अपनी स्थिति को ठीक करने के लिए अपनी गति को बहुत धीमा कर देते हैं।
- वास्तविक दुनिया का उदाहरण: इमेज क्लासिफिकेशन मॉडल (जैसे बिल्लियों बनाम कुत्तों की पहचान करना) इस तरह व्यवहार करते हैं। सबसे अच्छी रणनीति यह है कि अधिकांश प्रशिक्षण के दौरान लर्निंग रेट को उच्च और स्थिर रखा जाए, और फिर अंत में इसे अचानक कम कर दिया जाए।

2. "एक ही आकार सबके लिए" (One Size Fits All) क्यों विफल होता है

एक सामान्य गलती यह सोचना है कि यदि एक स्टेप साइज एक छोटे प्रशिक्षण सत्र के लिए काम करता है, तो वह केवल उसे स्केल डाउन करके एक लंबे प्रशिक्षण सत्र के लिए भी काम करेगा।

शोध पत्र का निष्कर्ष: यह गलत है। पेपर दिखाता है कि "परफेक्ट" स्टेप साइज पूरी तरह से इस बात पर निर्भर करता है कि आप कितनी देर तक प्रशिक्षण की योजना बना रहे हैं।
उपमा: यदि आप 10 मील की यात्रा कर रहे हैं, तो आप पूरे समय 60 मील प्रति घंटे की गति से चल सकते हैं। यदि आप 1,000 मील की यात्रा कर रहे हैं, तो आपको पहले 900 मील के लिए 80 मील प्रति घंटे की गति से चलने और फिर धीमा होने की आवश्यकता हो सकती है। आप दोनों यात्राओं के लिए एक ही स्पीड प्रोफाइल का उपयोग नहीं कर सकते; "शेड्यूल" को कुल दूरी के आधार पर बदलना चाहिए।

3. "क्लास साइज" (Batch Size) को अनुकूलित करना

शोध पत्र ने बैच साइज पर भी विचार किया, जो कि उस कक्षा के आकार की तरह है जिससे छात्र एक समय में सीखता है।

निष्कर्ष: "आसान चरण" में, आप कक्षा के आकार को धीरे-धीरे बढ़ाकर (Batch Ramp) पूरी प्रक्रिया (वॉल-क्लॉक टाइम) को तेज कर सकते हैं।
उपमा: कल्पना कीजिए कि एक शिक्षक है। शुरुआत में, वे यह सुनिश्चित करने के लिए एक छोटे समूह को पढ़ाते हैं कि बुनियादी बातें सबको समझ आ जाएं। जैसे-जैसे छात्र अधिक आत्मविश्वासी होते जाते हैं, शिक्षक अधिक क्षेत्र को जल्दी से कवर करने के लिए अधिक छात्रों को शामिल करते हैं। यह "बैच रैंप" अंतिम ग्रेड से समझौता किए बिना समय बचाता है।

4. "मोमेंटम" बूस्ट (Momentum Boost)

शोध पत्र ने मोमेंटम (एक ऐसी तकनीक जहाँ छात्र अपनी पिछली गति का थोड़ा हिस्सा आगे ले जाता है) जोड़ने का भी परीक्षण किया।

निष्कर्ष: "कठिन" कार्यों के लिए, केवल स्टेप साइज बदलना पर्याप्त नहीं है। आपको मोमेंटम (यह कि छात्र अपने पिछले कदमों पर कितना झुकाव रखता है) को भी गतिशील रूप से समायोजित करने की आवश्यकता है।
परिणाम: स्टेप साइज और मोमेंटम दोनों को एक साथ अनुकूलित करने से मॉडल मानक तरीकों की तुलना में काफी तेजी से और अधिक सटीकता से कठिन पहेलियों को हल कर पाता है।

"रेसिपी" का सारांश

शोध पत्र एक परफेक्ट ट्रेनिंग शेड्यूल के लिए एक सैद्धांतिक रेसिपी प्रदान करता है:

अपने कार्य की पहचान करें: क्या यह "आसान" (जैसे भाषा) है या "कठिन" (जैसे चित्र)?
यदि आसान है: एक मध्यम स्टेप साइज से शुरू करें और समय के साथ इसे धीरे-धीरे कम (decay) करते जाएँ। आप समय बचाने के लिए समय के साथ अपना बैच साइज भी बढ़ा सकते हैं।
यदि कठिन है: लगभग पूरे समय के लिए अपने स्टेप साइज को उच्च और स्थिर रखें, फिर अंत में बहुत तेजी से कम करें।
अनुमान न लगाएं: यह पेपर सिद्ध करता है कि ये विशिष्ट शेड्यूल वर्तमान में उद्योग में उपयोग किए जाने वाले मानक "कॉन्स्टेंट" या "सिंपल पावर-लॉ" शेड्यूल्स की तुलना में गणितीय रूप से बेहतर प्रदर्शन करते हैं।

संक्षेप में, पेपर का तर्क है कि मॉडल को प्रशिक्षित करने का कोई एक "सर्वश्रेष्ठ" तरीका नहीं है। सबसे अच्छा तरीका कार्य की कठिनाई पर निर्भर करता है, और अब हमारे पास प्रत्येक के लिए सटीक रास्ता खोजने के लिए एक गणितीय मानचित्र है।

तकनीकी सारांश: इष्टतम लर्निंग रेट शेड्यूल्स और स्केलिंग लॉज़ का सिद्धांत (एक रैंडम फीचर मॉडल के लिए)

समस्या विवरण

डीप लर्निंग मॉडलों को प्रशिक्षित करने के लिए लर्निंग रेट (LR), बैच साइज और ट्रेनिंग होराइजन जैसे हाइपरपैरामीटर्स का चयन करना आवश्यक होता है। जबकि व्यावहारिक रूप से "ट्रायल एंड एरर" (प्रयास और त्रुटि) का उपयोग सामान्य है, ट्रेनिंग होराइजन $T$ के साथ इष्टतम हाइपरपैरामीटर्स कैसे स्केल होते हैं, इस पर एक सैद्धांतिक समझ का अभाव है। मौजूदा रणनीतियाँ अक्सर विभिन्न मॉडल आकारों में हाइपरपैरामीटर्स को स्थानांतरित (transfer) करने में विफल रहती हैं, जो विभिन्न ट्रेनिंग होराइजन के बीच भी विफल रहती हैं। जबकि विभिन्न LR शेड्यूल्स (जैसे, लीनियर डिके, वार्मअप-स्टेबल-डिके, कोसाइन एनीलिंग) का उपयोग वास्तव में किया जाता है, वे सैद्धांतिक स्थितियाँ जो यह निर्धारित करती हैं कि किसी दिए गए कार्य के लिए कौन सा शेड्यूल इष्टतम है, अभी भी स्पष्ट नहीं हैं। यह शोध पत्र एक सिद्धांत-आधारित ढांचे की आवश्यकता को संबोधित करता है जो ट्रेनिंग होराइजन और लर्निंग टास्क की विशिष्ट संरचना पर निर्भर इष्टतम LR शेड्यूल्स को व्युत्पन्न कर सके।

कार्यप्रणाली

लेखक इष्टतम हाइपरपैरामीटर शेड्यूल्स को व्युत्पन्न करने के लिए स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) के साथ प्रशिक्षित एक पावर-लॉ रैंडम फीचर मॉडल का उपयोग करते हैं। मॉडल एक इनपुट डेटा $x$ को मानता है जिसका टार्गेट फंक्शन $y(x) = w^* \cdot \psi(x) + \sigma_0 z$ है, जहाँ फीचर्स $\psi(x)$ पावर-लॉ स्पेक्ट्रल डिके ( $\lambda_k \sim k^{-b}$ ) प्रदर्शित करते हैं और टीचर वेट्स $(w^*_k)^2 \lambda_k \sim k^{-a}$ के रूप में स्केल होते हैं।

मुख्य कार्यप्रणाली इष्टतम नियंत्रण सिद्धांत (Optimal Control Theory) का उपयोग करती है:

डायनामिक्स फॉर्मुलेशन: अपेक्षित टेस्ट लॉस $L_t$ को लर्निंग रेट शेड्यूल $\{\eta_t\}$ और बैच साइज शेड्यूल $\{m_t\}$ के फलन (function) के रूप में व्युत्पन्न किया गया है। लॉस डायनामिक्स मोड एरर्स $c_{t,k}$ के लिए एक लीनियर रिकरेंस रिलेशन द्वारा नियंत्रित होते हैं।
ऑप्टिमाइज़ेशन ऑब्जेक्टिव: लक्ष्य एक निश्चित होराइजन $T$ $T$ पर अंतिम टेस्ट लॉस $L_T$ $L_{T}$ को न्यूनतम करना है। लेखक तीन ऑप्टिमाइज़ेशन समस्याओं को सूत्रबद्ध करते हैं:
- इष्टतम स्थिर (constant) LR।
- इष्टतम LR शेड्यूल (समय-परिवर्तनीय $\eta_t$ )।
- संयुक्त इष्टतम LR और बैच साइज शेड्यूल।
समाधान दृष्टिकोण:
- संख्यात्मक (Numerical): परिमित $T$ के लिए डिस्क्रीट-टाइम ऑप्टिमल कंट्रोल प्रॉब्लम को हल करने के लिए सिंगल-शूटिंग मेथड (CasADi में कार्यान्वित) का उपयोग करना।
- विश्लेषणात्मक (Analytical): नॉदर के प्रमेय (Noether's theorem) और लॉस फंक्शनल के एसिम्प्टोटिक विश्लेषण का उपयोग करके बड़े $T$ के लिए निरंतर-समय सन्निकटन (continuous-time approximations) को व्युत्पन्न करना। इसमें इंटीग्रेटेड लर्निंग रेट $\chi(t) = \int_t^T \eta(s) ds$ के फंक्शनल को न्यूनतम करना शामिल है।

मुख्य योगदान और परिणाम

1. दो अलग-अलग चरणों की पहचान

विश्लेषण इष्टतम लर्निंग रेट शेड्यूल्स के लिए दो अलग-अलग शासन (regimes) की पहचान करता है, जो स्पेक्ट्रल एक्सपोनेंट्स $a$ (कार्य की कठिनाई) और $b$ (फीचर कॉम्प्लेक्सिटी) के बीच संबंध द्वारा निर्धारित होते हैं:

ईजी फेज (The Easy Phase - $a > b$ ):
- इष्टतम शेड्यूल एक पॉलीनोमियल डिके (polynomial decay) रूप का अनुसरण करता है: $\eta^*_T(t) \sim T^{b/a - 1} f(t/T)$ , जहाँ $f(z) \propto (1-z)^{2b-1}$ ।
- लर्निंग रेट पूरी ट्रेनिंग ट्राजेक्टरी के दौरान बायस (bias) और वेरिएंस (variance) रिडक्शन को संतुलित करने के लिए धीरे-धीरे घटता है।
- लॉस स्केलिंग एक्सपोनेंट $\zeta_T = (a-1)/a$ है, जो फिक्स्ड बैच साइज के लिए मिनिमैक्स-ऑप्टिमल रेट से मेल खाता है।
हार्ड फेज (The Hard Phase - $a < b$ ):
- इष्टतम शेड्यूल वार्मअप-स्टेबल-डिके (WSD) जैसा दिखता है। यह प्रशिक्षण के अधिकांश चरणों के लिए एक स्थिर अधिकतम लर्निंग रेट ( $\eta_{max}$ ) बनाए रखता है, जिसके बाद कुल समय के एक लुप्त होते अंश (vanishing fraction) के दौरान एक तीव्र एनीलिंग चरण आता है ( $1 - t_s/T \sim T^{-(b-a)/(2b-1)}$ )।
- यह रणनीति अधिकतम स्थिर LR के माध्यम से बायस सप्रेशन को प्राथमिकता देती है, और वेरिएंस रिडक्शन को अंतिम चरणों में संकुचित करती है।
- लॉस स्केलिंग एक्सपोनेंट सुधरकर $\zeta_T = (a-1)/b$ हो जाता है, जो स्थिर LR रणनीतियों से बेहतर प्रदर्शन करता है।

2. बेंचमार्क पर श्रेष्ठता

व्युत्पन्न इष्टतम शेड्यूल्स मानक बेंचमार्क से काफी बेहतर प्रदर्शन करते हैं:

कांस्टेंट LR: इष्टतम शेड्यूल दोनों चरणों में बेहतर स्केलिंग एक्सपोनेंट्स प्राप्त करता है।
पावर-लॉ शेड्यूल्स: भले ही पावर-लॉ शेड्यूल्स ( $\eta \sim T^{-\xi} t^{-\delta}$ ) के एक्सपोनेंट्स को ऑप्टिमाइज़ किया जाए, वे एसिम्प्टोटिक रूप से उसी स्केलिंग व्यवहार को रिकवर करते हैं जो स्थिर LR बेसलाइन का है, और कंट्रोल थ्योरी के माध्यम से व्युत्पन्न होराइजन-डिपेंडेंट इष्टतम शेड्यूल्स के प्रदर्शन से मेल खाने में विफल रहते हैं।

3. लर्निंग रेट और बैच साइज का संयुक्त अनुकूलन

लेखक एक निश्चित डेटा बजट $B_{tot}$ के तहत $\eta(t)$ और $m(t)$ को संयुक्त रूप से अनुकूलित करने के लिए विश्लेषण का विस्तार करते हैं:

ईजी फेज: एक "बैच रैंप" (समय के साथ बढ़ता हुआ बैच साइज) के साथ एक स्थिर अधिकतम लर्निंग रेट, वॉल-क्लॉक टाइम को कम करता है। लॉस $T^{-(a-1)/b}$ के रूप में स्केल होता है, जो फिक्स्ड बैच साइज की तुलना में बेहतर वॉल-क्लॉक एक्सपोनेंट प्रदान करता है, जबकि सैंपल-बजट एक्सपोनेंट $(a-1)/a$ बना रहता है।
हार्ड फेज: संयुक्त अनुकूलन फिक्स्ड-बैच ऑप्टिमम के समान स्केलिंग एक्सपोनेंट्स देता है, जिसमें बैच साइज सीमित रहता है।

4. इष्टतम मोमेंटम शेड्यूल्स

मोमेंटम वाले कार्यों के लिए, लेखक $\eta(t)$ के साथ मोमेंटम पैरामीटर $\beta(t)$ को अनुकूलित करते हैं।

ईजी फेज में, इष्टतम मोमेंटम शेड्यूल इष्टतम SGD के समान स्केलिंग लॉज़ प्रदान करता है।
हार्ड फेज में, मोमेंटम शेड्यूल को अनुकूलित करने से केवल SGD द्वारा प्राप्त किए जाने वाले स्तर से बेहतर स्केलिंग एक्सपोनेंट में सुधार होता है। इष्टतम मोमेंटम डायनामिक्स $t/T \to 1$ होने पर प्रारंभिक क्षणिक गिरावट के बाद वृद्धि दिखाते हैं।

5. डीप नेटवर्क्स में अनुभवजन्य सत्यापन (Empirical Validation)

सैद्धांतिक चरणों को डीप लर्निंग बेंचमार्क पर सत्यापित किया गया है:

CIFAR-5M पर ResNet: हार्ड फेज व्यवहार प्रदर्शित करता है। एनीलिंग शेड्यूल्स के लिए इष्टतम बेस लर्निंग रेट होराइजन केAcross लगभग स्थिर रहता है, जो WSD प्रोफाइल के अनुरूप है।
C4 पर GPT-2 स्टाइल ट्रांसफॉर्मर्स: ईजी फेज व्यवहार प्रदर्शित करते हैं। इष्टतम बेस लर्निंग रेट, एनीलिंग के बावजूद, होराइजन $T$ के साथ बदलता (घटता) है, जो पॉलीनोमियल डिके प्रोफाइल के अनुरूप है।

महत्व और दावे

यह शोध पत्र इस बात को समझने के लिए एक सैद्धांतिक आधार प्रदान करने का दावा करता है कि लर्निंग रेट शेड्यूल्स कार्यों और ट्रेनिंग होराइजन के बीच क्यों भिन्न होते हैं। एक समाधान योग्य रैंडम फीचर मॉडल पर ऑप्टिमल कंट्रोल थ्योरी का उपयोग करते हुए, लेखक सिद्ध करते हैं कि:

होराइजन डिपेंडेंस: इष्टतम लर्निंग रेट स्वचालित रूप से विभिन्न ट्रेनिंग होराइजन के बीच ट्रांसफर करने योग्य नहीं होते हैं; शेड्यूल को स्पष्ट रूप से $T$ के आधार पर डिज़ाइन किया जाना चाहिए।
टास्क स्ट्रक्चर: एक कार्य की "कठिनाई" (स्पेक्ट्रल एक्सपोनेंट्स $a$ और $b$ द्वारा चिह्नित) यह निर्धारित करती है कि वह 'ईजी फेज' में आता है या 'हार्ड फेज' में, जो इष्टतम शेड्यूल के आकार को तय करता है (पॉलीनोमियल डिके बनाम WSD)।
दक्षता (Efficiency): होराइजन-डिपेंडेंट शेड्यूल्स और बैच साइज का संयुक्त अनुकूलन, मानक ह्यूरिस्टिक्स की तुलना में स्केलिंग लॉज़ में सुधार कर सकता है और वॉल-क्लॉक ट्रेनिंग समय को कम कर सकता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि उनका सिद्धांत वर्तमान में लीनियर मॉडल्स (लेज़ी/कर्नेल रिजीम में) पर लागू होता है और अभी तक मोमेंटम के लिए विशिष्ट बेहतर एक्सपोनेंट को विश्लेषणात्मक रूप से व्युत्पन्न नहीं करता है या एडम (Adam) जैसे परिष्कृत ऑप्टिमाइज़र या प्रीकंडीशनिंग मेथड्स को शामिल नहीं करता है। हालाँकि, यह कार्य WSD जैसे शेड्यूल्स की प्रभावशीलता के लिए एक व्यवस्थित स्पष्टीकरण प्रदान करता है और सुझाव देता है कि मॉडल और कार्य के अंतर्निहित स्पेक्ट्रल गुणों के आधार पर होराइजन के पार बेस लर्निंग रेटों के अनुभवजन्य ट्यूनिंग को ध्यान में रखना चाहिए।