🤖 machine learning

Learning Rate Transfer in Normalized Transformers

यह शोध पत्र $\nu$ GPT को प्रस्तुत करता है, जो नॉर्मलाइज्ड ट्रांसफॉर्मर का एक नवीन पैरामीट्राइजेशन है जो मॉडल की चौड़ाई (width), गहराई (depth) और टोकन क्षितिज (token horizon) के बीच लर्निंग रेट ट्रांसफर प्राप्त करने के लिए अलाइनमेंट एक्सपोनेंट्स (alignment exponents) का लाभ उठाता है, जो मूल nGPT की एक प्रमुख सीमा को संबोधित करता है।

मूल लेखक: Boris Shigida, Boris Hanin, Andrey Gromov

प्रकाशित 2026-05-01

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boris Shigida, Boris Hanin, Andrey Gromov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Learning Rate Transfer in Normalized Transformers" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: "गोल्डिलॉक्स" (Goldilocks) की समस्या

कल्पना कीजिए कि आप एक विशाल केक (एक विशाल AI मॉडल) बना रहे हैं। आपके पास एक छोटे कप केक (एक छोटा मॉडल) की रेसिपी है। आप जानते हैं कि उस कप केक के लिए कितनी चीनी और कितनी गर्मी (लर्निंग रेट जैसे हाइपरपैरामीटर) काम करेगी।

समस्या क्या है? यदि आप बस एक बड़े केक के लिए सामग्री को अंधाधुंध दोगुना कर देते हैं, तो वह या तो जल सकता है या कच्चा रह सकता है। AI में, जब शोधकर्ता अपने मॉडल को बड़ा (चौड़ा या गहरा) बनाते हैं, तो छोटे मॉडल के लिए "परफेक्ट" सेटिंग्स अक्सर बड़े मॉडल के लिए काम करना बंद कर देती हैं। आपको नए सेटिंग्स का अनुमान लगाने के लिए फिर से शुरुआत करनी पड़ती है, जो धीमा और महंगा है।

यह पेपर इन "केक्स" (जिन्हें nGPT मॉडल कहा जाता है) को बनाने का एक नया तरीका पेश करता है ताकि छोटे मॉडल के लिए जो सेटिंग्स आपने पाई हैं, वे बिना किसी अतिरिक्त अनुमान के एक विशाल मॉडल के लिए भी बिल्कुल सही काम करें। वे इस नई रेसिपी को νGPT (उच्चारण: न्यू-जीपीटी) कहते हैं।

सामग्री: nGPT क्या है?

सबसे पहले, लेखक एक विशिष्ट प्रकार के AI पर काम कर रहे हैं जिसे nGPT (नॉर्मलाइज्ड ट्रांसफॉर्मर) कहा जाता है।

पुराना तरीका: पारंपरिक AI मॉडल एक ऐसी कार की तरह हैं जिसका इंजन बहुत संवेदनशील है। यदि आप बहुत अधिक गैस दबाते हैं (हाई लर्निंग रेट), तो इंजन फट जाता है। यदि आप बहुत धीरे दबाते हैं, तो यह कहीं नहीं पहुँचता। इसे सुरक्षित रखने के लिए, आपको "ब्रेक" (वेट डिके/weight decay) की आवश्यकता होती है और आपको तेज़ चलाने से पहले इंजन को धीरे-धीरे "वार्म अप" करने की आवश्यकता होती है।
nGPT का तरीका: nGPT मॉडल एक ऐसी कार की तरह है जिसमें सेल्फ-स्टेबलाइजिंग सस्पेंशन लगा है। यह स्वाभाविक रूप से अपनी गति और संतुलन को नियंत्रण में रखता है। इस कारण, इसे "ब्रेक" (वेट डिके) या "वार्म अप" की आवश्यकता नहीं होती। यह तेज़ी से और अधिक कुशलता से प्रशिक्षित होता है।

चुनौती: भले ही nGPT बेहतरीन है, लेकिन लेखकों ने पाया कि इसकी "स्पीड सेटिंग्स" (लर्निंग रेट) अभी भी अच्छी तरह से ट्रांसफर नहीं हो पा रही थीं। यदि आपने एक छोटे nGPT के लिए स्पीड को ट्यून किया, और फिर उसी सेटिंग को एक बहुत बड़े nGPT के लिए उपयोग करने की कोशिश की, तो बड़े मॉडल का प्रदर्शन खराब रहा।

समाधान: νGPT रेसिपी

लेखकर्ताओं ने νGPT बनाया है। इसे केक के आकार के आधार पर अपनी सामग्री को स्केल करने के निर्देशों के एक नए सेट के रूप में समझें।

उन्होंने इन सेटिंग्स को पूरी तरह से "ट्रांसफर" करने के लिए तीन विशिष्ट नियम खोजे:

1. टोकन होराइजन नियम (दूरी का नियम)

अवधारणा: कल्पना कीजिए कि आप एक कुत्ते को सिखा रहे हैं। यदि आप उसे केवल 10 मिनट तक टहलाते हैं, तो आप तेज़ दौड़ सकते हैं। यदि आप उसे 10 घंटे तक टहलाने की योजना बना रहे हैं, तो आपको धीरे शुरू करना होगा ताकि वह थक न जाए।
निष्कर्ष: पेपर में पाया गया कि जैसे-जैसे AI अधिक "टहलता" है (अधिक डेटा टोकन प्रोसेस करता है), लर्निंग रेट उतनी तेज़ी से नहीं गिरनी चाहिए जितना कि लोगों को लगता है। एक भारी पत्थर की तरह गिरने के बजाय, इसे एक उड़ते हुए पंख की तरह धीरे-धीरे नीचे आना चाहिए।
गणित: उन्होंने पाया कि गति को चलते हुए समय के घनमूल (cube root - विशेष रूप से $1/3$ पावर) के अनुसार कम होना चाहिए, न कि वर्गमूल ( $1/2$ पावर) के अनुसार, जैसा कि अन्य सिद्धांतों ने सुझाव दिया था।

2. विड्थ (चौड़ाई) नियम (टीम के आकार का नियम)

अवधारणा: कल्पना कीजिए कि एक गाना गाने वाला समूह (choir) है। यदि आप गायकों की संख्या दोगुनी करते हैं (विड्थ), तो आवाज़ तेज़ हो जाती है। यदि आप कंडक्टर के वॉल्यूम (लर्निंग रेट) को एडजस्ट नहीं करते हैं, तो समूह बहुत तेज़ होकर शोर मचा सकता है, या इतना धीमा हो सकता है कि सुनाई न दे।
निष्कर्ष: लेखकों ने महसूस किया कि इन विशिष्ट मॉडलों में, "आवाज़ें" (एक्टिवेशंस) और "गायक" (वेट्स) पूरी तरह से संरेखित (align) नहीं होते हैं। वे आंशिक रूप से संरेखित होते हैं।
सुधार: उन्होंने मॉडल के छिपे हुए हिस्सों के लिए लर्निंग रेट को इस तरह समायोजित किया कि जैसे-जैसे मॉडल चौड़ा होता है, वह एक विशिष्ट मात्रा ( $3/4$ पावर) में कम हो जाए। यह पिछले सिद्धांतों (जैसे $\mu$ P) से अलग है, जो मानते थे कि आवाज़ और गायक पूरी तरह से संरेखित हैं। यह मानते हुए कि वे केवल आंशिक रूप से संरेखित हैं, उन्होंने एक "स्वीट स्पॉट" पाया जो बेहतर काम करता है।

3. डेप्थ (गहराई) नियम (लेयर का नियम)

अवधारणा: कल्पना कीजिए कि एक रिले रेस है। यदि आप टीम में अधिक धावक (लेयर्स) जोड़ते हैं, तो क्या बैटन (baton) तेज़ी से पास होता है या धीरे?
निष्कर्ष: आश्चर्यजनक रूप से, इस विशिष्ट प्रकार के मॉडल के लिए, छिपी हुई लेयर्स (hidden layers) के लिए लर्निंग रेट को बदलने की आवश्यकता नहीं है क्योंकि मॉडल स्वाभाविक रूप से स्थिर है। हालांकि, उन्होंने पाया कि दौड़ को सुचारू बनाए रखने के लिए पहली और आखिरी लेयर्स के "स्टार्टर" (इनिशियलाइजेशन) सेटिंग्स में थोड़ा बदलाव करने की आवश्यकता है।

परिणाम: यह क्यों मायने रखता है

लेखकों ने पुराने तरीके के मुकाबले इस नए νGPT रेसिपी का परीक्षण किया।

पुराना तरीका (nGPT): जब उन्होंने मॉडल को बड़ा किया, तो प्रदर्शन वक्र (performance curve) अव्यवस्थित था। छोटे मॉडल के लिए "सर्वश्रेष्ठ" लर्निंग रेट बड़े मॉडल के लिए "सबसे खराब" थी।
नया तरीका (νGPT): जब उन्होंने मॉडल को बड़ा किया, तो प्रदर्शन वक्र परफेक्ट था। लर्निंग रेट जो छोटे मॉडल के लिए काम करती थी, वही बड़े मॉडल के लिए भी काम करती थी, और बड़े मॉडल ने ठीक उतना ही (या उससे थोड़ा बेहतर) प्रदर्शन किया जितना कि यदि इसे शुरुआत से ही ट्यून किया गया होता।

सारांश उपमा

सोचिए कि लर्निंग रेट रेडियो पर वॉल्यूम नॉब (आवाज़ का बटन) है।

पुराना सिद्धांत: "यदि आप एक बड़ा स्पीकर (चौड़ा मॉडल) खरीदते हैं, तो आपको वॉल्यूम नॉब को आधा कम कर देना चाहिए।"
पेपर की खोज: "वास्तव में, क्योंकि यह विशिष्ट स्पीकर इस तरह से काम करता है, आपको वॉल्यूम नॉब को केवल एक विशिष्ट, गणना की गई मात्रा ( $3/4$ नियम) तक कम करने की आवश्यकता है ताकि एकदम सही आवाज़ मिले। यदि आप इस नियम का पालन करते हैं, तो आप 100 गुना बड़ा स्पीकर खरीद सकते हैं, और वही वॉल्यूम सेटिंग एकदम सही सुनाई देगी।"

उन्होंने क्या दावा नहीं किया

उन्होंने यह नहीं कहा कि इससे AI अधिक स्मार्ट या नई चीजें करने में सक्षम हो गया है (जैसे बीमारियों का इलाज करना)।
उन्होंने यह नहीं कहा कि यह हर प्रकार के AI मॉडल पर काम करता है (यह केवल नॉर्मलाइज्ड ट्रांसफॉर्मर/nGPT के लिए विशिष्ट है)।
उन्होंने यह भी दावा नहीं किया कि इससे ट्यूनिंग की आवश्यकता पूरी तरह समाप्त हो गई है; इसका मतलब सिर्फ यह है कि आप एक छोटे मॉडल को ट्यून कर सकते हैं और भरोसा कर सकते हैं कि वह एक बड़े मॉडल के लिए भी काम करेगा।

संक्षेप में: यह पेपर एक गणितीय "अनुवाद गाइड" प्रदान करता है जो इंजीनियरों को एक छोटे, तेज़ AI से सेटिंग्स लेने और उन्हें आत्मविश्वास के साथ एक विशाल AI पर लागू करने में मदद करता है, जिससे समय और कंप्यूटिंग शक्ति की बचत होती है।

यहाँ Shigida, Hanin, और Gromov के शोध पत्र "Learning Rate Transfer in Normalized Transformers" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र Normalized Transformers (nGPT) में हाइपरपैरामीटर (HP) ट्रांसफर की चुनौती को संबोधित करता है, जो Loshchilov et al. (2025) द्वारा पेश किया गया एक nGPT आर्किटेक्चर वेरिएंट है।

संदर्भ: nGPT व्यापक रूप से वेट्स (weights) और एक्टिवेशन्स (activations) को नॉर्मलाइज़ करके (LayerNorm/RMSNorm के बजाय $\ell_2$ -norms का उपयोग करके) महत्वपूर्ण ट्रेनिंग स्पीडअप प्राप्त करता है और वेट डिके (weight decay) तथा लर्निंग रेट वॉर्मअप (learning rate warmup) की आवश्यकता को समाप्त करता है।
समस्या: जबकि nGPT के हाइपरपैरामीटर मॉडल के आकार के साथ स्केल होते हैं, लेखक देखते हैं कि यह मॉडल की चौड़ाई (dimension), गहराई (layers की संख्या), और टोकन होराइजन (training iterations) के बीच लर्निंग रेट ट्रांसफर प्रदर्शित करने में विफल रहता है।
मौजूदा विधियों की सीमाएँ: मानक ट्रांसफर तकनीकें जैसे कि $\mu$ P (Maximal Update Parametrization) विशिष्ट सैद्धांतिक धारणाओं पर निर्भर करती हैं जो वेट्स और एक्टिवेशन्स के संरेखण (alignment) के बारे में होती हैं (विशेष रूप से, कि वे पूरी तरह से अलाइन्ड हैं या अन-अलाइन्ड हैं)। लेखक पाते हैं कि nGPT के लिए ये धारणाएं लागू नहीं होती हैं, जिससे स्केल अप करते समय प्रदर्शन उप-इष्टतम (suboptimal) हो जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नया पैरामीट्राइजेशन प्रस्तावित करते हैं जिसे $\nu$ GPT (nu-GPT) कहा जाता है। उनका दृष्टिकोण एलाइनमेंट एक्सपोनेंट्स (alignment exponents) (Everett et al., 2024) पर आधारित एक सिद्धांतिक ढांचे के साथ संख्यात्मक प्रयोगों को जोड़ता है।

A. सैद्धांतिक ढांचा: एलाइनमेंट एक्सपोनेंट्स (Alignment Exponents)

$\mu$ P में उपयोग किए जाने वाले "फुल एलाइनमेंट" ( $\alpha=1$ ) या "नो एलाइनमेंट" ( $\alpha=1/2$ ) रिजीम के बजाय, लेखक एलाइनमेंट एक्सपोनेंट्स ( $\alpha, \omega, \nu$ ) को अनुभवजन्य रूप से मापते हैं, जो यह बताते हैं कि वेट अपडेट और एक्टिवेशन्स मॉडल डायमेंशन $d_{model}$ के सापेक्ष कैसे स्केल होते हैं।

वे इस बात के लिए एक्सपोनेंट्स परिभाषित करते हैं कि मैट्रिक्स-वेक्टर प्रोडक्ट में परिवर्तन कैसे स्केल होता है: $\|\Delta W h\| \sim d^{\alpha} \|\Delta W\| \|h\|$ ।
मुख्य निष्कर्ष: nGPT में, "मिड-एलाइनमेंट" (mid-alignment) रिजीम देखा जाता है, जहाँ $\max\{\alpha, \nu\} \approx 3/4$ है। यह $\mu$ P की धारणा का खंडन करता है कि $\max\{\alpha, \nu\} = 1$ (फुल एलाइनमेंट) या $1/2$ (नो एलाइनमेंट) है।

B. $\nu$ GPT पैरामीट्राइजेशन

"मिड-एलाइनमेंट" परिकल्पना ( $\max\{\alpha, \nu\} = 3/4$ ) और अनुभवजन्य स्केलिंग नियमों के आधार पर, लेखक लर्निंग रेट ( $\eta$ ) और इनिशियलाइजेशन मापदंडों के लिए विशिष्ट स्केलिंग नियम निकालते हैं। मान लें कि $m_{width}$ , $m_{depth}$ , और $m_{data}$ बेस मॉडल के सापेक्ष चौड़ाई, गहराई और टोकन काउंट के मल्टीप्लायर हैं।

$\nu$ GPT में मुख्य स्केलिंग नियम:

ग्लोबल लर्निंग रेट (Global Learning Rate): $m_{data}^{-1/3}$ के रूप में स्केल होता है। यह टोकन होराइजन को ठीक करता है, जो कुछ पूर्व SDE-आधारित सिद्धांतों द्वारा सुझाए गए $m_{data}^{-1/2}$ से भिन्न है।
एम्बेडिंग वेट्स ( $\eta_{input}$ ): $m_{width}^{-1/2}$ के रूप में स्केल होता है।
हिडन/अन-एम्बेडिंग वेट्स ( $\eta_{hidden}, \eta_{output}$ ): $m_{width}^{-3/4}$ के रूप में स्केल होता है। यह $\mu$ P (जो वेरिएंट के आधार पर $m_{width}^{-1}$ या $m_{width}^{-1/2}$ का उपयोग करता है) से महत्वपूर्ण विचलन है।
डेप्थ करेक्शन (Depth Corrections):
- ट्रेन करने योग्य रीस्केलिंग वेक्टर्स $\alpha_{A, init}$ और $\alpha_{M, init}$ को $m_{depth}^{-1}$ द्वारा स्केल किया जाता है।
- "डेप्थ- $\mu$ P" (जो हिडन लर्निंग रेट को $m_{depth}^{-1/2}$ के रूप में स्केल करता है) के विपरीत, $\nu$ GPT पाता है कि nGPT में हिडन लर्निंग रेट को गहराई के साथ स्केल नहीं किया जाना चाहिए, क्योंकि ट्रेन करने योग्य रीस्केलर्स स्वाभाविक रूप से गहराई स्थिरता को संभालते हैं।
इनिशियलाइजेशन कांस्टेंट्स (Initialization Constants): स्केल मापदंडों ( $\alpha_{scale}$ ) के लिए फिक्स्ड कांस्टेंट्स (जैसे 0.03) का उपयोग किया जाता है, न कि $d_{model}^{-1/2}$ के साथ स्केल किया जाता है।

3. मुख्य योगदान (Key Contributions)

nGPT में $\mu$ P की विफलता की पहचान: यह प्रदर्शित किया कि नॉर्मलाइज्ड आर्किटेक्चर के लिए मानक $\mu$ P धारणाएं (वेट-एक्टिवेशन एलाइनमेंट के संबंध में) अमान्य हैं, जिससे खराब लर्निंग रेट ट्रांसफर होता है।
$\nu$ GPT का प्रस्ताव: एक नया पैरामीट्राइजेशन पेश किया जो स्पष्ट रूप से nGPT में देखे गए "मिड-एलाइनमेंट" रिजीम ( $\approx 3/4$ ) को लक्षित करता है।
टोकन होराइजन स्केलिंग: स्थापित किया कि nGPT में इष्टतम लर्निंग रेट $T^{-1/3}$ के रूप में स्केल होता है, जो पिछले $T^{-1/2}$ के सैद्धांतिक अनुमानों को परिष्कृत करता है।
डेप्थ ट्रांसफर अंतर्दृष्टि: दिखाया कि ट्रेन करने योग्य रीस्केलर्स वाले नॉर्मलाइज्ड मॉडल्स के लिए, हिडन लर्निंग रेट का स्पष्ट डेप्थ स्केलिंग अनावश्यक और हानिकारक है; इसके बजाय, रीस्केलर्स के इनिशियलाइजेशन को स्केल करना पर्याप्त है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने OLMo 2 टोकेनाइज़र का उपयोग करके FineWeb-Edu डेटासेट पर $\nu$ GPT को मान्य किया।

चौड़ाई ट्रांसफर (Width Transfer):
- बेसलाइन nGPT: कोई लर्निंग रेट ट्रांसफर नहीं दिखाया; चौड़ाई बढ़ने के साथ प्रदर्शन में गिरावट आई।
- $\mu$ P-शैली के सुधार: इष्टतम लर्निंग रेट में मामूली विचलन दिखाया।
- $\nu$ GPT: बिना किसी ट्यून किए गए बेसलाइन की तुलना में वैलिडेशन लॉस खोए बिना, चौड़ाई (0.26B से 3.22B पैरामीटर्स) में परफेक्ट लर्निंग रेट ट्रांसफर प्राप्त किया।
गहराई ट्रांसफर (Depth Transfer):
- बेसलाइन nGPT ने अच्छा डेप्थ ट्रांसफर दिखाया लेकिन अत्यधिक गहराई पर अस्थिर हो गया।
- $\nu$ GPT ने गहराई (8 से 128 लेयर्स) में स्थिरता और प्रदर्शन बनाए रखा, जो बड़े डेप्थ पर लर्निंग रेट विकल्पों के प्रति कम संवेदनशीलता दिखाता है।
टोकन होराइजन ट्रांसफर:
- प्रयोगों ने पुष्टि की कि प्रशिक्षण पुनरावृत्तियों (iterations) की संख्या बढ़ने के साथ इष्टतम लर्निंग रेट के लिए $T^{-1/3}$ स्केलिंग नियम काम करता है।
एलाइनमेंट एक्सपोनेंट सत्यापन:
- अनुभवजन्य मापों ने पुष्टि की कि $\omega_{hidden} = \omega_{output} = 1/2$ और $\max\{\alpha, \nu\} \approx 0.75$ (मिड-एलाइनमेंट) है, जो $\nu$ GPT के सैद्धांतिक आधार को मान्य करता है।

5. महत्व (Significance)

व्यावहारिक प्रभाव: $\nu$ GPT शोधकर्ताओं को छोटे मॉडल्स पर हाइपरपैरामीटर ट्यून करके उन्हें सीधे विशाल स्केल पर ट्रांसफर करने की अनुमति देता है, जिससे महत्वपूर्ण कंप्यूटेशनल संसाधन बचते हैं।
सैद्धांतिक प्रगति: यह पेपर $\mu$ P की सार्वभौमिकता को चुनौती देता है, यह प्रदर्शित करता है कि अलग-अलग आर्किटेक्चरल विकल्प (विशेष रूप से नॉर्मलाइजेशन स्कीम्स) अलग-अलग एलाइनमेंट धारणाओं और स्केलिंग कानूनों की मांग करते हैं।
दक्षता (Efficiency): वेट डिके और वॉर्मअप की आवश्यकता को हटाकर और मजबूत स्केलिंग को सक्षम करके, $\nu$ GPT अगली पीढ़ी के फाउंडेशन मॉडल्स के लिए एक अधिक सुव्यवस्थित और कुशल ट्रेनिंग पाइपलाइन प्रदान करता है।

संक्षेप में, यह पेपर नॉर्मलाइज्ड ट्रांसफॉर्मर्स की स्केलिंग समस्या का एक कठोर, अनुभवजन्य रूप से आधारित समाधान प्रदान करता है, जो "वन-साइज-फिट्स-ऑल" $\mu$ P दृष्टिकोण को एक अनुकूलित पैरामीट्राइजेशन ( $\nu$ GPT) से बदल देता है जो नॉर्मलाइज्ड आर्किटेक्चर के अद्वितीय डायनेमिक्स का सम्मान करता है।