🤖 machine learning

Unlocking Feature Learning in Gated Delta Networks at Scale

यह शोध पत्र गेटेड डेल्टा नेटवर्क्स (Gated Delta Networks) के लिए मैक्सिमल अपडेट पैरामीट्राइजेशन ( $\mu$ P) स्केलिंग नियमों को व्युत्पन्न और मान्य करता है, जो यह प्रदर्शित करता है कि ये नियम मानक पैरामीट्राइजेशन के विपरीत, ज़ीरो-शॉट हाइपरपैरामीटर ट्रांसफर और मॉडल की चौड़ाई (widths) में स्थिर प्रशिक्षण को सक्षम करते हैं।

मूल लेखक: Yifeng Liu, Quanquan Gu

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifeng Liu, Quanquan Gu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल रोबोट को कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। रोबोट जितना बड़ा होता जाता है (अधिक "ब्रेन सेल्स" या पैरामीटर्स), उसे सही सबक सिखाना उतना ही कठिन होता जाता है। आमतौर पर, यदि आप एक छोटे रोबोट के लिए एकदम सही सिखाने की गति (लर्निंग रेट) ढूंढ लेते हैं, तो आपको एक विशाल रोबोट पर स्विच करते समय उस गति को पूरी तरह से फिर से ट्यून करना पड़ता है। यह एक बगीचे के पाइप के लिए सही पानी का दबाव खोजने जैसा है; यदि आप इसे बदलकर एक फायर होज़ (आग बुझाने वाला मोटा पाइप) कर देते हैं, तो वही दबाव या तो कुछ नहीं करेगा या पाइप को फाड़ देगा।

यह पेपर एक विशेष प्रकार के रोबोट मस्तिष्क के बारे में है जिसे गेटेड डेल्टा नेटवर्क (Gated Delta Network) कहा जाता है। ये विशेष हैं क्योंकि ये लंबी कहानियों को बिना अभिभूत हुए कुशलतापूर्वक याद रखने में बहुत सक्षम हैं, जबकि आज के मानक "ट्रांसफॉर्मर" (Transformer) मस्तिष्क ऐसा नहीं कर पाते। हालाँकि, क्योंकि ये अलग तरह से काम करते हैं, इसलिए इनके सिखाने के पुराने नियम काम नहीं आए।

यहाँ लेखक द्वारा किए गए कार्यों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "एक ही नियम सबके लिए" वाला सिद्धांत काम नहीं करता

लंबे समय से, वैज्ञानिक इन रोबोटों को सिखाने के लिए एक मानक नियम पुस्तिका (जिसे स्टैंडर्ड पैरामीट्राइजेशन कहा जाता है) का उपयोग करते थे। इस नियम पुस्तिका ने कहा, "यदि आप रोबोट का आकार दोगुना करते हैं, तो सिखाने की गति को समान रखें।"

परिणाम: यह पुराने, मानक रोबोटों के लिए ठीक काम करता था। लेकिन इन नए, कुशल गेटेड डेल्टा नेटवर्कों के लिए, यह विफल रहा। जब उन्होंने एक बड़े रोबोट पर वही सिखाने की गति का उपयोग करने की कोशिश की जो एक छोटे रोबोट के लिए थी, तो बड़े रोबोट ने या तो कुछ नहीं सीखा या वह पागल (अनियंत्रित) हो गया।

2. समाधान: एक नया "नियम पुस्तिका" (µP)

लेखकों ने एक नया, अधिक स्मार्ट नियम बनाया जिसे मैक्सिमल अपडेट पैरामीट्राइजेशन (µP) कहा जाता है। इसे सिखाने की गति के लिए एक "यूनिवर्सल ट्रांसलेटर" के रूप में समझें।

लक्ष्य: ऐसे नियमों का एक सेट खोजना जहाँ एक नन्हे रोबोट के लिए जो सिखाने की गति आप खोजते हैं, वह बिना किसी बदलाव के एक विशाल रोबोट के लिए भी पूरी तरह से काम करे। इसे "जीरो-शॉट ट्रांसफर" (zero-shot transfer) कहा जाता है।
चुनौती: इन नए रोबोटों में एक विशेष "मेमोरी लूप" (वे एक अवस्था को बार-बार अपडेट करके चीजों को याद रखते हैं) होता है। पुराने गणित को इस लूप को संभालना नहीं आता था, इसलिए लेखकों को यह समझने के लिए नया गणित करना पड़ा कि रोबोट के हर हिस्से के लिए सिखाने की गति को ठीक से कैसे समायोजित किया जाए।

3. खोज: अलग-अलग हिस्सों को अलग-अलग "सिखाने की गति" की आवश्यकता होती है

लेखकों ने पाया कि इस नए रोबोट मस्तिष्क के सभी हिस्से एक जैसे नहीं हैं। उन्होंने पाया कि दो विशिष्ट भाग थे जिन्हें विशेष उपचार की आवश्यकता थी, जो कि एक आश्चर्य था:

"गेटकीपर्स" (गेटिंग वेट्स): कल्पना कीजिए कि रोबोट के पास छोटे दरवाजे हैं जो तय करते हैं कि कितनी जानकारी अंदर आने देनी है। लेखक ने पाया कि इन दरवाजों को नियंत्रित करने वाले "नॉब्स" (knobs) को बाकी मस्तिष्क की तुलना में बहुत धीरे (धीमी लर्निंग रेट) घुमाने की आवश्यकता होती है। यदि आप उन्हें बहुत तेज़ी से घुमाते हैं, तो रोबोट यह भूल जाता है कि दरवाज़े कैसे खोलने हैं।
"वॉल्यूम नॉब्स" (स्केलर पैरामीटर्स): यहाँ कुछ वॉल्यूम नॉब्स भी हैं जो सिग्नल की ताकत को समायोजित करते हैं। इन्हें बाकी मस्तिष्क की तुलना में बहुत अधिक आक्रामक रूप से (तेज़ लर्निंग रेट) घुमाने की आवश्यकता थी।

यह एक जटिल संगीत वाद्ययंत्र को ट्यून करने जैसा है: अधिकांश तारों को मानक ट्यूनिंग की आवश्यकता होती है, जबकि बास (bass) स्ट्रिंग्स को ढीले घुमाव की आवश्यकता होती है, और छोटी हाई-पिच वाली स्ट्रिंग्स को बहुत सख्त घुमाव की आवश्यकता होती है, अन्यथा संगीत बहुत खराब सुनाई देगा।

4. प्रमाण: यह वास्तविक दुनिया में काम करता है

लेखकों ने केवल कागज़ पर गणित नहीं किया; उन्होंने इन रोबोटों को बनाया और उनका परीक्षण किया।

प्रयोग: उन्होंने इन रोबोटों को टेक्स्ट के एक विशाल पुस्तकालय (FineWeb-Edu) पर प्रशिक्षित किया ताकि देखा जा सके कि वे कितनी अच्छी तरह सीखते हैं।
परिणाम:
- जब उन्होंने पुराने नियमों का उपयोग किया, तो विभिन्न आकार के रोबों को पूरी तरह से अलग-अलग सिखाने की गति की आवश्यकता थी।
- जब उन्होंने अपने नए नियमों का उपयोग किया, तो सबसे छोटे रोबोट के लिए खोजी गई सिखाने की गति सबसे बड़े रोबोट के लिए भी पूरी तरह से काम कर गई। रोबोट चाहे कितने भी बड़े क्यों न हो गए, उन्होंने निरंतरता और स्थिरता के साथ सीखा।

सारांश

यह पेपर एक विशिष्ट, अत्यधिक कुशल प्रकार के AI को प्रशिक्षित करने के लिए एक "यूजर मैनुअल" है। लेखकों ने पता लगाया कि चूंकि यह AI अलग तरह से काम करता है, इसलिए आप प्रशिक्षण सेटिंग्स को कॉपी-पेस्ट नहीं कर सकते। उन्होंने सेटिंग्स का एक नया सेट तैयार किया जो आपको एक छोटे संस्करण के AI को प्रशिक्षित करने, उसकी सटीक सेटिंग्स खोजने और फिर तुरंत उन्हीं सेटिंग्स को एक विशाल संस्करण पर लागू करने की अनुमति देता है, जिससे समय और कंप्यूटर पावर की भारी बचत होती है।

तकनीकी सारांश: गेटेड डेल्टा नेटवर्क्स में फीचर लर्निंग को स्केल पर अनलॉक करना

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) का स्केलिंग दो प्राथमिक बाधाओं का सामना करता है: बड़े मॉडल्स को प्रशिक्षित करने की अत्यधिक कम्प्यूटेशनल लागत और मानक ट्रांसफॉर्मर सेल्फ-अटेंशन की क्वाड्रेटिक कॉम्प्लेक्सिटी। लीनियर रिकरेंट आर्किटेक्चर, जैसे कि गेटेड डेल्टा नेटवर्क्स (GDN), कुशल विकल्प के रूप में उभरे हैं जो लॉन्ग-रेंज डिपेंडेंसीज को कैप्चर करते हुए लीनियर-टाइम इन्फरेंस बनाए रखते हैं। हालांकि, इन मॉडल्स को प्रभावी ढंग से स्केल करने में एक महत्वपूर्ण अंतर मौजूद है। जबकि मैक्सिमल अपडेट पैरामीट्रेशन (µP) ने मानक ट्रांसफॉर्मर्स और कुछ लीनियर मॉडल्स के लिए ज़ीरो-शॉट हाइपरपैरामीटर ट्रांसफर (विशेष रूप से लर्निंग रेट्स) को सफलतापूर्वक सक्षम किया है, गेटेड डेल्टा नेटवर्क्स पर इसका अनुप्रयोग अनछुआ रहा है। मुख्य चुनौती इसकी रिकरेंट स्टेट डायनेमिक्स है, जिसे डेटा-डिपेंडेंट गेटिंग मैकेनिज्म और फुल-मैट्रिक्स डेल्टा रूल्स के माध्यम से अपडेट किया जाता है, न कि उन स्केलर रिकरेंसेस या मानक फीडफॉरवर्ड स्ट्रक्चर के माध्यम चाहिए जो मौजूदा µP डेरिवेशंस द्वारा अनुमानित हैं। स्ट्रक्चर्ड स्टेट स्पेस मॉडल्स (SSMs) जैसे मांबा (Mamba) पर पिछले कार्य ने दिखाया है कि वैनिला µP डायगोनल SSMs के लिए विफल हो जाता है, लेकिन GDN का फुल-मैट्रिक्स स्टेट अपडेट का उपयोग उन विशिष्ट सुधारों को अप्रासंगिक बनाता है।

कार्यप्रणाली
लेखक गेटेड डेल्टा नेटवर्क्स के लिए µP फॉर्मूलेशन को कठोरता से व्युत्पन्न (derive) करके इस अंतर को संबोधित करते हैं। कार्यप्रणाली पूरे फॉरवर्ड पास के माध्यम से, जिसमें अद्वितीय गेटिंग मैकेनिज्म और रिकरेंट स्टेट ट्रांजिशन शामिल हैं, कोर्डिनेट-साइज़ अनुमानों को प्रसारित (propagate) करती है, ताकि इनिशियलाइजेशन, फॉरवर्ड मल्टीप्लायर्स और लर्निंग रेट्स के लिए आवश्यक स्केलिंग नियमों को निर्धारित किया जा सके।

प्रमुख विश्लेषणात्मक चरण शामिल हैं:

फॉरवर्ड पास विश्लेषण: लेखक प्रोजेक्टेड फीचर्स, लेटेंट स्टेट $S_t$ , और रीडआउट के कोर्डिनेट साइज़ को व्युत्पन्न करते हैं। वे पहचानते हैं कि क्वेरीज और कीज़ (keys) का L2-नॉर्मलाइजेशन, और रैंक-वन राइट अपडेट्स, विशिष्ट वेरिएंस स्केलिंग का परिणाम देते हैं। महत्वपूर्ण रूप से, वे RMSNorm लेयर से पहले एक $\sqrt{d}$ मल्टीप्लायर डालने का प्रस्ताव करते हैं ताकि नॉर्मलाइजेशन लेयर के इनपुट में $\Theta(1)$ कोर्डिनेट साइज बना रहे, जिससे फीचर लर्निंग के लिए आवश्यक ग्रेडिएंट स्केलिंग बाधित न हो।
गेटिंग मैकेनिज्म विश्लेषण: पेपर नॉन-लीनियर गेटिंग पैरामीटर्स $\alpha_t$ (डिके/क्षय) और $\beta_t$ (राइट स्ट्रेंथ) का विश्लेषण करता है। मानक वेट्स के विपरीत, ये स्केलर प्री-एक्टिवेशन्स से प्राप्त होते हैं जिनमें ट्रेन करने योग्य वेट वेक्टर्स ( $W_\alpha, W_\beta$ ) और स्केलर पैरामीटर्स ( $a_{log}, b$ ) शामिल हैं। विश्लेषण से पता चलता है कि ये गेटिंग घटक अपने स्टेट अपडेट समीकरण में विशिष्ट भूमिकाओं के कारण मानक µP स्केलिंग कानूनों का पालन नहीं करते हैं।
बैकवर्ड पास और लर्निंग रेट डेरिवेशन:
- AdamW: एडमडब्ल्यू (AdamW) द्वारा उनके सेकंड मोमेंट द्वारा ग्रेडिएंट्स के नॉर्मलाइजेशन के कारण, प्रभावी अपडेट मैग्नीट्यूड विभिन्न वेट क्लासेस के बीच सुसंगत रहता है, जिससे लर्निंग रेट की आवश्यकताएं सरल हो जाती हैं।
- SGD: प्लेन SGD के तहत, रॉ ग्रेडिएंट मैग्नीट्यूड विभिन्न वेट क्लासेस में काफी भिन्न होते हैं। लेखक व्युत्पन्न करते हैं कि गेटिंग वेट मैट्रिसेस ( $W_\alpha, W_\beta$ ) को $\Theta(1/\sqrt{d})$ की लर्निंग रेट स्केलिंग की आवश्यकता होती है, और स्केलर गेटिंग पैरामीटर्स ( $a_{log}, b$ ) को $\Theta(\sqrt{d})$ की स्केलिंग की आवश्यकता होती है। ये स्केलिंग्स मानक µP सेटिंग से विचलित होती हैं जहाँ लर्निंग रेट्स आमतौर पर यूनिफॉर्म होते हैं या एक साधारण $1/n$ नियम का पालन करते हैं।

प्रमुख योगदान

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation): पेपर गेटेड डेल्टा नेटवर्क्स के लिए पहला पूर्ण µP फॉर्मूलेशन प्रदान करता है। यह पूरे फॉरवर्ड पास के माध्यम से कोर्डिनेट-साइज़ अनुमानों को व्युत्पन्न करता है और सभी वेट क्लासेस के लिए सिद्धांत आधारित इनिशियलाइजेशन वेरिएंस और फॉरवर्ड मल्टीप्लायर्स स्थापित करता है।
नवीन स्केलिंग नियम: लेखक खोजते हैं कि SGD के तहत गेटिंग घटकों को गैर-मानक लर्निंग रेट स्केलिंग की आवश्यकता होती है:
- गेटिंग वेट मैट्रिसेस ( $W_\alpha, W_\beta$ ) को $\Theta(1/\sqrt{d})$ स्केलिंग की आवश्यकता होती है।
- स्केलर गेटिंग पैरामीटर्स ( $a_{log}, b$ ) को $\Theta(\sqrt{d})$ स्केलिंग की आवश्यकता होती है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक दोनों AdamW और SGD ऑप्टिमाइज़र का उपयोग करके कई विड्थ्स (256 से 1536 हिडन डायमेंशन तक की रेंज में) के माध्यम से GDN लैंग्वेज मॉडल्स को प्री-ट्रेन करते हैं।
- परिणाम: प्रस्तावित µP कॉन्फ़िगरेशन के तहत, अनुकूलतम लर्निंग रेट दोनों ऑप्टिमाइज़र के लिए सभी मॉडल विड्थ्स के बीच ज़ीरो-शॉट ट्रांसफर करता है। इसके विपरीत, स्टैंडर्ड पैरामीट्रेशन (SP) और मूल µP कॉन्फ़िगरेशन विफल हो जाते हैं, क्योंकि मॉडल विड्थ बढ़ने के साथ अनुकूलतम लर्निंग रेट महत्वपूर्ण रूप से बदल जाता है।
- स्थिरता: प्रस्तावित कॉन्फ़िगरेशन स्थिर लर्निंग-रेट ट्रांसफर को सक्षम करते हैं, जो सैद्धांतिक व्युत्पत्तियों की पुष्टि करते हैं।

महत्व और दावे
पेपर का दावा है कि इसका विश्लेषण फीचर लर्निंग के लिए गेटेड डेल्टा नेटवर्क्स को पैरामीटराइज़ करने की खुली समस्या को हल करता है। यह प्रदर्शित करके कि व्युत्पन्न µP फॉर्मूलेशन ज़ीरो-शॉट हाइपरपैरामीटर ट्रांसफर की अनुमति देता है, यह कार्य सैद्धांतिक व्युत्पत्ति की शुद्धता और इसकी व्यावहारिक उपयोगिता को मान्य करता है। लेखक इस बात पर जोर देते हैं कि यह विशेष रूप से गेटेड डेल्टा नेटवर्क्स के लिए µP-कंसिस्टेंट पैरामीट्राइजेशन को व्युत्पन्न करने और सत्यापित करने वाला पहला कार्य है, जो इसे डायगोनल SSMs के पिछले कार्यों से अलग करता है। निष्कर्ष बताते हैं कि लीनियर रिकरेंट मॉडल्स के स्केलिंग के लिए उचित पैरामीट्राइजेशन आवश्यक है और GDN में विशिष्ट गेटिंग मैकेनिज्म को अद्वितीय स्केलिंग नियमों की आवश्यकता होती है जो मानक ट्रांसफॉर्मर्स और अन्य लीनियर आर्किटेक्चर दोनों से भिन्न हैं। उन्हें उम्मीद है कि ये डेरिवेशंस अन्य लीनियर या हाइब्रिड आर्किटेक्चर के स्केलिंग लॉज़ में भविष्य के अनुसंधान का मार्गदर्शन करेंगे।

1. समस्या: "एक ही नियम सबके लिए" वाला सिद्धांत काम नहीं करता

2. समाधान: एक नया "नियम पुस्तिका" (µP)

3. खोज: अलग-अलग हिस्सों को अलग-अलग "सिखाने की गति" की आवश्यकता होती है

4. प्रमाण: यह वास्तविक दुनिया में काम करता है

सारांश

इसी तरह के और पेपर