🤖 machine learning

On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer

यह शोध पत्र डीप न्यूरल नेटवर्क के लिए चौड़ाई-स्वतंत्र (width-independent) स्मूथनेस बाउंड्स प्राप्त करने हेतु मीन-नॉर्मलाइज्ड मैट्रिक्स ऑपरेटर नॉर्म्स के एक परिवार को प्रस्तुत करता है, जिससे MOGA का विकास हुआ है, जो एक रो/कॉलम-नॉर्मलाइज्ड ऑप्टिमाइज़र है जो मॉडल की चौड़ाई के बीच स्थिर हाइपरपैरामीटर ट्रांसफर को सक्षम बनाता है और प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए गति में Muon से बेहतर प्रदर्शन करता है।

मूल लेखक: Ruihan Xu, Jiajin Li, Yiping Lu

प्रकाशित 2026-03-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruihan Xu, Jiajin Li, Yiping Lu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप गगनचुंबी इमारतों के डिज़ाइनर हैं। आपके पास एक ब्लूप्रिंट है जो 10 मंजिला इमारत के लिए बिल्कुल सटीक काम करता है। लेकिन जब आप उसी ब्लूप्रिंट का उपयोग 100 मंजिला टॉवर के लिए करने की कोशिश करते हैं, तो आपकी इमारत ढह जाती है। क्यों? क्योंकि जैसे-जैसे संरचना बड़ी होती है, उस पर लगने वाले बल (forces) बदल जाते हैं।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, हम कोड के "गगनचुंबी भवनों" का निर्माण कर रहे हैं जिन्हें न्यूरल नेटवर्क (Neural Networks) कहा जाता है। जैसे-जैसे हम इन नेटवर्कों को चौड़ा करते हैं (अधिक न्यूरॉन्स जोड़ते हैं, जैसे अधिक मंजिलें जोड़ना), उनका "लर्निंग रेट" (सीखने की गति)—जिससे AI सीखता है—अक्सर टूट जाता है। एक गति जो छोटे नेटवर्क के लिए काम करती है, वह एक विशाल नेटवर्क को क्रैश कर सकती है या उसे अविश्वसनीय रूप से धीमा कर सकती है।

यह शोध पत्र, जिसका शीर्षक "On the Width Scaling of Neural Optimizers" है, इस समस्या को हल करता है और हमें नए ब्लूप्रिंट देता है जो किसी भी आकार की इमारत के लिए काम कर सकते हैं।

यहाँ उनकी खोज का विवरण दिया गया, सरल उपमाओं (analogies) का उपयोग करते हुए।

1. समस्या: "स्पीड लिमिट" आकार के साथ बदलती है

AI को प्रशिक्षित करना एक कार चलाने जैसा समझें।

छोटा नेटवर्क (शहर में ड्राइविंग): आप तेज़ चल सकते हैं (उच्च लर्निंग रेट) क्योंकि सड़कें सरल और छोटी हैं।
बड़ा नेटवर्क (हाईवे पर ड्राइविंग): जैसे-जैसे नेटवर्क चौड़ा होता है, "सड़कें" अधिक जटिल हो जाती हैं और कार भारी हो जाती है। यदि आप शहर की स्पीड लिमिट पर ही चलते रहे, तो आप दुर्घटनाग्रस्त हो सकते हैं। यदि आप बहुत धीमे हो जाते हैं, तो आप कभी वहां पहुँच ही नहीं पाएंगे।

वर्तमान में, जब इंजीनियर एक नेटवर्क को चौड़ा करते हैं, तो उन्हें रुककर एक नई स्पीड लिमिट का अनुमान लगाना पड़ता है। यह वैसा ही है जैसे अपने घर में हर नई मंजिल जोड़ने पर आपको अपनी कार के इंजन को फिर से कैलिब्रेट करना पड़े। यह महंगा और अक्षम है।

2. पुराना समाधान: "Muon" और "स्पेक्ट्रल नॉर्म" (Spectral Norm)

Muon नामक एक लोकप्रिय विधि, डेटा के "आकार" को देखकर इसे ठीक करने की कोशिश करती है। कल्पना करें कि आप कागज के एक मुड़े हुए टुकड़े को सीधा करने की कोशिश कर रहे हैं। Muon इसे पूरी तरह से समतल करने की कोशिश करता है।

अच्छी खबर: यह मध्यम आकार की इमारतों के लिए अच्छा काम करता है।
बुरी खबर: शोध में पाया गया कि जैसे-जैसे इमारत बहुत ऊंची (बहुत चौड़ी) होती जाती है, सड़क की "चिकनाई" ऊबड़-खाबड़ होने लगती है। गणित दर्शाता है कि ये उभार आकार के वर्गमूल ( $\sqrt{width}$ ) के साथ बढ़ते हैं। अंततः, सड़क इतनी ऊबड़-खाबड़ हो जाती है कि कार (AI) अब सुचारू रूप से नहीं चल पाती।

3. नया समाधान: "MOGA" (एक सार्वभौमिक ब्लूप्रिंट)

लेखक एक नया ऑप्टिमाइज़र प्रस्तावित करते हैं जिसे MOGA (Matrix Operator Geometry Aware) कहा जाता है। उन्होंने महसूस किया कि समस्या केवल कार की नहीं थी; समस्या स्वयं सड़क की ज्यामिति (geometry of the road) की थी।

उन्होंने "मीन-नॉर्मलाइज्ड ज्योमेट्री" (Mean-Normalized Geometry) नामक एक अवधारणा पेश की।

उपमा: कल्पना करें कि आप एक कमरे में लोगों की ऊंचाई माप रहे हैं।
- पुराना तरीका: आप हर किसी को इंच में मापते हैं। यदि आप 1,000 लोग और जोड़ते हैं, तो कमरे की कुल ऊंचाई विस्फोटक रूप से बढ़ती हुई प्रतीत होती है। यह गणित को अव्यवस्थित बना देता है।
- MOGA का तरीका: आप प्रति व्यक्ति औसत ऊंचाई मापते हैं। आप चाहे कितने भी लोग जोड़ लें, औसत स्थिर रहता है।

इस "औसत" तरीके से गणित को मापने के लिए स्विच करके, उन्होंने एक ऐसी ज्यामिति खोजी जहाँ "सड़क" चिकनी और समतल बनी रहती है, चाहे नेटवर्क कितना भी चौड़ा क्यों न हो जाए।

4. दो प्रकार की "सड़कें" (रो बनाम कॉलम)

पेपर इस नई सड़क पर चलने के दो विशिष्ट तरीकों का परीक्षण करता है:

कॉलम नॉर्मलाइजेशन (Column Normalization): यह इमारत के प्रत्येक कॉलम (स्तंभ) के वजन की जांच करने जैसा है। यह गणित को स्थिर रखता है, लेकिन यह निर्माण सामग्री (weights) को जैसे-जैसे इमारत बढ़ती है, बहुत पतला और नाजुक बना देता है। यह स्थिर है, लेकिन शायद बहुत अधिक प्रतिबंधात्मक है।
रो नॉर्मलाइजेशन (Row Normalization - विजेता): यह प्रत्येक रो (या मंजिल) के वजन की जांच करने जैसा है। लेखकों ने पाया कि यह विधि सड़क को चिकना रखती है और निर्माण सामग्री को भी मजबूत बनाए रखती है।
- परिणाम: MOGA का यह "रो नॉर्मलाइजेशन" संस्करण मुख्य आकर्षण है। यह AI को उसी गति से सीखने की अनुमति देता है चाहे वह छोटा नेटवर्क हो या विशाल।

5. वास्तविक दुनिया का परीक्षण: GPT और LLaMA

लेखकों ने केवल व्हाइटबोर्ड पर गणित नहीं किया; उन्होंने इसे बनाया। उन्होंने अपने नए ऑप्टिमाइज़र का परीक्षण प्रसिद्ध AI मॉडल (GPT-2 और LLaMA) पर किया।

जादू: उन्होंने एक छोटे मॉडल पर लर्निंग स्पीड को ट्यून किया। फिर, उन्होंने वही सटीक गति ली और उसे एक विशाल मॉडल पर लागू किया।
परिणाम: विशाल मॉडल बिना किसी री-ट्यूनिंग के बिल्कुल सही ढंग से सीखा।
बोनस: प्रशिक्षण के अंतिम चरणों में (जब AI बहुत स्मार्ट होने की कोशिश कर रहा होता है और लॉस बहुत कम होता है), MOGA वर्तमान उद्योग जगत के लीडर्स (AdamW और Muon) की तुलना में वास्तव में तेज़ और अधिक स्थिर था।

सारांश: यह क्यों मायने रखता है

इस पेपर को कारों के लिए एक सार्वभौमिक ट्रांसमिशन (universal transmission) का आविष्कार मानिए।

पहले: आपको साइकिल से ट्रक में स्विच करने के हर बार मैन्युअल रूप से गियर बदलना पड़ता था।
अब: MOGA के साथ, आपके पास एक ऐसा ट्रांसमिशन है जो वाहन के आकार के अनुसार स्वचालित रूप से तालमेल बिठा लेता है। आप एक छोटा AI बना सकते हैं या एक विशाल AI, और आप एक ही "लर्निंग स्पीड" सेटिंग्स का उपयोग कर सकते हैं।

यह AI शोधकर्ताओं के लिए भारी मात्रा में समय और पैसा बचाता है। एक नए, बड़े मॉडल के लिए सही सेटिंग्स का अनुमान लगाने में हफ्तों बिताने के बजाय, वे बस छोटे वाले की सेटिंग्स को कॉपी कर सकते हैं और सीधे काम शुरू कर सकते हैं। यह AI को स्केल करना सुरक्षित, तेज़ और अधिक अनुमानित बनाता है।

यहाँ शोध पत्र "On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक डीप लर्निंग "स्केलिंग लॉज़" (scaling laws) पर निर्भर करती है, जहाँ मॉडल का प्रदर्शन आकार बढ़ने के साथ अनुमानित रूप से सुधरता है। हालाँकि, हाइपरपैरामीटर ट्रांसफर (hyperparameter transfer) में एक महत्वपूर्ण अंतर मौजूद है: छोटे नेटवर्क के लिए ट्यून किए गए इष्टतम लर्निंग रेट (optimal learning rates) अक्सर बड़े नेटवर्क पर लागू करने पर विफल (डाइवर्ज या धीमे कन्वर्ज) हो जाते हैं।

मुख्य मुद्दा: मानक ऑप्टिमाइज़र (जैसे AdamW, Muon) में विड्थ-स्वतंत्र (width-independent) अनुकूलन गुण नहीं होते हैं। जैसे-जैसे नेटवर्क की चौड़ाई ( $w$ ) बढ़ती है, लॉस लैंडस्केप के लिप्सचिट्ज कांस्टेंट (Lipschitz constants) और स्मूथनेस ( $L$ -smoothness) अक्सर खराब हो जाते हैं, जिससे लर्निंग रेट को मैन्युअल रूप से फिर से ट्यून करने की आवश्यकता होती है।
लक्ष्य: ऐसे अनुकूलन विधियों को डिज़ाइन करना जहाँ इष्टतम लर्निंग रेट, बिना पुन: ट्यूनिंग के, विभिन्न नेटवर्क चौड़ाई के बीच स्थिर और हस्तांतरणीय (transferable) बना रहे।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत ढांचे का प्रस्ताव करते हैं जो न्यूरल नेटवर्क ऑप्टिमाइज़र को विशिष्ट मैट्रिक्स ऑपरेटर नॉर्म्स (matrix operator norms) के तहत 'स्टीपेस्ट डिसेंट' (steepest descent) के रूप में व्याख्यायित करता है।

A. सैद्धांतिक आधार: मैट्रिक्स ऑपरेटर नॉर्म्स (Theoretical Foundation: Matrix Operator Norms)

यह शोध पत्र $\min_{\Theta} f(\Theta)$ अनुकूलन समस्या का विश्लेषण करने के लिए डिसेंट दिशा $D_t$ को इस प्रकार परिभाषित करता है:
$D_t = \arg \min_{\|D\| \leq 1} \langle \nabla f(\Theta_t), D \rangle$
जहाँ $\|\cdot\|$ वेक्टर नॉर्म्स द्वारा प्रेरित एक मैट्रिक्स ऑपरेटर नॉर्म है।

शास्त्रीय नॉर्म्स ( $p \to q$ ): मानक नॉर्म्स (जैसे AdamW/SignSGD के लिए $1 \to \infty$ और Muon के लिए $2 \to 2$ ) का परीक्षण किया गया है।
द खामी: शास्त्रीय $p \to q$ नॉर्म्स, जिनमें $p \leq q$ है, गहरे आर्किटेक्चर में विड्थ-स्वतंत्र बाउंड प्रदान करने में विफल रहते हैं क्योंकि क्रमिक परतों (consecutive layers) के बीच का "मिसमैच" गड़बड़ी (perturbations) को बढ़ाता है। विशेष रूप से, परतों के बीच आइडेंटिटी मैप का नॉर्म $>1$ होता है, जिससे लिप्सचिट्ज और स्मूथनेस कांस्टेंट चौड़ाई के साथ बढ़ते हैं।

B. समाधान: मीन-नॉर्मलाइज्ड ऑपरेटर नॉर्म्स (The Solution: Mean-Normalized Operator Norms)

लेयर-वाइज कंपोजेबिलिटी (layer-wise composability) की समस्या को ठीक करने के लिए, लेखक मीन-नॉर्मलाइज्ड ऑपरेटर नॉर्म्स का प्रस्ताव करते हैं, जिन्हें $(p, \text{mean}) \to (q, \text{mean})$ के रूप में दर्शाया गया है।

परिभाषा: वेक्टर $x \in \mathbb{R}^n$ के लिए $(p, \text{mean})$ नॉर्म इस प्रकार परिभाषित है:
$\|x\|_{(p, \text{mean})} = \left( \frac{1}{n} \sum_{i=1}^n |x_i|^p \right)^{1/p} = n^{-1/p} \|x\|_p$
प्रमुख गुण: यह नॉर्मलाइजेशन एम्बेडिंग्स के डायमेंशनल स्केलिंग को रद्द कर देता है। यह सुनिश्चित करता है कि $\|I\|_{(q, \text{mean}) \to (p, \text{mean})} \leq 1$ की अनुकूलता स्थिति बनी रहे, जिससे स्थिरता बाउंड्स (stability bounds) बिना विड्थ-डिपेंडेंट डिस्टॉर्शन के परतों के पार स्पष्ट रूप से कंपोज़ हो सकें।

C. स्मूथनेस विश्लेषण (Smoothness Analysis)

शोध पत्र विड्थ-स्वतंत्र $L$ -स्मूथनेस (ग्रेडिएंट लिप्सचिट्ज निरंतरता) के लिए स्थितियाँ व्युत्पन्न करता है:

थ्योरम 2: $(p, \text{mean}) \to (q, \text{mean})$ ज्योमेट्री के तहत, स्मूथनेस कांस्टेंट $w^{\max(0, 2/q - 1/p)}$ के रूप में स्केल होता है।
निहितार्थ:
- Muon ( $2 \to 2$ ): यह $O(\sqrt{w})$ के रूप में स्केल होता है। इससे लैंडस्केप अधिक ऊबड़-खाबड़ हो जाता है, जो संभावित अस्थिरता की व्याख्या करता है।
- Row Normalization ( $p \to \infty$ ): यदि $q=\infty$ है, तो यह $O(1)$ स्केल होता है।
- Column Normalization ( $1 \to q$ ): यदि $q \geq 2$ है, तो यह $O(1)$ स्केल होता है।

D. MOGA ऑप्टिमाइज़र (The MOGA Optimizer)

इन ज्यामितीय अंतर्दृष्टि के आधार पर, लेखक MOGA (Matrix Operator Geometry Aware) का प्रस्ताव करते हैं।

तंत्र: यह मीन-नॉर्मलाइज्ड नॉर्म्स के तहत स्टीपेस्ट डिसेंट लागू करता है। यह एक लर्निंग रेट के विड्थ-अवेयर रीस्केलिंग को प्रेरित करता है।
स्केलिंग नियम: अपडेट दिशा मानक विधियों (जैसे Adam या SignSGD) के समान है, लेकिन इसे इनपुट/आउटपुट आयामों ( $d_{in}, d_{out}$ $d_{in}, d_{o u t}$ ) पर निर्भर कारक द्वारा स्केल किया गया है।
- Row Normalization ( $p \to \infty$ ) के लिए: $d_{in}^{-1/p}$ द्वारा स्केल करें।
- Column Normalization ( $1 \to q$ ) के लिए: $d_{out}^{1/q} / d_{in}$ द्वारा स्केल करें।
$\mu$ P से संबंध: Adam/SignSGD के विशेष मामले में, MOGA $\mu$ P (Maximal Update Parametrization) स्केलिंग नियमों को रिकवर करता है। हालाँकि, MOGA इसे $\mu$ P द्वारा उपयोग किए जाने वाले स्पेक्ट्रल कंडीशंस के बजाय ऑप्टिमाइज़ेशन ज्योमेट्री (लिप्सचिट्ज/स्मूथनेस कंट्रोल) से व्युत्पन्न करता है, जिससे यह ऑप्टिमाइज़र्स के एक व्यापक वर्ग (जैसे $p=3$ ) के लिए लागू योग्य हो जाता है।

3. प्रमुख योगदान (Key Contributions)

एकीकृत ज्यामितीय ढांचा: विविध ऑप्टिमाइज़र्स (AdamW, Muon, SignSGD, GradPower) को विशिष्ट मैट्रिक्स ऑपरेटर नॉर्म्स के तहत स्टीपेस्ट डिसेंट के रूप में व्याख्यायित करता है।
सीमाओं की पहचान: सिद्ध करता है कि शास्त्रीय ऑपरेटर नॉर्म्स ( $p \to q$ ) विड्थ-स्वतंत्र स्मूथनेस प्रदान करने में विफल रहते हैं, विशेष रूप से Muon ( $2 \to 2$ ) के लिए, जो $O(\sqrt{w})$ वृद्धि से ग्रस्त है।
मीन-नॉर्मलाइज्ड ज्योमेट्री: $(p, \text{mean}) \to (q, \text{mean})$ नॉर्म्स पेश करता है जो विड्थ-स्वतंत्र लिप्सचिट्ज और स्मूथनेस बाउंड सुनिश्चित करते हैं, जिससे स्थिर हाइपरपैरामीटर ट्रांसफर संभव होता है।
MOGA ऑप्टिमाइज़र: एक व्यावहारिक, विड्थ-अवेयर ऑप्टिमाइज़र प्रस्तावित करता है जो रो-नॉर्मलाइजेशन (row normalization) पर आधारित है, जिसमें किसी स्पेक्ट्रल धारणा की आवश्यकता नहीं है और जो $p, q$ के एक विस्तृत रेंज के लिए काम करता है।
सैद्धांतिक बनाम अनुभवजन्य सत्यापन: प्रदर्शित करता है कि रो-नॉर्मलाइज्ड MOGA विड्थ-स्वतंत्र लर्निंग रेट प्राप्त करता है और लो-लॉस (low-loss) रिजीम में Muon से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न चौड़ाई और टोकन बजट के साथ बड़े पैमाने के प्री-ट्रेनिंग कार्यों (GPT-2 और LLaMA आर्किटेक्चर) पर MOGA का सत्यापन किया।

लर्निंग रेट ट्रांसफर:
- बहुत अलग पैरामीटर काउंट वाले मॉडल्स (124M से 1.5B) ने MOGA के साथ रो-नॉर्मलाइजेशन का उपयोग करते समय लगभग समान पीक लर्निंग रेट पर इष्टतम प्रदर्शन प्राप्त किया।
- यह $p=3$ के लिए भी सत्य है, एक ऐसा रिजीम जहाँ मानक $\mu$ P स्पेक्ट्रल धारणाएं लागू नहीं होती हैं, जो ज्यामितीय दृष्टिकोण की मजबूती को सिद्ध करता है।
मानक टोकन बजट (~1x Chinchilla):
- LLaMA-130M पर MOGA (Row Norm) ने Muon के साथ प्रतिस्पर्धी प्रदर्शन किया और AdamW से काफी बेहतर रहा।
- GPT-2 Small पर, MOGA ने Muon और AdamW के बीच अभिसरण (convergence) दिखाया।
लार्ज टोकन बजट (~8x Chinchilla):
- महत्वपूर्ण निष्कर्ष: लो-लॉस रिजीम (देर से प्रशिक्षण के दौरान), रो-नॉर्मलाइज्ड MOGA ने Muon और AdamW की तुलना में स्पष्ट गति लाभ (speed advantage) प्रदर्शित किया।
- लॉस कर्व्स ने दिखाया कि MOGA अधिक तीव्रता से नीचे गिरता रहता है, जो बेहतर स्थिरता और दक्षता का सुझाव देता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

व्यावहारिक प्रभाव: MOGA विभिन्न मॉडल स्केल्स के बीच विश्वसनीय हाइपरपैरामीटर ट्रांसफर को सक्षम बनाता है। अभ्यासकर्ता एक छोटे प्रॉक्सी मॉडल को ट्यून कर सकते हैं और बिना महंगे पुन: ट्यूनिंग के उसी लर्निंग रेट को बहुत बड़े मॉडल पर लागू कर सकते हैं।
सैद्धांतिक अंतर्दृष्टि: यह शोध पत्र ऑप्टिमाइज़र डिज़ाइन के दृष्टिकोण को "स्पेक्ट्रल प्रॉपर्टीज" से बदलकर "ऑप्टिमाइज़ेशन ज्योमेट्री" की ओर ले जाता है। यह रेखांकित करता है कि रो-नॉर्मलाइजेशन (Row Normalization) एक बेहतर ट्रेड-ऑफ प्रदान करता है: यह कॉलम-नॉर्म की तरह विड्थ-स्वतंत्र स्मूथनेस प्रदान करता है, लेकिन कम प्रतिबंधात्मक बाधाएं लगाता है (जो कॉलम-नॉर्म की तुलना में रिप्रेजेंटेशनल कैपेसिटी को बेहतर तरीके से सुरक्षित रखता है)।
भविष्य की दिशा: यह कार्य सुझाव देता है कि बड़े पैमाने पर तैनाती के लिए, विशेष रूप से लो-लॉस रिजीम में, रो-नॉर्मलाइज्ड स्टीपेस्ट डिसेंट (MOGA) पर आधारित ऑप्टिमाइज़र वर्तमान अत्याधुनिक विधियों जैसे Muon की तुलना में अधिक मजबूत और कुशल हो सकते हैं।

संक्षेप में, यह शोध पत्र एक कठोर ज्यामितीय औचित्य प्रदान करता है कि क्यों कुछ नॉर्मलाइजेशन अन्य की तुलना में स्केल पर बेहतर काम करते हैं और एक व्यावहारिक ऑप्टिमाइज़र (MOGA) पेश करता है जो इन अंतर्दृष्टियों का लाभ उठाकर विभिन्न मॉडल विड्थ के बीच स्थिर, हस्तांतरणीय और कुशल प्रशिक्षण प्राप्त करता है।