📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

मूल लेखक: Vansh Ramani, Shourya Vir Jain

प्रकाशित 2026-05-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Vansh Ramani, Shourya Vir Jain

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "On the Optimizer Dependence of Neural Scaling Laws" शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

मुख्य विचार: यह केवल आकार के बारे में नहीं है, बल्कि इस बारे में है कि आप कैसे सीखते हैं

कल्पना कीजिए कि आप जानकारी का एक विशाल भंडार (जैसे किसी पुस्तकालय की हर किताब को पढ़ना) सीखने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, हमारे पास एक नियम है जिसे स्केलिंग लॉ (Scaling Law) कहा जाता है। यह नियम कहता है: "यदि आप अपने AI मस्तिष्क को बड़ा (अधिक न्यूरॉन्स जोड़कर) बनाते हैं, तो यह अधिक स्मार्ट हो जाता है, लेकिन इसमें होने वाला सुधार एक विशिष्ट, अनुमानित वक्र (curve) का पालन करता है।"

लंबे समय से, वैज्ञानिकों का मानना था कि यह वक्र स्थिर होता है। उनका मानना था कि यदि आप AI के आकार को दोगुना करते हैं, तो आपको सुधार की एक निश्चित, अपरिवर्तनीय मात्रा मिलेगी, चाहे आप उसे सिखाने के लिए किसी भी उपकरण का उपयोग करें।

यह शोध पत्र कहता है: "वास्तव में, जिस उपकरण का उपयोग आप AI को सिखाने के लिए करते हैं, वह उस वक्र (curve) को बदल देता है।"

उस "उपकरण" को ऑप्टिमाइज़र (optimizer) कहा जाता है। ऑप्टिमाइज़र को एक शिक्षक या अध्ययन पद्धति के रूप में समझें। यह शोध पत्र तर्क देता है कि कुछ शिक्षक सीखने की प्रक्रिया को व्यवस्थित करने में इतने बेहतर होते हैं कि वे न केवल AI को तेजी से सीखने में मदद करते हैं; वे वास्तव में उस बुनियादी गणित को भी बदल देते हैं कि AI आकार बढ़ने के साथ कितना सुधार करता है।

उपमा: पुस्तकालय और लाइब्रेरियन (पुस्तकालयाध्यक्ष)

शोध पत्र के निष्कर्षों को समझने के लिए, आइए एक पुस्तकालय और एक लाइब्रेरियन की उपमा का उपयोग करें।

1. पुस्तकालय (डेटा)

कल्पना कीजिए कि AI को सीखने के लिए जिस डेटा की आवश्यकता है, वह एक पुस्तकालय है।

"तीव्र" (Steep) पुस्तकालय: अधिकांश पुस्तकें एक लोकप्रिय विषय (जैसे "ब्रेड कैसे बनाएं") के बारे में हैं, और बहुत कम पुस्तकें किसी दुर्लभ विषय (जैसे "18वीं सदी की मॉस फार्मिंग") के बारे में हैं। वास्तविक दुनिया में, यह भाषा की तरह है: कुछ शब्दों का उपयोग लगातार किया जाता है, और लाखों शब्दों का उपयोग बहुत कम होता है। इसे स्टीप स्पेक्ट्रम (steep spectrum) कहा जाता है।
"सपाट" (Flat) पुस्तकालय: प्रत्येक विषय के पास समान संख्या में पुस्तकें हैं। यह प्रकृति में दुर्लभ है लेकिन कल्पना करना आसान है।

2. छात्र (AI मॉडल)

AI एक छात्र है जो परीक्षा पास करने के लिए इन पुस्तकों को पढ़ने की कोशिश कर रहा है। छात्र के पास सीमित समय (कंप्यूटिंग पावर) और सीमित स्मृति (मॉडल का आकार) है।

3. शिक्षक (ऑप्टिमाइज़र्स)

यहीं से यह शोध पत्र दिलचस्प हो जाता है। लेखकों ने विभिन्न "शिक्षकों" (ऑप्टिमाइज़र्स) का परीक्षण किया यह देखने के लिए कि वे छात्र को सीखने में कैसे मदद करते हैं।

शिक्षक A (मानक ग्रेडिएंट डिसेंट / GD): यह शिक्षक उस छात्र की तरह है जो पुस्तकालय को क्रम से पढ़ता है। वे पहले लोकप्रिय "ब्रेड" की किताबें पढ़ते हैं क्योंकि वे आसानी से मिल जाती हैं। जब तक वे "मॉस फार्मिंग" की किताबों तक पहुँचते हैं, तब तक उनका समय समाप्त हो जाता है।
- परिणाम: वे ब्रेड में अच्छे होते हैं, लेकिन मॉस फार्मिंग में बहुत खराब। जैसे-जैसे पुस्तकालय बड़ा होता है, वे लोकप्रिय चीजों पर अटक जाते हैं और बाकी को अनदेखा कर देते हैं। उनका सुधार वक्र जल्दी ही सपाट हो जाता है।
शिक्षक B (Muon/Full NG जैसे प्रीकंडीशन्ड ऑप्टिमाइज़र्स): यह शिक्षक एक जीनियस ऑर्गनाइज़र है। वे समझते हैं कि भले ही "मॉस" की किताबें दुर्लभ हैं, फिर भी वे महत्वपूर्ण हैं। वे एक विशेष मानचित्र (जिसे प्रीक कंडीशनर कहा जाता है) का उपयोग करते हैं ताकि "मॉस" की किताबें भी "ब्रेड" की किताबों जितनी ही आसानी से पहुँच योग्य बन सकें। वे छात्र को सब कुछ समान रूप से सीखने के लिए मजबूर करते हैं।
- परिणाम: छात्र थोड़ा-थोड़ा सब कुछ सीखता है। क्योंकि वे केवल लोकप्रिय चीजों पर समय बर्बाद नहीं कर रहे हैं, इसलिए वे पुस्तकालय के बड़े होने के साथ बहुत अधिक स्मार्ट होते जाते हैं।

मुख्य खोज: "जादुई गुणक" (Magic Multiplier)

शोध पत्र ने यह मापने के लिए कि छात्र वास्तव में कितने स्मार्ट हुए, कंप्यूटर प्रयोग (एक सरल गणितीय मॉडल "रैंडम-फीचर रिग्रेशन" का उपयोग करके) चलाए।

उन्होंने पाया कि जब पुस्तकालय का स्पेक्ट्रम तीव्र (steep) होता है (जैसे वास्तविक मानव भाषा, जहाँ कुछ चीजें बहुत सामान्य हैं और कई दुर्लभ हैं):

शिक्षक A (मानक) एक दीवार से टकरा जाता है। एक निश्चित आकार के बाद छात्र का सुधार रुक जाता है।
शिक्षक B (उन्नत) ऊपर चढ़ता रहता है। छात्र आकार में प्रत्येक वृद्धि के साथ काफी अधिक स्मार्ट होता जाता है।

"जादुई" संख्या:
शोध पत्र ने $\alpha$ (अल्फा) नामक एक संख्या मापी। यह संख्या "सुधार की दर" का प्रतिनिधित्व करती है।

मानक शिक्षक के लिए, $\alpha$ कम (लगभग 0.12) था।
उन्नत शिक्षक के लिए, $\alpha$ बहुत अधिक (लगभग 0.31) था।

यह क्यों मायने रखता है?
चूंकि ये संख्याएँ घातांक (exponents) हैं, इसलिए एक छोटा सा अंतर समय के साथ एक बड़ा अंतर पैदा करता है।

यदि आप मानक शिक्षक के साथ AI का आकार दोगुना करते हैं, तो आपको एक छोटा सा बढ़ावा मिलता है।
यदि आप उन्नत शिक्षक के साथ आकार को दोगुना करते हैं, तो आपको 2.6 गुना बड़ा बढ़ावा मिलता है।
यदि आप आकार को दोगुना करना जारी रखते हैं, तो उन्नत शिक्षक बहुत आगे निकल जाता है। यह चक्रवृद्धि ब्याज (compound interest) की तरह है: लाभ हर कदम के साथ बढ़ता जाता है।

शर्त: यह पुस्तकालय पर निर्भर करता है

शोध पत्र ने एक महत्वपूर्ण शर्त भी पाई: यह लाभ केवल तभी होता है जब पुस्तकालय "तीव्र" (steep) हो।

यदि पुस्तकालय तीव्र है (जैसे वास्तविक भाषा): उन्नत शिक्षक एक गेम-चेंजर है। वे असंतुलन को ठीक करते हैं और AI को कुशलतापूर्वक सीखने देते हैं।
यदि पुस्तकालय सपाट है (सब कुछ समान है): मानक शिक्षक पहले से ही अच्छा काम कर रहा है क्योंकि सुधार की कोई असंतुलन वाली स्थिति ही नहीं है जिसे ठीक किया जा सके। उन्नत शिक्षक यहाँ कोई अतिरिक्त मदद नहीं देता है।

वास्तविक AI के बारे में क्या? (एक खुला प्रश्न)

लेखक सावधानी बरतते हुए कहते हैं कि उनके परिणाम एक सरल गणितीय मॉडल से आए हैं, न कि वास्तविक, विशाल AI से (जैसे कि गूगल या ओपनएआई द्वारा उपयोग किए जाने वाले मॉडल)।

वे वास्तविक दुनिया में एक संघर्ष को स्वीकार करते हैं:

कुछ हालिया अध्ययन कहते हैं कि उन्नत शिक्षक (जैसे Muon) छोटे स्तर पर बहुत अच्छे होते हैं, लेकिन जैसे-जैसे AI विशाल होता जाता है, उनका लाभ कम होता जाता है।
यह शोध पत्र सुझाव देता है कि उनके सरल मॉडल में, यह लाभ बढ़ता रहना चाहिए।

निष्कर्ष:
लेखक प्रस्ताव करते हैं कि वास्तविक जीवन में दिखने वाला "घटता हुआ लाभ" इसलिए हो सकता है क्योंकि वास्तविक AI स्वयं विशेषताओं (features) को सीखता है (जिससे पुस्तकालय की संरचना बदल जाती है), जबकि उनका मॉडल यह मानता है कि पुस्तकालय स्थिर रहता है।

सामान्य दर्शकों के लिए सारांश

मिथक: "बड़ा AI हमेशा एक निश्चित दर पर स्मार्ट होता है।"
वास्तविकता: AI कितनी तेजी से स्मार्ट होता है, यह इस बात पर निर्भर करता है कि उसे प्रशिक्षित करने के लिए किस गणितीय उपकरण (ऑप्टिमाइज़र) का उपयोग किया गया है।
खोज: उन्नत उपकरण एक "स्पेक्ट्रल इक्वलाइज़र" की तरह काम कर सकते हैं। वे AI को दुर्लभ लेकिन महत्वपूर्ण जानकारी को अनदेखा करने से रोकते हैं, जिससे वह बढ़ते हुए बहुत अधिक कुशलता से सीख पाता है।
शर्त: यह सुपर-पावर तब सबसे अच्छा काम करती है जब डेटा "असंतुलित" (जैसे मानव भाषा) हो। यदि डेटा पूरी तरह से संतुलित है, तो फैंसी उपकरण ज्यादा मदद नहीं करते।
भविष्य: हमें यह देखने के लिए वास्तविक, विशाल AI मॉडल पर परीक्षण करने की आवश्यकता है कि क्या "जादुई गुणक" बना रहता है या मॉडल के बहुत विशाल होने पर यह कम हो जाता है।

संक्षेप में: सही शिक्षक चुनना न केवल छात्र को तेजी से सीखने में मदद करता है, बल्कि यह उस सीमा (ceiling) को भी बदल देता है कि छात्र कितना स्मार्ट बन सकता है।

तकनीकी सारांश: न्यूरल स्केलिंग लॉज़ पर ऑप्टिमाइज़र की निर्भरता

समस्या विवरण
न्यूरल स्केलिंग लॉज़ यह प्रतिपादित करते हैं कि टेस्ट लॉस $L$ , मॉडल साइज $N$ के साथ पावर लॉ के रूप में घटता है ( $L(N) \propto N^{-\alpha}$ ), जहाँ घातांक (exponent) $\alpha$ को पारंपरिक रूप से आर्किटेक्चर और डेटा वितरण द्वारा निर्धारित एक निश्चित स्थिरांक (fixed constant) माना जाता है। यह धारणा फ्रंटियर मॉडल्स के लिए कंप्यूट आवंटन रणनीतियों का आधार बनती है। हालाँकि, सेकंड-ऑर्डर ऑप्टिमाइज़र्स (जैसे Muon, SOAP, Shampoo) के संबंध में हालिया अनुभवजन्य परिणाम विरोधाभासी साक्ष्य प्रस्तुत करते हैं: कुछ सुझाव देते हैं कि वे AdamW की तुलना में महत्वपूर्ण कंप्यूट स्पीडअप प्रदान करते हैं, जबकि अन्य संकेत देते हैं कि ये लाभ मॉडल साइज बढ़ने के साथ कम (attenuate) हो जाते हैं। यह शोध एक मौलिक प्रश्न की जांच करता है: क्या उन्नत ऑप्टिमाइज़र्स केवल स्केलिंग लॉ के कॉन्स्टेंट फैक्टर (constant factor) में सुधार करते हैं, या वे मौलिक रूप से स्केलिंग घातांक $\alpha$ को ही बदल देते हैं? यदि $\alpha$ बदलता है, तो स्केलिंग पूर्वानुमानों के लिए इसके निहितार्थ अत्यंत गहरे हैं, क्योंकि घातांक में परिवर्तन हर मॉडल-साइज दोगुना होने पर संचयी (compound) प्रभाव डालता है, जबकि कॉन्स्टेंट-फैक्टर सुधार ऐसा नहीं करते।

कार्यप्रणाली
लेखक इस प्रश्न की जांच रैंडम-फीचर रिग्रेशन फ्रेमवर्क (Maloney et al., 2022; Bordelon et al., 2024) के भीतर करते हैं। यह सैद्धांतिक सेटिंग फीचर वेट्स को स्थिर रखकर और केवल टॉप-लेयर लीनियर वेट्स को प्रशिक्षित करके डेटा स्पेक्ट्रल स्ट्रक्चर, ऑप्टिमाइज़र प्रीकंडीशनिंग और मॉडल कैपेसिटी के बीच की अंतःक्रिया को अलग करती है।

प्रायोगिक सेटअप: अध्ययन उन रिग्रेशन कार्यों का अनुकरण करता है जहाँ इनपुट को पावर-लॉ आइजनवैल्यूज़ $\lambda_i \propto i^{-(1+s)}$ वाले गॉसियन डिस्ट्रीब्यूशन से लिया गया है, जहाँ $s$ स्पेक्ट्रल एक्सपोनेंट है। नेचुरल लैंग्वेज डेटा को $s \approx 0.8\text{--}1.2$ द्वारा पहचाना जाता है।
ऑप्टिमाइज़र वेरिएंट्स: पाँच ऑप्टिमाइज़र्स को ग्रेडिएंट प्रीकंडीशनर्स के रूप में लागू किया गया है:
1. GD: बेसलाइन (Identity preconditioner)।
2. Diagonal: AdamW का प्रॉक्सी ( $P = \text{diag}(F^\top F)^{-1/2}$ )।
3. Full NG: Shampoo/K-FAC का प्रॉक्सी ( $P = (F^\top F)^{-1}$ )।
4. Sign-GD: साइन अपडेट्स का उपयोग करने वाला एक नेगेटिव कंट्रोल।
5. Matrix-Sign: Muon का प्रॉक्सी ( $P = (F^\top F)^{-1/2}$ ), जो सिंगुलर वैल्यूज़ को समान (equalize) करता है।
प्रोटोकॉल: प्रयोग छह स्पेक्ट्रल स्थितियों ( $s \in [0.25, 2.0]$ ) और आठ मॉडल साइज ( $N \in [25, 5000]$ ) के माध्यम से स्वीप करते हैं। $N \ge 200$ के लिए लॉस बनाम मॉडल साइज के लॉग-लॉग प्लॉट्स पर $\alpha$ को ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) के माध्यम से फिट किया जाता है।

प्रमुख योगदान

व्यवस्थित मापन: यह पेपर पाँच प्रीकंडीशनर वेरिएंट्स के माध्यम से ऑप्टिमाइज़र प्रकार और डेटा स्पेक्ट्रल डिके (spectral decay) के संयुक्त फलन (joint function) के रूप में $\alpha$ का पहला व्यवस्थित मापन प्रदान करता है।
मैकेनिस्टिक स्पष्टीकरण: यह एक स्पेक्ट्रल ह्यूरिस्टिक (प्रपोजिशन 1) प्रदान करता है जो यह बताता है कि प्रीकंडीशनर ऑप्टिमाइज़र्स प्रति-मोड लर्निंग रेट्स को समान करते हैं। जहाँ ग्रेडिएंट डिसेंट (GD) हाई-वेरिएंस मोड्स पर "ओवरस्पेंड" करता है और लो-वेरिएंस मोड्स पर "अंडरस्पेंड" करता है, वहीं प्रीकंडीशनर्स अंडरसर्व मोड्स को बचाते हैं, जिससे दिए गए $N$ पर प्रभावी क्षमता (effective capacity) का उपयोग बढ़ जाता है।
स्पेक्ट्रल डायग्नोस्टिक: लेखक एक डायग्नोस्टिक नियम प्रस्तावित करते हैं: प्रीकंडीशनिंग का लाभ स्पेक्ट्रल स्टीपनेस $s$ पर निर्भर करता है। फ्लैट स्पेक्ट्रा ( $s < 0.3$ ) के लिए लाभ नगण्य है, लेकिन जैसे-जैसे $s$ बढ़ता है, यह महत्वपूर्ण रूप से बढ़ता जाता है।
असत्य सिद्ध होने योग्य भविष्यवाणी (Falsifiable Prediction): पेपर भविष्यवाणी करता है कि कृत्रिम रूप से फ्लैट-स्पेक्ट्रम डेटा (जैसे व्हिटनिंग के माध्यम से) पर प्रशिक्षण लेने से Muon जैसे उन्नत ऑप्टिमाइज़र्स का लाभ कम या समाप्त हो जाना चाहिए।

परिणाम

$\alpha$ की ऑप्टिमाइज़र निर्भरता: प्रीकंडीशनर ऑप्टिमाइज़र्स लगातार GD की तुलना में अधिक तीव्र स्केलिंग (बड़ा $\alpha$ ) प्रदान करते हैं। सामान्य क्रम $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ है।
स्पेक्ट्रल निर्भरता: $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ स्पेक्ट्रल एक्सपोनेंट $s$ $s$ के साथ बढ़ता है।
- $s \approx 1.0$ (जो प्राकृतिक भाषा की विशेषता है) पर, Full Natural Gradient $\alpha \approx 0.31$ प्राप्त करता है, जबकि GD के लिए $\alpha \approx 0.12$ है, जो फिट किए गए घातांक में $2.6\times$ बड़ा अंतर दर्शाता है।
- $s \approx 0.5$ पर, कर्व्स लगभग समानांतर होते हैं, और लाभ कम हो जाता है।
- $s \approx 2.0$ पर, GD का घातांक शून्य के करीब गिर जाता है ( $\alpha \approx 0.01$ ), जबकि प्रीकंडीशनर ऑप्टिमाइज़र्स धीरे-धीरे गिरावट (degrade gracefully) दिखाते हैं ( $\alpha \approx 0.20$ )।
कंप्यूट मल्टीप्लायर्स: $\alpha$ -शिफ्ट को प्रभावी कंप्यूट मल्टीप्लायर में अनुवादित करते हुए, रैंडम-फीचर मॉडल $s \approx 1.0$ पर स्ट्रॉन्ग प्रीकंडीशनर्स के लिए पर्याप्त पैरामीटर-इक्विवेलेंट लाभ की भविष्यवाणी करता है। यह मध्यम स्केल पर AdamW की तुलना में Muon के लिए $\sim 1.4\times$ कंप्यूट स्पीडअप की हालिया अनुभवजन्य रिपोर्टों (Chen et al., 2025) के अनुरूप दिशात्मक है।

महत्व और दावे
पेपर तर्क देता है कि स्केलिंग-लॉ पूर्वानुमानों को ऑप्टिमाइज़र के चुनाव को ध्यान में रखना चाहिए। यदि प्रीकंडीशनर ऑप्टिमाइज़र्स घातांक $\alpha$ को बदलते हैं, तो AdamW के तहत कैलिब्रेट किए गए पूर्वानुमान उन मॉडल्स के लिए स्केलिंग के रिटर्न को काफी कम आंक सकते हैं जिन्हें उन्नत ऑप्टिमाइज़र्स के साथ प्रशिक्षित किया गया है।

हालाँकि, लेखक बड़े पैमाने के LLMs पर इन निष्कर्षों के स्थानांतरण के संबंध में एक मध्यम रुख बनाए रखते हैं:

सीमाएँ: रैंडम-फीचर मॉडल एक "लेजी" (lazy) रिजीम (फिक्स्ड फीचर्स) में काम करता है और इसमें डेप्थ, अटेंशन और टोकेनाइजेशन का अभाव है।
स्केल डिके: पेपर विरोधाभासी साक्ष्य (Wen et al., 2025) को स्वीकार करता है जो सुझाव देते हैं कि बहुत बड़े स्केल (जैसे 1.2B पैरामीटर्स) पर Muon/SOAP का लाभ कम हो सकता है। लेखक प्रस्तावित करते हैं कि यह क्षीणन (attenuation) परिमित- $N$ प्रभावों, फीचर लर्निंग द्वारा स्पेक्ट्रल असंतुलन को स्वाभाविक रूप से कम करने, या स्केल पर प्रभावी डेटा स्पेक्ट्रम में बदलाव के कारण हो सकता है।
निष्कर्ष: प्राथमिक योगदान यह स्थापित करना है कि स्केलिंग घातांक आर्किटेक्चर/डेटा पेयर का एक निश्चित स्थिरांक नहीं है, बल्कि यह डेटा स्पेक्ट्रम के साथ ऑप्टिमाइज़र की अंतःक्रिया पर व्यवस्थित रूप से निर्भर है। पेपर वास्तविक-मॉडल सत्यापन (real-model validation) का आह्वान करता है ताकि यह निर्धारित किया जा सके कि क्या यह घातांक शिफ्ट "रिच" (rich) फीचर लर्निंग रिजीम में बना रहता है या कम हो जाता है।