🤖 machine learning

When to use what Schatten- $p$ norm in deep learning?

यह शोध पत्र Schatten- $\infty$ विधियों जैसे कि Muon के उच्च-आयामी (high-dimensional) परिवेशों में उत्कृष्ट होने और Chinchilla स्केलिंग जैसे निम्न-आयामी (low-dimensional) परिदृश्यों में छोटे Schatten- $p$ ज्यामिति वास्तव में इष्टतम होने को प्रदर्शित करके Schatten- $p$ नॉर्म ऑप्टिमाइज़र के बारे में विरोधाभासी अवलोकनों को हल करता है, जो $p>2$ के लिए नए शोर-रोधी (noise-robust) त्वरण परिणामों द्वारा समर्थित है जो Muon की वॉर्मअप आवश्यकता की कमी और बड़े बैचों के प्रति इसकी प्राथमिकता की भी व्याख्या करते हैं।

मूल लेखक: Thomas Pethick

प्रकाशित 2026-06-16

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Pethick

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं का उपयोग करके पेपर की व्याख्या दी गई है।

बड़ा सवाल: हमें कौन सा "रूलर" (नाप का पैमाना) इस्तेमाल करना चाहिए?

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह वह AI मॉडल है जो सीखने की कोशिश कर रहा है)। ऐसा करने के लिए, आपको यह मापने के लिए एक "रूलर" की आवश्यकता होगी कि जमीन कितनी ढालू है और यह तय करने के लिए कि किस दिशा में कदम रखना है।

डीप लर्निंग की दुनिया में, अलग-अलग प्रकार के रूलर होते हैं, जिन्हें Schatten-p norms कहा जाता है।

Schatten-2 (Euclidean): यह मानक, सीधी रेखा वाला रूलर है जिसे हम आमतौर पर उपयोग करते हैं (जैसे कि Adam नामक ऑप्टिमाइज़र)।
Schatten-∞ (The "Muon" ruler): यह एक विशेष, कठोर रूलर है जिसे केवल परिदृश्य के सबसे तीव्र ढलान से मतलब है। हाल ही में, Muon (इस रूलर का उपयोग करने वाला) नामक एक विधि बहुत लोकप्रिय हुई क्योंकि कुछ परीक्षणों में यह अविश्वसनीय रूप से तेज़ काम करती दिखी।
Schatten-p (The "Goldilocks" rulers): ये बीच के रूलर हैं, जो ढलान को इस तरह मापते हैं जो न तो बहुत नरम है और न ही बहुत कठोर।

भ्रम:
लोग इस बात पर बहस कर रहे थे कि कौन सा रूलर सबसे अच्छा है।

कुछ ने कहा: "Muon (Schatten-∞) अद्भुत है! यह सबसे तेज़ है!"
अन्य ने कहा: "नहीं, Muon को ज़रूरत से ज़्यादा महत्व दिया जा रहा है। जब हम भारी मात्रा में डेटा पर प्रशिक्षण देते हैं, तो मानक विधियाँ बेहतर काम करती हैं।"

पेपर का उत्तर:
लेखक, थॉमस पेथिक (Thomas Pethick) कहते हैं: "आप दोनों सही हैं, लेकिन आप घाटी के अलग-अलग आकार को देख रहे हैं।"

सबसे अच्छा रूलर पूरी तरह से समस्या के आकार और आपके पास उपलब्ध डेटा की मात्रा पर निर्भर करता है।

दो शासन (Regimes): छोटे पूल बनाम बड़े महासागर

पेपर दुनिया को दो मुख्य परिदृश्यों में विभाजित करता है:

1. "लो-डायमेंशनल" (Low-Dimensional) शासन (छोटा पूल)

यह क्या है: यह तब होता है जब आपके पास अपेक्षाकृत छोटा मॉडल या छोटा प्रशिक्षण रन (जैसे पेपर में उल्लेखित छोटे खेलों के "स्पीडरन") हो। आपके द्वारा लिए गए कदमों की संख्या (डेटा) मॉडल की जटिलता की तुलना में बहुत अधिक होती है।
उपमा: कल्पना कीजिए कि आप एक छोटे, अच्छी रोशनी वाले बगीचे में टहल रहे हैं। आप पूरा रास्ता देख सकते हैं।
सबसे अच्छा रूलर: इस परिदृश्य में, Schatten-∞ रूलर (Muon) वास्तव में सबसे अच्छा नहीं है। आश्चर्यजनक रूप से, एक छोटा p-रूलर (जो मानक Euclidean रूलर के करीब है) अधिक तेज़ है।
क्यों? क्योंकि एक छोटे बगीचे में, आपको केवल एक सबसे तीव्र ढलान पर अत्यधिक केंद्रित होने की आवश्यकता नहीं है। आपको तेज़ी से आगे बढ़ने के लिए एक सहज, अधिक संतुलित दृष्टिकोण की आवश्यकता है। पेपर सिद्ध करता है कि यहाँ एक "नरम" रूलर का उपयोग करने से आपको गति मिलती है।

2. "हाई-डायमेंशनल" (High-Dimensional) शासन (बड़ा महासागर)

यह क्या है: यह विशाल AI मॉडल (जैसे LLMs) के लिए उपयोग किए जाने वाले बड़े प्रशिक्षण रन हैं जहाँ मॉडल अविश्वसनीय रूप से जटिल है और डेटा विशाल है।
उपमा: कल्पना कीजिए कि आप हजारों द्वीपों वाले एक विशाल, अंधेरे महासागर में यात्रा कर रहे हैं। आप पूरे मानचित्र को नहीं देख सकते।
सबसे अच्छा रूलर: यहाँ, Schatten-∞ रूलर (Muon) चमकता है। इसे इन विशाल, जटिल परिदृश्यों की विशिष्ट "खुरदरापन" को संभालने के लिए डिज़ाइन किया गया है।
सावधानी: इस बड़े महासागर में Muon को काम करने के योग्य बनाने के लिए, आपको एक बहुत बड़ा बैच साइज (batch size) चाहिए (एक बार में महासागर के एक बहुत चौड़े हिस्से को देखना)। यदि आप इस शासन में छोटे बैच साइज के साथ Muon का उपयोग करने का प्रयास करते हैं, तो यह विफल हो जाता है।

"बैच साइज" का रहस्य

पेपर के प्रमुख निष्कर्षों में से एक बैच साइज (Batch Size) के बारे में है (कितने उदाहरणों को AI एक कदम उठाने से पहले देखता है)।

नियम: पेपर एक गणितीय नियम निकालता है जो दिखाता है कि जैसे-जैसे आप अपना रूलर बदलते हैं (p=2 से p=∞ तक), आदर्श बैच साइज को भी बदलना चाहिए।
उपमा: रूलर को एक नाव के रूप में सोचें।
- एक छोटी नाव (Standard Ruler) एक छोटे चालक दल (छोटे बैच साइज) के साथ नेविगेट कर सकती है।
- एक विशाल क्रूज शिप (Muon/Schatten-∞) को स्थिर रहने और तेज़ी से चलने के लिए एक विशाल चालक दल (विशाल बैच साइज) की आवश्यकता होती है। यदि आप केवल दो लोगों के साथ क्रूज शिप चलाने की कोशिश करेंगे, तो वह बस गोल-गोल घूमता रहेगा।
अंतर्दृष्टि: यह समझाता है कि क्यों Muon "स्पीडरन" (जहाँ लोग छोटे मॉडल पर विशाल बैच का उपयोग करते हैं) के लिए बहुत अच्छा काम करता है लेकिन बड़े पैमाने के बेंचमार्क में संघर्ष करता है (जहाँ बैच साइज को विशिष्ट ज्यामिति के लिए पर्याप्त रूप से बढ़ाया नहीं गया है)।

हमें "वार्मअप" (Warmups) की आवश्यकता क्यों है?

आपने सुना होगा कि कुछ AI ट्रेनर्स को "वार्मअप" (धीरे शुरू होकर तेज़ होना) की आवश्यकता होती है।

पेपर का निष्कर्ष: Schathen-∞ रूलर (Muon) इतना मजबूत है कि इसे वार्मअप की आवश्यकता नहीं है। यह तुरंत पूरी गति से शुरू हो सकता है।
विपरीत स्थिति: यदि आप लो-डायमेंशनल शासन में छोटे p-रूलर का उपयोग करते हैं, तो आपको त्वरण (acceleration) शुरू करने के लिए एक वार्मअप चरण से लाभ होता है।

"चिनचिला" (Chinchilla) कनेक्शन

यह पेपर AI के एक प्रसिद्ध नियम से जुड़ता है जिसे चिनचिला स्केलिंग (Chinchilla scaling) कहा जाता है, जो कहता है: "जैसे-जैसे आपके पास अधिक डेटा आता है, आपको अपने मॉडल को बड़ा बनाना चाहिए।"

ट्विस्ट: पेपर तर्क देता है कि चिनचिला स्केलिंग के साथ भी, हम अक्सर अभी भी "लो-डायमेंशनल शासन" (छोटे बगीचे) में होते हैं।
परिणाम: क्योंकि हम अक्सर इस "छोटे बगीचे" वाले शासन में होते हैं, इसलिए मानक Muon (Schatten-∞) का उपयोग करना वास्तव में एक सीमित p-नॉर्म ऑप्टिमाइज़र (जैसे HTMuon या Soft-Muon) की तुलना में कम कुशल हो सकता है। यह समझाता है कि क्यों "नरम" रूलर का उपयोग करने वाली नई विधियाँ कुछ बड़े पैमाने के परीक्षणों में Muon को पछाड़ना शुरू कर रही हैं।

सारांश: अपना रूलर कैसे चुनें

पेपर एक सरल मार्गदर्शिका के साथ समाप्त होता है:

यदि आप "लो-डायमेंशनल" शासन में हैं (छोटे मॉडल, या जब मॉडल के आकार की तुलना में डेटा की मात्रा बहुत अधिक हो):
- स्वचालित रूप से चरम Schatten-∞ (Muon) का उपयोग न करें।
- एक सीमित Schatten-p नॉर्म (एक "नरम" रूलर) का उपयोग करने पर विचार करें। यह तेज़ी से गति पकड़ता है और शोर (noise) को बेहतर ढंग से संभालता है।
- नोट: आप प्रशिक्षण के दौरान अपना रूलर भी बदल सकते हैं! एक "कठोर" रूलर के साथ शुरू करें और बाद में एक "नरम" वाले पर स्विच करें।
यदि आप "हाई-डायमेंशनल" शासन में हैं (अत्यधिक जटिलता):
- Schatten-∞ (Muon) संभवतः सही विकल्प है, लेकिन, इसे काम करने के लिए आपको बहुत बड़े बैच साइज का उपयोग करना होगा।

मुख्य बात: कोई एक "सर्वश्रेष्ठ" ऑप्टिमाइज़र नहीं है। सबसे अच्छा उपकरण समस्या के आकार और आपके पास मौजूद डेटा पर निर्भर करता है। समुदाय में भ्रम इसलिए था क्योंकि लोग बिना यह समझे अलग-अलग "रेजीम" में इन उपकरणों का परीक्षण कर रहे थे कि वे किस श्रेणी में आते हैं।

तकनीकी सारांश: "डीप लर्निंग में किस Schatten- $p$ नॉर्म का उपयोग कब करें?"

समस्या विवरण

Schatten- $\infty$ आधारित ऑप्टिमाइज़र, जैसे कि Muon, विशिष्ट डीप लर्निंग सेटिंग्स में, विशेष रूप से कम प्रशिक्षण अवधि या बड़े बैच आकार वाले मामलों में, आशाजनक अनुभवजन्य प्रदर्शन प्रदर्शित करते हैं। हालाँकि, उनकी सामान्य उपयोगिता के संबंध में विरोधाभासी अवलोकन मौजूद हैं। जहाँ वे कुछ रेजीम (जैसे CIFAR-10 स्पीडरन) में उत्कृष्ट हैं, वहीं वे बड़े पैमाने पर प्रशिक्षण परिदृश्यों में मानक विधियों जैसे Adam या SGD की तुलना में लगातार बेहतर प्रदर्शन नहीं कर पाते हैं, जिनमें टोकन बजट अधिक होता है। इसके अतिरिक्त, परिमित (finite) Schatten- $p$ नॉर्म्स का उपयोग करने वाले हालिया वेरिएंट (जैसे HTMuon, Soft-Muon) प्रतिस्पर्धी या श्रेष्ठ परिणाम दिखाए हैं, जो विशेष रूप से Schatten- $\infty$ नॉर्म के उपयोग की आवश्यकता को चुनौती देते हैं।

मुख्य प्रश्न जिसका समाधान किया गया है: एक ऑप्टिमाइज़र को किस Schatten- $p$ नॉर्म का उपयोग करना चाहिए, और वह किन प्रशिक्षण रेजीम के तहत इष्टतम (optimal) होता है? मौजूदा सैद्धांतिक ढांचे, विशेष रूप से SODA (Schedule-free Optimistic Dual Averaging) फ्रेमवर्क में, स्टोकेस्टिक शोर (stochastic noise) के तहत $p > 2$ के लिए $p$ -norm ज्यामिति का विश्लेषण करने की क्षमता की कमी थी, जिससे Muon की सफलता और इसकी सीमाओं के पीछे के तंत्र को सैद्धांतिक रूप से समझाना कठिन था।

कार्यप्रणाली (Methodology)

यह शोध पत्र SODA फ्रेमवर्क (Pethick et al., 2026) का विस्तार करता है, जो मॉडर्न ऑप्टिमाइज़र घटकों जैसे कि optimistic dual averaging, Nesterov momentum, और weight decay को एकीकृत करता है। लेखक $p \ge 2$ के लिए $p$ -uniformly convex reference functions के लिए SODA के विश्लेषण को सामान्यीकृत करते हैं, जिसमें वेक्टर $\ell_p$ और मैट्रिक्स Schatten- $p$ ज्यामिति दोनों शामिल हैं।

मुख्य कार्यप्रणाली घटक निम्नलिखित हैं:

एल्गोरिदमिक टेम्पलेट: विश्लेषण एक प्रिमल-डुअल अपडेट नियम का उपयोग करता है जहाँ डुअल मैप को एक रेफरेंस फंक्शन $h(x) = \frac{1}{p}\|x - z_0\|_p^p$ $h (x) = \frac{1}{p} ∥ x - z_{0} ∥_{p}^{p}$ के फेंचेल कंजुगेट (Fenchel conjugate) के ग्रेडिएंट द्वारा परिभाषित किया जाता है।
- $p=2$ के लिए, यह यूक्लिडियन (Euclidean) ज्यामिति को पुनः प्राप्त करता है।
- $p \to \infty$ के लिए, यह Muon में उपयोग किए जाने वाले लीनियर मिनिमाइजेशन ऑरेकल (LMO) ( $UV^\top$ ) को पुनः प्राप्त करता है।
- परिमित $p > 2$ के लिए, यह HTMuon और Soft-Muon जैसी विधियों के अनुरूप है।
शोर धारणाएँ (Noise Assumptions): विश्लेषण हेवी-टेल्ड नॉइज़ (heavy-tailed noise) धारणाओं को शामिल करता है, विशेष रूप से यह मानकर कि ग्रेडिएंट $r$ -मोमेंट कंडीशन ( $r \in (1, 2]$ ) को संतुष्ट करते हैं। यह $q = p/(p-1)$ डुअल एक्सपोनेंट के आधार पर कन्वर्जेंस रेट निकालने की अनुमति देता है।
रेजीम विश्लेषण: लेखक दो अलग-अलग रेजीम के तहत ऑरेकल कॉम्प्लेक्सिटी बाउंड्स निकालते हैं:
- डिटरमिनिस्टिक (Deterministic): जहाँ शोर नगण्य है।
- स्टोकेस्टिक (Stochastic): जहाँ शोर मौजूद है, और वेरिएंस को प्रबंधित करने के लिए बैच साइज को स्केल किया जाता है।
स्केलिंग लॉज़ (Scaling Laws): इन सैद्धांतिक बाउंड्स को आधुनिक डीप लर्निंग स्केलिंग नियमों (जैसे Chinchilla) के तहत लागू किया जाता है, जो मॉडल मैट्रिसेस के प्रभावी आयाम $d$ को कुल टोकन बजट $N$ से जोड़ते हैं।

मुख्य योगदान

1. किसी भी $p$ के लिए शोर-रोबस्ट त्वरण (Noise-Robust Acceleration)

लेखक सिद्ध करते हैं कि SODA $p$ -norm ज्यामिति पर त्वरित अभिसरण (accelerated convergence) दर प्राप्त करता है और साथ ही स्टोकेस्टिक शोर के प्रति रोबस्ट रहता है। वे एक डायमेंशन-फ्री रेट स्थापित करते हैं:
$O\left( \frac{L_p R_p^2}{n^{1+2/p}} + \frac{\sigma_q R_p}{n^{1/p}} \right)$
यह परिणाम $p$ के चुनाव और शोर की तीव्रता (ड्यूल एक्सपोनेंट $q$ के माध्यम से) के बीच एक मौलिक संबंध को प्रकट करता है। इसे किसी भी $p$ -norm ज्यामिति के लिए पहला शोर-रोबस्ट त्वरण परिणाम के रूप में प्रस्तुत किया गया है।

2. बैच साइज स्केलिंग रूल्स

बाउंडेड वेरिएंस ( $r=2$ ) के तहत ऑरेकल कॉम्प्लेक्सिटी का विश्लेषण करके, पेपर एक नॉर्म-डिपेंडेंट बैच साइज स्केलिंग नियम निकालता है:
$B_p \asymp N^{2(p-1)/(3p-2)}$

$p=2$ (यूक्लिडियन) के लिए, $B_2 \asymp N^{1/2}$ ।
$p \to \infty$ (Schatten- $\infty$ ) के लिए, $B_\infty \asymp N^{2/3}$ ।
यह स्पष्ट करता है कि क्यों Schatten- $\infty$ विधियों को अपने लाभ प्राप्त करने के लिए बड़े बैच साइज की आवश्यकता होती है।

3. रेजीम-डिपेंडेंट इष्टतमता (Regime-Dependent Optimality)

यह पेपर Muon की उपयोगिता के संबंध में विवाद को सुलझाता है, यह दिखाते हुए कि $p$ का इष्टतम चयन रेजीम-डिपेंडेंट है, जो प्रभावी आयाम $d$ और ऑरेकल बजट $N$ के बीच के संबंध द्वारा निर्धारित होता है:

हाई-डायमेंशनल रेजीम ( $N \lesssim d$ ): समस्या की स्मूथनेस के साथ ज्यामिति का मिलान करना अनुकूल है। यदि ऑब्जेक्टिव Schatten- $\infty$ नॉर्म में स्मूथ है, तो $p \to \infty$ का उपयोग करना इष्टतम है।
लो-डायमेंशनल रेजीम ( $N \gtrsim d$ ): छोटे $p$ $p$ मानों को प्राथमिकता दी जाती है।
- डिटरमिनिस्टिक सेटिंग्स में, $p=2$ (यूक्लिडियन) अधिक मजबूत त्वरण प्रदान करता है।
- स्टोकेस्टिक सेटिंग्स में हेवी-टेल्ड नॉइज़ के साथ, शोर धारणाओं के साथ बेहतर संरेखण के कारण सबसे छोटा स्वीकार्य ज्यामिति $p = r/(r-1)$ इष्टतम होता है।

4. स्केलिंग लॉज़ के लिए निहितार्थ

लेखक इन सैद्धांतिक रेजीम को आधुनिक स्केलिंग नियमों (जैसे Chinchilla) से जोड़ते हैं। एक विशिष्ट स्केलिंग रेसिपी के तहत जहाँ मॉडल का आकार टोकन ( $N$ ) के साथ रैखिक रूप से बढ़ता है, वहां वेट मैट्रिसेस का प्रभावी रैंक $d \propto N^{1/3}$ के रूप में बढ़ता है। फलस्वरूप, $N \gg d$ , जो मानक बड़े पैमाने के प्रशिक्षण को सीधे लो-डायमेंशनल रेजीम में रखता है।

निष्कर्ष: इस रेजीम में, Schatten- $\infty$ की तुलना में छोटा $p$ (फाइनाइट Schatten- $p$ ) सैद्धांतिक रूप से बेहतर है। यह एक सैद्धांतिक स्पष्टीकरण प्रदान करता है कि क्यों Muon का लाभ बड़े पैमाने पर कम हो जाता है और क्यों फाइनाइट- $p$ ऑप्टिमाइज़र (HTMuon, Soft-Muon) मजबूत दावेदार के रूप में उभर रहे हैं।

परिणाम और महत्व

पेपर Schatten- $\infty$ ऑप्टिमाइज़र के अनुभवजन्य प्रदर्शन में दिखने वाले विरोधाभास को हल करने का दावा करता है। इस कार्य का महत्व निम्नलिखित में निहित है:

सैद्धांतिक एकीकरण: एक एकल ढांचा (SODA) प्रदान करना जो $p$ -norm ज्यामिति के दृष्टिकोण से Muon, Soft-Muon और यूक्लिडियन ऑप्टिमाइज़र के व्यवहार को समझाता है।
अनुभवजन्य घटनाओं की व्याख्या:
- वार्मअप (Warmup): विश्लेषण बताता है कि क्यों Schatten- $\infty$ विधियों को स्टेपसाइज़ वार्मअप की आवश्यकता नहीं होती (प्रभावी स्टेपसाइज़ $k^{-1}$ के रूप में घटता है), जबकि छोटे $p$ ज्यामिति एक वार्मअप-जैसे चरण को प्रदर्शित करती हैं।
- बैच साइज: यह Schatten- $\infty$ विधियों के लिए बड़े बैचों की आवश्यकता को मात्रात्मक रूप से निर्धारित करता है और किसी भी $p$ के लिए एक स्केलिंग नियम प्रदान करता है।
- स्केलिंग: यह इस अवलोकन के लिए एक सैद्धांतिक आधार प्रदान करता है कि क्यों Schatten- $\infty$ विधियां Chinchilla-जैसे रेसिपी के तहत अपेक्षित रूप से स्केल नहीं हो सकती हैं, जो यह सुझाव देता है कि आधुनिक LLM प्रशिक्षण की "लो-डायमेंशनल" प्रकृति फाइनाइट $p$ के पक्ष में है।
व्यावहारिक मार्गदर्शन: परिणाम एक संभावित स्विचिंग रणनीति का सुझाव देते जहाँ $p$ को प्रशिक्षण के दौरान समायोजित किया जा सकता है (बजट $N$ के $d$ से अधिक होने पर $\infty$ के करीब से शुरू करके एक फाइनाइट $p$ पर स्विच करना), जो हालिया अनुभवजन्य शेड्यूल्स जैसे Soft-Muon के अनुरूप है।

लेखक एक विनम्र लहजा बनाए रखते हैं, यह नोट करते हुए कि उनका विश्लेषण वर्स्ट-केस नॉर्म कन्वर्जन पर निर्भर करता है और अधिक सटीक, समस्या-निर्भर संबंध सीमाओं को परिष्कृत कर सकते हैं। वे डायनेमिक $p$ -स्विचिंग के व्यावहारिक अन्वेषण को भविष्य के कार्य के रूप में छोड़ देते हैं।