📊 statistics

Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise

यह शोध पत्र एक वर्स्ट-केस जटिलता सिद्धांत स्थापित करता है जो यह प्रदर्शित करता है कि भारी-पूंछ वाले शोर (heavy-tailed noise) के तहत नॉर्मलाइजेशन, स्टोकेस्टिकली प्रीकंडीशन्ड SGD के लिए अभिसरण (convergence) की गारंटी देता है, जबकि क्लिपिंग प्रीकंडीशनर और ग्रेडिएंट अनुमानों के बीच सांख्यिकीय निर्भरता के कारण अभिसरण करने में विफल हो सकता है, जिससे बड़े पैमाने पर प्रशिक्षण के लिए नॉर्मलाइजेशन के प्रति अनुभवजन्य प्राथमिकता को एक सैद्धांतिक औचित्य प्राप्त होता है।

मूल लेखक: Yuchen Fang, James Demmel, Javad Lavaei

प्रकाशित 2026-02-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuchen Fang, James Demmel, Javad Lavaei

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छिपे हुए खजाने (एक मशीन लर्निंग समस्या के इष्टतम समाधान) तक पहुँचने के लिए एक तूफानी महासागर में एक जहाज चला रहे हैं। महासागर डेटा का प्रतिनिधित्व करता है, और लहरें आपकी गणनाओं में "शोर" (noise) का प्रतिनिधित्व करती हैं।

आधुनिक AI में, ये लहरें अक्सर हेवी-टेल्ड (heavy-tailed) होती हैं। इसका मतलब है कि अधिकांश लहरें छोटी और प्रबंधनीय होती हैं, लेकिन कभी-कभी, एक विशाल, अप्रत्याशित सुनामी आती है। ये सुनामी आपके जहाज को रास्ते से भटका सकती हैं या उसे डुबो भी सकती हैं।

इससे बचने के लिए, नाविकों (AI शोधकर्ताओं) ने दो मुख्य उत्तरजीविता रणनीतियाँ विकसित की हैं: क्लिपिंग (Clipping) और नॉर्मलाइजेशन (Normalization)।

दो उत्तरजीविता रणनीतियाँ

क्लिपिंग (The "Cut-Off" Rule - "कट-ऑफ" नियम):
कल्पना कीजिए कि आपके पास एक नियम है: "यदि कोई लहर 10 फीट से बड़ी है, तो बस उसे काट दें और इसे ऐसे मान लें जैसे कि यह ठीक 10 फीट हो।"

यह कैसे काम करता है: आप विशाल लहरों के अत्यधिक आकार को अनदेखा कर देते हैं और उन्हें एक सुरक्षित सीमा पर रोक देते हैं।
समस्या: साधारण, शांत पानी (मानक AI मॉडल) में, यह बहुत अच्छा काम करता है। लेकिन हमारे इस जटिल, तूफानी परिदृश्य में जहाँ लहरों के आधार पर जहाज का स्टीयरिंग तंत्र बदल जाता है, यह नियम विफल हो सकता है। यदि स्टीयरिंग व्हील (प्रिकंडीशनर/preconditioner) और लहरें आपस में जुड़े हुए हैं, तो केवल लहर की ऊंचाई को काटने से छिपा हुआ पूर्वाग्रह (bias) ठीक नहीं होता है। जहाज अभी भी रास्ते से भटक सकता है क्योंकि काटने की दिशा तूफान से प्रभावित थी।

नॉर्मलाइजेशन (The "Compass" Rule - "कंपास" नियम):
कल्पना कीजिए कि आपके पास एक अलग नियम है: "लहर कितनी बड़ी है, इसकी परवाह न करें। बस यह देखें कि वह आपको किस दिशा में धकेल रही है, और उस दिशा में एक निश्चित, स्थिर आकार का कदम उठाएं।"

यह कैसे काम करता है: आप लहर के परिमाण (magnitude - वह कितनी विशाल है) की जानकारी को फेंक देते हैं और केवल दिशा को रखते हैं। फिर आप एक सुसंगत, सुरक्षित लंबाई का कदम उठाते हैं।
लाभ: यह आपको सुनामी के आकार से सुरक्षित बनाता है। चाहे लहर 1 फुट की हो या 1,000 फुट की, आपको केवल इससे मतलब है कि वह आपको उत्तर की ओर धकेल रही है, इसलिए आप उत्तर की ओर एक स्थिर कदम उठाते हैं।

बड़ी खोज: तूफान में नॉर्मलाइजेशन क्यों जीतता है

फेंग, डेमेल और लावाए (Fang, Demmel, and Lavaei) का पेपर इस बात की जांच करता है कि जब आप इन रणनीतियों का उपयोग स्टोकेस्टिकली प्रिकंडीशन्ड एसजीडी (Stochastically Preconditioned SGD - SPSGGD) पर करते हैं तो क्या होता है।

"प्रिकंडीशनिंग" को एक स्मार्ट, डायनेमिक स्टीयरिंग सिस्टम के रूप में सोचें। एक निश्चित पतवार (rudder) के बजाय, आपके जहाज में एक कंप्यूटर है जो पानी के वर्तमान आकार और पिछली लहरों के आधार पर पतवार को समायोजित करता है। आधुनिक AI ऑप्टिमाइज़र (जैसे Adam, RMSProp, और Shampoo) इसी तरह काम करते हैं। वे डेटा के अनुकूल होते हैं।

पेपर की मुख्य खोज:
जब आप इस स्मार्ट स्टीयरिंग को हेवी-टेल्ड तूफानों के साथ जोड़ते हैं:

क्लिपिंग विफल हो जाती है। क्योंकि स्मार्ट स्टीयरिंग सिस्टम और लहरें सांख्यिकीय रूप से जुड़े हुए हैं, इसलिए लहर की ऊंचाई को काटने से तूफान के प्रभाव का एक "भूत" (ghost) रह जाता है। जहाज भटक जाता है। सबसे खराब स्थिति में, जहाज खजाने तक कभी नहीं पहुँच पाता; वह बस गोल-गोल घूमता रहता है या दुर्घटनाग्रस्त हो जाता है।
नॉर्मलाइजेशन सफल होता है। लहर के आकार को पूरी तरह से अनदेखा करके, नॉर्मलाइजेशन तूफान की अराजकता और स्टीयरिंग सिस्टम के बीच के संबंध को तोड़ देता है। जहाज एक स्थिर पथ पर रहता है और अंततः खजाना खोज लेता है।

एक सरल उपमा: दृष्टिहीन हाइकर (The Blindfolded Hiker)

कल्पना कीजिए कि एक हाइकर धुंधले, पथरीले इलाके में घाटी के निचले हिस्से (समाधान) को खोजने की कोशिश कर रहा है।

ग्रेडिएंट (ढलान): हाइकर यह जानने के लिए अपने पैरों के नीचे की ढलान महसूस करता है कि उसे किस दिशा में जाना है।
शोर (चट्टानें): कभी-कभी, एक चट्टान उसके पैर के नीचे लुढ़क जाती है, जिससे एक गलत, बहुत बड़ा संकेत मिलता है कि वह एक खड़ी ढलान पर है, जबकि वास्तव में वह एक हल्की ढलान पर है।
प्रिकंडीशनर (जादुई जूते): हाइकर ने जादुई जूते पहने हुए हैं जो इलाके के आधार पर ढलान के संकेत को बढ़ाते हैं। यदि इलाका फिसलन भरा है, तो जूते संकेत को और मजबूत कर देते हैं।

परिदृश्य A: क्लिपिंग
हाइकर कहता है, "यदि ढलान 45 डिग्री से अधिक तीव्र महसूस होती है, तो मैं मान लूँगा कि यह केवल 45 डिग्री ही है।"

दोष: क्योंकि जूते (प्रिकंडीशनर) चट्टानों के प्रति प्रतिक्रिया करते हैं, इसलिए वह "गलत" तीव्रता बढ़ जाती है। भले ही आप उस तीव्रता को 45 डिग्री पर रोक दें, लेकिन जिस दिशा में आपको धकेला गया था, वह जूतों द्वारा चट्टान के प्रति प्रतिक्रिया के कारण विकृत हो गई थी। आप एक घेरे में चल सकते हैं।

परिदृश्य B: नॉर्मलाइजेशन
हाइकर कहता है, "मुझे इससे फर्क नहीं पड़ता कि ढलान कितनी तीव्र है। मैं बस यह जानना चाहता हूँ: क्या यह ऊपर जा रही है या नीचे? मैं उस दिशा में एक स्थिर कदम उठाऊंगा।"

जीत: जूते ढलान की तीव्रता को बढ़ा सकते हैं, लेकिन चूंकि हाइकर तीव्रता को अनदेखा करता है और केवल दिशा का पालन करता है, इसलिए विकृति मायने नहीं रखती। वे हर बार एक स्थिर, सुरक्षित कदम उठाते हैं, और अंततः नीचे तक पहुँच जाते हैं।

यह AI के लिए क्यों महत्वपूर्ण है

यह पेपर समझाता है कि व्यवहार में इंजीनियरों द्वारा बड़े AI मॉडल (जैसे Large Language Models) को प्रशिक्षित करने के लिए नॉर्मलाइजेशन (जिसका उपयोग LARS और LAMло जैसे तरीकों में किया जाता है) को क्लिपिंग के ऊपर क्यों प्राथमिकता दी जाती है।

वास्तविक दुनिया का डेटा अव्यवस्थित है: वास्तविक डेटा में वे "सुनामी" जैसे आउटलेयर्स (हेवी-टेल्ड शोर) होते हैं।
आधुनिक AI अनुकूलनशील है: यह स्मार्ट, बदलते हुए स्टीयरिंग सिस्टम (प्रिकंडीशनिंग) का उपयोग करता है।
सिद्धांत वास्तविकता से मेल खाता है: गणित यह सिद्ध करता है कि इस विशिष्ट, अव्यवस्थित, अनुकूल वातावरण में, नॉर्मलाइजेशन ही एकमात्र ऐसी रणनीति है जो गारंटी देती है कि आप रास्ता नहीं भटकेंगे। क्लिपिंग कभी-कभी काम कर सकती है, लेकिन सबसे खराब स्थिति में, यह विफल हो जाती है।

संक्षेप में: जब महासागर जंगली हो और आपका जहाज का स्टीयरिंग स्मार्ट हो, तो केवल विशाल लहरों को काटें नहीं (Clipping)। इसके बजाय, अपने कंपास पर भरोसा करें और सही दिशा में स्थिर कदम उठाएं (Normalization)। इसी तरह आप खजाने तक पहुँचते हैं।

यहाँ शोध पत्र "Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise" का विस्तृत तकनीकी साराhell (summary) दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र स्टोकेस्टिकली प्रीकंडीशन्ड स्टोकैस्टिक ग्रेडिएंट डिसेंट (SPSGD) और इसके त्वरित वेरिएंट्स (जैसे Adam, RMSProp, Shampoo, K-FAC) के अभिसरण व्यवहार (convergence behavior) को हेवी-टेल्ड नॉइज़ (heavy-tailed noise) की उपस्थिति में संबोधित करता है।

संदर्भ: आधुनिक बड़े पैमाने के मशीन लर्निंग (जैसे LLMs, इमेज क्लासिफिकेशन) में, ग्रेडिएंट नॉइज़ अक्सर शास्त्रीय 'बाउंडेड वेरिएंस' धारणा का उल्लंघन करती है। इसके बजाय, यह हेवी-टेल्स प्रदर्शित करती है, जिसका अर्थ है कि $p \in (1, 2]$ के लिए केवल एक परिमित $p$ -वामी क्षण (finite $p$ -th moment) मौजूद होता है।
द्वंद्व (The Conflict): हेवी-टेल्ड नॉइज़ के तहत प्रशिक्षण को स्थिर करने के लिए दो प्राथमिक तकनीकों का उपयोग किया जाता है: ग्रेडिएंट क्लिपिंग (Gradient Clipping) (बड़े ग्रेडिएंट्स को काटना) और ग्रेडिएंट नॉर्मलाइजेशन (Gradient Normalization) (ग्रेडिएंट्स को यूनिट नॉर्म तक पुन: स्केल करना)।
- मानक (वैनिला) SGD में, दोनों विधियों को हेवी-टेल्स के तहत इष्टतम अभिसरण दरें प्राप्त करने के लिए सिद्ध किया जा चुका है।
- हालाँकि, व्यवहार में, बड़े पैमाने के एडेप्टिव मेथड्स में क्लिपिंग की तुलना में नॉर्मलाइजेशन को प्राथमिकता दी जाती है।
अंतराल (The Gap): स्टोकेस्टिक प्रीकंडीशनिंग (जहाँ प्रीकंडीशनर $D_k$ पिछले ग्रेडिएंट्स पर निर्भर करता है) के साथ मिलकर क्लिपिंग की तुलना में नॉर्मलाइजेशन क्यों बेहतर प्रदर्शन करता है, इसे समझाने के लिए एक सैद्धांतिक समझ की कमी है। यह शोध पत्र एक 'वर्स्ट-केस कॉम्प्लेक्सिटी थ्योरी' स्थापित करके इस अंतराल को भरने का लक्ष्य रखता है।

2. कार्यप्रणाली और ढांचा (Methodology and Framework)

A. एकीकृत एल्गोरिद्मिक मॉडल (Unified Algorithmic Model)

लेखक SPSGD के लिए एक एकीकृत अपडेट नियम प्रस्तावित करते हैं:
$x_{k+1} = x_k - \eta D_k m_k$
$m_k = \theta m_{k-1} + (1-\theta)\bar{g}_k$
जहाँ:

$D_k$ एक सममित धनात्मक निश्चित (symmetric positive definite) स्टोकेस्टिक प्रीकंडीशनिंग मैट्रिक्स है (जैसे Adam में डायगोनल, या Shampoo में क्रोनेकर-फैक्टर्ड)।
$\bar{g}_k$ एक स्टोकेस्टिक ग्रेडिएंट अनुमान है।
$m_k$ मोमेंटम बफर है।

यह ढांचा AdaGrad, Adam, RMSProp, Shampoo और स्टोकेस्टिक न्यूटन मेथड्स सहित कई ऑप्टिमाइज़र को समाहित करता है।

B. धारणाएँ (Assumptions)

हेवी-टेल्ड नॉइज़: ग्रेडिएंट नॉइज़ $\bar{g}_k - \nabla f(x_k)$ का एक बाउंडेड $p$ -वामी क्षण ( $p \in (1, 2]$ ) है, अर्थात $\mathbb{E}[\|\bar{g}_k - \nabla f(x_k)\|^p] \leq \sigma^p$ ।
स्मूथनेस (Smoothness): ऑब्जेक्टिव फंक्शन $f$ , $L$ -स्मूथ है।
प्रीकंडीशनर बाउंड्स: स्टोकेस्टिक प्रीकंडीशनर $D_k$ का कंडीशन नंबर नियत रूप से बाउंडेड है ( $\kappa(D_k) \leq \kappa_D$ ), हालांकि इसके आइजनवैल्यू (eigenvalues) स्टोकेस्टिक हो सकते हैं।

C. विश्लेषणात्मक उपकरण (Analytical Tools)

मोमेंटम और प्रीकंडीशनिंग की वेक्टर-वैल्यूड प्रकृति को संभालने के लिए, लेखक एक नया वेक्टर-वैल्यूड बर्कहोल्डर-टाइप इनइक्वलिटी (Burkholder-type inequality) विकसित करते हैं। यह पिछले स्केलर परिणामों का सामान्यीकरण करता है और हेवी टेल्स ( $p \in (1, 2]$ ) की उपस्थिति में मार्टिंगेल डिफरेंस के संचय पर कड़े (tighter) बाउंड्स लगाने की अनुमति देता है।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

यह शोध पत्र SPSGD सेटिंग में नॉर्मलाइजेशन और क्लिपिंग के बीच एक तीक्ष्ण वर्स्ट-केस सेपरेशन (sharp worst-case separation) स्थापित करता है।

A. नॉर्मलाइजेशन (NSPSGD) मजबूत है

लेखक सिद्ध करते हैं कि स्टेप नॉर्मलाइजेशन हेवी-टेल्ड नॉइज़ और स्टोकेस्टिक प्रीकंडीशनिंग के तहत भी फर्स्ट-ऑर्डर स्टेशनरी पॉइंट तक अभिसरण सुनिश्चित करता है।

अभिसरण दरें (Convergence Rates):
- ज्ञात पैरामीटर: $O(T^{-\frac{p-1}{3p-2}})$
- अज्ञात पैरामीटर: $O(T^{-\frac{p-1}{2p}})$
महत्व: ये दरें वैनिला सेटिंग में नॉर्मलाइज्ड SGD (NSGD) के लिए इष्टतम दरों से मेल खाती हैं। विश्लेषण दिखाता है कि नॉर्मलाइजेशन प्रभावी रूप से अपडेट के परिमाण (magnitude) को प्रीकंडीशनर $D_k$ के स्केल से अलग कर देता है, जिससे $D_k$ का 'मैग्निट्यूड नॉइज़' अनुकूलन प्रक्षेपवक्र (optimization trajectory) को अस्थिर होने से रोकता है। प्रदर्शन में गिरावट केवल $\sqrt{\kappa_D}$ के कारक द्वारा सीमित है।

B. क्लिपिंग (ClipSPSGD) विफल हो सकता है

इसके विपरीत, यह शोध पत्र सिद्ध करता है कि जब SPSGD पर लागू किया जाता है, तो स्टेप क्लिपिंग वर्स्ट-केस में अभिसरण करने में विफल हो सकता है।

विफलता का तंत्र (Mechanism of Failure): विफलता स्टोकेस्टिक प्रीकंडीशनर $D_k$ $D_{k}$ और ग्रेडिएंट अनुमान $\bar{g}_k$ $\overset{g}{ˉ}_{k}$ के बीच सांख्यिकीय निर्भरता (statistical dependence) से उत्पन्न होती है।
- वैनिला SGD ( $D_k = I$ ) में, क्लिपिंग एरर टर्म लुप्त हो जाता है क्योंकि नॉइज़ स्टेप दिशा से स्वतंत्र होती है।
- SPSGD में, $D_k$ पिछले ग्रेडिएंट्स से निर्मित होता है, जो वर्तमान ग्रेडिएंट नॉइज़ के साथ एक सहसंबंध (correlation) बनाता है।
एरर टर्म: विश्लेषण एक निरंतर बायस (bias) टर्म प्रकट करता है: $-(\eta - L\eta^2 M_D) \nabla f(x_k)^T \mathbb{E}[D_k \epsilon_k^u]$ $- (η - L η^{2} M_{D}) \nabla f (x_{k})^{T} E [D_{k} ϵ_{k}^{u}]$ , जहाँ $\epsilon_k^u$ $ϵ_{k}^{u}$ अनबायस्ड नॉइज़ घटक है।
- यह टर्म प्रीकंडीशनर और क्प्ड नॉइज़ के बीच कोवेरिएंस (covariance) का प्रतिनिधित्व करता है।
- वैनिला SGD में जहाँ यह टर्म $O(\eta^2)$ होता है, SPSGD में यह $O(\eta)$ बना रहता है।
- जैसे-जैसे इटरेशन काउंट $T \to \infty$ होता है, क्लिपिंग थ्रेशोल्ड $\tau$ को बढ़ना चाहिए। यह वृद्धि एरर टर्म को हावी कर देती है, जिससे विचलन (divergence) या इष्टतम अभिसरण दर प्राप्त करने में विफलता हो सकती है।

C. ज्यामितीय व्याख्या (Geometric Interpretation)

नॉर्मलाइजेशन: अपडेट को सख्ती से एक गोले (sphere) पर प्रोजेक्ट करता है। यह प्रक्षेपवक्र को एक स्थिर मैनिफोल्ड (stable manifold) तक सीमित करता है, प्रभावी रूप से परिमाण की जानकारी को हटा देता है और स्टेप साइज तथा प्रीकंडीशनर के स्केल के बीच की निर्भरता को तोड़ देता है।
क्लिपिंग: अपडेट को $\tau$ त्रिज्या वाले बॉल के भीतर कहीं भी रहने की अनुमति देता है। क्योंकि अभिसरण सुनिश्चित करने के लिए थ्रेशोल्ड $\tau$ को समय के साथ बढ़ना पड़ता है, इसलिए बॉल का 'आंतरिक भाग' फैलता जाता है। $D_k$ और $\bar{g}_k$ के बीच सांख्यिकीय निर्भरता इस फैलते हुए क्षेत्र के भीतर एक बायस पेश करती है जिसे क्लिपिंग समाप्त नहीं कर पाता।

4. महत्व और निहितार्थ (Significance and Implications)

व्यावहारिक अभ्यास के लिए सैद्धांतिक औचित्य: यह शोध पत्र पहली बार कठोर सैद्धांतिक स्पष्टीकरण प्रदान करता है कि क्यों विशेषज्ञ बड़े पैमाने के मॉडल्स के लिए क्लिपिंग के बजाय नॉर्मलाइजेशन (जैसे LARS, LAMB, और Adam के वेरिएंट्स में) को प्राथमिकता देते हैं। यह बताता है कि जबकि क्लिपिंग वैनिला SGD के लिए काम करता है, यह हेवी-टेल्स के तहत एडेप्टिव प्रीकंडीशनिंग के साथ जुड़ने पर मौलिक रूप से नाजुक है।
एकीकृत कॉम्प्लेक्सिटी थ्योरी: यह न्यूनतम संरचनात्मक धारणाओं के तहत न्यूनतम संरचनात्मक धारणाओं के तहत हेवी-टेल्ड नॉइज़ के अंतर्गत SPSGD के लिए पहले वर्स्ट-केस कॉम्प्लेक्सिटी बाउंड्स स्थापित करता है, जिसमें Adam, Shampoo आदि जैसे व्यापक वर्ग के ऑप्टिमाइज़र शामिल हैं।
एक नया गणितीय उपकरण: व्युत्पन्न वेक्टर-वैल्यूड बर्कहोल्डर-टाइप इनइक्वलिटी संभाव्यता सिद्धांत (probability theory) में एक महत्वपूर्ण योगदान है, जो हेवी-टेल्ड नॉइज़ वाले स्टोकेस्टिक ऑप्टिमाइज़ेशन एल्गोरिदम के विश्लेषण के लिए अधिक सटीक (sharper) स्थिरांक (constants) प्रदान करती है।
डिज़ाइन गाइडलाइन्स: परिणाम सुझाव देते हैं कि हेवी-टेल्ड नॉइज़ के तहत बड़े पैमाने के, एडेप्टिव ऑप्टिमाइज़ेशन के लिए, एल्गोरिदम को मजबूत अभिसरण गारंटी सुनिश्चित करने के लिए क्लिपिंग के बजाय नॉर्मलाइजेशन तंत्र को प्राथमिकता देनी चाहिए।

निष्कर्ष

यह शोध पत्र प्रदर्शित करता है कि अभ्यास में नॉर्मलाइजेशन के पसंदीदा होने का "विरोधाभास" केवल ट्यूनिंग का मुद्दा नहीं है, बल्कि एक मौलिक सैद्धांतिक गुण है। स्टोकेस्टिक प्रीकंडीशनिंग और हेवी-टेल्ड नॉइज़ के तहत, क्लिपिंग प्रीकंडीशनर और ग्रेडिएंट के बीच निर्भरता के कारण एक अपरिहार्य बायस (irreducible bias) पेश करता है, जबकि नॉर्मलाइजेशन स्वाभाविक रूप से इस निर्भरता को निष्प्रभावी कर देता है, जिससे इष्टतम अभिसरण दर सुनिश्चित होती है।