🤖 machine learning

Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

यह शोध पत्र प्रदर्शित करता है कि मल्टीवेरिएट रिग्रेशन के लिए वाइड टू-लेयर ReLU नेटवर्क्स के नॉइज़ी स्टोकेस्टिक ग्रेडिएंट डिसेंट प्रशिक्षण से एक अद्वितीय, प्रभावी रूप से परिमित-चौड़ाई वाले प्रेडिक्टर की ओर एक इम्प्लिसिट बायस (अंतर्निहित पूर्वाग्रह) उत्पन्न होता है, जहाँ न्यूरॉन्स प्रशिक्षण डेटा की कॉम्बिनेटोरियल ज्योमेट्री द्वारा निर्धारित दिशाओं की एक सीमित संख्या के साथ संरेखित होते हैं, जबकि नेटवर्क ओवरपैरामीट्राइजेशन अनंत होता है।

मूल लेखक: Shuang Liang, Tom Jacobs, Guido Montúfar

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuang Liang, Tom Jacobs, Guido Montúfar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अराजक कार्यशाला (workshop) है जिसमें हजारों कर्मचारी (न्यूरॉन्स) हैं। प्रत्येक कर्मचारी का एक विशिष्ट कार्य है: वे डेटा के कुछ बिंदुओं (जैसे चित्र या संख्याएं) को देखते हैं और एक नियम के आधार पर तय करते हैं कि उन्हें "चालू" (on) होना है या "बंद" (off) होना है। आप चाहते हैं कि ये कर्मचारी एक ऐसा पैटर्न सीखें जो नए डेटा के लिए सही उत्तर की भविष्यवाणी कर सके।

आपके द्वारा प्रदान किया गया शोध पत्र इस बात की जांच करता है कि क्या होता है जब आप इस विशाल कार्यशाला को एक विशिष्ट विधि जिसे स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) कहा जाता है, थोड़े से "शोर" (यादृच्छिकता/randomness) और वेट डिके (weight decay) नामक एक नियम (जो कर्मचारियों को बहुत अधिक शक्तिशाली होने से रोकता है) के साथ प्रशिक्षित करते हैं।

यहाँ उनके निष्कर्षों का सरल विवरण दिया गया है:

1. "अनंत" कार्यशाला जो सिकुड़ जाती है

आप एक ऐसे नेटवर्क के साथ शुरुआत करते हैं जो इतना चौड़ा है कि वह व्यावहारिक रूप से अनंत है। आप उम्मीद कर सकते हैं कि अंतिम समाधान हजारों अलग-अलग नियमों का एक अव्यवस्थित, जटिल जाल होगा।

आश्चर्य: भले ही आपने हजारों कर्मचारियों के साथ शुरुआत की थी, प्रशिक्षण प्रक्रिया स्वाभाविक रूप से उन्हें संकुचित (collapse) करने के लिए मजबूर करती है।

उपमा: कल्पना कीजिए कि 1,000 लोग एक नक्शा बनाने की कोशिश कर रहे हैं। इसके बजाय कि हर कोई अपनी एक अनूठी, टेढ़ी-मेढ़ी रेखा खींचे, प्रशिक्षण प्रक्रिया एक चुंबक की तरह काम करती है। यह लगभग सभी के रेखाचित्रों को कुछ विशिष्ट, सीधी रेखाओं में खींच लेती है।
परिणाम: अंतिम "नक्शा" (वह फलन/function जिसे नेटवर्क सीखता है) एक चिकना, घुमावदार गोला नहीं बनता। यह एक पाइसवाइज एफ़ीन फंक्शन (piecewise affine function) बन जाता है। सरल शब्दों में, इसका मतलब है कि अंतिम उत्तर सीधे, सपाट खंडों से बना होता है जो तीखे कोनों (kinks) पर मिलते हैं। यह 2D में एक ज़िगज़ैग (zig-zag) की तरह या 3D में एक मुड़े हुए कागज की शीट की तरह दिखता है।

2. "कॉम्बिनेटोरियल" सीमा (The "Combinatorial" Limit)

इन सीधी रेखाओं (या "कोनों") की संख्या कितनी होगी जो नेटवर्क के पास अंत में बचती है?

पेपर यह सिद्ध करता है कि रेखाओं की संख्या इस बात से निर्धारित नहीं होती कि आपके पास कितने कर्मचारी थे (जो कि अनंत था)।
इसके बजाय, यह पूरी तरह से आपके प्रशिक्षण डेटा की ज्यामिति (geometry) द्वारा निर्धारित होती है।
उपमा: अपने प्रशिक्षण डेटा को जमीन में गाड़े गए खूंटों के एक सेट के रूप में सोचें। नेटवर्क द्वारा खींची जाने वाली रेखाओं की संख्या इस बात पर सीमित है कि आप कितनी तरह से चाकू से जमीन को काट सकते हैं ताकि खूँटे अलग-अलग समूहों में गिर सकें।
गणित: यदि आपके पास डेटा बिंदुओं को एक सीधी रेखा से अलग करने के $P$ तरीके हैं, तो नेटवर्क अधिकतम $2P - 1$ विशिष्ट दिशाएँ सीखेगा। यह डेटा के आकार पर आधारित एक सख्त सीमा है, न कि नेटवर्क के आकार पर।

3. "संरेखण" की घटना (The "Alignment" Phenomenom)

प्रशिक्षण से पहले, आपके कर्मचारी (न्यूरॉन्स) यादृच्छिक दिशाओं में इशारा कर रहे होते हैं। प्रशिक्षण के बाद, कुछ जादुई होता है:

उपमा: कल्पना कीजिए कि एक कमरा है जो यादृच्छिक दिशाओं में टॉर्च पकड़े हुए लोगों से भरा है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, टॉर्च अचानक संरेखित (align) हो जाती हैं। वे सभी केवल कुछ विशिष्ट दिशाओं की ओर इशारा करने लगती हैं।
परिणाम: "इनपुट वेट्स" (input weights) और "बायस" (biases) (वे नियम जिनका न्यूरॉन्स उपयोग करते हैं) अब अद्वितीय व्यक्तिगत पहचान खो देते हैं। वे कुछ सीमित दिशाओं के साथ संरेखित हो जाते हैं। इसे इफेक्टिव विड्थ कोलैप्स (Effective Width Collapse) कहा जाता है। नेटवर्क प्रभावी रूप से भूल जाता है कि उसके पास हजारों न्यूरॉन्स थे और ऐसा व्यवहार करता है जैसे उसके पास केवल मुट्ठी भर न्यूरॉन्स हों।

4. "कोई अतिरेक नहीं" का नियम (The "No Redundancy" Rule)

पेपर ने यह भी पाया कि ये बचे हुए कुछ दिशाएँ बहुत कुशल हैं।

उपमा: यदि आपके पास विशेषज्ञों की एक टीम है, तो आप नहीं चाहेंगे कि दो विशेषज्ञ बिल्कुल एक ही काम करें। पेपर दिखाता है कि प्रत्येक "संरेखित दिशा" (प्रत्येक जीवित विशेषज्ञ) कुछ अद्वितीय (unique) करता है।
परिणाम: प्रत्येक सीखी गई दिशा आपके प्रशिक्षण डेटा के लिए "ऑन/ऑफ" संकेतों का एक विशिष्ट पैटर्न बनाती है। कोई भी दो दिशाएँ रेडंडेंट (अतिरेक वाली) नहीं हैं; कोई भी दो दिशाएँ एक-दूसरे के केवल "संस्करण" नहीं हैं। वे सभी आवश्यक और विशिष्ट हैं।

5. "शोर" और "डिके" की भूमिका

यह क्यों होता है? पेपर सुझाव देता है कि यह प्रशिक्षण एल्गोरिदम का एक विशिष्ट दुष्प्रभाव (या "निहित पूर्वाग्रह"/implicit bias) है:

शोर (Noise): प्रशिक्षण में यादृच्छिकता (जैसे कार्यशाला को हिलाना) सिस्टम को एक स्थिर अवस्था में बैठने में मदद करती है।
वेट डिके (Weight Decay): यह बहुत अधिक "शक्तिशाली" होने के लिए एक दंड है। यह एक फिल्टर की तरह काम करता है जो अनावश्यक जटिलता को छाँट देता है।
परिणाम: साथ मिलकर, वे अनंत नेटवर्क को डेटा के अनुकूल सबसे सरल संभव "पाइसवाइज लीनियर" समाधान खोजने के लिए प्रेरित करते हैं, जो पूरी तरह से डेटा की अपनी ज्यामिति द्वारा नियंत्रित होता है।

सारांश

पेपर का दावा है कि जब आप एक विशाल न्यूरल नेटवर्क को शोर वाले SGD के साथ प्रशिक्षित करते हैं, तो अनंत संभावनाओं का ब्रह्मांड संकुचित हो जाता है। नेटवर्क केवल डेटा को "याद" (memorize) नहीं करता है; बल्कि यह खुद को एक सीमित, कुशल संरचना में व्यवस्थित करता है जो सीधी रेखाओं के खंडों से बनी होती है। इस संरचना की जटिलता पूरी तरह से आपके डेटा के आकार द्वारा निर्धारित होती है, न कि आपके कंप्यूटर के आकार से। यह ऐसा ही है जैसे कि प्रशिक्षण एल्गोरिदम एक मूर्तिकार है जो अतिरिक्त संगमरमर को तब तक तराशता रहता है जब तक कि केवल आवश्यक, ज्यामितीय रूप से आवश्यक रेखाएं ही शेष न रह जाएं।

तकनीकी सारांश: मल्टीवेरिएट ReLU नेटवर्क में SGD का निहित पूर्वाग्रह (Implicit Bias): प्रभावी चौड़ाई का पतन (Effective Width Collapse)

समस्या विवरण
ओवरपैरामीटराइज्ड न्यूरल नेटवर्क में प्रशिक्षण डेटा को इंटरपोलेट करने वाले अनंत समाधान होते हैं, फिर भी स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) लगातार ऐसे समाधान चुनता है जिनमें मजबूत सामान्यीकरण (generalization) गुण होते हैं। यह घटना अनुकूलन एल्गोरिदम के "निहित पूर्वाग्रह" (implicit bias) के कारण होती है। जबकि रैखिक मॉडल और चौड़े नेटवर्क के "लेजी" (kernel) शासन (regime) में निहित पूर्वाग्रह अच्छी तरह से समझ में आता है, नॉनलीनियर नेटवर्क के फीचर-लर्निंग शासन में यह अभी भी अपूर्ण रूप से समझा गया है। विशेष रूप से, इस बात के संबंध में कोई कठोर लक्षण वर्णन (rigorous characterization) की कमी है कि शोर युक्त (noisy) SGD, मल्टीवेरिएट रिग्रेशन सेटिंग्स में ReLU एक्टिवेशन के साथ विशिष्ट समाधानों को कैसे चुनता है, विशेष रूप से सीखे गए फीचर्स की स्पर्सिटी (sparsity) और परिणामी प्रेडिक्टर की ज्यामितीय संरचना के संबंध में।

कार्यप्रणाली (Methodology)
लेखक चौड़े दो-परत वाले ReLU नेटवर्क के प्रशिक्षण गतिकी (training dynamics) का मीन-फील्ड शासन (mean-sfield regime) का उपयोग करके विश्लेषण करते हैं। इस ढांचे में, नेटवर्क मापदंडों को न्यूरॉन्स पर एक प्रायिकता माप (probability measure) के रूप में मॉडल किया जाता है, और शोर युक्त SGD की प्रशिक्षण गतिकी को वासेरस्टीन ग्रेडिएंट फ्लो (Wasserstein gradient flow) द्वारा अनुमानित किया जाता है।

मुख्य कार्यप्रणाली संबंधी चरण शामिल हैं:

मीन-फील्ड सन्निकटन (Mean-Field Approximation): $N$ हिडन यूनिट्स वाले एक नेटवर्क के प्रशिक्षण को एक आंशिक अंतर समीकरण (PDE) द्वारा वर्णित किया जाता है जो पैरामीटर वितरण $\rho_t$ के विकास को नियंत्रित करता है। गाऊसी शोर (तापमान $\beta^{-1}$ ) और वेट डिके ( $\lambda$ ) का समावेश $t \to \infty$ होने पर एक अद्वितीय स्थिर माप (stationary measure) $\rho^*$ के अस्तित्व को सुनिश्चित करता है।
ReLU का सन्निकटन: चूंकि मानक ReLU न्यूरॉन्स अनबाउंडेड और नॉन-स्मूथ होते हैं, जो मीन-फील्ड अभिसरण (convergence) प्रमेयों के लिए आवश्यक धारणाओं का उल्लंघन करते हैं, इसलिए लेखक ReLU फंक्शन के एक बाउंडेड, स्मूथ सन्निकटन ( $\sigma_{m,\tau}$ ) का उपयोग करते हैं। वे ReLU व्यवहार को प्रभावी रूप से प्राप्त करने के लिए स्मूथिंग पैरामीटर $\tau \to \infty$ और ट्रंकेशन पैरामीटर $m \to \infty$ के रूप में सीमाओं का विश्लेषण करते हैं।
लुप्त तापमान सीमा (Vanishing Temperature Limit): अध्ययन शोर स्तर $\beta^{-1} \to 0$ (लुप्त तापमान) की सीमा पर केंद्रित है, जो वेट डिके के साथ मानक SGD के अनुरूप है। लेखक बिना यह मान लिए कि एक अद्वितीय सीमा (limit) का अस्तित्व है, संचय बिंदुओं (accumulation points) का विश्लेषण करते हुए, स्थिर माप और संबंधित समाधान फलन के संरचनात्मक गुणों की जांच करते हैं।
ज्यामितीय विश्लेषण: प्रमाण समाधान फलन के हेसियन (Hessian) और पैरामीटर स्पेस की ज्यामिति के विश्लेषण पर निर्भर करते हैं। विशेष रूप से, वे हेसियन को बांधने और यह प्रदर्शित करने के लिए कि स्थिर माप का सपोर्ट पैरामीटर स्पेस में विशिष्ट किरणों (rays) पर केंद्रित होता है, एक "क्वाड्रेटिक पॉजिटिविटी कंडीशन" का उपयोग करते हैं।

प्रमुख योगदान और परिणाम

पीसवाइज एफाइन समाधान (प्रमेय 4):
लेखक सिद्ध करते हैं कि जैसे-जैसे नेटवर्क की चौड़ाई $N \to \infty$ होती है और शोर लुप्त होता है, शोर युक्त SGD द्वारा चुना गया समाधान एक सतत पीसवाइज एफाइन फलन (continuous piecewise affine function) में परिवर्तित हो जाता है। यह फलन हाइपरप्लेन के एक परिमित सेट के पूरक के जुड़े घटकों पर एफाइन है।
- जटिलता सीमा (Complexity Bound): 'किंक हाइपरप्लेन' (kink hyperplanes) की संख्या $K$ को $K \le 2P - 1$ द्वारा बांधा गया है, जहाँ $P$ प्रशिक्षण इनपुट्स पर रियलाइज़ किए जा सकने वाले रैखिक डाइकोटोमी (linear dichotomies) की संख्या है। यह सीमा केवल प्रशिक्षण डेटा की कॉम्बिनेटरियल ज्यामिति पर निर्भर करती है, न कि नेटवर्क की चौड़ाई या एम्बिएंट डायमेंशन पर।
प्रभावी चौड़ाई का पतन (Effective Width Collapse) (प्रमेय 5):
यह शोध पत्र स्थापित करता है कि नेटवर्क के अनंत रूप से ओवरपैरामीटराइज्ड होने के बावजूद, सीखा गया प्रेडिक्टर एक प्रभावी रूप से परिमित प्रतिनिधित्व (effectively finite representation) रखता है।
- फीचर अलाइनमेंट: प्रशिक्षित नेटवर्क के इनपुट वेट्स और बायस पैरामीटर स्पेस में अधिकतम $2P - 1$ विशिष्ट दिशाओं (rays) के साथ संरेखित होते हैं।
- पतन (Collapse): फलस्वरूप, अनंत-चौड़ाई वाला नेटवर्क अधिकतम $2P - 1$ की प्रभावी चौड़ाई में सिमट (collapse) जाता है। समाधान को इस परिमित संख्या में हिडन न्यूरॉन्स के साथ एक शैलो (shallow) ReLU नेटवर्क द्वारा सटीक रूप से दर्शाया जा सकता है।
फीचर्स की गैर-अतिरेखिकता (Non-Redundancy of Features) (प्रमेय 6):
लेखक सीखे गए दिशाओं के लिए एक मजबूत गैर-अतिरेखिकता गुण स्थापित करते हैं।
- विशिष्ट पैटर्न: प्रत्येक सीखी गई दिशा प्रशिक्षण डेटा पर एक अद्वितीय टर्नरी एक्टिवेशन पैटर्न (ternary activation pattern) प्रेरित करती है (इनपुट्स को $\{-1, 0, 1\}$ में मैप करना)।
- अतुलनीयता (Incomparability): ये पैटर्न एक विशिष्ट आंशिक क्रम (partial order) के तहत अतुलनीय हैं (जहाँ एक पैटर्न $\pm 1$ लेबल को $0$ में बदलकर दूसरे का "डीजेनरेशन" बन जाता है)। विशेष रूप से, किसी भी बाइनरी साइन पैटर्न के लिए, अधिकतम दो टर्नरी पैटर्न उससे डीजेनरेट हो सकते हैं।
सिमेट्रिक डेटा के लिए विशिष्ट लक्षण वर्णन (प्रपोजिशन 7):
सिमेट्रिक टू-पॉइंट डेटासेट के लिए, लेखक किंक हाइपरप्लेन के स्थान को स्पष्ट रूप से परिभाषित करते हैं, यह दिखाते हुए कि वे इनपुट डेटा के नॉर्म और लेबल कॉन्फ़िगरेशन (इवन बनाम ऑड लेबल्स) पर निर्भर करते हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह मल्टीवेरिएट रिग्रेशन के लिए सामान्य प्रशिक्षण डेटा के साथ शोर युक्त SGD के एक प्रभावी चौड़ाई पतन (effective width collapse) का पहला व्युत्पत्ति (derivation) प्रदान करता है। पिछले कार्यों के विपरीत जो प्रतिबंधात्मक धारणाओं (जैसे, ऑर्थोगोनल या सिमेट्रिक डेटा) पर निर्भर थे या स्थिर वेरिएशनल समस्याओं (जैसे, न्यूनतम $L_1$ नॉर्म इंटरपोलेशन) का विश्लेषण करते थे, यह कार्य सीधे शोर युक्त SGD के प्रशिक्षण गतिकी (training dynamics) से इस परिमित-चौड़ाई वाली संरचना को व्युत्पन्न करता है।

परिणाम स्टैटिक ऑप्टिमाइजेशन कैरेक्टराइजेशन और डायनेमिक ट्रेनिंग प्रोसेस के बीच के अंतर को पाटते हैं, यह दिखाते हुए कि प्रशिक्षण डेटा की कॉम्बिनेटरियल ज्यामिति (विशेष रूप से रैखिक डाइकोटोमी की संख्या) सीखे गए प्रेडिक्टर की जटिलता को नियंत्रित करती है। लेखक नोट करते हैं कि उनका विश्लेषण इस बात पर निर्भर करता है कि नेटवर्क मीन-फील्ड फ्रेमवर्क का लाभ उठाने के लिए पर्याप्त चौड़ा है और स्थिर माप विश्लेषण की वैधता सुनिश्चित करने के लिए एक सकारात्मक वेट डिके पैरामीटर ( $\lambda > 0$ ) की आवश्यकता है। वे स्वीकार करते हैं कि $d > 1$ आयामों के लिए "फेल्योर सेट" (जहाँ हेसियन शून्य नहीं होता) पर गैर-एसिम्प्टोटिक (non-asymptotic) सीमाएं प्राप्त करना यूनिवेरिएट केस की तुलना में एक खुला विषय बना हुआ है।

यह कार्य शेवचेंको एट अल. (2022) के निष्कर्षों को यूनिवेरिएट से मल्टीवेरिएट सेटिंग्स तक विस्तारित करता है और केवल फंक्शन स्पेस के बजाय पैरामीटर स्पेस में स्थिर माप की संरचना को विशिष्ट रूप से परिभाषित करता है।