🤖 machine learning

Effects of width-dependent model hyperparameters and $\ell_2$ -regularization on the loss landscape of two-layer ReLU networks

यह शोधपत्र इस बात की जांच करता है कि चौड़ाई-निर्भर हाइपरपैरामीटर और $\ell_2$ -नियमितीकरण (regularization) दो-परत वाले ReLU नेटवर्क के लॉस लैंडस्केप को कैसे आकार देते हैं, शून्य-समाधान पतन (zero-solution collapse) के लिए स्थितियाँ व्युत्पन्न करता है, एक-आयामी इनपुट के लिए एक विश्लेषणात्मक समाधान प्रदान करता है, और यह प्रकट करता है कि AdamW पैरामीटर पतन को रोकता है जबकि SGD नहीं।

मूल लेखक: Haruka Eshima, Makoto Yamada

प्रकाशित 2026-07-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haruka Eshima, Makoto Yamada

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे छोटे स्विचों से बना एक मस्तिष्क देते हैं, और आप उसे हजारों तस्वीरें दिखाकर अभ्यास करने देते हैं। लेकिन यहाँ एक पेंच है: रोबोट का मस्तिष्क थोड़ा अस्त-व्यस्त है। कभी-कभी, जब आप इसे सिखाने की कोशिश करते हैं, तो यह पूरी तरह से बंद हो जाता है और सब कुछ भूल जाता है, जिससे एक ऐसा मस्तिष्क बचता है जो केवल शून्यों से भरा होता है। यह ताश के पत्तों के घर को हवा वाले दिन संतुलित करने की कोशिश करने जैसा है; यदि हवा (या प्रशिक्षण के पीछे का गणित) बहुत तेज़ है, तो पूरी संरचना ढह जाती है।

मशीन लर्निंग की दुनिया में, वैज्ञानिक "लॉस लैंडस्स्केप" (loss landscape) का अध्ययन करते हैं। इसे एक विशाल, ऊबड़-खाबड़ पर्वत श्रृंखला के रूप में सोचें जहाँ भूभाग की ऊँचाई इस बात को दर्शाती है कि रोबोट अपने काम में कितना खराब है। लक्ष्य सबसे गहरी घाटी को खोजना है, जिसका अर्थ है कि रोबोट अपना सर्वश्रेष्ठ प्रदर्शन कर रहा है। लेकिन यह परिदृश्य पेचीदा है। यह इस बात पर निर्भर करता है कि रोबोट का मस्तिष्क कितना चौड़ा है (उसमें कितने स्विच हैं) और कितना "वेट डिके" (weight decay) लागू किया गया है। वेट डिके एक कोमल हाथ की तरह है जो लगातार रोबोट के मस्तिष्क को सरलता की ओर धकेलता है, यह रोकने के लिए कि वह बहुत जटिल न हो जाए। बड़ा सवाल यह है: क्या यह कोमल धक्का रोबोट को सीखने में मदद करता है, या यह अनजाने में पूरे मस्तिष्क को एक सपाट, बेकार शून्य में धकेल देता है?

यह शोध पत्र, जिसका शीर्षक है "Effects of width-dependent model hyperparameters and ℓ2-regularization on the loss landscape of two-layer ReLU networks," इसी सटीक समस्या में गहराई तक जाता है। लेखकों, हारुका एशिमा और माकोटो यामाडा ने एक विशिष्ट प्रकार के सरल न्यूरल नेटवर्क (एक दो-परत वाला नेटवर्क जिसमें ReLU एक्टिवेशन है) को देखा कि क्या होता है जब वे नेटवर्क के आकार और वेट डिके की शक्ति को बदलते हैं। वे यह जानना चाहते थे कि किन परिस्थितियों में रोबता का मस्तिष्क शून्यता में ढह जाता है, और क्या हम इसे रोक सकते हैं?

शोधकर्ताओं ने पाया कि उत्तर इस बात पर बहुत अधिक निर्भर करता है कि आप चीजों को कैसे स्केल करते हैं। उन्होंने पाया कि एक गणितीय "टिपिंग पॉइंट" (tipping point) या निर्णायक बिंदु है। यदि आप नेटवर्क को चौड़ा करते हैं (अधिक स्विच जोड़ते हैं) लेकिन वेट डिके को उस चौड़ाई के सापेक्ष बहुत मजबूत रखते हैं, तो रोबोट का मस्तिष्क अनिवार्य रूप से ढह जाएगा। घाटी के तल तक पहुँचने का एकमात्र तरीका यह है कि हर एक स्विच बंद हो जाए, जिसका अर्थ है कि रोबोट कुछ भी नहीं सीखता है। यह एक छोटी प्याली से स्विमिंग पूल भरने की कोशिश करने जैसा है जबकि नाली चौड़ी खुली है; आप चाहे कितना भी डालें, पूल खाली ही रहता है।

हालाँकि, यह शोध पत्र एक दिलचस्प मोड़ भी प्रकट करता है जो इस बात से जुड़ा है कि रोबोट कैसे सीखता है। लेखकों ने कंप्यूटर सिमुलेशन चलाए यह देखने के लिए कि विभिन्न "ऑप्टिमाइज़र" (optimizers)—वे एल्गोरिदम जो रोबोट के सीखने के चरणों का मार्गदर्शन करते हैं—का उपयोग करने पर क्या होता है। उन्होंने पाया कि यदि आप एक मानक विधि जिसे SGD (स्टोकेस्टिक ग्रेडिएंट डिसेंट) कहा जाता है, का उपयोग करते हैं, तो रोबोट का मस्तिष्क वास्तव में शून्य में ढह जाता है जब वेट डिके बहुत मजबूत होता है, ठीक वैसे ही जैसे गणित ने भविष्यवाणी की थी। लेकिन, यदि आप एक अलग विधि जिसका नाम AdamW है, का उपयोग करते हैं, तो रोबोट जीवित रहता है! भले ही गणित कहता है कि इसे ढह जाना चाहिए, AdamW मस्तिष्क को सक्रिय और सीखने में सक्षम बनाए रखता है। यह ऐसा है जैसे AdamW के पास एक विशेष ट्रिक है, एक सुरक्षा हार्नेस की तरह, जो रोबोट को शून्य-गड्ढे में गिरने से रोकता है, भले ही परिदृश्य खतरनाक लग रहा हो।

टीम ने एक बहुत ही विशिष्ट, सरल परिदृश्य पर भी ध्यान केंद्रित किया जहाँ रोबोट एक बार में केवल एक संख्या देखता है (एक-आयामी इनपुट)। इस नियंत्रित सेटिंग में, वे सर्वोत्तम संभव समाधानों का एक सटीक मानचित्र लिखने में सक्षम थे। उन्होंने पाया कि वेट डिके जोड़ना एक मूर्तिकार की छेनी की तरह कार्य करता है। इसके बिना, सर्वोत्तम समाधान बिखरे हुए होते हैं, जो एक विशाल, जुड़े हुए और असीमित बादलों के रूप में बनते हैं। लेकिन वेट डिके के साथ, वह बादल सिकुड़ जाता है और बहुत अधिक व्यवस्थित हो जाता है। "कनेक्टिविटी" (connectivity)—यानी एक अच्छे समाधान से दूसरे अच्छे समाधान तक बिना किसी खाई में गिरे चलने की सुगमता—नेटवर्क कितना भी चौड़ा क्यों न हो जाए, समान रहती है। हालाँकि, "डायमेंशनैलिटी" (dimensionality)—यानी रोबोट के अपने मस्तिष्क को हल खोजने के लिए हिलाने-डुलाने के तरीके—नेटवर्क के चौड़ा होने के साथ काफी कम हो जाती है। यह एक विशाल, फैले हुए खेल के मैदान को एक संकीले, सुपरिभाषित ट्रैक में बदलने जैसा है।

संक्षेप में, यह शोध पत्र दिखाता है कि आपके न्यूरल नेटवर्क का आकार और आपके रेगुलाइजेशन की शक्ति एक नाजुक नृत्य है। यदि आप उन्हें सही ढंग से मेल नहीं खाते हैं, तो नेटवर्क ढह जाता है। लेकिन यदि आप सही लर्निंग एल्गोरिदम (जैसे AdamW) चुनते हैं, तो आप नृत्य को जारी रख सकते हैं, भले ही स्थितियाँ असंभव लग रही हों। परिणाम कठोर गणितीय प्रमाणों पर आधारित हैं जो ढहने (collapse) की पुष्टि करते हैं और सरल एक-आयामी मामले पर भी, और इनका समर्थन यॉट हाइड्रोडायनामिक्स और MNIST अंकों जैसे वास्तविक दुनिया के डेटा पर संख्यात्मक प्रयोगों द्वारा किया गया है। जबकि गणित यह सिद्ध करता है कि कुछ स्थितियों में ढहना होता है, AdamW के साथ नेटवर्क के जीवित रहने की बात लेखकों ने अपने सिमुलेशन में देखी थी, जो यह सुझाव देती है कि ऑप्टिमाइज़र का चुनाव एक महत्वपूर्ण, शायद छिपा हुआ कारक है कि व्यावहारिक रूप से डीप लर्निंग इतनी अच्छी तरह से क्यों काम करती है।

तकनीकी सारांश: दो-परत ReLU नेटवर्क के लॉस लैंडस्केप पर चौड़ाई-निर्भर मॉडल हाइपरपैरामीटर और $\ell_2$ -रेगुलराइजेशन के प्रभाव

समस्या विवरण
डीप न्यूरल नेटवर्क्स के सैद्धांतिक गुण, विशेष रूप से दो-परत वाले ReLU नेटवर्क्स, तब बहुत कम समझ में आते हैं जब स्पष्ट वेट डिके ( $\ell_2$ -रेगुलराइजेशन) लागू किया जाता है। जबकि हाल के कार्यों ने रेगुलराइज्ड नेटवर्क्स के लिए ग्लोबल ऑप्टिमा और उनकी ज्यामितीय संरचनाओं को स्पष्ट किया है, चौड़ाई-निर्भर हाइपरपैरामीटर स्केलिंग के व्यवस्थित प्रभावों का अध्ययन पूरी तरह से नहीं किया गया है। विशेष रूप से, यह स्पष्ट नहीं है कि नेटवर्क की चौड़ाई ( $m$ ) को आउटपुट ( $\alpha$ ), इनिशियलाइजेशन ( $\tau$ ), और रेगुलराइजेशन गुणांक ( $\beta$ ) के स्केलिंग के सापेक्ष स्केल करने से ग्लोबल मिनिमा के अस्तित्व, आयाम (dimensionality), और कनेक्टिविटी पर क्या प्रभाव पड़ता है।

कार्यप्रणाली
लेखक एक दो-परत ReLU नेटवर्क $f_\theta: \mathbb{R}^d \to \mathbb{R}$ का विश्लेषण करते हैं जिसे इस प्रकार परिभाषित किया गया है:
$f_\theta(x) = \frac{1}{\alpha} \sum_{j=1}^m (x u_j)_+ \omega_j$
जहाँ $\theta = (u_j, \omega_j)_{j=1}^m$ है। यह अध्ययन एक चौड़ाई-निर्भर हाइपरपैरामीटर सेटिंग पेश करने पर केंद्रित है जहाँ पैरामीटर नेटवर्क की चौड़ाई $m$ के साथ स्केल होते हैं:

आउटपुट स्केलिंग: $\alpha = m^a$
इनिशियलाइजेशन स्केल: $\tau_1 = m^{-b_1}, \tau_2 = m^{-b_2}$
रेगुलराइजेशन गुणांक: $\beta = m^{-\delta}$

विश्लेषण दो मुख्य दिशाओं में आगे बढ़ता है:

सामान्य आयाम ( $d$ ): उन पर्याप्त स्थितियों को व्युत्पन्न करना जिनके तहत ग्लोबल मिनिमा शून्य समाधान (zero solution) में समाहित (collapse) हो जाते हैं, जो $a$ और $\delta$ के बीच स्केलिंग घातांकों के संबंध पर आधारित है।
एक-आयामी इनपुट ( $d=1$ ): ग्लोबली इष्टतम पैरामीटर सेटों के सटीक विश्लेषणात्मक क्लोज्ड-फॉर्म समाधान प्राप्त करने के लिए इनपुट आयाम को एक तक सीमित करना। यह अनरेगुलराइज्ड ( $\beta=0$ ) और रेगुलराइज्ड ( $\beta>0$ ) दोनों मामलों के लिए समाधान सेटों की ज्यामिति (आयाम, सीमाबद्धता और कनेक्टिविटी) के सटीक लक्षण वर्णन की अनुमति देता है। प्रमाण पिलान्सी और एर्गन [31] द्वारा प्रस्तुत दो-परत ReLU नेटवर्क्स के कॉनवेक्स फॉर्मूलेशन का लाभ उठाते हैं, जो 1D सेटिंग में सुलभ हो जाता है।

मुख्य योगदान और परिणाम

ग्लोबल ऑप्टिमा का पतन (Collapse of Global Optima):
पेपर ग्लोबल मिनिमा के शून्य समाधान में पतन के लिए एक पर्याप्त स्थिति स्थापित करता है। थ्योरम 1 सिद्ध करता है कि यदि रेगुलराइजेशन गुणांक नेटवर्क आउटपुट स्केलिंग से अधिक तेजी से स्केल करता है (अर्थात, $\delta < a$ ), तो पर्याप्त बड़े $m$ के लिए, अद्वितीय ग्लोबल मिनिमम शून्य वेट वेक्टर होता है। यह अधिकांश कॉनवेक्स लॉस फंक्शन्स के लिए सत्य है जिनका उपयोग व्यवहार में किया जाता है।
ऑप्टिमाइज़र-निर्भर पतन:
संख्यात्मक प्रयोग एक महत्वपूर्ण विसंगति प्रकट करते हैं जो सैद्धांतिक ग्लोबल मिनिमा और व्यावहारिक प्रशिक्षण गतिकी (training dynamics) के बीच है। जब $\delta < a$ (पतन के अनुकूल स्थितियाँ) होता है, तो SGD सीखे गए पैरामीटर्स को शून्य की ओर धकेल देता है, जो थ्योरम 1 के अनुरूप है। हालांकि, AdamW (और Adam) इस पतन को रोकता है और गैर-शून्य पैरामीटर्स बनाए रखता है। लेखक सुझाव देते हैं कि यह AdamW के डीकप्ल्ड वेट डिके और इसके $\ell_\infty$ -प्रतिबंधित अनुकूलन की ओर निहित पूर्वाग्रह (implicit bias) से संबंधित हो सकता है, जो स्पष्ट $\ell_2$ -रेगुलराइज्ड ऑब्जेक्टिव को अनुकूलित करने से भिन्न है।
1D ग्लोबल मिनिमा का विश्लेषणात्मक लक्षण वर्णन:
$d=1$ के लिए, लेखक समाधान सेटों का सटीक विवरण व्युत्पन्न करते हैं:

अनरेगुलराइज्ड ( $\beta=0$ ): $\phi^*(m)$ $ϕ^{*} (m)$ का सेट $u_j \omega_j$ $u_{j} ω_{j}$ के योग पर प्रतिबंधों द्वारा निर्धारित होता है।
- कनेक्टिविटी: $m=1$ के लिए, सेट खाली है; $m=2$ के लिए, इसमें ठीक 2 कनेक्टेड कंपोनेंट्स हैं; $m \ge 3$ के लिए, यह कनेक्टेड है।
- आयाम: इसका आयाम $2m-2$ है, और सेट अनबाउंडेड (unbounded) है।
रेगुलराइज्ड ( $\beta>0$ ): $\Theta^*(m)$ $Θ^{*} (m)$ का सेट काफी अधिक प्रतिबंधित है।
- कनेक्टिविटी: पेपर हाइपरपैरामीटर्स पर निर्भर क्रिटिकल विड्थ्स $M$ और $\bar{M}$ की पहचान करता है जो फेज ट्रांजिशन (phase transitions) को निर्धारित करते हैं। $m < M$ के लिए, समाधान शून्य वेक्टर है। $m > M$ के लिए, सेट कनेक्टेड हो जाता है। अनरेगुलराइज्ड मामले के विपरीत, कनेक्टिविटी व्यवहार अधिक प्रतिबंधित है, जिसमें गैर-खाली सेटों के लिए केवल तीन संभावित व्यवहार (सिंगलटन, परिमित सेट, या कनेक्टेड) होते हैं।
- आयाम: समाधान सेट का आयाम घटकर $m-2$ हो जाता है।
- सीमाबद्धता (Boundedness): अनरेगुलराइज्ड मामले के विपरीत, रेगुलराइज्ड समाधान सेट बाउंडेड (bounded) है। इष्टतम पैरामीटर्स का नॉर्म $\Theta(m^{a/2})$ के रूप में स्केल होता है।

चौड़ाई-निर्भर प्रभाव:
विश्लेषण से पता चलता है कि $\ell_2$ -रेगुलराइजेशन का कनेक्टिविटी पर चौड़ाई-अपरिवर्तित (width-invariant) प्रभाव होता है (एक बार जब नेटवर्क गैर-तुच्छ होने के लिए पर्याप्त चौड़ा हो जाता है), लेकिन एक आयाम-घटाने वाला प्रभाव होता है जो चौड़ाई के साथ मजबूत होता जाता है। विशेष रूप से, पैरामीटर स्पेस ( $2m$ ) और रेगुलराइज्ड समाधान सेट के बीच आयाम का अंतर $m$ के साथ रैखिक रूप से बढ़ता है (अनरेगुलराइज्ड मामले में 2 के अंतर से लेकर रेगुलराइज्ड मामले में $m+2$ के अंतर तक)।

महत्व
यह पेपर एक कठोर सैद्धांतिक ढांचा प्रदान करता है कि कैसे हाइपरपैरामीटर स्केलिंग ओवरपैरामीटराइज्ड नेटवर्क्स में रेगुलराइजेशन के साथ परस्पर क्रिया करती है। यह रेखांकित करता है कि लॉस लैंडस्केप की ज्यामिति स्थिर नहीं है बल्कि यह रेगुलराइजेशन गुणांक और नेटवर्क की चौड़ाई के सापेक्ष स्केलिंग पर महत्वपूर्ण रूप से निर्भर करती है। निष्कर्षों से AdamW की उस क्षमता का सैद्धांतिक स्पष्टीकरण मिलता है जो उन स्थितियों में भी पैरामीटर पतन को रोकने में सफल है जहाँ SGD विफल हो जाता है, और यह स्पष्ट करता है कि रेगुलराइजेशन कैसे आयाम को कम करके और बाउंडेडनेस को लागू करके इष्टतम समाधानों की ज्यामिति को मौलिक रूप से बदल देता है—ऐसे प्रभाव जो नेटवर्क की चौड़ाई बढ़ने के साथ अधिक स्पष्ट होते जाते हैं।

इसी तरह के और पेपर