🤖 AI

Flat Channels to Infinity in Neural Loss Landscapes

यह शोध पत्र न्यूरल नेटवर्क लॉस लैंडस्केप्स में "चैनल्स टू इन्फिनिटी" (अनंत की ओर जाने वाले मार्ग) की पहचान और लक्षण वर्णन करता है जहाँ अनुकूलन एल्गोरिदम उन अर्ध-सपाट क्षेत्रों में अभिसरित होते हैं जहाँ भार (weights) विचलन करते हैं और स्पर्शोन्मुख रूप से गेटेड लीनियर यूनिट्स को लागू करते हैं, जो पूरी तरह से जुड़े हुए परतों (fully connected layers) की एक आश्चर्यजनक कम्प्यूटेशनल क्षमता को प्रकट करता है।

मूल लेखक: Flavio Martinelli, Alexander Van Meegen, Berfin Şimşek, Wulfram Gerstner, Johanni Brea

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Flavio Martinelli, Alexander Van Meegen, Berfin Şimşek, Wulfram Gerstner, Johanni Brea

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ी क्षेत्र में हाइकिंग कर रहे हैं। यह परिदृश्य एक न्यूरल नेटवर्क के "लॉस लैंडस्केप" (loss landscape) का प्रतिनिधित्व करता है—एक ऐसा मानचित्र जहाँ हर बिंदु कंप्यूटर के मस्तिष्क की एक अलग सेटिंग है, और इलाके की ऊँचाई इस बात को दर्शाती है कि कंप्यूटर कितनी गलतियाँ कर रहा है। आमतौर पर, हाइकर (ऑप्टिमाइज़ेशन एल्गोरिदम) सबसे गहरे गड्ढे (सबसे कम त्रुटि) को खोजने की कोशिश करते हैं ताकि वे रुक सकें।

इस शोध पत्र ने इस पहाड़ी क्षेत्र में एक अजीब, छिपी हुई विशेषता की खोज की है: अनंत, सपाट सुरंगें जो दुनिया के किनारे तक जाती हैं।

यहाँ लेखक द्वारा की गई खोजों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

1. "घोस्ट" सैडल लाइन्स (The "Ghost" Saddle Lines)

सबसे पहले, लेखकों ने एक ज्ञात घटना को देखा। यदि आप एक काम करने वाले न्यूरल नेटवर्क को लेते हैं और उसके एक न्यूरॉन की प्रतिलिपि बनाते हैं (जैसे किसी कारखाने में एक कर्मचारी का क्लोन बनाना), तो आप एक "सैडल लाइन" बना देते हैं।

उपमा: एक पहाड़ी कगार (ridge) की कल्पना करें। यदि आप इस कगार पर खड़े हैं, तो आप एक विशिष्ट ऊँचाई पर हैं। यदि आप कगार के साथ चलते हैं, तो ऊँचाई नहीं बदलती। गणितीय शब्दों में, यह "क्रिटिकल पॉइंट्स" की एक रेखा है जहाँ कंप्यूटर न तो बेहतर हो रहा है और न ही खराब।
ट्विस्ट: लेखकों ने पाया कि इन कगारों के बगल में, ये अजीब, सपाट सुरंगें मौजूद हैं।

2. "इनफिनिटी की ओर चैनल" (The "Channels to Infinity")

ये इस शोध पत्र की मुख्य खोज हैं। ये परिदृश्य में ऐसे रास्ते हैं जो सपाट घाटियों की तरह दिखते हैं लेकिन वास्तव में अनंत काल तक फैले रहते हैं।

अंदर क्या होता है: जैसे-जैसे कंप्यूटर इस सुरंग में यात्रा करता है, दो चीजें एक साथ होती हैं:
1. "इनपुट" वेट्स (सेंसर): दो न्यूरॉन्स बिल्कुल एक जैसे दिखने लगते हैं। उनकी सेटिंग्स समान हो जाती हैं।
2. "आउटपुट" वेट्स (वॉल्यूम नॉब्स): इन दो न्यूरॉन्स के लिए वॉल्यूम नॉब्स को अनंत (infinity) तक घुमाया जाता है। एक धनात्मक अनंत (positive infinity) की ओर जाता है, दूसरा ऋणात्मक अनंत (negative infinity) की ओर।
विरोधाभास: भले ही नॉब्स पागलों की तरह अनंत तक घूम रहे हों, कंप्यूटर का वास्तविक आउटपुट स्थिर रहता है और त्रुटि (पहाड़ की ऊँचाई) अविश्वसनीय रूप से कम रहती है। यह एक कार चलाने जैसा है जहाँ इंजन 10,000 RPM पर घूम रहा है, लेकिन कार अभी भी एक स्थिर, सुचारू गति से चल रही है।

3. हाइकर क्यों फंस जाते हैं (Why the Hikers Get Stuck)

लेखकों ने मानक हाइकिंग टूल्स (SGD और ADAM जैसे ऑप्टिमाइज़ेशन एल्गोरिदम) का उपयोग करके सिमुलेशन चलाए।

जाल: ये उपकरण घाटियों के निचले हिस्से को खोजने में माहिर हैं, लेकिन उन्हें यह समझने में बहुत कठिनाई होती है कि वे एक ऐसे पथ पर हैं जो अनंत तक जाता है।
भ्रम: क्योंकि यह पथ बहुत सपाट है, हाइकर सोचते हैं कि वे एक स्थानीय घाटी (लोकल मिनिमम) के निचले हिस्से में पहुँच गए हैं। वे रुक जाते हैं, यह सोचकर कि वे काम पूरा कर चुके हैं।
वास्तविकता: वे वास्तव में एक बहुत ही सपाट, बहुत लंबी सुरंग में खड़े हैं जो अनंत की ओर जाती है। यदि आप आगे बढ़ पाते, तो त्रुटि (error) हमेशा की तरह, बहुत मामूली रूप से, घटती रहती।

4. जादू का खेल: "गेटेड लीनियर यूनिट" (The Magic Trick: The "Gated Linear Unit")

तो, कंप्यूटर वास्तव में इस अनंत सुरंग के अंत में क्या कर रहा है? यह टूटा नहीं है; यह एक चतुर गणितीय जादू कर रहा है।

उपमा: कल्पना कीजिए कि आपके पास दो जुड़वां भाई (न्यूरॉन्स) हैं जो एक-दूसरे के बगल में खड़े हैं। एक बहुत ज़ोर से चिल्ला रहा है, और दूसरा ठीक इसके विपरीत बहुत ज़ोर से फुसफुसा रहा है।
परिणाम: जब आप उनकी आवाजों को मिलाते हैं, तो तेज़ आवाजें एक-दूसरे को रद्द कर देती हैं, लेकिन क्योंकि वे स्थिति में थोड़े अलग हैं, एक नया, बहुत विशिष्ट स्वर उभरता है।
गणित: लेखक दिखाते हैं कि जैसे-जैसे जुड़वां करीब आते हैं और उनकी आवाज़ें तेज़ होती हैं, उनका संयोजन एक "गेटेड लीनियर यूनिट" बनाता है।
- इसे एक स्मार्ट स्विच के रूप में समझें। यह एक मानक सिग्नल लेता है और उसे एक "गेट" (फ़िल्टर) से गुणा करता है।
- यह नेटवर्क को एक नया प्रकार का कैलकुलेशन करने की अनुमति देता जो वह पहले आसानी से नहीं कर सकता था: यह एक फंक्शन के "रेट ऑफ चेंज" (डेरिवेटिव) की गणना कर सकता है। यह ऐसा है जैसे नेटवर्क अचानक यह सीख गया है कि चीज़ें कितनी तेज़ी से बदल रही हैं, न कि केवल यह कि वे क्या हैं।

5. यह क्यों मायने रखता है (लेखक के अनुसार)

यह शोध पत्र सुझाव देता है कि ये "अनंत सुरंगें" वास्तव में एक अच्छी चीज़ हैं, कोई बग (त्रुटि) नहीं।

सौम्य प्रकृति (Benign Nature): भले ही गणित डरावना लगे (अनंत संख्याएँ!), परिदृश्य "बेनाइन" (सुरक्षित) है। कंप्यूटर क्रैश नहीं होता; यह बस समस्या को हल करने का एक बहुत ही कुशल तरीका खोज लेता है।
सपाटपन (Flatness): ये सुरंगें अविश्वसनीय रूप से सपाट हैं। न्यूरल नेटवर्क की दुनिया में, सपाट क्षेत्र अक्सर बेहतर सामान्यीकरण (नए, अनदेखे डेटा को संभालने की क्षमता) से जुड़े होते हैं।
"स्थिरता का किनारा" (The "Edge of Stability"): शोध पत्र नोट करता है कि मानक कंप्यूटर (मानक स्टेप साइज के साथ) इन सुरंगों के "किनारे" पर फंस जाते हैं। वे अनंत तक नहीं जा सकते क्योंकि सुरंग के बढ़ते तीव्र मोड़ों के लिए उनका "स्टेप साइज" बहुत बड़ा होता है, लेकिन वे उस "गेटेड लीनियर यूनिट" क्षमता को अनलॉक करने के लिए पर्याप्त करीब पहुँच जाते हैं।

सारांश

यह शोध पत्र प्रकट करता है कि न्यूरल नेटवर्क के पास ज्ञात पहाड़ी कगारों के समानांतर चलने वाले गुप्त, अनंत राजमार्ग हैं। जब एक कंप्यूटर इन राजमार्गों पर चलता है, तो वह क्रैश नहीं होता; इसके बजाय, वह दो न्यूरॉन्स को एक शक्तिशाली, विशिष्ट उपकरण (एक गेटेड लीनियर यूनिट) में बदल देता है जो जटिल समस्याओं को हल करने में मदद करता है। मानक प्रशिक्षण विधियाँ अक्सर इन अनंत राजमार्गों को मृत अंत वाली घाटियों के रूप में समझ लेती हैं, लेकिन गंतव्य वास्तव में नई कम्प्यूटेशनल शक्ति का स्थान है।

तकनीकी सारांश: न्यूरल लॉस लैंडस्केप्स में अनंत तक जाने वाले फ्लैट चैनल (Flat Channels to Infinity in Neural Loss Landscapes)

समस्या विवरण (Problem Statement)
न्यूरल नेटवर्क के लॉस लैंडस्केप्स स्वाभाविक रूप से नॉन-कॉन्वेक्स (non-convex) होते हैं, फिर भी ग्रेडिएंट-आधारित अनुकूलन विधियाँ (optimization methods) अच्छे समाधान खोजने में निरंतर सफल रहती हैं। हालांकि न्यूरॉन डुप्लीकेशन (सिमेट्री-प्रेरित क्रिटिकल पॉइंट्स की रेखाएं) द्वारा उत्पन्न सैडल पॉइंट्स (saddle points) की सौम्य प्रकृति को सैद्धांतिक रूप से समझा जा चुका है, लेकिन इन संरचनाओं के निकट अनुकूलन गतिकी (optimization dynamics) का व्यवहार अभी भी आंशिक रूप से अनसुना है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या ग्रेडिएंट फ्लो परिमित स्थानीय मिनिमा (finite local minima) की ओर अभिसरित होता है या क्या पैरामीटर स्पेस में ऐसे अनबाउंड क्षेत्र (unbounded regions) मौजूद हैं जो अनुकूलन प्रक्षेपवक्र (trajectories) को आकर्षित करते हैं। यह शोध "चैनलों से अनंत तक" (channels to infinity) के अस्तित्व और प्रकृति की जांच करता है—ऐसे क्षेत्र जहाँ लॉस अत्यंत धीमी गति से घटता है जबकि पैरामीटर्स डायवर्ज (diverge) होते हैं।

कार्यप्रणाली (Methodology)
लेखक मीन-स्क्वेर्ड एरर (MSE) लॉस और स्मूथ एक्टिवेशन फंक्शन्स (जैसे softplus, erf) का उपयोग करते हुए एक सिंगल हिडन लेयर वाले फुली कनेक्टेड न्यूरल नेटवर्क का विश्लेषण करते हैं। अध्ययन में सैद्धांतिक विश्लेषण और अनुभवजन्य सिमुलेशन (empirical simulation) का संयोजन उपयोग किया गया है:

न्यूरॉन डुप्लीकेशन और सैडल लाइन्स: फुकुमिज़ु और अमारी [1] के कार्य पर निर्माण करते हुए, लेखक $r$ न्यूरॉन्स वाले नेटवर्क से प्राप्त $r+1$ न्यूरॉन्स वाले नेटवर्क के लॉस लैंडस्केप में न्यूरॉन डुप्लीकेशन का उपयोग करके क्रिटिकल पॉइंट्स की रेखाएं (सैडल लाइन्स) उत्पन्न करते हैं।
ग्रेडिएंट फ्लो इंटीग्रेशन: लेखक रैंडम इनिशियलाइजेशन (Glorot normal) और विचलित (perturbed) सैडल लाइन्स से ग्रेडियन फ्लो डायनेमिक्स ( $\dot{\theta} = -\nabla_\theta L$ ) को इंटीग्रेट करने के लिए ODE सॉल्वर का उपयोग करते हैं।
परटर्बेशन विश्लेषण (Perturbation Analysis): सैडल लाइन्स की स्थिरता को कैरेक्टराइज़ करने के लिए, वे लॉस हेसियन (Hessian) के सबसे छोटे (सबसे नकारात्मक) आइगेनवैल्यू के अनुरूप आइगेनवेक्टर के साथ समाधानों को विचलित करते हैं।
रीपैरामीट्राइजेशन (Reparameterization): इन चैनलों के कार्यात्मक सीमा (functional limit) को समझने के लिए, लेखक इनपुट वेट्स $w_i, w_j$ और आउटपुट वेट्स $a_i, a_j$ वाले न्यूरॉन जोड़ों को एक पैरामीटर $\epsilon = \|w_i - w_j\|/2$ वाले सेंट्रल डिफरेंस फॉर्म में रीपैरामीटराइज करते हैं।
जंप प्रोसीजर (Jump Procedure): उन चैनलों को पार करने के लिए जहाँ अभिसरण (convergence) अत्यंत धीमा है, वे एक "जंप प्रोसीजर" लागू करते हैं जो अन्य पैरामीटर्स को स्थिर रखते हुए $\epsilon$ को कृत्रिम रूप से कम करता है, जिससे उन्हें लॉस और पैरामीटर्स के एसिम्प्टोटिक व्यवहार को देखने की अनुमति मिलती है।
टो मॉडल्स (Toy Models): बिना बायस वाले दो न्यूरॉन्स के साथ एक विशिष्ट 1D टारगेट फंक्शन एप्रोक्सिमेशन का पॉपुलेशन लॉस (अनंत डेटा) के तहत विश्लेषण किया गया है ताकि अनंत पर मिनिमा की स्थिरता को कठोरता से सिद्ध किया जा सके।

प्रमुख योगदान और परिणाम (Key Contributions and Results)

अनंत तक जाने वाले चैनलों की पहचान: लेखकों ने एक नवीन संरचना की पहचान की है: सैडल लाइन्स के समांतर एसिम्प्टोटिक रूप से चलती चैनल। इन चैनलों के भीतर:
- कम से कम दो न्यूरॉन्स के आउटपुट वेट्स ( $a_i, a_j$ ) विपरीत संकेतों ( $a_i a_j < 0$ ) के साथ $\pm \infty$ की ओर डायवर्ज होते हैं।
- इनपुट वेट वेक्टर्स ( $w_i, w_j$ ) एक ही परिमित (finite) मान की ओर अभिसरित होते हैं।
- चैनल की दिशा में लॉस अत्यंत धीमी गति से घटता है (एसिम्प्टोटिक रूप से फ्लैट)।
अनुभवजन्य व्यापकता (Empirical Prevalence): विविध रिग्रेशन सेटिंग्स (संशोधित रोसेनब्रॉक फंक्शन्स और विभिन्न कर्नेल स्केल्स के साथ गाऊसी प्रक्रियाओं सहित) में, ग्रेडिएंट-आधारित ऑप्टिमाइजर्स (SGD और ADAM सहित) मानक रैंडम इनिशियलाइजेशन से इन चैनलों तक उच्च संभावना के साथ पहुँच जाते हैं। ऐसे चैनल खोजने की संभावना टारगेट फंक्शन की रफनेस (roughness) के साथ बढ़ती है।
कार्यात्मक व्याख्या (Gated Linear Units): $\epsilon \to 0$ के रूप में न्यूरॉन पेयर आउटपुट के टेलर एक्सपेंशन के माध्यम से, लेखक प्रदर्शित करते हैं कि इन चैनलों का लिमिट एक गेटेड लीनियर यूनिट (GLU) को लागू करता है। विशेष रूप से:
$a_i\sigma(w_i \cdot x) + a_j\sigma(w_j \cdot x) \to c\sigma(w \cdot x) + (v \cdot x)\sigma'(w \cdot x)$
जहाँ दूसरा पद $\sigma'(w \cdot x)$ द्वारा गेट किया गया एक लीनियर ट्रांसफॉर्मेशन को दर्शाता है। सॉफ्टप्लस एक्टिवेशन के लिए, गेट स्टैंडर्ड सिग्मॉइड फंक्शन है।
स्थिरता और ज्यामिति (Stability and Geometry):
- स्थिरता: $\epsilon \to 0$ की सीमा में, लॉस $L \approx L_0 + \epsilon^2 h(\theta_0)$ के रूप में स्केल होता है। यदि $h(\theta_0) > 0$ , तो चैनल अनंत पर एक स्थिर स्थानीय न्यूनतम की ओर ले जाता है। लेखक विशिष्ट टो उदाहरणों के लिए इस स्थिरता को सिद्ध करते हैं।
- शार्पनेस बनाम फ्लैटनेस: जबकि चैनल डायवर्जेंस की दिशा में अत्यंत फ्लैट है (लॉस पैरामीटर अपडेट के संबंध में $\epsilon^3$ के रूप में घटता है), हेसियन का अधिकतम आइगेनवैल्यू (शार्पनेस) $1/\epsilon^2$ के रूप में डायवर्ज होता है। यह एक ऐसी स्थिति बनाता है जहाँ ऑप्टिमाइजर्स "स्टेबिलिटी के किनारे" (edge of stability) [47] पर फंस जाते हैं, जो व्यवहार में परिमित पैरामीटर्स के साथ फ्लैट लोकल मिनिमा के रूप में दिखाई देते हैं, भले ही वास्तविक न्यूनतम अनंत पर स्थित हो।
मल्टी-लेयर और मल्टी-न्यूरॉन चैनल: यह घटना केवल सिंगल हिडन लेयर्स या न्यूरॉन जोड़ों तक सीमित नहीं है। चैनल किसी भी डीप MLP की लेयर्स में दिखाई दे सकते हैं, कई न्यूरॉन्स को शामिल कर सकते हैं (उच्च-क्रम डेरिवेटिव एप्रोक्सिमेशन की ओर ले जाते हैं), और मल्टी-डायमेंशनल फ्लैट क्षेत्रों का निर्माण कर सकते हैं।

महत्व और दावे (Significance and Claims)
यह शोध पत्र "क्वासी-फ्लैट" (quasi-flat) क्षेत्रों का एक व्यापक चित्र प्रदान करने का दावा करता है जिन्हें अक्सर परिमित स्थानीय मिनिमा के रूप में गलत समझा जाता है। इन चैनलों के अंत में गेटेड लीनियर यूनिट्स का उभरना यह सुझाव देता है कि फुली कनेक्टेड लेयर्स में कंप्यूटेशनल क्षमताएं (डेरिवेटिव को गेटिंग के माध्यम से एप्रोक्सिमेट करना) होती हैं जो स्वाभाविक रूप से ग्रेडिएंट फ्लो द्वारा एक्सेस की जाती हैं, भले ही पैरामीटर्स डायवर्ज हों।

लेखक तर्क देते हैं कि ये चैनल न्यूरल लॉस लैंडस्केप्स की "सौम्य" (benign) प्रकृति में योगदान करते हैं। हालांकि पैरामीटर्स डायवर्ज होते हैं, कार्यात्मक आउटपुट एक उपयोगी प्रतिनिधित्व (GLU) की ओर अभिसरित होता है। पेपर नोट करता है कि सीमित स्टेप साइज़ या रेगुलराइजेशन के साथ व्यावहारिक प्रशिक्षण में, ऑप्टिमाइजर्स अक्सर चैनल के भीतर (स्टेबिलिटी के किनारे पर) रुक जाते हैं, प्रभावी रूप से GLU एप्रोक्सिमेशन को लागू करते हैं, भले ही वे अनंत पैरामीटर नॉर्म्स तक न पहुँचें। यह घटना जनरलाइजेशन (generalization), मॉडल फ्यूजन और न्यूरल आर्किटेक्चर की अंतर्निहित क्षमताओं के बारे में एक नया दृष्टिकोण प्रदान करती है, यह सुझाव देती है कि प्रशिक्षण में देखी जाने वाली "फ्लैटनेस" कभी-कभी सरल परिमित मिनिमा के बजाय इन एसिम्प्टोटिक संरचनाओं का एक प्रकटीकरण हो सकती है।

इस कार्य को लॉस लैंडस्केप ज्योमेट्री और ग्रेडिएंट डायनेमिक्स के लक्षण वर्णन के रूप में फ्रेम किया गया है, जो यह उजागर करता है कि यहाँ पाए गए "मिनिमा एट इनफिनिटी" सेपरेबल क्लासिफिकेशन समस्याओं के मिनिमा से भिन्न हैं और स्मूथ एक्टिवेशन वाले रिग्रेशन सेटिंग्स में एक जेनेरिक मैकेनिज्म का प्रतिनिधित्व करते हैं।