📊 statistics

Universality in Deep Neural Networks: An approach via the Lindeberg exchange principle

यह शोध पत्र परतों के भार को क्रमिक रूप से गाऊसी यादृच्छिक चरों (Gaussian random variables) से बदलने के लिए लिंडबर्ग एक्सचेंज सिद्धांत (Lindeberg exchange principle) को लागू करके, पूर्णतः जुड़े हुए गहरे न्यूरल नेटवर्क के उनके अनंत-चौड़ाई वाले गाऊसी सीमाओं (infinite-width Gaussian limits) तक अभिसरण (convergence) पर मात्रात्मक सीमाएं स्थापित करता है।

मूल लेखक: Filippo Giovagnini, Sotirios Kotitsas, Marco Romito

प्रकाशित 2026-05-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Filippo Giovagnini, Sotirios Kotitsas, Marco Romito

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास एक अत्यंत जटिल कंप्यूटर मॉडल है जिसमें लाखों छोटे सेंसर (न्यूरॉन्स) और कनेक्शन (वेट्स) मिलकर काम कर रहे हैं। वास्तविक दुनिया में, ये सेंसर थोड़े "शोर वाले" (noisy) या अपूर्ण हो सकते हैं—जैसे कि वे तापमान को मामूली यादृच्छिक त्रुटि के साथ माप सकते हैं, या एक-दूसरे से भिन्न संवेदनशीलता रख सकते हैं।

यह शोध पत्र इस बारे में है कि जब आप उस कंप्यूटर मॉडल को विशाल बना देते हैं तो क्या होता है। विशेष रूप से, यह पूछता है: यदि हम प्रत्येक परत (layer) में सेंसरों की संख्या अनंत रूप से बढ़ा दें, तो क्या वह अस्त-व्यस्त, शोर वाला मॉडल एक पूरी तरह से सुचारू, अनुमानित गणितीय वस्तु की तरह व्यवहार करने लगेगा?

इसका उत्तर हाँ है, लेकिन लेखक यह जानना चाहते थे कि यह कितनी तेज़ी से होता है और किसी भी दिए गए आकार पर वह अस्त-व्यस्त मॉडल उस आदर्श मॉडल के कितना करीब है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "अनंत भीड़" का प्रभाव (The "Infinite Crowd" Effect)

एक गहरे न्यूरल नेटवर्क को रिले रेस की एक श्रृंखला के रूप में सोचें।

लेयर 1 लेयर 2 को बैटन (baton) सौंपती है, जो लेयर 3 को सौंपती है, और इसी तरह।
एक छोटे नेटवर्क में, बैटन गिर सकता है या बेतरतीब ढंग से फेंका जा सकता है क्योंकि धावक (वेट्स) अप्रत्याशित होते हैं।
एक अनंत रूप से चौड़े नेटवर्क में (जहाँ प्रत्येक लेयर में अनंत धावक हैं), अराजकता औसत (average) हो जाती है। "शोर" खुद को रद्द कर देता है, और बैटन एक पूर्ण, सुचारू पथ का अनुसरण करता है। गणितीय रूप से, इस पूर्ण पथ को गौसियन प्रोसेस (Gaussian Process - एक बहुत ही अनुमानित, बेल-कर्व स्टाइल की यादृच्छिकता के लिए एक फैंसी शब्द) कहा जाता है।

शोध पत्र पुष्टि करता है कि जैसे-जैसे आप प्रत्येक लेयर में अधिक धावक जोड़ते हैं, अस्त-व्यस्त नेटवर्क वास्तव में इस पूर्ण पथ की ओर अग्रसर होता है।

2. "लिंडबर्ग स्विचिंग" की तरकीब (The "Lindeberg Switching" Trick)

उन्होंने यह कैसे सिद्ध किया? उन्होंने लिंडबर्ग एक्सचेंज प्रिंसिपल नामक एक चतुर गणितीय तरकीब का उपयोग किया।

कल्पना कीजिए कि आपके पास 100 धावकों की एक टीम है, और आप जानना चाहते हैं कि क्या उनका प्रदर्शन पेशेवर एथलीटों की एक टीम के समान है जो एकदम सटीक और अनुमानित फॉर्म के साथ दौड़ते हैं।

पूरी टीमों की एक साथ तुलना करने के बजाय, आप धावकों को एक-एक करके बदलते हैं।
आप पहले अस्त-व्यस्त धावक को लेते हैं और उन्हें एक आदर्श पेशेवर से बदल देते हैं। आप देखते हैं कि क्या टीम के कुल समय में बहुत अधिक बदलाव आता है।
फिर आप दूसरे धावक को बदलते हैं, फिर तीसरे को, और इसी तरह, जब तक कि पूरी टीम पेशेवरों से नहीं बन जाती।

उन्होंने गणितीय रूप से यही किया। उन्होंने एक नेटवर्क से शुरुआत की जो "अस्त-व्यस्त" वेट्स (ऐसे यादृच्छिक चर जो पूरी तरह से गौसियन नहीं हैं) से भरा था और धीरे-धीरे उन्हें "आदर्श" गौसियन वेट्स के साथ बदल दिया। उन्होंने हर एक बदलाव पर उत्पन्न होने वाली "त्रुटि" या "दूरी" की गणना की।

3. समस्या: "डायमेंशन" का जाल (The "Dimension" Trap)

आमतौर पर, जब आप इस अदला-बदली की तरकीब का उपयोग करते हैं, तो गणित बहुत जल्दी जटिल हो जाता है। यदि आपके पास एक विशाल नेटवर्क है, तो त्रुटि (error) विस्फोट कर सकती है क्योंकि वहां बहुत सारे कनेक्शन हैं। यह ब्लॉक के टॉवर को संतुलित करने जैसा है; जितने अधिक ब्लॉक होंगे, उसे स्थिर रखना उतना ही कठिन होगा।

लेखकों ने पाया कि यदि वे केवल मानक गणित का उपयोग करते, तो त्रुटि इतनी बड़ी होती कि वह उपयोगी न रह जाती। नेटवर्क को "पूर्ण" दिखने के लिए असंभव रूप से चौड़ा होना पड़ता।

4. समाधान: "स्मूथिंग" का रहस्य (The "Smoothing" Secret)

इस शोध पत्र की बड़ी खोज यह है कि गहरे न्यूरल नेटवर्क में एक अंतर्निहित स्मूथिंग प्रभाव होता है।

बिना बायस के (कठिन मोड): यदि नेटवर्क में कोई "बायस" (प्रत्येक न्यूरॉन में जोड़ा जाने वाला एक स्थिरांक ऑफसेट) नहीं है, तो गणित बहुत सख्त होता है। यह सिद्ध करने के लिए कि नेटवर्क पूर्ण के करीब है, एक्टिवेशन फंक्शन (वह नियम जो तय करता है कि न्यूरॉन कब सक्रिय होगा) को अविश्वसनीय रूप से सुचारू और सुव्यवस्थित (जैसे कि एक पूरी तरह से पॉलिश किया हुआ संगमरमर) होना चाहिए। इसके बावजूद, एक अच्छा परिणाम प्राप्त करने के लिए नेटवर्क को काफी चौड़ा होना आवश्यक है।
बायस के साथ (आसान मोड): यदि नेटवर्क प्रत्येक लेयर में थोड़ा सा "शोर" या "बायस" जोड़ता है (जैसे रेडियो सिग्नल में थोड़ी सी स्टेटिक ध्वनि जोड़ना), तो यह वास्तव में मदद करता है। यह अतिरिक्त यादृच्छिकता एक लुब्रिकेंट (स्नेहक) के रूप में कार्य करती है। यह गणित के खुरदरे किनारों को सुचारू बनाती है।
- परिणाम: बायस के साथ, लेखक सिद्ध कर सके कि नेटवर्क बहुत तेज़ी से इस पूर्ण गौसियन आकार की ओर बढ़ता है, और उन्हें एक्टिवेशन फंक्शन को उतना "परफेक्टली स्मूथ" होने की आवश्यकता नहीं पड़ी।

5. अभिसरण (Convergence) की "स्पीड लिमिट"

शोध पत्र एक विशिष्ट सूत्र देता है कि अस्त-व्यस्त नेटवर्क, पूर्ण वाले के कितने करीब है।

वे दूरी को 2-वॉसरस्टीन दूरी (2-Wasserstein distance) नामक चीज़ का उपयोग करके मापते हैं। इसे अस्त-व्यस्त नेटवर्क के प्रायिकता वितरण (probability distribution) को पूर्ण वाले से मिलाने के लिए आवश्यक "प्रयास" के रूप में समझें।
उन्होंने पाया कि जैसे-जैसे नेटवर्क की चौड़ाई बढ़ती है, त्रुटि कम होती जाती है। विशेष रूप से, यदि आप चौड़ाई को दोगुना करते हैं, तो त्रुटि चौड़ाई के वर्गमूल (square root) से संबंधित कारक से कम हो जाती है।
सावधानी: त्रुटि नेटवर्क की गहराई (परतों की संख्या) पर निर्भर करती है। एक गहरा नेटवर्क, उथले (shallow) नेटवर्क की तुलना में पूर्ण आकार में "स्थिर" होने में थोड़ा अधिक समय लेता है, लेकिन फिर भी यह वहां तक पहुँच जाता है।

"मुख्य निष्कर्ष" का सारांश (Summary of the "Takeaway")

दावा: यादृच्छिक रूप से शुरू किए गए गहरे न्यूरल नेटवर्क, पर्याप्त चौड़े होने पर, लगभग बिल्कुल पूर्ण गौसियन प्रक्रियाओं की तरह व्यवहार करते हैं।
विधि: उन्होंने एक-एक करके, एक परत दर परत, यादृच्छिक वेट्स को पूर्ण गौसियन वेट्स से बदलकर इसे सिद्ध किया।
अंतर्दृष्टि: नेटवर्क की संरचना स्वयं त्रुटियों को सुचारू करने में मदद करती है, लेकिन "बायस" (अतिरिक्त शोर) होना इस स्मूथिंग को बहुत अधिक प्रभावी बनाता है, जिससे नेटवर्क के डिज़ाइन पर कम सख्त आवश्यकताएं लागू होती हैं।
मापन: उन्होंने एक सटीक "स्पीड लिमिट" (गणितीय सीमा) प्रदान की कि यह अभिसरण कितनी तेज़ी से होता है, जो यह दिखाती है कि नेटवर्क लगभग $1/\sqrt{\text{width}}$ की दर से पूर्णता के करीब पहुँचता है।

संक्षेप में, यह शोध पत्र एक ठोस "रसीद" प्रदान करता है कि जैसे-जैसे आप चौड़े और चौड़े न्यूरल नेटवर्क बनाते जाते, वे अनिवार्य रूप से अनुमानित, गौसियन मशीनों में बदल जाते हैं, और यह आपको बताता है कि एक विशिष्ट स्तर की भविष्यवाणी प्राप्त करने के लिए आपको कितना चौड़ा जाना होगा।

तकनीकी सारांश: लिंडेबर्ग सिद्धांत के माध्यम से डीप न्यूरल नेटवर्क में सार्वभौमिकता (Universality)

समस्या विवरण
यह शोध पत्र अनंत-चौड़ाई की सीमा (infinite-width limit) में पूर्णतः जुड़े हुए (fully connected) डीप न्यूरल नेटवर्क्स (DNNs) की सैद्धांतिक समझ को संबोधित करता है। यह स्थापित है कि यादृच्छिक रूप से प्रारंभ किए गए (randomly initialized) DNNs, जब परतों की चौड़ाई अनंत की ओर बढ़ती है, तो गाऊसी प्रक्रियाओं (Gaussian processes) की ओर अभिसरित होते हैं (Neal [Nea96]; आगामी कार्य [LSdP+18, dGMHR+18]); हालांकि, गैर-गाऊसी भार वितरणों (non-Gaussian weight distributions) के लिए इस अभिसरण के मात्रात्मक विश्लेषण में एक महत्वपूर्ण अंतराल बना हुआ है। पिछले मात्रात्मक परिणाम मुख्य रूप से गाऊसी भारों या विशिष्ट मेट्रिक्स (जैसे Total Variation, 1-Wasserstein) पर केंद्रित थे जो लिप्सचिट्ज़ (Lipschitz) धारणाओं के अधीन थे। लेखक गैर-गाऊसी भार वितरणों के लिए नेटवर्क आउटपुट के उसके गाऊसी सीमा तक अभिसरण की दर पर 2-वॉसरस्टीन दूरी ( $W_2$ ) में स्पष्ट, मात्रात्मक सीमाएँ स्थापित करने का लक्ष्य रखते हैं, जो विशेष रूप से "सार्वभौमिकता" (universality) की घटना को संबोधित करता है जहाँ सीमा (limit) भार वितरण के विशिष्ट प्रकार पर निर्भर नहीं करती (बशर्ते कि मोमेंट्स मेल खाते हों)।

कार्यप्रणाली (Methodology)
मुख्य दृष्टिकोण डीप न्यूरल नेटवर्क्स की पुनरावर्ती संरचना (recursive structure) के लिए अनुकूलित लिंडेबर्ग एक्सचेंज सिद्धांत (Lindeberg exchange principle) पर आधारित है। कार्यप्रणाली निम्नलिखित तार्किक चरणों के माध्यम से आगे बढ़ती है:

क्रमिक भार प्रतिस्थापन (Sequential Weight Replacement): लेखक मध्यवर्ती नेटवर्क्स का एक अनुक्रम परिभाषित करते हैं जहाँ भारों को परत-दर-परत (आउटपुट परत से पीछे की ओर बढ़ते हुए) क्रमिक रूप से बदला जाता है, जिसमें मूल भारों के प्रथम और द्वितीय मोमेंट्स से मेल खाने वाले गाऊसी यादृच्छिक चर (Gaussian random variables) का उपयोग किया जाता है।
त्रुटि संचय विश्लेषण (Error Accumulation Analysis): मूल नेटवर्क और पूर्णतः गाऊसी सीमा के बीच की कुल दूरी को क्रमिक मध्यवर्ती नेटवर्क्स के बीच के अंतर के टेलिस्कोपिंग योग (telescoping sum) में विभाजित किया जाता है।
आयामीता को संभालना (Handling Dimensionality): शास्त्रीय लिंडेबर्ग सिद्धांत (प्रस्ताव 3.1) का एक सीधा अनुप्रयोग त्रुटि सीमाओं को छिपी हुई परतों के आयाम (जैसे $n^3$ $n^{3}$ कारक) पर निर्भर बनाता है, जो DNN सेटिंग के लिए बहुत अधिक हैं। लेखक नेटवर्क आर्किटेक्चर में निहित पुनरावर्ती स्मूथिंग (recursive smoothing) का लाभ उठाकर इस समस्या को हल करते हैं।
- जीरो-बायस केस (Zero-Bias Case): वे सहायक फलन $F_{L,K}$ को परिभाषित करते हैं जो पिछली परतों पर स्थिति (conditioning) के बाद टेस्ट फंक्शन के अपेक्षित मान को दर्शाते हैं। हीट सेमग्रुप गुणों (heat semigroup properties) और गाऊसी भारों के स्केलिंग का उपयोग करके, वे प्रदर्शित करते हैं कि पुनरावर्ती संरचना अतिरिक्त क्षय कारक (decay factors) प्रदान करती है जो आयाम-निर्भर पदों का मुकाबला करते हैं। इसके लिए सक्रियण फलन (activation function) $\sigma$ का अत्यधिक नियमित ( $C^{3 \cdot 2^{L-1}}_b$ ) होना आवश्यक है।
- गाऊसी बायस केस (Gaussian Bias Case): गाऊसी बायस की उपस्थिति से एक अतिरिक्त स्मूथिंग प्रभाव (गाऊसी कर्नेल के साथ कॉन्वोल्यूशन के माध्यम से) उत्पन्न होता है। यह लेखकों को सक्रियण $\sigma$ पर उच्च-क्रम की नियमितता आवश्यकताओं को कम करने और $\sigma \in C^3_b$ की धारणा बनाए रखते हुए भी समान अभिसरण दर प्राप्त करने की अनुमति देता है।
मेट्रिक रूपांतरण (Metric Conversion): $W_2$ $W_{2}$ दूरी को बांधने के लिए, लेखक लिंडेबर्ग एक्सचेंज अनुमानों को निम्नलिखित के साथ जोड़ते हैं:
- स्वतंत्र यादृच्छिक चरों के योग और गासियनों के बीच $W_2$ दूरी पर शास्त्रीय परिणाम (Bobkov [Bob13])।
- यादृच्छिक कोवेरिएंस मैट्रिसेस के साथ सशर्त स्वतंत्र गाऊसी चरों के बीच $W_2$ दूरी पर एक विशिष्ट सीमा (थ्योरम 3.3, [CP25] से व्युत्पन्न)।

प्रमुख योगदान और परिणाम

$W_2$ में मात्रात्मक सीमाएँ (Quantitative Bounds in $W_2$ ): यह शोध पत्र एक परिमित-चौड़ाई वाले DNN आउटपुट और उसकी अनंत-चौड़ाई वाली गाऊसी सीमा के बीच 2-वॉसरस्टीन दूरी के लिए स्पष्ट ऊपरी सीमाएँ प्रदान करता है।
- थ्योरम 2.5 (जीरो बायस): शून्य बायस वाले नेटवर्क और सक्रियण $\sigma \in C^{3 \cdot 2^{L-1}}_b$ के लिए, सीमा है:
  $W_2(z^{(L+1)}(x), Z^{(L+1)}(x)) \leq C \left( \frac{1}{\sqrt{n_L}} + \left( \sum_{k=1}^{L-1} \frac{1}{\sqrt{n_k}} \right)^{1/4} \right)$
  जहाँ $n_k$ छिपी हुई परतों की चौड़ाई है।
- थ्योरम 2.6 (गाऊसी बायस): गाऊसी बायस वाले नेटवर्क्स और $\sigma \in C^3_b$ के लिए, वही सीमा लागू होती है। बायस की गाऊसी प्रकृति यहाँ महत्वपूर्ण है, क्योंकि यह सक्रियण फलन पर कम नियमितता धारणाओं की अनुमति देती है।
सार्वभौमिकता सिद्धांत (Theorem 2.7): लेखक एक कमजोर तुलना सिद्धांत (weak comparison principle) स्थापित करते हैं जो सामान्य भारों वाले नेटवर्क और गाऊसी भारों वाले नेटवर्क के बीच टेस्ट फंक्शन्स के अपेक्षित मानों के अंतर को परतों की चौड़ाई के व्युत्क्रम वर्गमूल के योग द्वारा सीमित करता है। यह बायस की उपस्थिति के आधार पर विभिन्न स्तरों की नियमितता वाले टेस्ट फंक्शन्स के लिए मान्य है।
अन्य मेट्रिक्स के लिए इष्टतम दरें: एक परिणाम के रूप में (कोरोलरी 2.8), ये परिणाम गाऊसी बायस वाले नेटवर्क्स के लिए Total Variation और 1-Wasserstein दूरियों में इष्टतम अभिसरण दरें प्रदान करते हैं, जो [Cel26] के परिणामों को पुनः प्राप्त और विस्तारित करते हैं।
संख्यात्मक सत्यापन (Numerical Validation): परिशिष्ट A लाप्लास-वितरित (Laplace-distributed) भारों वाले नेटवर्क्स के लिए सैद्धांतिक क्षय दरों (लगभग $O(n^{-1/4})$ से $O(n^{-1/2})$ मेट्रिक और कॉन्फ़िगरेशन के आधार पर) की पुष्टि करने वाले संख्यात्मक सिमुलेशन प्रस्तुत करता है।

महत्व और दावे

लेखक अपने कार्य को डीप न्यूरल नेटवर्क्स के लिए सार्वभौमिकता सिद्धांत के एक परिशोधन (refinement) के रूप में प्रस्तुत करते हैं।

मेट्रिक की मजबूती (Metric Strength): वे दावा करते हैं कि वे $W_1$ या Total Variation (जैसे [BR25], [Cel26]) पर केंद्रित पिछले कार्यों की तुलना में अभिसरण का एक मजबूत मेट्रिक ( $W_2$ ) प्रदान करते हैं, जो महत्वपूर्ण है क्योंकि $W_2$ अभिसरण $W_1$ अभिसरण को दर्शाता है और वितरण के दूसरे मोमेंट्स पर बेहतर नियंत्रण प्रदान करता है।
नियमितता बनाम मजबूती का व्यापार-बंद (Regularity vs. Robustness Trade-off): शोध पत्र स्वीकार करता है कि जीरो-बायस नेटवर्क के लिए $W_2$ सीमा प्राप्त करने के लिए सक्रियण फलन की उच्च नियमितता ( $C^{3 \cdot 2^{L-1}}$ ) की आवश्यकता होती है, जबकि गाऊसी बायस की उपस्थिति इसे $C^3$ तक कम कर देती है। हालाँकि, लगभग $O(n^{-1/4})$ की परिणामी अभिसरण दर (जो योग पद द्वारा नियंत्रित है) को [BR25] के $W_1$ परिणामों की तुलना में "अधिक मजबूत" बताया गया है, भले ही यह विशिष्ट मेट्रिक्स के लिए [Cel26] की दरों से थोड़ी धीमी हो।
पद्धतिगत नवीनता (Methodological Novelty): प्राथमिक तकनीकी योगदान डीप नेटवर्क्स के लिए लिंडेबर्ग सिद्धांत का अनुकूलन है। लेखक तर्क देते हैं कि एक सीधा अनुप्रयोग आयामीता के कारण विफल हो जाता है, और उनकी सफलता नेटवर्क की पुनरावर्ती संरचना और गाऊसी बायस द्वारा प्रदान की गई "अतिरिक्त स्मूथिंग" का लाभ उठाने पर निर्भर करती है।

यह शोध पत्र न्यूरल नेटवर्क्स की प्रशिक्षण गतिशीलता (training dynamics) को हल करने का दावा नहीं करता है, बल्कि केवल यादृच्छिक रूप से प्रारंभ किए गए नेटवर्क्स के संभाव्यता गुणों पर ध्यान केंद्रित करता है, जो गाऊसी प्रक्रिया सन्निकटन (Gaussian process approximation) के लिए एक कठोर मात्रात्मक आधार प्रदान करता है।