📊 statistics

Kernel Renormalization in Bayesian Deep Neural Networks: the Equivalent Wishart Ansatz in the Proportional Regime

यह शोध पत्र प्रोपोर्शनल रिजीम (proportional regime) में बेयज़ियन डीप न्यूरल नेटवर्क्स के सामान्यीकरण प्रदर्शन (generalization performance) की भविष्यवाणी करने के लिए एक तुल्य विशार्ट एन्सैट्ज़ (equivalent Wishart Ansatz) का उपयोग करते हुए एक प्रभावी अनुमानित दृष्टिकोण प्रस्तुत करता है, जो रिनॉर्मलाइज्ड कर्नेल (renormalized kernels) और स्व-सुसंगत ऑर्डर पैरामीटर्स (self-consistent order parameters) के माध्यम से प्रतिनिधित्व शिक्षण (representation learning) को सफलतापूर्वक कैप्चर करता है जो अनुभवजन्य सैंपलिंग प्रयोगों के साथ अच्छी तरह से संरेखित होते हैं।

मूल लेखक: Paolo Baglioni, Christian Keup, Vincenzo Zimbardo, Rosalba Pacelli, Alessandro Vezzani, Raffaella Burioni, Pietro Rotondo

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Paolo Baglioni, Christian Keup, Vincenzo Zimbardo, Rosalba Pacelli, Alessandro Vezzani, Raffaella Burioni, Pietro Rotondo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, जटिल मशीन (एक डीप न्यूरल नेटवर्क) कैसे पैटर्न पहचानना सीखती है, जैसे कि बिल्लियों और कुत्तों की तस्वीरों के बीच अंतर करना। आमतौर पर, वैज्ञानिक इन मशीनों को समझने के लिए उन्हें अनंत रूप से बड़ा मानकर चलते हैं। इस "अनंत" दुनिया में, मशीन बहुत ही अनुमानित व्यवहार करती है, जैसे कि एक सरल, सुचारू वक्र (smooth curve)। इसे "लेजी" (lazy) रिजीम कहा जाता है।

हालाँकि, वास्तविक दुनिया की मशीनें अनंत नहीं होतीं। उनका एक विशिष्ट, सीमित आकार होता है। जब डेटा पॉइंट्स की संख्या उस न्यूरॉन्स की संख्या के लगभग बराबर होती है जितने कि मशीन के अंदर होते हैं (एक ऐसी स्थिति जिसे लेखक "प्रपोर्शनल" (proportional) रिजीम कहते हैं), तो चीजें गड़बड़ाने लगती हैं। मशीन जटिल, गैर-रेखीय (non-linear) तरीकों से सीखना शुरू कर देती है जिन्हें "अनंत" सिद्धांत नहीं समझा सकते।

यह शोध पत्र इस बात का परिचय देता है कि कैसे इन सीमित आकार की मशीनों के व्यवहार की भविष्यवाणी की जा सकती है, बिना लाखों महंगे कंप्यूटर सिमुलेशन चलाए। यहाँ उनके आविष्कार का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: सीमित आकार का "ब्लैक बॉक्स"

एक डीप न्यूरल नेटवर्क को एक बहु-मंजिला इमारत के रूप में सोचें जहाँ प्रत्येक मंजिल सूचना को प्रोसेस करती है।

अनंत दृश्य (The Infinite View): यदि इमारत अनंत रूप से चौड़ी होती, तो इसमें बहने वाली सूचना एक पूरी तरह से चिकने पाइप में बहते पानी की तरह होती। आप आउटपुट की आसानी से भविष्यवाणी कर पाते।
वास्तविक दृश्य (The Real View): एक वास्तविक, सीमित इमारत में, पाइप संकरे होते हैं। पानी (डेटा) विक्षोभ (turbulence), छपाके और भंवर पैदा करता है। ये "फाइनाइट-विड्थ इफेक्ट्स" (finite-width effects) वास्तव में वही हैं जो डीप लर्निंग को शक्तिशाली बनाते हैं, लेकिन इन्हें गणितीय रूप से कैलकुलेट करना अविश्वसनीय रूप से कठिन है क्योंकि परतों के बीच की अंतःक्रियाएं अराजक (chaotic) होती हैं।

2. समाधान: "इक्विवेलेंट विशार्ट एन्सैट" (Equivalent Wishart Ansatz - EWA)

लेखक एक चतुर शॉर्टकट का प्रस्ताव देते हैं। हर एक बूंद पानी (प्रत्येक न्यूरॉन की सटीक स्थिति) को ट्रैक करने के बजाय, वे इसके सांख्यिकीय आकार (statistical shape) को देखने का सुझाव देते हैं।

उपमा: कल्पना कीजिए कि आप एक तूफानी शहर के मौसम का वर्णन करने की कोशिश कर रहे हैं। हर एक बारिश की बूंद को ट्रैक करने के बजाय, आप महसूस करते हैं कि बारिश का समग्र पैटर्न एक विशिष्ट, ज्ञात सांख्यिकीय आकार (जैसे कि बेल कर्व, लेकिन मैट्रिसेस के लिए) का पालन करता है।
"विशार्ट" का जादू: लेखकों ने पाया कि भले ही नेटवर्क गैर-रेखीय और जटिल है, लेकिन इसका "विक्षोभ" (नेटवर्क द्वारा डेटा को प्रोसेस करने के तरीके में उतार-चढ़ाव) गणितीय रूप से इस तरह व्यवहार करता है जैसे कि वह विशार्ट वितरण (Wishart distribution) नामक एक विशिष्ट, अच्छी तरह से समझे गए वितरण का पालन कर रहा हो।
"एन्सैट" (Ansatz): यह केवल एक फैंसी शब्द है जिसका अर्थ है एक "स्मार्ट अनुमान"। उन्होंने अनुमान लगाया: "आइए हम मान लें कि नेटवर्क के प्रत्येक स्तर में होने वाला अराजक व्यवहार इस विशिष्ट विशार्ट पैटर्न का पालन करता है।"

3. परिणाम: जटिल व्यवहार के लिए एक सरल रेसिपी

इस अनुमान को लगाकर, वे एक विशाल, असंभव समस्या को एक छोटी, प्रबंधनीय समस्या में बदलने में सक्षम रहे।

पहले: नेटवर्क को समझने के लिए, आपको लाखों वेरिएबल्स वाले समीकरणों को हल करने की आवश्यकता थी (प्रत्येक कनेक्शन के लिए एक)।
बाद में: EWA आपको पूरे नेटवर्क के व्यवहार को केवल कुछ संख्याओं (जिन्हें "ऑर्डर पैरामीटर्स" कहा जाता है) का उपयोग करके वर्णित करने की अनुमति देता है।
- इसे इस तरह सोचें: ट्रैफिक की भविष्यवाणी करने के लिए आपको शहर की हर गली के मानचित्र की आवश्यकता नहीं है, आपको केवल मुख्य राजमार्ग पर औसत गति और कारों की संख्या जानने की आवश्यकता है।
- $L$ परतों वाले नेटवर्क के लिए, उन्होंने पाया कि नेटवर्क कितनी अच्छी तरह सीखेगा, इसकी भविष्यवाणी करने के लिए आपको केवल $L$ सरल संख्याओं की आवश्यकता है। ये संख्याएँ आपको बताती हैं कि "विक्षोभ" इमारत के माध्यम से गुजरते समय सिग्नल को कितना बढ़ाता या कम करता है।

4. सिद्धांत का परीक्षण

लेखकों ने केवल गणित नहीं किया; उन्होंने वास्तविकता के विरुद्ध इसका परीक्षण भी किया।

उन्होंने वास्तविक न्यूरल नेटवर्क बनाए (लगभग 10 परतों और कुछ सौ न्यूरॉन्स के साथ) और उन्हें वास्तविक डेटासेट (जैसे MNIST अंक और CIFAR-10 चित्र) पर प्रशिक्षित किया।
उन्होंने यह देखने के लिए कि नेटवर्क वास्तव में क्या करते हैं, शक्तिशाली कंप्यूटर सैंपलिंग विधियों (जैसे कि लाखों बार पासा फेंकने का एक हाई-टेक संस्करण) का उपयोग किया।
निर्णय: उनका "स्मार्ट अनुमान" (EWA) वास्तविक दुनिया के परिणामों के साथ अविश्वसनीय रूप से अच्छी तरह मेल खा गया, यहाँ तक कि 10 परतों तक के नेटवर्क के लिए भी। यह पुराने "अनंत" सिद्धांतों की तुलना में बहुत अधिक सटीक था, जो सीमित आकार के नेटवर्क की बारीकियों को पकड़ने में विफल रहे थे।

5. एक आश्चर्यजनक खोज: "मेटास्टेबल" (Metastable) जाल

परीक्षण करते समय, उन्हें कुछ अजीब मिला। जब नेटवर्क बहुत गहरे हो गए और डेटा लोड अधिक था, तो कंप्यूटर सिमुलेशन कभी-कभी एक अस्थायी अवस्था में "फँस" गए।

उपमा: कल्पना कीजिए कि एक गेंद पहाड़ी से नीचे लुढ़क रही है। आमतौर पर, वह सीधे नीचे की ओर लुढ़कती है। लेकिन कभी-कभी, वह बीच में एक छोटे से गड्ढे में फंस जाती है। ऐसा लगता है जैसे वह वहीं ठहर गई है, लेकिन यदि आप पर्याप्त समय तक प्रतीक्षा करें (या पहाड़ी को हिलाएं), तो वह उस गड्ढे से बाहर निकल जाएगी और वास्तविक निचले स्तर तक पहुँच जाएगी।
लेखकों ने पाया कि मानक कंप्यूटर सिमुलेशन अक्सर इन "गड्ढों" (मेटास्टेबल अवस्थाओं) में फंस जाते हैं, जिससे ऐसा लगता है कि नेटवर्क ने सीखना बंद कर दिया है, जबकि वास्तव में, इसे वास्तविक समाधान खोजने के लिए बस अधिक समय की आवश्यकता थी।

सारांश

यह शोध पत्र डीप न्यूरल नेटवर्क को समझने के लिए एक नया "नियम" प्रदान करता है जो अनंत आकार के नहीं हैं। यह महसूस करके कि इन नेटवर्कों के भीतर का अराजक व्यवहार एक अनुमानित सांख्यिकीय पैटर्न (विशार्ट वितरण) का पालन करता है, उन्होंने एक सरल गणितीय उपकरण बनाया जो सटीक रूप से भविष्यवाणी करता है कि ये नेटवर्क कैसे सीखते हैं, जो सरल सिद्धांत और जटिल वास्तविकता के बीच के अंतर को पाटता है।

शीर्षक: बेयसियन डीप न्यूरल नेटवर्क्स में कर्नेल रेनोर्मलाइजेशन: प्रोपोर्शनल रिजीम में इक्विवेलेंट विशार्ट एन्सैट (Equivalent Wishart Ansatz)

समस्या विवरण
डीप न्यूरल नेटवर्क (DNNs) आधुनिक मशीन लर्निंग के केंद्र में हैं, फिर भी उनकी सैद्धांतिक समझ चुनौतीपूर्ण बनी हुई है, विशेष रूप से बहु-स्तरीय, गैर-रेखीय आर्किटेक्चर के लिए। जबकि "लेजी" (lazy) अनंत-चौड़ाई की सीमा (न्यूरल नेटवर्क गॉसियन प्रोसेस या NNGP) व्यापक नेटवर्क के लिए सटीक विवरण प्रदान करती है, यह उन परिमित-चौड़ाई (finite-width) प्रभावों को पकड़ने में विफल रहती है जो कर्नेल विधियों की तुलना में DNNs के बेहतर प्रदर्शन के लिए जिम्मेदार हैं। इसके विपरीत, "रिच" (rich) लर्निंग रिजीम, जहाँ फीचर्स महत्वपूर्ण रूप से अनुकूलित होते हैं, अक्सर उच्च-आयामी ऑर्डर पैरामीटर्स (जैसे, $P \times P$ कर्नेल मैट्रिसेस) की मांग करता है जो गणनात्मक रूप से अव्यवहार्य हैं।

यह कार्य उस विशिष्ट अंतराल को संबोधित करता है जो बेयसियन DNNs के प्रोपोर्शनल रिजीम (proportional regime) में मौजूद है, जहाँ प्रशिक्षण नमूनों की संख्या $P$ और नेटवर्क की चौड़ाई $N$ , समानुपाती रूप से अनंत की ओर बढ़ती है ( $\alpha = P/N$ स्थिर रखते हुए, $P, N \to \infty$ )। इस रिजीम में, परिमित-चौड़ाई के उतार-चढ़ाव (fluctuations) नगण्य नहीं हैं, और मौजूदा सिद्धांत या तो परिवर्तनीय सुधारों (perturbative corrections) पर निर्भर करते हैं (जो गहरे नेटवर्क के लिए विफल होते हैं) या उच्च-आयामी समीकरणों को हल करने की आवश्यकता रखते है जो कोई आयामी कमी (dimensionality reduction) प्रदान नहीं करते हैं।

कार्यप्रणाली: इक्विवेलेंट विशार्ट एन्सैट (EWA)
लेखक इक्विवेलेंट विशार्ट एन्सैट (EWA) पर आधारित एक अनुमानित लेकिन प्रभावी सिद्धांत प्रस्तावित करते हैं। मूल विचार यह है कि एक गहरे गैर-रेखीय नेटवर्क में पदानुक्रमित अनुभवजन्य कर्नेल (hierarchical empirical kernels) के स्टोकेस्टिक उतार-चढ़ाव को इस तरह मॉडल किया जाए जैसे कि वे विशार्ट (Wishart) वितरित हों, जैसा कि सटीक व्यवहार गहरे रेखीय नेटवर्क में पाया जाता है।

कर्नेल पदानुक्रम (Kernel Hierarchy): नेटवर्क आउटपुट प्रायर को प्रत्येक परत $\ell$ पर अनुभवजन्य कर्नेल $K^{(\ell)}_E$ के एक पदानुक्रम द्वारा वर्णित किया जाता है। प्रोपोर्शनल लिमिट में, लेखक यह मानकर चलते हैं कि परत $\ell$ पर एक कर्नेल का वितरण, परत $\ell-1$ के कर्नेल के दिए होने पर, एक विशार्ट वितरण की तरह व्यवहार करता है:
$K^{(\ell)}_E | K^{(\ell-1)}_E \sim \mathcal{W}_P\left( \frac{\Theta^{L-\ell+1}(K^{(\ell-1)}_E)}{N_\ell}, N_\ell \right)$
जहाँ $\Theta$ NNGP कर्नेल फंक्शन है और $N_\ell$ चौड़ाई है।
आयामी कमी (Dimensionality Reduction): विशार्ट मैट्रिसेस के गुणों (विशेष रूप से संकुचन गुण जहाँ द्विघातीय रूप $\chi^2$ वितरण का पालन करते हैं) का लाभ उठाकर, लेखक पैरामीटर स्पेस के जटिल इंटीग्रल को $L$ स्केलर ऑर्डर पैरामीटर्स $q_\ell$ (या CNNs के लिए मैट्रिसेस $q_\ell$ ) के निम्न-आयामी इंटीग्रल में कम करते हैं।
- फुली कनेक्टेड (FC) नेटवर्क्स के लिए, प्रभावी एक्शन एक स्केलर प्रोडक्ट $Q = \prod q_\ell$ पर निर्भर करता है।
- कनवल्शनल न्यूरल नेटवर्क्स (CNNs) के लिए, एक स्टैक्ड इक्विवेलेंट विशार्ट एन्सैट पेश किया गया है, जो पैच-पैच सहसंबंधों (patch-patch correlations) को कैप्चर करने वाले एक निम्न-आयामी मैट्रिक्स ऑर्डर पैरामीटर $Q$ की ओर ले जाता है।
प्रभावी एक्शन (Effective Action): पार्टिशन फंक्शन को एक लार्ज डेविएशन प्रिंसिपल के माध्यम से व्यक्त किया जाता है, जिससे एक प्रभावी एक्शन $S(q)$ प्राप्त होता है जो केवल इन ऑर्डर पैरामीटर्स और डेटासेट पर निर्भर करता है। रेनोर्मलाइज्ड कर्नेल को $K^{(R)}_Q = Q \Theta^L(C)$ के रूप में दिया गया है, जहाँ $C$ इनपुट ग्राम मैट्रिक्स है।
गैर-शून्य माध्य को संभालना (Handling Non-Zero Means): लेखक प्रदर्शित करते हैं कि प्रोपोर्शनल रिजीम के लिए, सेंट्रल और नॉन-सेंट्रल विशार्ट डिस्ट्रीब्यूशन के बीच का अंतर (जो गैर-शून्य माध्य वाले एक्टिवेशन फंक्शन्स जैसे ReLU से उत्पन्न होता है) स्पर्शोन्मुख रूप से (asymptotically) नगण्य है। ज़ीरो-मीन EWA एक वैध प्रभावी विवरण बना रहता है।

प्रमुख योगदान

गैर-रेखीय DNNs के लिए निम्न-आयामी सिद्धांत: यह पेपर प्रोपोर्शनल रिजीम में बेयसियन मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) और CNNs के लिए पहला निम्न-आयामी अनुमानित विवरण प्रदान करता है, जो $P \times P$ सेल्फ-कंसिस्टेंसी समीकरणों का सहारा लिए बिना नॉन-पर्टर्बेटिव परिमित-चौड़ाई प्रभावों को कैप्चर करता है।
इक्विवेलेंट विशार्ट एन्सैट: यह पदानुक्रमित अनुभवजन्य कर्नेल के प्रमुख स्टोकेस्टिक उतार-चढ़ाव को कैप्चर करने के एक तंत्र के रूप में EWA को पेश करता है, जो समस्या को $L$ (या एक छोटा मैट्रिक्स) ऑर्डर पैरामीटर्स खोजने तक सीमित कर देता है।
CNNs में विस्तार: इस फ्रेमवर्क को कनवल्शनल आर्किटेक्चर में विस्तारित किया गया है, जो स्थानिक रूप से सहसंबद्ध डेटा (spatially correlated data) में परिमित-चौड़ाई प्रभावों को ध्यान में रखते हुए एक पदानुक्रमित स्थानीय कर्नेल रेनोर्मलाइजेशन तंत्र की पहचान करता है।
प्रोपोर्शनल रिजीम में सत्यापन: सिद्धांत का परीक्षण वास्तविक दुनिया के डेटासेट्स (MNIST, CIFAR-10) और सिंथेटिक डेटा पर व्यापक संख्यात्मक प्रयोगों (MCMC सैंपलिंग) के विरुद्ध किया गया है, जो $L \sim 10$ की गहराई और विभिन्न एक्टिवेशन फंक्शन्स (Erf, ReLU) को कवर करता है।

परिणाम

मात्रात्मक समझौता (Quantitative Agreement): EWA भविष्यवाणियाँ प्रशिक्षण हानि (training loss) और सामान्यीकरण त्रुटि (generalization error) के लिए $L \sim O(10)$ की गहराई और विभिन्न डेटासेट आकारों वाले नेटवर्क के लिए संख्यात्मक सैंपलिंग प्रयोगों के साथ "कुल मिलाकर बहुत अच्छा समझौता" दिखाती हैं। सिद्धांत उन परिमित-चौड़ाई वाले नेटवर्क्स के व्यवहार को सफलतापूर्वक ट्रैक करता है जहाँ बड़े-चौड़ाई वाला NNGP लिमिट विफल हो जाता है।
व्यवस्थित विचलन (Systematic Deviations): दो प्रकार के विचलन देखे गए हैं जब गहराई $L$ $L$ और लोड $\alpha$ $α$ दोनों बड़े होते हैं:
1. क्रमिक बहाव (Gradual Drift): उच्च $\alpha$ पर गॉसियन डेटा प्रयोगों में, EWA त्रुटि गहराई के साथ सुचारू रूप से बढ़ती है, जो संभवतः रेट फंक्शन की चौड़ाई में संचित त्रुटियों या उपेक्षित दिशात्मक विषमताओं (directional inhomogeneities) के कारण है।
2. मेटास्टेबिलिटी (Metastability): CIFAR-10 पर ReLU नेटवर्क्स के लिए $L > 5$ और $\alpha \approx 2.5$ पर, MCMC सिमुलेशन में प्रशिक्षण और परीक्षण त्रुटि में एक तीव्र, अचानक गिरावट देखी गई है। इस घटना को पोस्टीरियर में एक मेटास्टेबल ट्रांजिशन के रूप में व्याख्यायित किया गया है, जिसे EWA की सुचारू भविष्यवाणी द्वारा कैप्चर नहीं किया गया है, जो चरम परिगतियों में एन्सैट की विफलता का सुझाव देता है।
मीन-फील्ड बनाम मानक पैरामीट्राइजेशन: सिद्धांत स्टैंडर्ड (SP) और मीन-फील्ड ( $\mu$ P) पैरामीट्राइजेशन दोनों में सामान्यीकरण प्रदर्शन की सफलतापूर्वक भविष्यवाणी करता है। रिच लर्निंग रिजीम ( $\mu$ P) में, सामान्यीकरण में सुधार को प्रेडिक्टर बायस के एक मजबूत अनुकूलन के बजाय प्रेडिक्टर वेरिएंस के दमन द्वारा संचालित पाया गया है, जो EWA के रेनोर्मलाइज्ड कर्नेल चित्र के अनुरूप है।

महत्व और दावे
लेखक दावा करते हैं कि EWA एक व्यवहार्य प्रभावी सिद्धांत प्रदान करता है जो "लेजी" अनंत-चौड़ाई की सीमा और जटिल, उच्च-आयामी फीचर लर्निंग रिजीम के बीच के अंतर को पाटता है। कुछ स्केलर (या निम्न-रैंक मैट्रिक्स) ऑर्डर पैरामीटर्स में समस्या को कम करके, यह पेपर तर्क देता है कि परिमित-चौड़ाई सीखने के लिए डेटा के आकार और चौड़ाई का सापेक्ष स्केलिंग ( $\alpha = P/N$ ), पारंपरिक "लेजी बनाम रिच" द्वंद्व की तुलना में अधिक मौलिक संगठित सिद्धांत है।

यह कार्य सुझाव देता है कि मध्यम गहराई और लोड के लिए, गैर-रेखीय DNNs में फीचर्स का जटिल अनुकूलन एक सरल वैश्विक (या CNN के लिए स्थानीय) कर्नेल रेनोर्मलाइजेशन द्वारा प्रभावी रूप से कैप्चर किया जा सकता है। यह फीचर लर्निंग को समझने के लिए एक आधार प्रदान करता है, यह संकेत देते हुए कि अनंत-चौड़ाई वाली भविष्यवाणियों और परिमित-चौड़ाई वाली घटना विज्ञान (phenomenology) के बीच का बड़ा अंतर काफी हद तक इस दिशात्मक रूप से सजातीय रेनोर्मलाइजेशन द्वारा कैप्चर किया गया है। यह निष्कर्ष निकालता है कि हालांकि EWA एक अनुमान है, विविध आर्किटेक्चर और डेटासेट्स में अनुभवजन्य लर्निंग कर्व्स की भविष्यवाणी करने में इसकी सफलता इसे प्रोपोर्शनल रिजीम में बेयसियन डीप लर्निंग के विश्लेषण के लिए एक शक्तिशाली उपकरण के रूप में स्थापित करती है।