📊 statistics

Deep Neural Network Training as Random Effects: An Optimization-Inference Duality

यह शोध पत्र एक सांख्यिकीय ढांचा स्थापित करता है जो डीप न्यूरल नेटवर्क प्रशिक्षण को रैंडम-इफेक्ट्स इन्फरेंस (random-effects inference) के रूप में पुनर्गठित करता है, यह प्रदर्शित करते हुए कि ग्रेडिएंट फ्लो पथ एक एम्पेरिकल बेयस पोस्टीरियर मीन (empirical Bayes posterior mean) के समान है और प्रशिक्षण की अवधि को भविष्य में न्यूनतम भविष्यवाणी त्रुटि प्राप्त करने के लिए रिस्ट्रिक्टेड मैक्सिमम लाइकलीहुड (REML) के माध्यम से इष्टतम रूप से निर्धारित किया जा सकता है।

मूल लेखक: Minhao Yao, Ruoyu Wang, Xihong Lin, Lin Liu, Zhonghua Liu

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minhao Yao, Ruoyu Wang, Xihong Lin, Lin Liu, Zhonghua Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े अराजक छात्र (एक डीप न्यूरल नेटवर्क) को एक पहेली सुलझाना सिखा रहे हैं। आमतौर पर, हम उन्हें बार-बार अभ्यास कराकर सिखाते हैं, और केवल तभी रुकते हैं जब वे नई समस्याओं पर गलतियाँ करने लगते हैं (ओवरफिटिंग) या जब हम थक जाते हैं। यह पेपर इस प्रक्रिया के बारे में सोचने का एक बिल्कुल अलग तरीका बताता है: केवल "प्रशिक्षण" (training) के बजाय, हमें इसे "सांख्यिकीय जासूसी कार्य" (statistical detective work) के रूप में सोचना चाहिए।

यहाँ मूल विचार को सरल अवधारणाओं और उपमाओं में तोड़कर समझाया गया है:

1. एक ही सिक्के के दो पहलू

लेखकों ने खोजा है कि न्यूरल नेटवर्क कैसे सीखते हैं, इसमें एक छिपा हुआ द्वैत (duality) है।

ऑप्टिमाइज़ेशन का दृष्टिकोण (कोच): पारंपरिक रूप से, हम प्रशिक्षण को एक कोच के रूप में देखते हैं जो एक एथलीट को गलतियों को कम करने के लिए तेज़ दौड़ने के लिए चिल्ला रहा है। आप तब तक दौड़ते रहते हैं जब तक कि आप किसी दीवार से न टकरा जाएं या थक न जाएं।
इन्फरेंस (अनुमान) का दृष्टिकोण (जासूस): पेपर दिखाता है कि दौड़ने का यही रास्ता वास्तव में सुराग इकट्ठा करने वाला एक जासूस है। एथलीट द्वारा दौड़ने में बिताया गया "समय" केवल एक टाइमर नहीं है; यह एक वैरिएंस डायल (variance dial) है। जैसे-जैसे समय बीतता है, जासूस अपना ध्यान "रैंडम नॉइज़" (शोर/कचरा) से हटाकर "स्ट्रक्चर्ड सिग्नल" (वास्तविक पैटर्न) पर केंद्रित करता है।

उपमा: कल्पना कीजिए कि आप एक शोर भरे कमरे में एक विशिष्ट बातचीत को सुनने की कोशिश कर रहे हैं।

ऑप्टिमाइज़ेशन केवल वॉल्यूम बढ़ाने जैसा है ताकि बातचीत पर्याप्त रूप से तेज़ हो सके।
इन्फरेंस यह समझना है कि "समय" वास्तव में एक फिल्टर है। शुरुआत में, आप केवल स्टैटिक (शोर) सुनते हैं। जैसे-जैसे आप फिल्टर को ट्यून करते हैं (अधिक प्रशिक्षण देते हैं), स्टैटिक धुंधला होता जाता है, और बातचीत (सिग्नल) स्पष्ट हो जाती है। पेपर यह सिद्ध करता है कि इस फिल्टर को ट्यून करने के लिए उपयोग किया जाने वाला गणित वही है जिसका उपयोग नेटवर्क को प्रशिक्षित करने के लिए किया जाता है।

2. "रैंडम इफेक्ट्स" मॉडल

यह पेपर न्यूरल नेटवर्क को एक क्लासिक सांख्यिकीय उपकरण जिसे रैंडम-इफेक्ट्स मॉडल (Random-Effects Model) कहा जाता, से जोड़ता है।

सेटअप: न्यूरल नेटवर्क के शुरुआती अनुमान (प्रशिक्षण शुरू होने से पहले) को एक खाली स्लेट के रूप में सोचें। "प्रशिक्षण" एक "रैंडम इफेक्ट" जोड़ने की प्रक्रिया है—एक छिपा हुआ संरचनात्मक स्तर जो खाली स्लेट की तुलना में डेटा को बेहतर ढंगता है।
जादू: लेखक दिखाते हैं कि किसी भी विशिष्ट क्षण में न्यूरल नेटवर्क का आउटपुट सांख्यिकी में उपयोग किए जाने वाले "बेस्ट लीनियर अनबायस्ड प्रेडिक्टर" (BLUP) के बिल्कुल समान है।
निष्कर्ष: नेटवर्क केवल याद नहीं कर रहा है; यह डेटा के आधार पर सबसे संभावित "छिपे हुए सिग्नल" की गणना कर रहा है, और प्रशिक्षण के समय को एक नॉब (knob) की तरह उपयोग कर रहा है जो यह नियंत्रित करता है कि वह सिग्नल और नॉइज़ में से किस पर कितना भरोसा करे।

3. दो बड़े सवालों के जवाब

यह नया दृष्टिकोण दो ऐसे सवालों के जवाब देता है जिनमें आमतौर पर अनुमान लगाने की आवश्यकता होती है:

A. "क्या हमें प्रशिक्षण देने की ज़रूरत भी है?"

आमतौर पर, हम मान लेते हैं कि प्रशिक्षण मदद करता है। यह पेपर एक सांख्यिकीय परीक्षण (एक "स्कोर टेस्ट") प्रस्तावित करता है यह जाँचने के लिए कि क्या प्रशिक्षण ने वास्तव में एक वास्तविक पैटर्न पाया है या नेटवर्क केवल रैंडम नॉइज़ सीख रहा है।

उपमा: एक खुरबे हीरे को पॉलिश करने में घंटों बिताने से पहले, आप यह देखने के लिए एक विशेष रोशनी का उपयोग करते हैं कि क्या वास्तव में अंदर कोई रत्न है, या यह सिर्फ कांच का एक टुकड़ा है। यदि परीक्षण कहता है "कोई महत्वपूर्ण संरचना नहीं है," तो आप तुरंत रुक जाते हैं और समय बचाते हैं।

B. "हमें कब रुकना चाहिए?"

आमतौर पर, हम एक अलग "वैलिडेशन सेट" (अभ्यास परीक्षण) की जाँच करके या अनुमान लगाकर प्रशिक्षण रोक देते हैं। यह पेपर गणितीय रूप से सटीक रुकने के बिंदु की गणना करने के लिए REML (रिस्ट्रिक्टेड मैक्सिमम लाइकलीहुड) का उपयोग करने का प्रस्ताव देता है।

उपमा: एक रेडियो ट्यूनर की कल्पना करें। जैसे-जैसे आप डायल घुमाते हैं (प्रशिक्षण देते हैं), स्टैटिक शांत होता जाता है और संगीत स्पष्ट होता जाता है। अंततः, यदि आप घुमाते रहते हैं, तो संगीत विकृत होने लगता है।
- पुराना तरीका: आप डायल घुमाते रहते हैं और हर कुछ सेकंड में एक दोस्त से पूछते हैं, "क्या यह बेहतर है?"
- नया तरीका (REML): यह पेपर आपको एक फॉर्मूला देता है जो आपको ठीक उसी क्षण बताता है जब "स्टैटिक" और "संगीत" पूरी तरह से संतुलित होते हैं। आपको किसी दोस्त से पूछने की ज़रूरत नहीं है; गणित आपको रुकने का सटीक सेकंड बताता है।

4. "स्पेक्ट्रल डिकोरिलेशन" (Spectral Decorrelation) नियम

गणित को कैसे पता चलता है कि कब रुकना है? यह डेटा में आइजनवैल्यूज़ (eigenvalues) (इन्हें डेटा में विभिन्न पैटर्न की "शक्ति" या "महत्व" के रूप में सोचें) को देखता है।

प्रक्रिया: न्यूरल नेटवर्क पहले सबसे मजबूत पैटर्न (तेज़ संगीत) सीखता है और कमजोर पैटर्न (धीमी फुसफुसाहट) को अनदेखा करता है।
रुकने का नियम: पेपर कहता है कि आपको ठीक तभी रुकना चाहिए जब मजबूत पैटर्न और कमजोर पैटर्न पर "लॉस" (त्रुटि) अनकोरिलेटेड (uncorrelated) हो जाते हैं।
रूपक: एक गायक मंडली (choir) की कल्पना करें। शुरुआत में, केवल तेज़ गायक (मजबूत पैटर्न) गा रहे होते हैं। जैसे-जैसे आप प्रशिक्षण देते हैं, शांत गायक भी शामिल हो जाते हैं। "परफेक्ट मोमेंट" तब है जब तेज़ गायकों ने अपना हिस्सा पूरा कर लिया हो, लेकिन शांत गायकों ने अभी तक बैकग्राउंड नॉइज़ (शोर) गाना शुरू नहीं किया हो। यदि आप बहुत लंबे समय तक चलते हैं, तो शांत गायक स्टैटिक गाना शुरू कर देते हैं, और गाना खराब हो जाता है।

5. यह क्यों महत्वपूर्ण है

समय की बचत: आपको यह जाँचने के लिए घंटों तक नेटवर्क को प्रशिक्षित करने में समय बर्बाद करने की आवश्यकता नहीं है कि यह काम कर रहा है या नहीं। आप "रैंडम इफेक्ट्स" के गणित का उपयोग करके रुकने के बिंदु की गणना लगभग तुरंत कर सकते हैं।
सभी डेटा का उपयोग: पारंपरिक तरीके आपके डेटा के 20% को "अभ्यास परीक्षण" के रूप में फेंक देते हैं। यह तरीका सीखने के लिए आपके 100% डेटा का उपयोग करता है क्योंकि गणित रुकने के निर्णय को आंतरिक रूप से संभालता है।
सिद्ध इष्टतमता (Proven Optimality): लेखकों ने गणितीय रूप से सिद्ध किया कि यह तरीका "सर्वश्रेष्ठ संभव" रुकने का बिंदु पाता है, जो त्रुटियों को उतना ही कम करता है जितना कि एक जादुई "ओरेकल" (oracle) करता जिसने पहले से ही उत्तर जान लिया हो।

सारांश

यह पेपर डीप न्यूरल नेटवर्क प्रशिक्षण को फिर से परिभाषित करता है। यह केवल एक ब्रूट-फोर्स ऑप्टिमाइज़ेशन गेम नहीं है; यह एक सांख्यिकीय अनुमान (statistical inference) समस्या है। प्रशिक्षण के समय को शोर और सिग्नल के बीच संतुलन बनाने वाले डायल के रूप में मानकर, लेखक यह तय करने के लिए एक कठोर, गणित-आधारित तरीका प्रदान करते हैं कि क्या आपको प्रशिक्षण देना चाहिए और ठीक कब रुकना चाहिए, जिससे कंप्यूटिंग पावर और डेटा की भारी बचत होती है।

तकनीकी सारांश: रैंडम इफेक्ट्स के रूप में डीप न्यूरल नेटवर्क प्रशिक्षण

समस्या विवरण
प्रोटीन संरचना भविष्यवाणी से लेकर गणितीय खोज तक के क्षेत्रों में डीप न्यूरल नेटवर्क्स (DNNs) की अनुभवजन्य सफलता के बावजूद, उनके प्रशिक्षण की गतिशीलता (training dynamics) को सांख्यिकीय दृष्टिकोण से अभी भी पूरी तरह से समझा नहीं गया है। वर्तमान समझ अनुकूलन (optimization) दृष्टिकोणों द्वारा हावी है, जिससे सांख्यिकीय प्रकृति के संबंध में मौलिक प्रश्न खुले रह गए हैं। विशेष रूप से, मौजूदा सिद्धांत के पास यह निर्धारित करने के लिए एक सिद्धांतपूर्ण ढांचा (principled framework) का अभाव है कि: (1) क्या प्रशिक्षण नेटवर्क के इनिशियलाइजेशन (initialization) से परे सांख्यिकीय रूप से महत्वपूर्ण संरचना निकालता है, और (2) प्रेडिक्टिव परफॉरमेंस को नियंत्रित करने वाले एक सांख्यिकीय पैरामीटर के रूप में इष्टतम स्टॉपिंग टाइम (optimal stopping time) का अनुमान कैसे लगाया जाए, न कि एक ह्यूरिस्टिक ट्यूनिंग पैरामीटर के रूप में। जबकि न्यूरल टेंगेंट कर्नेल (NTK) सिद्धांत इनफिनिट-विड्थ रिजीम में ओवर-पैरामीटराइज्ड DNNs का फंक्शन-स्पेस विवरण प्रदान करता है, यह स्वाभाविक रूप से इन प्रश्नों के लिए एक इन्फेरेंशियल फ्रेमवर्क पेश नहीं करता है।

कार्यप्रणाली (Methodology)
लेखक ओवर-पैरामीटराइज्ड NTK रिजीम में DNN प्रशिक्षण के लिए एक सांख्यिकस्टिक फ्रेमवर्क स्थापित करते हैं, यह प्रदर्शित करते हुए कि निरंतर-समय (continuous-time) NTK ग्रेडिएंट फ्लो और एक क्लासिकल रैंडम-इफेक्ट्स मॉडल के बीच एक सटीक समानता है।

रैंडम-इफेक्ट्स प्रतिनिधित्व: शोध पत्र यह सिद्ध करता है कि निरंतर-समय NTK ग्रेडिएंट फ्लो का आउटपुट, $\hat{f}^K_t(x)$ , एक रैंडम-इफेक्ट्स मॉडल में बेस्ट लीनियर अनबायस्ड प्रेडिक्टर (BLUP) के बिल्कुल समान है:
$y = f_0(X) + u_t + \varepsilon_t$
जहाँ $f_0(X)$ इनिशियलाइजेशन है, $u_t$ एक लेटेंट रैंडम इफेक्ट है जिसका कोवेरिएंस स्ट्रक्चर NTK मैट्रिक्स $H_\infty$ और प्रशिक्षण समय $t$ द्वारा निर्धारित होता है, और $\varepsilon_t$ नॉइज़ है। महत्वपूर्ण रूप से, प्रशिक्षण समय $t$ एक वेरिएंस कंपोनेंट (या एक एम्पेरिकल बेयस कोवेरिएंस हाइपरपैरामीटर) के रूप में कार्य करता है जो रेसिडुअल नॉइज़ से स्ट्रक्चर्ड सिग्नल की ओर वेरिएंस के आवंटन को नियंत्रित करता है।
दो-चरणीय इन्फेरेंशियल प्रक्रिया:
- चरण 1 (आवश्यकता का परीक्षण): लेखक शून्य परिकल्पना $H_0: t=0$ (कोई प्रशिक्षण-प्रेरित सिग्नल नहीं) के विरुद्ध $H_1: t>0$ का मूल्यांकन करने के लिए एक वेरिएंस-कंपोनेंट स्कोर टेस्ट प्रस्तावित करते हैं। यह परीक्षण निर्धारित करता है कि क्या DNN प्रशिक्षण इनिशियलाइजेशन से परे सांख्यिकीय रूप से महत्वपूर्ण संरचना कैप्चर करता है।
- चरण 2 (इष्टतम स्टॉपिंग): यदि प्रशिक्षण आवश्यक है, तो स्टॉपिंग टाइम का अनुमान रेस्ट्रिक्टेड मैक्सिमम लाइकलीहुड (REML) के माध्यम से लगाया जाता है। REML ऑब्जेक्टिव फंक्शन को इष्टतम $t$ खोजने के लिए मिनिमाइज किया जाता है। लेखक एक एस्टिमेटिंग इक्वेशन निकालते हैं जहाँ इष्टतम स्टॉपिंग टाइम वह बिंदु है जहाँ ऑप्टिमाइज्ड स्पेक्ट्रल लॉसेस और NTK आइजनवैल्यूज के बीच एम्पेरिकल कोवेरिएंस शून्य हो जाता है (स्पेक्ट्रल लॉस डिकोरिलेशन)।
सैद्धांतिक गारंटी: शोध पत्र स्थापित करता है कि REML-गाइडेड स्टॉपिंग टाइम एसिम्प्टोटिक रूप से इष्टतम प्रेडिक्शन एरर प्राप्त करता है। यह फिक्स्ड-डिज़ाइन इन-सैंपल प्रेडिक्शन के लिए सत्य है और अतिरिक्त रेगुलैरिटी कंडीशंस के तहत, रैंडम-डिज़ाइन आउट-ऑफ-सैंपल प्रेडिक्शन के लिए भी। इसकी अनुकूलता (optimality) एक "ओरेकल" स्टॉपिंग टाइम के सापेक्ष सिद्ध की गई है, जिसमें त्रुटि पदों (error terms) के गौसियन होने की आवश्यकता नहीं है।

मुख्य योगदान

ऑप्टिमाइजेशन-इन्फरेंस द्वैत (Duality): यह शोध पत्र प्रकट करता है कि NTK ग्रेडिएंट-फ्लो पाथ एक साथ एक ऑप्टिमाइजेशन ट्रेजेक्टरी (एम्पेरिकल लॉस को कम करना) और एक रैंडम-इफेक्ट्स इन्फरेंस पाथ (एक लेटेंट सिग्नल का अनुमान लगाना) है। प्रशिक्षण समय को केवल एक एल्गोरिथमिक स्टेप के बजाय एक वेरिएंस कंपोनेंट के रूप में पुनर्व्याख्यायित किया गया है।
BLUP के साथ सटीक समानता: यह स्थापित करता है कि NTK ग्रेडिएंट-फ्लो आउटपुट्स, एक एक्सपोनेंशियल कोवेरिएंस स्ट्रक्चर वाले लेटेंट रैंडम इफेक्ट के BLUP के गणितीय रूप से समान हैं।
सिद्धांतपूर्ण अर्ली स्टॉपिंग: यह अर्ली स्टॉपिंग को एक ह्यूरिस्टिक या वैलिडेशन-आधारित ट्यूनिंग नियम के बजाय एक लाइकलीहुड-आधारित एस्टीमेशन समस्या (REML) के रूप में पुनर्गठित करता है। यह दृष्टिकोण मॉडल फिटिंग के लिए पूर्ण ट्रेनिंग सैंपल को संरक्षित करते हुए, एक होल्ड-आउट वैलिडेशन सेट की आवश्यकता को समाप्त करता है।
स्पेक्ट्रल व्याख्या: REML मानदंड को एक ऐसे स्टॉपिंग टाइम को चुनने के लिए दिखाया गया है जहाँ स्पेक्ट्रल लॉसेस और NTK आइजनवैल्यूज के बीच "एम्पेरिकल स्पेक्ट्रल कोवेरिएंस" (ESC) शून्य हो जाता है। यह एक ज्यामितीय व्याख्या प्रदान करता है: प्रशिक्षण तब तक चलता है जब तक कि प्रमुख आइजनडायरेक्शंस को पर्याप्त रूप से फिट नहीं कर लिया जाता, लेकिन इससे पहले कि शोर वाले, छोटे-आइजनवैल्यू वाले डायरेक्शंस को ओवरफिट किया जाए।
जटिलता माप: यह ढांचा इफेक्टिव डिग्री ऑफ फ्रीडम (edf) के माध्यम से मॉडल जटिलता के एक स्पेक्ट्रल माप को पेश करता है, जिसे स्मूदर मैट्रिक्स $I - \exp(-tH_\infty)$ के ट्रेस के रूप में परिभाषित किया गया है, जो प्रशिक्षण समय के साथ मोनोटोनिक रूप से बढ़ता है।

परिणाम

सिमुलेशन अध्ययन: सिंथेटिक डेटा पर संख्यात्मक प्रयोगों से पता चलता है कि प्रस्तावित स्कोर टेस्ट नामित टाइप I एरर कंट्रोल बनाए रखता है और प्रशिक्षण की आवश्यकता का पता लगाने में उच्च पावर रखता है। REML-गाइडेड अर्ली स्टॉपिंग नियम वैलिडेशन-आधारित स्टॉपिंग के बराबर या उससे थोड़ा बेहतर टेस्ट एरर प्राप्त करता है, जबकि कंप्यूटेशनल समय (जटिल मामलों में 98% तक की कमी) को काफी कम कर देता है।
वास्तविक दुनिया का अनुप्रयोग: इस पद्धति को क्लिनिकल ट्रेड्स (LDL, HbA1c, SBP, BMI) की भविष्यवाणी करने के लिए UK बायोबैंक प्रोटिओमिक्स डेटा पर लागू किया गया था। स्कोर टेस्ट ने पुष्टि की कि प्रशिक्षण ने सभी ट्रेड्स के लिए महत्वपूर्ण प्रेडिक्टिव लाभ प्रदान किया। REML-गाइडेड स्टॉपिंग नियम ने इष्टतम स्टॉपिंग टाइम्स की पहचान की जो वैलिडेशन-आधारित विधियों की तुलना में काफी कम कंप्यूटेशनल लागत के साथ निकट-इष्टतम टेस्ट परफॉरमेंस प्रदान करते हैं।

महत्व
यह शोध पत्र दावा करता है कि यह DNN प्रशिक्षण को एक सांख्यिकीय इन्फरेंस समस्या के रूप में पुनर्गठित करता है, जो डीप न्यूरल नेटवर्क को यह तय करने के लिए एक सिद्धांतपूर्ण आधार प्रदान करता है कि कब और कितनी देर तक प्रशिक्षित किया जाए। क्लासिकल रैंडम-इफेक्ट्स मॉडल, वेरिएंस-कंपोनेंट इन्फरेंस और एम्पेरिकल बेयस के साथ आधुनिक डीप लर्निंग को जोड़कर, यह कार्य एक एकीकृत ढांचा प्रदान करता है जो:

ह्यूरिस्टिक अर्ली स्टॉपिंग को एक वेरिएंस कंपोनेंट के लाइकलीहुड-आधारित एस्टीमेशन से बदलता है।
नॉनलीनियर ट्रेनिंग की आवश्यकता के लिए एक औपचारिक सांख्यिकीय परीक्षण प्रदान करता है।
मॉडल कॉम्प्लेक्सिटी और रेगुलराइजेशन के लिए एक व्याख्या योग्य स्पेक्ट्रल मैकेनिज्म प्रदान करता है।
डेटा-जेनरेटिंग प्रोसेस के लिए गौसियन धारणा पर निर्भर किए बिना प्रेडिक्शन एरर के लिए एसिम्प्टोटिक ऑप्टिमलिटी गारंटी प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि हालांकि यह सिद्धांत इनफिनिट-विड्थ NTK सन्निकटन (approximation) और निरंतर-समय फ्लो पर निर्भर करता है, परिणामी ढांचा आधुनिक डीप लर्निंग सिस्टम के प्रशिक्षण डायनेमिक्स को देखने और नियंत्रित करने के लिए एक कठोर सांख्यिकीय लेंस प्रदान करता है।