🤖 machine learning

A Data-dependent Early Stopping Rule using Rademacher Complexity with L1-norm

यह शोधपत्र प्रशिक्षण या संभाव्यता संबंधी धारणाओं की आवश्यकता के बिना, लीनियर रिग्रेशन मॉडल के लिए इष्टतम अर्ली स्टॉपिंग समय (early stopping time) का अनुमान लगाने हेतु L1-नॉर्म के साथ रेडमेकर कॉम्प्लेक्सिटी (Rademacher complexity) पर आधारित एक विश्लेषणात्मक ढांचे का प्रस्ताव करता है, जो लीनियर प्रोबिंग के माध्यम से नॉनलीनियर न्यूरल नेटवर्क में इसकी प्रयोज्यता को प्रदर्शित करता है।

मूल लेखक: Duy Hoang, Bastien Berret, Olivier Bruneau, Laurent Fribourg

प्रकाशित 2026-08-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Duy Hoang, Bastien Berret, Olivier Bruneau, Laurent Fribourg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कंप्यूटर को पैटर्न पहचानने के लिए प्रशिक्षित करना, चाहे वह एक तस्वीर में बिल्ली की पहचान करना हो या शेयर की कीमत का अनुमान लगाना, एक नाजुक संतुलन बनाने जैसा है। मशीन उदाहरणों को देखकर सीखती है, और जो डेटा उसने देखा है उसके अनुरूप अपने आंतरिक सेटिंग्स को समायोजित करती है। हालाँकि, यदि यह बहुत अधिक पूर्णता से सीख लेती है, तो यह अंतर्निहित नियमों को समझने के बजाय उन उदाहरणों की विशिष्ट बारीकियों को याद करने लगती है। यह एक ऐसे छात्र की तरह है जो अभ्यास परीक्षा के उत्तर तो रट लेता है लेकिन वास्तविक परीक्षा में विफल हो जाता है क्योंकि वह नए प्रश्नों पर तर्क लागू नहीं कर पाता। आर्टिफिशियल इंटेलिजेंस की दुनिया में, सामान्यीकरण (generalize) करने में यह विफलता एक बड़ी बाधा है। इसे रोकने के लिए, शोधकर्ता अक्सर "अर्ली स्टॉपिंग" (early stopping) नामक रणनीति का उपयोग करते हैं, जहाँ वे सीखने की प्रक्रिया को बिल्कुल सही क्षण पर रोक देते हैं—तब, जब मॉडल ने नियम तो सीख लिए हों लेकिन शोर (noise) को याद करना शुरू न किया हो। चुनौती हमेशा यही रही है कि वह सटीक क्षण कब आता है। पारंपरिक रूप से, इस 'स्वीट स्पॉट' को खोजने के लिए डेटा के अलग-अलग सेटों पर प्रशिक्षण प्रक्रिया को कई बार चलाने की आवश्यकता होती है, जो एक धीमी, गणनात्मक रूप से महंगी और अक्सर अनुमानों पर आधारित विधि है।

यूनिवर्सिटी पेरिस-सैक्ले (Université Paris-Saclay) के शोधकर्ताओं की एक टीम ने बिना बार-बार परीक्षण किए इस समय निर्धारण की समस्या को हल करने का एक नया तरीका प्रस्तावित किया है। अतिरिक्त सिमुलेशन चलाने या अनुमान लगाने के बजाय, उन्होंने एक गणितीय विधि विकसित की है जो सीधे डेटा से ही आदर्श रुकने के बिंदु की भविष्यवाणी कर सकती है। उनका दृष्टिकोण 'रेडेमैकर कॉम्प्लेक्सिटी' (Rademacher complexity) नामक एक अवधारणा पर आधारित है, जो मूल रूप से यह मापता है कि एक मॉडल वास्तविक पैटर्न और यादृच्छिक शोर के बीच कितनी अच्छी तरह अंतर कर सकता है। इस माप का उपयोग करके, शोधकर्ताओं ने एक नियम बनाया जो कंप्यूटर को ठीक से बताता है कि कब सीखना बंद करना है। जो बात उनके काम को विशिष्ट बनाती है, वह यह है कि इसके लिए डेटा के आकार या वितरण के बारे में धारणाओं की आवश्यकता नहीं है, जो पिछले तरीकों की एक सामान्य आवश्यकता थी। इसके अलावा, उन्होंने पाया कि त्रुटि को मापने के एक विशिष्ट तरीके, जिसे L1-नॉर्म (L1-norm) कहा जाता है, का उपयोग करने से क्षेत्र में उपयोग किए जाने वाले मानक तरीकों की तुलना में काफी सटीक भविष्यवाणियां मिलीं।

शोधकर्ताओं ने अपने प्रारंभिक कार्य में लीनियर मॉडल्स (linear models) पर ध्यान केंद्रित किया, जो मशीन लर्निंग एल्गोरिदम के सबसे सरल प्रकार हैं, लेकिन उन्होंने प्रदर्शित किया कि उनके निष्कर्षों को जटिल, नॉन-लीनियर न्यूरल नेटवर्क तक विस्तारित किया जा सकता है। अपने सिद्धांत का परीक्षण करने के लिए, उन्होंने एक क्लासिक समस्या को लागू किया: हस्तलिखित अंकों के बीच अंतर करना। एक प्रयोग में, उन्होंने दस हजार से अधिक छवियों के डेटासेट से संख्या तीन और पांच के बीच अंतर करने के लिए एक न्यूरल नेटवर्क को प्रशिक्षित किया। उनके नए नियम का उपयोग करते हुए, सिस्टम ने 342 स्टेप्स का स्टॉपिंग टाइम (stopping time) निकाला। जब उन्होंने इसकी तुलना पूर्ण प्रशिक्षण प्रक्रिया चलाकर और एक अलग टेस्ट सेट की जांच करके प्राप्त वास्तविक सर्वोत्तम स्टॉपिंग टाइम से की, तो वास्तविक इष्टतम (optimum) 357 स्टेप्स था। अंतर नगण्य था, और उनके नियम से प्रशिक्षित मॉडल का प्रदर्शन, वास्तविक इष्टतम पर रुके मॉडल के प्रदर्शन के लगभग समान था। शून्य और एक के शामिल वाले दूसरे परीक्षण में, अनुमानित स्टॉपिंग टाइम 415 स्टेप्स था, जबकि वास्तविक इष्टतम 418 स्टेप्स था। दोनों ही मामलों में, उनके द्वारा प्रशिक्षित मॉडल ने ओवरफिटिंग के जाल से बचने में सफलता पाई और अनदेखे डेटा के लिए सर्वोत्तम संभव सटीकता प्राप्त की।

अध्ययन ने यह भी खुलासा किया कि यह विधि तब सबसे अच्छा काम करती है जब मॉडल की जटिलता के सापेक्ष डेटा की मात्रा अधिक होती है। जब शोधकर्ताओं ने कम डेटा पॉइंट्स वाले परिदृश्यों का परीक्षण किया, तो विधि कम सटीक हो गई, कभी-कभी शून्य स्टॉपिंग टाइम का सुझाव देती है, जो यह दर्शाता है कि मॉडल को बिल्कुल भी प्रशिक्षित नहीं किया जाना चाहिए। यह इस समझ के अनुरूप है कि जटिल मॉडलों को सामान्य नियम सीखने के लिए पर्याप्त डेटा की आवश्यकता होती है। शोधकर्ताओं ने अपने नए तरीके की तुलना पुराने तकनीकों से भी की जो डेटा के बारे में विभिन्न गणितीय धारणाओं पर निर्भर करती हैं। उन्होंने पाया कि उनका दृष्टिकोण, जो गणना के लिए L1-नॉर्म का उपयोग करता है, लगातार पुराने तरीकों की तुलना में वास्तविक इष्टतम के बहुत करीब स्टॉपिंग टाइम प्रदान करता है। यह सुझाव देता है कि त्रुटि को मापने का तरीका स्वयं स्टॉपिंग नियम जितना ही महत्वपूर्ण है।

शायद सबसे महत्वपूर्ण बात यह है कि शोधकर्ताओं ने दिखाया कि जल्दी रुकना केवल एक सैद्धांतिक अवधारणा नहीं है बल्कि कई मामलों में एक व्यावहारिक आवश्यकता भी है। उन्होंने गणना की कि यदि प्रशिक्षण को अनिश्चित काल के लिए जारी रखा जाए तो क्या होगा। उनके द्वारा अध्ययन किए गए उदाहरणों में, यदि प्रशिक्षण को इष्टतम बिंदु के बाद जारी रखा जाता है, तो नए डेटा पर मॉडल का प्रदर्शन वास्तव में खराब हो जाता है, जो पुष्टि करता है कि अर्ली स्टॉपिंग मॉडल को खराब होने से बचाती है। हालाँकि, उन्होंने यह भी नोट किया कि कुछ विशिष्ट, अत्यधिक जटिल परिदृश्यों में जहाँ मॉडल के पास डेटा की तुलना में बहुत अधिक पैरामीटर होते हैं, प्रशिक्षण जारी रखने से अंततः बेहतर परिणाम मिल सकते हैं, जिसे "बेनाइन ओवरफिटिंग" (benign overfitting) कहा जाता है। उनका तरीका यह पहचानने में मदद करता है कि उपयोगकर्ता किस स्थिति में है, जिससे उन्हें यह निर्णय लेने में मदद मिलती है कि जल्दी रुकना है या जारी रखना है।

एक विधि के माध्यम से पूर्ण प्रशिक्षण प्रक्रिया चलाए बिना इष्टतम स्टॉपिंग टाइम की गणना प्रदान करके, यह कार्य विश्वसनीय आर्टिफिशियल इंटेलिजेंस विकसित करने के लिए एक अधिक कुशल मार्ग प्रदान करता है। यह ट्रायल और एरर (trial and error) की आवश्यकता को समाप्त करता है, जिससे समय और गणनात्मक संसाधनों की बचत होती है। यह विधि विशेष रूप से उन स्थितियों के लिए उपयोगी है जहाँ डेटा प्रचुर मात्रा में है लेकिन कंप्यूटिंग शक्ति सीमित है, या जहाँ प्रशिक्षण की लागत अधिक है। हालांकि वर्तमान अध्ययन लीनियर मॉडल्स और डेटा के विशिष्ट प्रकारों पर केंद्रित है, शोधकर्ताओं का मानना है कि उनके ढांचे को अधिक जटिल प्रणालियों और विभिन्न प्रकार के आउटपुट के लिए अनुकूलित किया जा सकता है। उनका कार्य एक ऐसे प्रश्न का स्पष्ट, डेटा-संचालित उत्तर प्रदान करता है जिसके लिए लंबे समय से अनुमान लगाने की आवश्यकता थी, जो सीखने और याद करने के बीच के संतुलन को नेविगेट करने के लिए एक अधिक सटीक उपकरण पेश करता है।

तकनीकी सारांश: L1-norm के साथ Rademacher Complexity का उपयोग करते हुए एक डेटा-निर्भर अर्ली स्टॉपिंग नियम

समस्या विवरण
न्यूरल नेटवर्क को प्रशिक्षित करने के लिए प्रशिक्षण डेटा को फिट करने और अनदेखे इनपुट पर मजबूत प्रदर्शन प्राप्त करने के बीच संतुलन बनाने की आवश्यकता होती है, जिसे सामान्यीकरण (generalizability) कहा जाता है। यह अनुभवजन्य जोखिम ( $L_S$ ) और अपेक्षित जनसंख्या जोखिम ( $L_D$ ) के बीच के अंतर द्वारा निर्धारित होता है। सामान्यीकरण हानि ( $L_G$ ) को इन दोनों के अंतर के रूप में परिभाषित किया गया है। ग्रेडिएंट डिसेंट (GD) के दौरान, $L_S$ आमतौर पर घटता है जबकि $L_G$ बढ़ता है, जो एक "बायस-वेरिएंस" (bias-variance) ट्रेड-ऑफ बनाता है। अर्ली स्टॉपिंग (early stopping) का लक्ष्य प्रशिक्षण को एक इष्टतम समय $t^*$ पर रोकना है जो $L_S + L_G$ को कम करता है।

शास्त्रीय रूप से, $t^*$ का अनुमान एक अलग टेस्ट सेट ( $S_{test}$ ) की निगरानी करके संख्यात्मक रूप से लगाया जाता है। वैकल्पिक रूप से, रैंडम मैट्रिक्स थ्योरी (RMT) का उपयोग करने वाले विश्लेणात्मक दृष्टिकोण मौजूद हैं, लेकिन वे अक्सर मजबूत संभाव्य धारणाओं पर निर्भर करते हैं, जैसे कि गौसियन डेटा वितरण या डेटा कोवेरियेंस मैट्रिक्स (data covariance matrix) के विशिष्ट आइजनवैल्यू वितरण (जैसे, Marchenko–Pastur)। यह शोध पत्र एक विश्लेणात्मक अर्ली स्टॉपिंग नियम की आवश्यकता को संबोधित करता है जिसमें अलग टेस्ट सेट या प्रतिबंधात्मक वितरण संबंधी धारणाओं की आवश्यकता नहीं होती है।

कार्यप्रणाली (Methodology)
लेखक रेडेमेकर कॉम्प्लेक्सिटी (Rademacher Complexity - RC) पर आधारित एक विश्लेणात्मक ढांचा प्रस्तावित करते हैं ताकि बिना ग्रेडिएंट डिसेंट किए इष्टतम स्टॉपिंग समय का अनुमान लगाया जा सके। कार्यप्रणाली रैखिक मॉडल (linear models) और रैखिक प्रतिगमन (linear regression) पर केंद्रित है, जिसमें "लीनियर प्रोबिंग" (linear probing) के माध्यम से गैर-रैखिक नेटवर्क तक विस्तार किया गया है।

L1-Norm फॉर्मूलेशन: कई मौजूदा RC बाउंड्स के विपरीत, जो L2-norm का उपयोग करते हैं, यह कार्य रेडेमेकर कॉम्प्लेक्सिटी को L1-norm के रूप में व्यक्त करता है। यह चुनाव सामान्यीकरण त्रुटि बाउंड से एक डेटा-निर्भर स्थिरांक $M$ (लॉस का एक बाउंड) को हटाने की इच्छा से प्रेरित है। सामान्य $L_p$ -norm बाउंड में $p=1$ सेट करके, लेखक जनसंख्या हानि ( $L_D$ ) पर एक ऊपरी बाउंड प्राप्त करते हैं जो केवल अनुभवजन्य त्रुटि वेक्टर और मॉडल नॉर्म पर निर्भर करता है, जिससे स्पष्ट रूप से $M$ पर निर्भरता समाप्त हो जाती है।
ग्रेडिएंट फ्लो डायनेमिक्स (Gradient Flow Dynamics): समस्या को निरंतर समय (continuous time) में ग्रेडिएंट फ्लो (GF) का उपयोग करके मॉडल किया गया है। लेखक प्रशिक्षण त्रुटि वेक्टर $v(t)$ और मॉडल पैरामीटर्स $a(t)$ की गतिशीलता का विश्लेषण करते हैं। जनसंख्या हानि के ऊपरी बाउंड, जिसे $L^*_D(t)$ द्वारा दर्शाया गया है, को "U-आकार" का दिखाया गया है, जो शुरू में अनुभवजन्य हानि घटने के साथ घटता है और बाद में मॉडल नॉर्म बढ़ने के साथ बढ़ता है।
विश्लेणात्मक स्टॉपिंग मानदंड ( $t^+$ ): मुख्य योगदान एक डेटा-निर्भर मानदंड $C(s)$ $C (s)$ का व्युत्पन्न है जो यह सुनिश्चित करता है कि सभी $t \leq s$ $t \leq s$ के लिए $L^*_D(t)$ $L_{D}^{*} (t)$ घट रहा है।
- लेखक डेटा कोवेरियेंस मैट्रिक्स के आइजनवैल्यू को "सूचनात्मक" (बड़े) और "नगण्य" (छोटे) समूहों में विभाजित करते हैं।
- वे त्रुटि डायनेमिक्स और इन आइजनवैल्यू को शामिल करने वाला एक फलन $\Phi(t)$ परिभाषित करते हैं।
- स्टॉपिंग समय $t^+$ उस समय $s$ का सुप्रीमम (supremum) है जिसके लिए सभी $t \in [0, s)$ के लिए $\Phi(t) > 0$ है।
- गणितीय रूप से, $t^+$ वह पहला समय है जब $\Phi(t)$ शून्य को पार करता है। यह सिद्ध किया गया है कि $t^+$ वास्तविक इष्टतम समय $t^*$ का एक निचला बाउंड (lower bound) अनुमान है (अर्थात, $t^+ \leq t^*$ )। विशिष्ट स्थितियों के तहत (जैसे, जब वास्तविक न्यूनतम पहले साइन-इनवेरिएंट अंतराल में हो), $t^+ = t^*$ होता है।
अनुमान (Approximation): शोध पत्र एक सरल अनुमान $t^+_{approx} \approx \frac{1}{\lambda_1} \ln \frac{\Gamma(0)}{\Omega(0)}$ प्रदान करता है, जो RMT साहित्य में पाए जाने वाले सिग्नल-टू-नॉइज़ रेशियो (SNR) फॉर्मूलेशन के समान है, लेकिन इसे यहाँ बिना किसी संभाव्य धारणा के निकाला गया है।

मुख्य योगदान (Key Contributions)

डिस्ट्रीब्यूशन-फ्री एनालिटिकल एस्टीमेशन: शोध पत्र एक विधि पेश करता है जो डेटा के गौसियन होने या विशिष्ट आइजनवैल्यू वितरण की धारणा के बिना, इष्टतम अर्ली स्टॉपिंग समय का विश्ले的に अनुमान लगाता है।
L1-Norm का लाभ: लेखक सैद्धांतिक और संख्यात्मक रूप से प्रदर्शित करते हैं कि रेडेमेकर कॉम्प्लेक्सिटी के लिए L1-norm का उपयोग करने से प्राप्त स्टॉपिंग समय अनुमान ( $t^+$ ), L2-norm दृष्टिकोण की तुलना में संख्यात्मक इष्टतम ( $t_{test}$ ) के काफी करीब होता है।
अंडरपैरामीटराइज्ड फोकस: विधि विशेष रूप से अंडरपैरामीटराइज्ड रिजीम ( $m \leq n$ ) के लिए डिज़ाइन की गई है, जहाँ "बेनाइन ओवरफिटिंग" (benign overfitting) और "एपॉक-वाइज डबल डिसेंट" कम प्रचलित हैं, जिससे अर्ली स्टॉपिंग एक लाभकारी रणनीति बन जाती है।
लीनियर प्रोबिंग अनुप्रयोग: हालांकि सिद्धांत रैखिक मॉडल के लिए व्युत्पन्न है, लेखक सफलतापूर्वक गैर-रैखिक न्यूरल नेटवर्क (विशेष रूप से MNIST वर्गीकरण पर) पर लीनियर प्रोबिंग के माध्यम से परिणामों को लागू करते हैं।

परिणाम (Results)
लेखक अपने तरीके को कई उदाहरणों के माध्यम से मान्य करते हैं:

सिंथेटिक गौसियन डेटा: विभिन्न सैंपल साइज ( $n=512$ और $n=16384$ ) के साथ बाइनरी क्लासिफिकेशन कार्यों में, विश्लेतक अनुमान $t^+$ ने पहले मामले में वास्तविक इष्टतम समय $t^*$ से सटीक मिलान किया और दूसरे मामले में एक टाइट लोअर बाउंड प्रदान किया। L1-आधारित अनुमान लगातार L2-आधारित अनुमान की तुलना में टेस्ट-सेट इष्टतम के अधिक करीब था।
MNIST वर्गीकरण (3-5 और 0-1): एक 4-लेयर ReLU नेटवर्क के साथ लीनियर प्रोबिंग का उपयोग करते हुए, विधि ने स्टॉपिंग समय की सटीक भविष्यवाणी की। 3-5 वर्गीकरण के लिए, $t^+ = 422$ था जबकि संख्यात्मक इष्टतम $t^* = 357$ और टेस्ट-सेट इष्टतम $t_{test} = 356$ था। 0-1 वर्गीकरण के लिए, $t^+ = 415$ ने $t^* = 415$ के साथ मिलान किया और $t_{test} = 418$ के करीब था।
लाभकारी स्टॉपिंग: सभी परीक्षण किए गए मामलों में, अनुमानित स्टॉपिंग समय पर लॉस, अनंत प्रशिक्षण समय के लॉस ( $L^*_D(\infty)$ ) से कम था, जो पुष्टि करता है कि अर्ली स्टॉपिंग फायदेमंद है और यह "बेनाइन ओवरफिटिंग" रिजीम से बचती है।
मजबूती (Robustness): विधि विभिन्न डेटा वितरणों (गौसियन, यूनिफॉर्म, पारेटो) में अच्छा प्रदर्शन करती है, जिसमें सैंपल और पैरामीटर्स के अनुपात ( $n/m$ ) के बढ़ने के साथ प्रदर्शन में सुधार होता है।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि इसका प्राथमिक महत्व एक डेटा-निर्भर, विश्लेतक अर्ली स्टॉपिंग नियम प्रदान करना है जो अलग सत्यापन सेट (validation set) या डेटा वितरण के बारे में प्रतिबंधात्मक संभाव्य धारणाओं की आवश्यकता के बिना कार्य करता है। L1-norm के साथ रेडेमेकर कॉम्प्लेक्सिटी का लाभ उठाकर, लेखक यह निर्धारित करने के लिए एक व्यावहारिक उपकरण प्रदान करते हैं कि सामान्यीकरण त्रुटि को कम करने के लिए प्रशिक्षण को कब रोकना है (रैखिक मॉडल और लीनियर प्रोबिंग के माध्यम से कुछ गैर-रैखिक नेटवर्क के लिए)। वे विनम्रतापूर्वक नोट करते हैं कि जबकि यह विधि अंडरपैरामीटराइज्ड मॉडल के लिए अच्छी तरह से काम करती है, इसे ओवरपैरामीटराइज्ड रिजीम के लिए नहीं बनाया गया है जहाँ "बेनाइन ओवरफिटिंग" होती है। उन्होंने भविष्य के कार्य की दिशाओं की भी पहचान की है, जिसमें पूरी तरह से गैर-रैखिक मॉडल, वेक्टरियल आउटपुट और इनपुट डेटा में रैंडम नॉइज़ को संभालना शामिल है।

इसी तरह के और पेपर