📊 statistics

Adaptive deep nonparametric regression from dependent data under covariate shift

यह शोधपत्र कोवेरिएट शिफ्ट और आश्रित डेटा के तहत नॉनपैरामीट्रिक क्वांटाइल और हबर रिग्रेशन के लिए एक स्पार्स-पेनलाइज्ड डीप न्यूरल नेटवर्क एस्टीमेटर प्रस्तावित करता है, जो विभिन्न मिक्सिंग प्रक्रियाओं और अज्ञात डेंसिटी रेश्यो के लिए मिनिमैक्स ऑप्टिमल कन्वर्जेंस रेट प्राप्त करने वाले नॉन-एसिम्प्टोटिक एरर बाउंड्स स्थापित करता है।

मूल लेखक: William Kengne, Ehud Mossa Ockegna

प्रकाशित 2026-07-23

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: William Kengne, Ehud Mossa Ockegna

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे एक धूप वाले लिविंग रूम में ली गई एक हज़ार फोटो दिखाते हैं जिनमें रोएँदार, नारंगी रंग की टैबी बिल्लियाँ हैं। रोबोट इसे पूरी तरह से सीख जाता है, और बिल्ली-पहचानने का जादूगर बन जाता है। लेकिन फिर, आप उससे एक नए सेट की तस्वीरों में बिल्लियाँ खोजने के लिए कहते हैं जो एक अंधेरी, बरसाती गली में ली गई हैं। अचानक, रोबोट भ्रमित हो जाता है। वह वही बिल्लियाँ देखता है, लेकिन लाइटिंग, बैकग्राउंड और कैमरा एंगल अलग हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे कोवेरिएट शिफ्ट (covariate shift) कहा जाता है। यह तब होता है जब जिस डेटा का उपयोग आप मॉडल को प्रशिक्षित करने के लिए करते हैं (जिसे "सोर्स" कहा जाता है), वह उस डेटा से अलग वितरण (distribution) से आता है जिस पर आप वास्तव में भविष्यवाणी करना चाहते हैं (जिसे "टारगेट" कहा जाता है)। यह एक ऐसे शहर के नक्शे का उपयोग करके कार चलाने की कोशिश करने जैसा है जिसे आपने कभी देखा नहीं है, जहाँ सड़कों के नाम अलग हैं और यातायात के नियम बदल गए हैं।

इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर प्रशिक्षण डेटा को "रीवेट" (reweight) करने की कोशिश करते हैं, यानी उन उदाहरणों को अधिक महत्व देते हैं जो टारगेट डेटा जैसे दिखते हैं और उन्हें कम महत्व देते हैं जो नहीं दिखते। हालाँकि, वास्तविक दुनिया का डेटा शायद ही कभी पूर्ण होता है। अक्सर, डेटा बिंदु स्वतंत्र नहीं होते; वे समय के साथ जुड़े होते हैं, जैसे कि एक स्टॉक की कीमत जो कल की कीमत पर निर्भर करती है, या एक मौसम का पैटर्न जो पिछले दिन का अनुसरण करता है। इसे डिपेंडेंट डेटा (dependent data) कहा जाता है। इसके अलावा, इनपुट (जैसे कि फोटो) और आउटपुट (जैसे कि बिल्ली) के बीच का संबंध एक सरल सीधी रेखा नहीं हो सकता है; यह एक जटिल, घुमावदार वक्र हो सकता है जो स्थिति के आधार पर बदलता रहता है। यह नॉनपैरामीट्रिक रिग्रेशन (nonparametric regression) है। चुनौती एक ऐसा मॉडल बनाने की है जो इन बिखरे हुए, जुड़े हुए, बदलते डेटा स्ट्रीम को बिना खोए संभाल सके, और साथ ही इतने मजबूत (robust) हो कि अजीब आउटलेयर्स (जैसे कि बिल्ली के वेश में कुत्ता) को अनदेखा कर सके।

यह शोध पत्र ठीक इसी चुनौती से निपटने के लिए एक नए, सुपर-स्मार्ट प्रकार के कृत्रिम मस्तिष्क जिसे डीप न्यूरल नेटवर्क (DNN) कहा जाता है, को पेश करके इस समस्या का समाधान करता है। लेखक, विलियम केनगने और एहुड मोसा ओकनेगा, एक ऐसी विधि प्रस्तावित करते हैं जो केवल अनुमान नहीं लगाती, बल्कि अनुकूलित (adapt) होती है। वे एक "स्पार्स-पेनलाइज्ड" (sparse-penalized) एस्टिमेटर बनाते हैं, जो एक फैंसी तरीका है यह कहने का कि वे नेटवर्क को कुशल होने के लिए मजबूर करते हैं, केवल सबसे महत्वपूर्ण कनेक्शनों को रखते हैं और शोर (noise) को अनदेखा करते हैं। वे इसका परीक्षण दो विशिष्ट प्रकार की समस्याओं पर करते हैं: हूबर रिग्रेशन (Huber regression), जो आउटलेयर्स वाले डेटा (जैसे तापमान में अचानक उछाल) को संभालने के लिए बेहतरीन है, और क्वांटाइल रिग्रेशन (quantile regression), जो विशिष्ट पर्सेंटाइल (जैसे औसत के बजाय वर्षा का 90वां पर्सेंटाइल) की भविष्यवाणी करने में मदद करता है।

बड़ी खोज यह है कि उनकी विधि तब भी काम करती है जब डेटा डिपेंडेंट हो और प्रशिक्षण और परीक्षण की दुनिया अलग-अलग हो। वे गणितीय रूप से सिद्ध करते हैं कि उनका एस्टिमेटर समस्या की "स्मूथनेस" (smoothness) (कि वक्र कितना टेढ़ा-मेढ़ा है) के अनुकूल हो सकता है और फिर भी सीखने की सर्वोत्तम संभव गति, जिसे मिनिमैक्स ऑप्टिमल रेट (minimax optimal rate) कहा जाता है, प्राप्त कर सकता है। इसका मतलब है कि वे सैद्धांतिक रूप से संभव गति से सीख रहे हैं, केवल एक छोटे लॉगरिदमिक कारक के अंतर तक। वे यह भी दिखाते हैं कि यदि प्रशिक्षण और परीक्षण डेटा के बीच का अंतर बहुत बड़ा है (अर्थात "डेंसिटी रेशियो" अनबाउंडेड है), तो वे एक चतुर दो-चरणीय प्रक्रिया का उपयोग करके सफल हो सकते हैं: पहले, वे दोनों दुनियाओं के बीच के अंतर का अनुमान लगाने के लिए एक छोटा नेटवर्क प्रशिक्षित करते हैं, और फिर वे मुख्य प्रशिक्षण को रीवेट करने के लिए उस अनुमान का उपयोग करते हैं। चाहे डेटा स्वतंत्र हो, या जटिल टाइम-सीरीज पैटर्न जैसे मिक्सिंग प्रोसेस का पालन करता हो, उनकी विधि कायम रहती है, जो मशीनों को त्रुटिपूर्ण, बदलती वास्तविकताओं से सीखने का एक मजबूत तरीका प्रदान करती है।

तकनीकी सारांश: आश्रित डेटा के तहत कोवेरिएट शिफ्ट के अंतर्गत एडेप्टिव डीप नॉनपैरामेट्रिक रिग्रेशन

समस्या विवरण
यह शोध पत्र उन स्थितियों में डीप न्यूरल नेटवर्क (DNNs) का उपयोग करके नॉनपैरामेट्रिक रिग्रसन की चुनौती को संबोधित करता है जहाँ प्रशिक्षण (स्रोत) और परीक्षण (लक्ष्य) डेटा अलग-अलग वितरणों का पालन करते हैं, जिसे कोवेरिएट शिफ्ट (covariate shift) कहा जाता है। विशेष रूप से, स्रोत डेटा में कोवेरिएट्स का मार्जिनल वितरण ( $P_{X_0}$ ), लक्ष्य डेटा के वितरण ( $Q_{X_0}$ ) से भिन्न होता है, जबकि कोवेरिएट्स के सापेक्ष प्रतिक्रिया का कंडीशनल वितरण अपरिवर्तित रहता है ( $P_{Y_0|X_0} = Q_{Y_0|X_0}$ )।

यह अध्ययन तीन महत्वपूर्ण दिशाओं में मौजूदा साहित्य का विस्तार करता है:

आश्रित अवलोकन (Dependent Observations): i.i.d. (स्वतंत्र और समान रूप से वितरित) डेटा का अनुमान लगाने वाले पिछले कार्यों के विपरीत, यह शोध पत्र स्थिर (stationary) और एर्गोडिक (ergodic) प्रक्रियाओं से उत्पन्न डेटा पर विचार करता है, जिसमें $\phi$ -mixing, स्ट्रॉन्ग मिक्सिंग और C-mixing प्रक्रियाएं शामिल हैं।
रोबस्ट लॉस फंक्शन्स (Robust Loss Functions): लेखक आउटलेर्स (outliers) और हेवी-टेल्ड एरर के विरुद्ध मजबूती (robustness) के लिए हूबर रिग्रेशन (Huber regression) और क्वांटाइल रिग्रेशन (quantile regression) दोनों की जांच करते हैं, जो मानक लीस्ट-स्क्वायर या ReLU-आधारित दृष्टिकोणों से आगे बढ़ते हैं।
एडेप्टिव रेगुलराइजेशन (Adaptive Regularization): शोध पत्र स्पार्स-पेनलाइज्ड डीप न्यूरल नेटवर्क (SPDNN) एस्टिमेटर्स का प्रस्ताव करता है। एक निश्चित, अज्ञात स्पैरसिटी स्तर $S$ के साथ स्पैरसिटी-प्रतिबंधित रेगुलराइजेशन पर निर्भर करने वाले पिछले तरीकों के विपरीत, यह दृष्टिकोण एक पेनल्टी टर्म का उपयोग करता है जो एस्टिमेटर्स को लक्ष्य फलन की स्मूथनेस (smoothness) के पूर्व ज्ञान के बिना इष्टतम अभिसरण दर (optimal convergence rates) प्राप्त करने में सक्षम बनाता है।

कार्यप्रणाली (Methodology)
लेखक डेटा को एक स्थिर प्रक्रिया $Z_t = (X_t, Y_t)$ के रूप में मॉडल करते हैं जो $Y_t = h_0(X_t) + \xi_t$ को संतुष्ट करती है, जहाँ $h_0$ अज्ञात रिग्रेशन फंक्शन है और $\xi_t$ एक सेंटर्ड i.i.d. एरर प्रोसेस है। कोवेरिएट शिफ्ट को संभालने के लिए, कार्यप्रणाली डेंसिटी रेशियो $r(x) = q_{X_0}(x) / p_{X_0}(x)$ पर निर्भर करती है।

मुख्य कार्यप्रणाली में शामिल हैं:

सामान्यीकृत बर्नस्टीन-टाइप असमानता (Generalized Bernstein-type Inequality): आश्रित डेटा को संभालने के लिए, लेखक एक सामान्यीकृत बर्नस्टीन-टाइप असमानता का उपयोग करते हैं जो विभिन्न मिक्सिंग प्रक्रियाओं द्वारा संतुष्ट की जाती है। यह असमानता एक "प्रभावी अवलोकनों की संख्या" पेश करती है, जिसे $\phi(n)$ द्वारा दर्शाया गया है, जो अभिसरण दर विश्लेषण में सैंपल साइज $n$ के स्थान पर आता है।
SPDNN एस्टिमेटर्स: एस्टिमेटर्स को एक लॉस फंक्शन (हूबर या क्वांटाइल) और एक स्पार्स पेनल्टी टर्म $J_n(h)$ को कम करके परिभाषित किया जाता है। पेनल्टी नेटवर्क पैरामीटर्स पर लागू एक फंक्शन $\pi_{\lambda_n, \tau_n}$ (जैसे, क्लिप्ड $L_1$ या SCAD) पर आधारित है।
दो-चरणीय प्री-ट्रेनिंग प्रक्रिया (अज्ञात डेंसिटी रेशियो): जब $r(x)$ $r (x)$ अज्ञात होता है, तो एक दो-चरणीय प्रक्रिया प्रस्तावित की जाती है:
1. चरण 1: अनलेबल सोर्स और टारगेट सैंपल्स पर प्रशिक्षित लीस्ट-स्क्वायर SPDNN एस्टिमेटर ( $\hat{r}_S$ ) का उपयोग करके डेंसिटी रेशियो $r$ का अनुमान लगाएं। यदि $r$ अनबाउंडेड (unbounded) है, तो इसके ट्रंकेटेड संस्करण ( $T_\eta r$ ) का अनुमान लगाया जाता है।
2. चरण 2: चरण 1 से प्राप्त अनुमानित डेंसिटी रेशियो का उपयोग करके रिग्रेशन फंक्शन $h_0$ के लिए एक रीवेटेड (reweighted) SPDNN एस्टिमेटर का निर्माण करें।
अनबाउंडेड रेशियो के लिए ट्रंकेशन (Truncation for Unbounded Ratios): उन मामलों में जहाँ डेंसिटी रेशियो अनबाउंडेड है लेकिन इसमें परिमित मोमेंट्स (finite moments) हैं, लेखक स्थिरता सुनिश्चित करने और एरर बाउंड्स प्राप्त करने के लिए एक ट्रंकेटेड डेंसिटी रेशियो $T_\eta r(x) = \min(r(x), \eta)$ का उपयोग करते हैं।

प्रमुख योगदान

आश्रित डेटा के लिए एकीकृत सिद्धांत: यह शोध पत्र प्रभावी सैंपल साइज $\phi(n)$ का उपयोग करके एक एकल ढांचे के तहत विभिन्न डिपेंडेंस स्ट्रक्चर ( $\phi$ -mixing, स्ट्रॉन्ग मिक्सिंग, C-mixing) के लिए सैद्धांतिक विश्लेषण को एकीकृत करता है।
एडेप्टिव मिनिमैक्स ऑप्टिमलिटी: प्रस्तावित SPDNN एस्टिमेटर्स को हॉल्डर स्मूथ फंक्शन्स के लिए मिनिमैक्स ऑप्टिमल कन्वर्जेंस रेट (लॉगारिदमिक फैक्टर तक) को एडेप्टिव रूप से प्राप्त करने के लिए दिखाया गया है। यह i.i.d. डेटा और क्लासिकल टाइम सीरीज़ मॉडल दोनों के लिए मान्य है, भले ही डेंसिटी रेशियो अज्ञात या अनबाउंडेड हो (बशर्ते कि उसमें पर्याप्त मोमेंट्स हों)।
हूबर और क्वांटाइल रिग्रेशन का विस्तार: लेखक कोवेरिएट शिफ्ट के तहत हूबर और क्वांटाइल रिग्रेशन के लिए नॉन-एसिम्प्टोटिक एरर बाउंड्स स्थापित करते हैं, जो इस संदर्भ में हूबर लॉस पैरामीटर के कैलिब्रेशन मुद्दों को संबोधित करते हैं।
दो-चरणीय प्री-ट्रेनिंग विश्लेषण: शोध पत्र अनलेबल सोर्स और टारगेट सैंपल्स पर प्रशिक्षित रीवेटेड एस्टिमेटर्स के लिए कठोर नॉन-एसिसेप्टिक $L^2(Q_{X_0})$ एरर बाउंड्स प्रदान करता है, यह प्रदर्शित करते हुए कि डेंसिटी रेशियो का अनुमान लगाने से समग्र अभिसरण दर कम नहीं होती है, बशर्ते कि सैंपल साइज को उचित रूप से संतुलित किया जाए।

परिणाम
शोध पत्र प्रस्तावित एस्टिमेटर्स के लिए $L^2(Q_{X_0})$ नॉर्म में नॉन-एसिम्प्टोटिक एरर बाउंड्स स्थापित करता है।

अनवेटेड एस्टिमेटर्स (Unweighted Estimators): इस धारणा के तहत कि डेंसिटी रेशियो यूनिफॉर्मली बाउंडेड है, अनवेटेड SPDNN एस्टिमेटर मिनिमैक्स रेट प्राप्त करता है। हालांकि, यदि रेशियो अनबाउंडेड है (लेकिन इसमें परिमित सेकंड-ऑर्डर मोमेंट्स हैं), तो दर सब-ऑप्टिमल हो जाती है।
रीवेटेड एस्टिमेटर्स (Reweighted Estimators): जब डेंसीटी रेशियो ज्ञात और यूनिफॉर्मली बाउंडेड होता है, तो रीवेटेड SPDNN एस्टिमेटर मिनिमैक्स ऑप्टिमल रेट $O((\phi(n))^{-2s/(2s+d)})$ प्राप्त करता है, जहाँ $s$ स्मूथनेस पैरामीटर है।
ट्रंकेटेड रीवेटेड एस्टिमेटर्स (Truncated Reweted Estimators): जब डेंसिटी रेशियो अनबाउंडेड है लेकिन इसमें किसी भी ऑर्डर के परिमित मोमेंट्स हैं, तो ट्रंकेटेड डेंसिटी रेशियो का उपयोग करने वाला रीवेटेड एस्टिमेटर भी (लॉगारिदमिक फैक्टर्स तक) मिनिमैक्स ऑप्टिमल रेट प्राप्त करता है।
प्री-ट्रेनिंग एस्टिमेटर्स (Pre-Training Estimators): जब डेंसिटी रेशियो अज्ञात होता है और दो-चरणीय प्रक्रिया के माध्यम से अनुमानित किया जाता है, तो परिणामी एस्टिमेटर मिनिमैक्स ऑप्टिमल रेट बनाए रखता है, बशर्ते कि डेंसिटी रेशियो के अनुमान के लिए उपयोग किया गया सैंपल साइज रिग्रेशन सैंपल साइज के सापेक्ष पर्याप्त बड़ा हो।

ये परिणाम पेपर की टेबल 1 में संक्षेपित हैं, जो i.i.d., $\phi$ -mixing, एक्सपोनेंशियल $\alpha$ -mixing और जियोमेट्रिक्ली C-मिक्सिंग प्रक्रियाओं के लिए अभिसरण दरों का विवरण देती है।

महत्व और दावे
यह शोध पत्र डिपेंडेंट डेटा और डिस्ट्रीब्यूशन शिफ्ट से जुड़े अधिक यथार्थवादी परिदृश्यों में डीप नॉनपैरामेट्रिक रिग्रेशन के सैद्धांतिक गारंटियों को विस्तारित करने का दावा करता है। स्पार्स-पेनलाइज्ड रेगुलराइजेशन पेश करके, लेखक ऐसे एस्टिमेटर्स प्रदान करते हैं जो एडेप्टिव हैं, जिससे व्यावहारिक विशेषज्ञ को लक्ष्य फलन की स्मूथनेस या स्पैरसिटी स्तर को पहले से जानने की आवश्यकता नहीं होती है।

लेखक अपने कार्य को निम्नलिखित तरीकों से पिछले परिणामों (विशेष रूप से [11] में) को सामान्यीकृत करते हुए रेखांकित करते हैं:

एक सामान्यीकृत बर्नस्टीन असमानता के माध्यम से आश्रित अवलोकनों को शामिल करना।
हूबर रिग्रेशन को संबोधित करना, जो हेवी-टेल्ड डेटा के लिए महत्वपूर्ण है जहाँ लीस्ट स्क्वेयर्स मिनिमैक्स रेट प्राप्त करने में विफल रहता है।
एडेप्टिविटी प्राप्त करने के लिए स्पार्स-पेनलाइज्ड रेगुलराइजेशन का उपयोग करना, जो नॉन-एडेप्टिव स्पैरसिटी-कंस्ट्रेंड तरीकों के विपरीत है।

इसका महत्व स्वास्थ्य सेवा और नेचुरल लैंग्वेज प्रोसेसिंग जैसे डोमेन में डीप लर्निंग को लागू करने के लिए एक मजबूत सैद्धांतिक ढांचा प्रदान करने में निहित है, जहाँ डिस्ट्रीब्यूशन मिसमैच और टेम्पोरल डिपेंडेंसी सामान्य हैं, यह सुनिश्चित करते हुए कि एस्टिमेटर्स इन जटिल परिस्थितियों में भी इष्टतम बने रहें।

इसी तरह के और पेपर