📊 statistics

Nonparametric Goodness-of-fit Testing under Covariate Shift

यह शोध पत्र कोवेरिएट शिफ्ट परिदृश्यों के लिए एक सुदृढ़ गैर-पैरामीट्रिक गुडनेस-ऑफ-फिट परीक्षण ढांचे का प्रस्ताव करता है जो वैध कॉन्फिडेंस सेट्स (confidence sets) का निर्माण करने के लिए ट्रंकेटेड इम्पोर्टेंस-वेटेड कर्नेल रिज रिग्रेशन को मल्टीप्लायर बूटस्ट्रैप के साथ जोड़ता है, जिससे तब भी स्थिरता और सटीक त्रुटि दर सुनिश्चित होती है जब टारगेट-टू-सोर्स डेंसिटी अनुपात भारी पूंछ (heavy tails) प्रदर्शित करता है।

मूल लेखक: Zhen Hou, Dong Xia

प्रकाशित 2026-08-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhen Hou, Dong Xia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक अपराध को सुलझाने की कोशिश कर रहे हैं, लेकिन इसमें एक मोड़ है: आपका गवाह का बयान उस जगह से नहीं है जहाँ वास्तव में अपराध हुआ था। सांख्यिकी (statistics) और मशीन लर्निंग की दुनिया में, इसे कोवेरिएट शिफ्ट (covariate shift) कहा जाता है। यह तब होता है जब आपके द्वारा उपयोग किया जाने वाला डेटा (सोर्स) उस वास्तविक दुनिया की स्थिति से अलग दिखता है जहाँ आप अपने मॉडल को लागू करना चाहते हैं (टारगेट)। इसे ऐसे समझें जैसे आपने एक कुत्ते को एक शांत लिविंग रूम में गेंद लाने के लिए प्रशिक्षित किया है, लेकिन फिर आप उम्मीद करते हैं कि वह एक शोर-शराबे वाले, हवादार पार्क में भी बिल्कुल सटीक प्रदर्शन करेगा। कुत्ता (मॉडल) गेंद लाना तो जानता है, लेकिन वातावरण बदल गया है, और खेल के नियम अब अलग हैं।

इसे ठीक करने के लिए, सांख्यिकीविद् अक्सर इम्पॉर्टेंस वेटिंग (importance weighting) नामक एक तरकीब का उपयोग करते हैं। यह ट्रेनिंग डेटा के उन हिस्सों को आवर्धक लेंस (magnifying glass) देने जैसा है जो 'टारगेट पार्क' जैसे दिखते हैं, और उन हिस्सों के लिए डिमर स्विच (dimmer switch) का उपयोग करने जैसा है जो 'लिविंग रूम' जैसे दिखते हैं। डेटा को पुन: भारित (re-weighting) करके, आप ट्रेनिंग सेट को टारगेट सेट के अधिक समान बना सकते हैं। हालाँकि, इसमें एक पेंच है: यदि "पार्क", "लिविंग रूम" से बहुत अलग है, तो कुछ वेट्स (weights) अत्यधिक बड़े हो सकते हैं। यह एक सी-सॉ (seesaw) को संतुलित करने की कोशिश करने जैसा है जहाँ एक तरफ एक पंख है और दूसरी तरफ एक विशाल पत्थर; पूरा ढांचा अस्थिर और डगमगा जाएगा। यह शोध पत्र इस समस्या पर काम करता है कि न केवल हम मॉडल को कैसे ठीक करें, बल्कि यह भी मापें कि जब ये वेट्स बहुत ज्यादा बढ़ जाते हैं, तो हम इसके अनुमानों पर कितने आश्वस्त हो सकते हैं।

शोध पत्र का मिशन: डगमगाते सी-सॉ को नियंत्रित करना

यह शोध पत्र, जिसे जेन हौ और डोंग ज़िया ने लिखा है, इन पुन: भारित (re-weighted) मॉडलों के लिए एक सुरक्षा जाल बनाने के बारे में है। लेखकों ने एक महत्वपूर्ण प्रश्न का उत्तर देने की कोशिश की: जब हम अपने मॉडल को एक नए वातावरण के लिए ठीक करने हेतु इस "आवर्धक लेंस" वाली तरकीब का उपयोग करते हैं, तो हमें कैसे पता चलेगा कि मॉडल वास्तव में अच्छा है, और हम इसकी त्रुटियों (errors) के बारे में कितने आश्वस्त हो सकते हैं?

आमतौर पर, जब सांख्यिकीविद् एक मॉडल बनाते हैं, तो वे एक "कॉन्फिडेंस सेट" (confidence set) बनाते हैं—उनके अनुमान के चारों ओर एक धुंधला गोला जो कहता है, "हमें 95% विश्वास है कि वास्तविक उत्तर इसके भीतर है।" लेकिन जब आपके पास कोवेरिएट शिफ्ट होता है और वे जंगली, भारी वेट्स होते हैं, तो इन गोलों को बनाने के मानक तरीके अक्सर विफल हो जाते हैं। वे या तो बहुत छोटे हो सकते हैं (झूठी आश्वस्तता देना) या बहुत बड़े (बेकार)।

समाधान: एक ट्रंकेटेड, डबल-चेक्ड दृष्टिकोण

लेखक इस प्रक्रिया को स्थिर करने के लिए एक चतुर दो-चरणीय समाधान प्रस्तावित करते हैं:

"कैप" (ट्रंकेशन - Truncation): सबसे पहले, वे इम्पॉर्टेंस वेट्स पर एक "कैप" (सीमा) लगाते हैं। यदि किसी डेटा पॉइंट को बहुत बड़ा वेट मिलता है (जैसे सी-सॉ पर एक विशाल पत्थर), तो वे उसे एक सुरक्षित सीमा पर काट देते हैं। वे इसे ट्रंकेशन (truncation) कहते हैं। यह कुछ चरम डेटा बिंदुओं को पूरी गणना को बर्बाद करने से रोकता है। यह थोड़ा सा बायस (bias - एक नियंत्रित त्रुटि) पेश करता है, लेकिन यह अराजकता (variance) को बहुत कम कर देता है।
"मल्टीप्लायर बूटस्ट्रैप" (सिमुलेशन - The Multiplier Bootstrap): इसके बाद, वे मल्टीप्लायर बूटस्ट्रैप नामक एक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि आपके पास एक मॉडल है, और आप जानना चाहते हैं कि यदि आप प्रयोग को हज़ार बार चलाएंगे तो यह कितना हिलेगा। प्रयोग को वास्तव में हज़ार बार चलाने के बजाय (जो धीमा है), आप अपने डेटा में यादृच्छिक "शोर" (noise) जोड़कर गणितीय रूप से उन हलचलों का अनुकरण करते हैं और देखते हैं कि मॉडल उस पर कैसी प्रतिक्रिया देता है। लेखक इस सिमुलेशन को उनके कैप किए गए वेट्स के साथ जोड़कर एक विश्वसनीय कॉन्फिडेंस बॉल (confidence ball) का निर्माण करते हैं।

उन्होंने क्या पाया

यह शोध पत्र सिद्ध करता है कि यह नई विधि काम करती है, भले ही सोर्स और टारगेट डेटा के बीच अंतर बहुत बड़ा हो और वेट्स में "हैवी टेल्स" (heavy tails - जिसका अर्थ है कि चरम मान संभव हैं) हों।

स्थिरता (Stability): वेट्स को कैप करके, यह विधि मॉडल को स्थिर करती है। अपने सिमुलेशन में, उन्होंने दिखाया कि कैपिंग के बिना, मॉडल की त्रुटि हर जगह बिखरी हुई हो सकती थी। कैपिंग के साथ, त्रुटियां बहुत अधिक सटीक और अनुमानित हो गईं।
सटीकता (Accuracy): उन्होंने गणितीय रूप से सिद्ध किया कि उनके कॉन्फिडेंस बॉल्स "वैध" (valid) हैं। इसका मतलब है कि यदि वे 90% आश्वस्त कहते हैं, तो वे वास्तव में लगभग 90% आश्वस्त हैं, न कि 50% या 99%। उन्होंने यह भी दिखाया कि यह विधि "शार्प" (sharp) है, जिसका अर्थ है कि कॉन्फिडेंस बॉल अनावश्यक रूप से बड़ा नहीं है; यह बिल्कुल सही आकार का है।
वास्तविक दुनिया का परीक्षण: उन्होंने वास्तविक डेटा के साथ इसका परीक्षण किया जो सर्वे ऑफ कंज्यूमर फाइनेंसिस (अमेरिकी परिवारों का एक सर्वेक्षण) से लिया गया है। उन्होंने घरेलू शुद्ध संपत्ति (net worth) की भविष्यवाणी करने के लिए और यह जांचने के लिए इस विधि का उपयोग किया कि क्या आय के साथ स्टॉक रखने की संभावना बढ़ती है। दोनों मामलों में, उनके मॉडल ने सफलतापूर्वक पहचाना कि उनके उम्मीदवार मॉडल अच्छे थे या बुरे, भले ही डेटा को लक्षित जनसंख्या से मेल खाने के लिए भारी पुन: भारण (re-weighting) की आवश्यकता थी।

निष्कर्ष

लेखकों ने केवल यह सुझाव नहीं दिया कि यह काम कर सकता है; उन्होंने कठोर गणितीय प्रमाण प्रदान किए कि यह क्यों काम करता है और जैसे-जैसे आपके पास अधिक डेटा आता है, त्रुटियां कितनी तेजी से कम होती हैं। उन्होंने दिखाया कि अपने चरम वेट्स पर एक साधारण "कैप" को एक परिष्कृत सिमुलेशन तकनीक के साथ जोड़कर, आप विश्वसनीय उत्तर प्राप्त कर सकते हैं, भले ही आपका ट्रेनिंग डेटा और आपका टारगेट वास्तविकता एक-दूसरे से दुनिया भर के अंतर पर हों। यह यह कहने का एक मजबूत तरीका है कि, "हमने नए वातावरण के लिए मॉडल को ठीक किया है, और यहाँ वह सटीक माप है जिस पर हम परिणाम पर भरोसा कर सकते हैं।"

तकनीकी सारांश: कोवेरिएट शिफ्ट के तहत नॉनपैरामीट्रिक गुडनेस-ऑफ-फिट टेस्टिंग

समस्या का निरूपण
यह शोध पत्र कोवेरिएट शिफ्ट (covariate shift) की उपस्थिति में नॉनपैरामीट्रिक गुडनेस-ऑफ-फिट टेस्टिंग की समस्या को संबोधित करता है। इस सेटिंग में, लेबल किया गया डेटा $\mathcal{D} = \{(X_i, Y_i)\}_{i=1}^n$ एक स्रोत वितरण (source distribution) $P$ से लिया गया है, लेकिन लक्ष्य एक रिग्रेशन फंक्शन $f^*$ के प्रदर्शन का मूल्यांकन करना है जो एक लक्ष्य वितरण (target distribution) $Q$ के अंतर्गत आता है। कोवेरिएट्स के मार्जिनल वितरण भिन्न हैं ( $P_X \neq Q_X$ ), जबकि रिस्पॉन्स का कंडीशनल वितरण अपरिवर्तित रहता है ( $P_{Y|X} = Q_{Y|X}$ )।

प्राथमिक अनुमानात्मक उद्देश्य (inferential objective) शून्य परिकल्पना (null hypothesis) का परीक्षण करना है:
$H_0: \|f_0 - f^*\|_{L^2(Q)} = 0 \quad \text{बनाम} \quad H_1: \|f_0 - f^*\|_{L^2(Q)} > 0,$
जहाँ $f_0$ एक कैंडिडेट फंक्शन है और नॉर्म (norm) को लक्ष्य माप $Q_X$ के सापेक्ष परिभाषित किया गया है। चुनौती $f^*$ के लिए $L^2(Q)$ ज्यामिति में वैध कॉन्फिडेंस सेट्स (confidence sets) का निर्माण करने में निहित है, विशेष रूप से केवल सोर्स-डोमेन सैंपल्स का उपयोग करके, खासकर तब जब टारगेट-टू-सोर्स डेंसिटी रेशियो $\rho(x) = dQ_X/dP_X$ अनबाउंडेड हो या इसमें हेवी टेल्स (heavy tails) हों, जो स्टैंडर्ड इम्पोर्टेंस-वेटिंग एस्टिमेटर्स को अस्थिर कर सकते हैं।

कार्यप्रणाली (Methodology)
प्रस्तावित ढांचा ट्रंकेटेड इम्पोर्टेंस-वेटेड कर्नेल रिज रिग्रेशन (IWKRR) को मल्टीप्लायर बूटस्ट्रैप (multiplier bootstrap) प्रक्रिया के साथ जोड़ता है।

ट्रंकेटेड IWKRR एस्टिमेटर:
स्टैंडर्ड इम्पोर्टेंस वेटिंग (IW) $\rho(x)$ द्वारा सोर्स सैंपल्स को वेट देकर टारगेट रिस्क का अनुमान लगाता है। हालाँकि, $\rho(x)$ के बड़े मान उच्च वेरिएंस का कारण बन सकते हैं। लेखक एक ट्रंकेटेड वेट फंक्शन $w_n(x) = \min\{\rho(x), \tau_n\}$ का उपयोग करते हैं, जहाँ $\tau_n$ एक पूर्व-निर्धारित ट्रंकेशन लेवल है। एस्टिमेटर $\hat{f}$ ट्रंकेटेड एम्पिरिकल रिस्क को मिनिमाइज करता है:
$\hat{f} = \arg\min_{f \in \mathcal{H}} \frac{1}{n} \sum_{i=1}^n w_n(X_i)(Y_i - f(X_i))^2 + \lambda_n \|f\|_{\mathcal{H}}^2,$
जहाँ $\mathcal{H}$ एक रिप्रोडसिंग कर्नेल हिलबर्ट स्पेस (RKHS) है और $\lambda_n$ रेगुलराइजेशन पैरामीटर है।
कॉन्फिडेंस सेट्स के लिए मल्टीप्लायर बूटस्ट्रैप:
एक $100(1-\alpha)\%$ कॉन्फिडेंस बॉल $CS_\alpha(\hat{f}) = \{f \in \mathcal{H} : \|\hat{f} - f\|_{L^2(Q)} \leq \hat{c}_{\alpha,n}\}$ का निर्माण करने के लिए, लेखक मल्टीप्लायर बूटस्ट्रैप का उपयोग करते हैं।
- बायस-वैरिएंस डिकम्पोजिशन: एरर $\sqrt{n}(\hat{f} - f^*)$ को बायस टर्म (जो अंडर-स्मूथिंग के तहत नगण्य है) और एक स्टोकेस्टिक फ्लक्चुएशन टर्म में विभाजित किया जाता है।
- बहादुर रिप्रेजेंटेशन (Bahadur Representation): यह दिखाया गया है कि स्टोकेस्टिक टर्म इन्फ्लुएंस फंक्शन्स $U_i$ वाले एक बहादुर रिप्रेजेंटेशन को स्वीकार करता है।
- बूटस्ट्रैप स्टैटिस्टिक: एंटी-सिमेट्रिक मल्टीप्लायर्स $h_{ij} \sim N(0,1)$ और एम्पिरिकल रेसिडुअल्स का उपयोग करके एक कंप्यूट करने योग्य बूटस्ट्रैप स्टैटिस्टिक $B$ बनाया जाता है। रेडियस $\hat{c}_{\alpha,n}$ को $\|B\|_{L^2(Q)}$ के एम्पिरिकल क्वांटाइल्स द्वारा निर्धारित किया जाता है।
- कंप्यूटेशनल दक्षता: विधि $\|B\|_{L^2(Q)}$ को कुशलतापूर्वक कंप्यूट करने के लिए RKHS की मैट्रिक्स संरचना का लाभ उठाती है, जिससे हर बूटस्ट्रैप इटरेशन में मॉडल को फिर से फिट करने की आवश्यकता नहीं होती।

सैद्धांतिक ढांचा और धारणाएं (Theoretical Framework and Assumptions)
अनुमान की वैधता कई प्रमुख शर्तों पर निर्भर करती है:

कम्पैटिबिलिटी कंडीशंस: पेपर "रेगुलराइज्ड ट्रांसफर कवरेज" (Assumption 4.4) और "नॉन-डिजेनरेट कोवेरिएंस" (Assumption 4.5) पेश करता है। ये शर्तें सुनिश्चित करती हैं कि वेटेड सोर्स डिस्ट्रीब्यूशन की ज्यामिति (जो ट्रंकेटेड वेट्स द्वारा नियंत्रित है) टारगेट $L^2(Q)$ ज्यामिति के साथ पर्याप्त रूप से कम्पैटिबल है ताकि वैध एरर ट्रांसफर और एंटी-कंसंट्रेशन गुण संभव हो सकें।
डेंसिटी रेशियो कंडीशंस: थ्योरी $\rho(x)$ $ρ (x)$ के लिए तीन व्यवस्थाओं (regimes) को समायोजित करती है:
1. बाउंडेड डेंसिटी रेशियो।
2. सब-एक्सपोनेंशियल टेल कंडीशंस (बर्नस्टीन-टाइप मोमेंट कंडीशंस)।
3. बाउंडेड हायर-ऑर्डर मोमेंट्स वाले हेवी-टेल्ड डिस्ट्रीब्यूशंस (उचित ट्रंकेशन की आवश्यकता के साथ)।
स्पेक्ट्रल कंडीशंस: परिणाम कर्नेल इंटीग्रल ऑपरेटर $L_Q$ के स्पेक्ट्रल डिके (spectral decay) पर निर्भर करते हैं, जिसमें पॉलीनोमियल डिके ( $\mu_k \asymp k^{-\beta}$ ) और एक्सपोनेंशियल डिके दोनों शामिल हैं।

प्रमुख योगदान और परिणाम

नॉन-एसिम्प्टोटिक वैधता: पेपर बूटस्ट्रैप कॉन्फिडेंस सेट्स के कवरेज एरर पर नॉन-एसिम्प्टोटिक बाउंड्स स्थापित करता है। एरर रेट बायस, गॉसियन एप्रोक्सिमेशन एरर और बूटस्ट्रैप एप्रोक्सिमेशन एरर पर निर्भर करता है।
स्पष्ट एरर रेट्स: डेंसिटी रेशियो और कर्नेल स्पेक्ट्रल डिके पर विशिष्ट शर्तों के तहत, लेखक मिसकवरेज प्रोबेबिलिटी $|P(f^* \notin CS_\alpha(\hat{f})) - \alpha|$ के लिए स्पष्ट कन्वर्जेंस रेट्स निकालते हैं। उदाहरण के लिए, बाउंडेड डेंसिटी रेशियो और पॉलीनोमियल स्पेक्ट्रल डिके के तहत, एरर रेट को एक विशिष्ट एक्सपोनेंट $\gamma$ के लिए $O(n^{-\gamma} \log^3 n)$ के क्रम का दिखाया गया है, जो स्मूथनेस और डायमेंशन पैरामीटर्स द्वारा निर्धारित होता है।
ऑपरेटर-थ्योरेटिक ट्रीटमेंट: यूनिटरी आइसोमॉर्फिज्म का उपयोग करना एक नवीन तकनीकी योगदान है, जो टारगेट और वेटेड-सोर्स इंटीग्रल ऑपरेटर्स के स्क्वायर रूट्स द्वारा उत्पन्न होते हैं। यह एक कॉमन ऑपरेटर कैलकुलस के भीतर विभिन्न ज्योमेट्रीज़ ( $L^2(Q)$ बनाम RKHS) में स्टोकेस्टिक फ्लक्चुएशंस की तुलना करने की अनुमति देता है, जो ट्रंकेटेड एस्टिमेटर के बायस और इसके कोवेरिएंस स्ट्रक्चर दोनों को कैप्चर करता है।
एम्पिरिकल वैलिडेशन:
- सिमुलेशन: संख्यात्मक प्रयोगों से पता चलता है कि बूटस्ट्रैप रेडियस अच्छी तरह से कैलिब्रेटेड है और कॉन्फिडेंस सेट्स, बड़े डेंसिटी रेशियो के बावजूद, नामांकित स्तर (nominal level) के करीब एम्पिरिकल कवरेज प्राप्त करते हैं।
- रियल डेटा एप्लीकेशन: विधि को हाउसहोल्ड नेट वर्थ और इनकम के संबंध में स्टॉक इक्विटी होल्डिंग की मोनोटोनिसिटी के बारे में परिकल्पनाओं का परीक्षण करने के लिए 'सर्वे ऑफ कंज्यूमर फाइनेंस' (SCF) पर लागू किया गया है। परिणाम विशिष्ट कैंडिडेट फंक्शन्स (जैसे, सोर्स-ओनली KRR) को खारिज करने और सर्वे-वेटेड सेटिंग में कंपोजिट हाइपोथीसिस (जैसे, मोनोटोनिसिटी) का परीक्षण करने की क्षमता दिखाते हैं।

महत्व और दावे
पेपर दावा करता है कि यह कोवेरिएट शिफ्ट के तहत रिग्रेशन फंक्शनों का मूल्यांकन करने के लिए एक सामान्य अनुमान ढांचा प्रदान करता है, जो कि केवल एस्टीमेशन समस्या की तुलना में कम समझ में आया विषय है। वेरिएंस को स्थिर करने के लिए ट्रंकेशन को मल्टीप्लायर बूटस्ट्रैप के साथ जोड़कर, लेखक एक ऐसी प्रक्रिया प्रदान करते हैं जो:

मजबूत (Robust) है: उपयुक्त ट्रंकेशन लेवल चुने जाने पर हेवी-टेल्ड डेंसिटी रेशियो होने पर भी लागू करने योग्य है।
सैद्धांतिक रूप से सुदृढ़ (Theoretically Grounded) है: स्पष्ट कम्पैटिबिलिटी और स्पेक्ट्रल शर्तों के तहत नॉन-एसिम्प्टोटिक कवरेज गारंटी सिद्ध करती है।
व्यावहारिक रूप से व्यवहार्य (Practically Feasible) है: कंप्यूटेशनल रूप से कुशल, जिसके लिए प्रारंभिक एस्टिमेटर के कंप्यूट किए जाने के बाद केवल मैट्रिक्स-वेक्टर मल्टीप्लिकेशन की आवश्यकता होती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण टारगेट डिस्ट्रीब्यूशन की ज्यामिति में कॉन्फिडेंस सेट्स बनाने की अनुमति देता है, जो इस महत्वपूर्ण मुद्दे को संबोधित करता है कि सोर्स डिस्ट्रीब्यूशन में सत्य के करीब रहने वाला फंक्शन टारगेट में करीब नहीं हो सकता है। यह कार्य रोबस्ट एस्टीमेशन और वैध सांख्यिकीय अनुमान के बीच के अंतर को पाटता है।

तकनीकी सारांश: कोवेरिएट शिफ्ट के तहत नॉनपैरामीट्रिक गुडनेस-ऑफ-फिट टेस्टिंग

इसी तरह के और पेपर