📊 statistics

Data integration of non-probability and probability samples with deterministic predictive mean matching

यह शोध पत्र संभाव्य (प्रोबेबिलिटी) और गैर-संभाव्य (नॉन-प्रोबेबिलिटी) नमूनों को एकीकृत करने के लिए नियतात्मक प्रेडिक्टिव मीन मैचिंग मास इम्प्यूटेशन अनुमानकों का प्रस्ताव और सत्यापन करता है, जो मॉडल विनिर्देशन और मिसस्पेसिफिकेशन दोनों के तहत उनकी सैद्धांतिक निरंतरता और विचरण गुणों को स्थापित करते हुए सिमुलेशन और जॉब वैकेंसी डेटा के एक अनुभवजन्य अनुप्रयोग के माध्यम से उनकी प्रभावशीलता को प्रदर्शित करते हैं।

मूल लेखक: Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

प्रकाशित 2026-07-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बड़े स्कूल के हर छात्र की औसत ऊंचाई का पता लगाने की कोशिश कर रहे हैं। इसे करने का सबसे विश्वसनीय तरीका यह है कि आप पूरी तरह से यादृच्छिक (रैंडम) रूप से कुछ छात्रों को चुनें (एक "प्रायिकता नमूना" या "प्रोबेबिलिटी सैंपल") और उनकी ऊंचाई मापें। क्योंकि चयन यादृच्छिक था, इसलिए आप गणितीय रूप से गारंटी दे सकते हैं कि आपका औसत सत्य के करीब है। लेकिन क्या होगा यदि आपके पास उन यादृच्छिक छात्रों को मापने के लिए समय या पैसा नहीं है? इसके बजाय, आपके पास स्वयंसेवकों की एक विशाल सूची है जिन्होंने "लंबे लोगों के क्लब" में शामिल होने के लिए ऑनलाइन साइन अप किया है (एक "गैर-प्रायिकता नमूना" या "नॉन-प्रोबेबिलिटी सैंपल")। यह सूची बहुत बड़ी है, लेकिन यह पक्षपाती है: यह बास्केटबॉल खिलाड़ियों और मॉडल्स से भरी हुई है, इसलिए यहाँ औसत ऊंचाई बहुत अधिक है। आप इस सूची का उपयोग नहीं कर सकते, अन्यथा आपके स्कूल का औसत गलत हो जाएगा।

यह सांख्यिकी (स्टेटिस्टिक्स) की दुनिया में एक क्लासिक पहेली है, एक ऐसा क्षेत्र जो डेटा को समझने के लिए समर्पित है। चुनौती "डेटा एकीकरण" (डेटा इंटीग्रेशन) की है: आपको एक छोटी, पूरी तरह से निष्पक्ष सूची को एक विशाल, अव्यवस्थित, पक्षपाती सूची के साथ कैसे मिलाया जाए ताकि एक सटीक उत्तर प्राप्त हो सके? आमतौर पर, सांख्यिकीविद उन "नियमों" का अनुमान लगाने की कोशिश करते हैं जो दोनों समूहों को जोड़ते हैं (जैसे कि आयु या लिंग के आधार पर ऊंचाई कैसे संबंधित है) और उन नियमों का उपयोग उस पक्षपाती सूची को ठीक करने के लिए करते हैं। लेकिन क्या होगा यदि वे नियम थोड़े गलत हों? या क्या होगा यदि डेटा इतना जटिल है कि नियम टूट जाते हैं? यहीं पर Czerniawska और उनकी टीम का शोध पत्र काम आता है। वे इस तरह के दो बहुत अलग प्रकार के डेटा सूचियों को मिलाने के तरीके पर काम कर रहे हैं ताकि एक विश्वसनीय उत्तर प्राप्त हो सके, भले ही गणित जटिल हो जाए।

लेखक इस मिश्रण को करने के लिए एक चतुर नया तरीका प्रस्तावित करते हैं जिसे "प्रेडिक्टिव मीन मैचिंग" (PMM) कहा जाता है। इसे एक हाई-टेक गेम "अपना जुड़वा खोजें" (Find Your Twin) की तरह समझें। कल्पना कीजिए कि आपके पास आपकी निष्पक्ष यादृच्छिक सूची से एक छात्र है (मान लीजिए उसका नाम एलेक्स है) जिसकी ऊंचाई अभी तक आपको नहीं पता है, लेकिन आप उसकी आयु और ग्रेड जानते हैं। आप अपनी विशाल, पक्षपाती ऑनलाइन सूची में एक ऐसा छात्र ढूंढते हैं जो उन विवरणों के आधार पर एलेक्स जैसा दिखता है। एक बार जब आपको उसका "जुड़वा" मिल जाता है, तो आप उनकी ऊंचाई उधार लेते हैं और उसे एलेक्स को दे देते हैं। इस प्रक्रिया को अपनी यादृच्छिक सूची के प्रत्येक छात्र के लिए करके, आप पूरे स्कूल की एक पूर्ण, सटीक तस्वीर बनाते हैं।

शोध पत्र इस "अपना जुड़वा खोजें" गेम को खेलने के दो विशिष्ट तरीकों की जांच करता है। पहला तरीका, जिसे वे PMM A कहते हैं, जुड़वाओं को उन आधारों पर ढूंढता है जो कंप्यूटर अनुमान लगाता है कि ऊंचाई क्या होनी चाहिए। यदि कंप्यूटर सोचता है कि एलेक्स 170 सेमी होना चाहिए, तो वह सूची में किसी ऐसे व्यक्ति को ढूंढता है जिसका कंप्यूटर भी अनुमान लगाता है कि वह 170 सेमी है। दूसरा तरीका, PMM B, थोड़ा अधिक सीधा है: यह सूची में किसी ऐसे व्यक्ति को ढूंढता है जिसकी वास्तविक, मापी गई ऊंचाई उस मान से मेल खाती है जो कंप्यूटर एलेक्स के लिए अनुमानित करता है।

शोधकर्ताओं ने इस बात को साबित करने में बहुत समय बिताया कि ये तरीके वास्तव में काम करते हैं। उन्होंने दिखाया कि यदि आप पर्याप्त डेटा का उपयोग करते हैं, तो ये तरीके अंततः आपको सही उत्तर देंगे, भले ही आपके कंप्यूटर के भविष्यवाणी नियम (प्रेडिक्शन रूल्स) एकदम सटीक न हों। विशेष रूप से, उन्होंने सिद्ध किया कि PMM A विधि (वह विधि जो अनुमानित मानों का उपयोग करके मिलान करती है) कुछ शर्तों के तहत मॉडल मिसस्पेसिफिकेशन (मॉडल मिसस्पेफिकेशन) के प्रति सुदृढ़ (रोबस्ट) है। यह एक बड़ी बात है क्योंकि अन्य लोकप्रिय तरीके (जैसे कच्चे डेटा के आधार पर केवल "निकटतम पड़ोसी" खोजना) बुरी तरह विफल हो सकते हैं यदि डेटा बहुत जटिल हो जाता है या यदि भविष्यवाणी के नियम थोड़े भी गलत होते हैं। लेखकों ने सिद्ध किया कि उनका "प्रेडिक्टिव मीन मैचिंग" दृष्टिकोण बहुत अधिक सुदृढ़ है; जब गणित अव्यवस्थित होता है, तो यह उतनी आसानी से नहीं टूटता है।

उन्होंने यह भी पता लगाया कि हम उत्तर के बारे में कितने "निश्चित" हो सकते हैं। जब आप एक पक्षपाती सूची से डेटा उधार लेते हैं, तो इसमें अनिश्चितता का एक छोटा सा अतिरिक्त हिस्सा होता है, जैसे कि आपके तराजू में एक छिपा हुआ कंपन (वोबल)। लेखकों ने इस कंपन को मापने के लिए एक नया सूत्र विकसित किया और दिखाया कि कंप्यूटर सिमुलेशन (जिसे "बूटस्ट्रैपिंग" कहा जाता है) का उपयोग करके इसे सटीक रूप से कैसे मापा जा सकता है। उन्होंने अपने विचारों का परीक्षण कंप्यूटर लैब में हजारों नकली डेटा परिदृश्यों के साथ किया। इन सिमुलेशन में, उनके नए तरीके तब भी उतने ही अच्छे प्रदर्शन करते थे जब नियम एकदम सही थे, लेकिन जब नियम गलत थे या डेटा जटिल था, तो वे मौजूदा सर्वोत्तम उपकरणों की तुलना में बहुत बेहतर थे।

अंत में, टीम ने अपने तरीके को पोलैंड के वास्तविक दुनिया के डेटा पर आजमाया। वे यह अनुमान लगाना चाहते थे कि नौकरियों के कितने रिक्त पद विशेष रूप से यूक्रेनी श्रमिकों के लिए लक्षित थे। उन्होंने एक छोटे, आधिकारिक सरकारी सर्वेक्षण (निष्पक्ष सूची) को सार्वजनिक रोजगार कार्यालयों के जॉब पोस्टिंग के एक विशाल डेटाबेस (पक्षपाती सूची) के साथ जोड़ा। परिणामों ने दिखाया कि उनका तरीका इन दो बहुत अलग स्रोतों को सफलतापूर्वक मर्ज करके एक स्पष्ट, विश्वसनीय अनुमान देने में सक्षम था, जिससे यह सिद्ध हुआ कि उनकी "अपना जुड़वा खोजें" रणनीति केवल कंप्यूटर सिमुलेशन में ही नहीं, बल्कि वास्तविक दुनिया में भी काम करती है।

संक्षेप में, यह शोध पत्र उन सांख्यिकीविदों के लिए एक मजबूत, विश्वसनीय टूलकिट प्रदान करता है जिन्हें निष्पक्ष लेकिन छोटे डेटा को विशाल लेकिन पक्षपाती डेटा के साथ मिलाने की आवश्यकता होती है। यह एक ऐसा तरीका प्रदान करता है जिससे सटीक उत्तर प्राप्त किए जा सकें, भले ही गणित एकदम सटीक न हो, यह सुनिश्चित करते हुए कि इस डेटा पर आधारित निर्णय ठोस आधार पर बने हों, न कि अस्थिर अनुमानों पर।

तकनीकी सारांश: डिटरमिनिस्टिक प्रेडिक्टिव मीन मैचिंग के साथ गैर-संभाव्यता और संभाव्यता नमूनों का डेटा एकीकरण

समस्या विवरण
यह शोध पत्र संभाव्यता नमूनों (जिनमें समावेश की संभावना ज्ञात होती है लेकिन अक्सर लक्षित चर $Y$ का अभाव होता है) और गैर-संभाव्यता नमूनों (जिनमें लक्षित चर $Y$ होता है लेकिन ज्ञात नमूनाकरण तंत्र का अभाव होता है) से डेटा को एकीकृत करके जनसंख्या विशेषताओं का अनुमान लगाने की चुनौती को संबोधित करता है। जबकि मौजूदा साहित्य इनवर्स प्रोबेबिलिटी वेटिंग (IPW), प्रेडिक्शन एस्टिमेटर्स (PE), और डबलली रोबस्ट (DR) विधियों का प्रस्ताव करता है, यह अध्ययन मास इम्प्यूटेशन (MI) एस्टिमेटर्स पर ध्यान केंद्रित करता है। विशेष रूप से, यह एक संभाव्यता नमूने के इकाइयों के लिए गैर-संभाव्यता नमूने से प्रेक्षित मानों का उपयोग करके मानों को इम्प्यूट (impute) करने की एक तकनीक के रूप में डिटरमिनिस्टिक प्रेडिक्टिव मीन मैचिंग (PMM) की जांच करता है। लेखक पैरामीट्रिक/नॉन-पैरामीट्रिक रिग्रेशन इम्प्यूटेशन और नियरएस्ट नेबर (NN) इम्प्यूटेशन के बीच के अंतर को पाटने का प्रयास करते हैं, जो डेटा एकीकरण संदर्भों के लिए कठोर सैद्धांतिक गुण प्रदान करते हैं जिन्हें पिछले साहित्य में पूरी तरह से नहीं खोजा गया है।

कार्यप्रणाली (Methodology)
लेखक एक संभाव्यता नमूने ( $S_P$ ) से इकाइयों को एक गैर-संभाव्यता नमूने ( $S_{NP}$ ) से मिलाने के लिए दो सेमी-पैरामीट्रिक डिटरमिनिस्टिक PMM एल्गोरिदम का प्रस्ताव और विश्लेषण करते हैं:

PMM A ( $\hat{y}-\hat{y}$ मैचिंग): $S_P$ की इकाइयों को एक रिग्रेशन मॉडल $E[Y|X] = m(X, \beta)$ से प्राप्त उनके प्रेडिक्टेड मानों ( $\hat{y}$ ) की समानता के आधार पर $S_{NP}$ की इकाइयों से मिलाया जाता है। मैचिंग दूरी $d(\hat{y}_i, \hat{y}_j)$ है।
PMM B ( $\hat{y}-y$ मैचिंग): $S_P$ की इकाई के प्रेडिक्टेड मान और $S_{NP}$ की इकाई के प्रेक्षित (observed) मान की समानता के आधार पर $S_P$ की इकाइयों को $S_{NP}$ की इकाइयों से मिलाया जाता है। मैचिंग दूरी $d(\hat{y}_i, y_j)$ है।

दोनों दृष्टिकोणों में, प्रत्येक इकाई $i \in S_P$ के लिए, $S_{NP}$ में उसके $k$ निकटतम पड़ोसियों (nearest neighbours) की पहचान की जाती है, और इम्प्यूट किया गया मान इन पड़ोसियों के प्रेक्षित $Y$ मानों का औसत होता है। जनसंख्या माध्य के लिए अंतिम एस्टिमेटर संभाव्यता नमूने के डिज़ाइन वेट्स का उपयोग करके इन इम्प्यूटेड मानों का एक भारित औसत (weighted average) है।

सैद्धांतिक विश्लेषण एक सुपरपॉपुलेशन मॉडल और परिमित जनसंख्याओं (finite populations) की एक श्रृंखला पर आधारित है। मुख्य धारणाओं में शामिल हैं:

रिग्रेशन मापदंडों के लिए एक सुसंगत (consistent) एस्टिमेटर $\hat{\beta}$ का अस्तित्व।
रिग्रेशन अवशेषों (residuals) का एसिम्प्टोटिक वेनिशिंग (A2)।
रिग्रेशन फंक्शन की लोकल लिप्सचिट्ज़ निरंतरता (A3)।
गैर-संभाव्यता नमूने की प्रतिनिधित्व क्षमता के संबंध में एक हल्का रेगुलेरिटी कंडीशन (A4), जो NN विधियों के लिए आवश्यक सख्त "पॉजिटिविटी" धारणा को प्रतिस्थापित करता है।
डोनर वेट्स (donor weights) की स्थिरता (B3) और $\hat{\beta}$ के इन्फ्लुएंस फंक्शन (B2) के संबंध में PMM A के लिए विशिष्ट स्थितियाँ।

मुख्य योगदान

सैद्धांतिक सुसंगतता (Theoretical Consistency): लेखक सही मॉडल स्पेसिफिकेशन के तहत दोनों PMM A और PMM B एस्टिमेटर्स की सुसंगतता को सिद्ध करते हैं। महत्वपूर्ण रूप से, वे PMM A ( $\hat{y}-\hat{y}$ ) एस्टिमेटर की सुसंगतता को मॉडल मिसस्पेसिफिकेशन के तहत भी स्थापित करते हैं, बशर्ते कि वर्किंग मॉडल सपोर्ट पर कुछ उत्तलता (convexity) और कॉम्पैक्टनेस (compactness) की शर्तों को पूरा करता हो।
नॉन-पैरामीट्रिक मॉडल्स का विस्तार: यह शोध पत्र प्रदर्शित करता है कि PMM B ( $\hat{y}-y$ ) एस्टिमेटर की सुसंगतता नॉन-पैरामीट्रिक रिग्रेशन तकनीकों (जैसे नादरया-वॉटसन कर्नेल रिग्रेशन, न्यूरल नेटवर्क) तक विस्तृत है, बशर्ते कि रिग्रेशन फंक्शन एस्टिमेटर यूनिफॉर्मली कन्वर्ज (converge) हो।
वेरिएंस डिकंपोजिशन (Variance Decomposition): एक नवीन वेरिएंस डिकंपोजिशन व्युत्पन्न किया गया है, जो कुल वेरिएस को विभाजित करता है:
- $V_1$ : एक डिज़ाइन-आधारित वेरिएंस घटक (इम्प्यूटेड मानों के हॉरविट्ज़-थॉमसन वेरिएस के समान)।
- $V_2$ : इम्प्यूटेशन प्रक्रिया (डोनर चयन और रिग्रेशन एस्टीमेशन) की यादृच्छिकता (randomness) से उत्पन्न एक अतिरिक्त वेरिएंस घटक।
वेरिएंस एस्टीमेशन: लेखक प्रस्तावित करते हैं:
- $V_1$ के लिए एक आंशिक रूप से एनालिटिक एस्टिमेटर।
- $V_2$ के लिए आवश्यक कोवेरिएंस टर्म्स का अनुमान लगाने के लिए एक "मिनी-बूटस्ट्रैप" प्रक्रिया (एल्गोरिदम 2)।
- दोनों घटकों को संयोजित करने वाली एक पूर्ण बूटस्ट्रैप प्रक्रिया (एल्गोरिदम 3)।
- वे दिखाते हैं कि $V_1$ के लिए प्रस्तावित एनालिटिकल वेरिएस अभिव्यक्ति को मानक नियरएस्ट नेबर (NN) एस्टिमेटर पर भी लागू किया जा सकता है, जो पिछले परिणामों का विस्तार करता है।
NN से भिन्नता: यह शोध पत्र PMM को NN से सख्ती से अलग करता है, यह नोट करते हुए कि वे केवल एक एकल कोवेरिएट वाले लीनियर मॉडल के विशिष्ट मामले में ही समान हैं। PMM को "कर्स ऑफ डायमेंशनलिटी" (curse of dimensionality) के प्रति कम संवेदनशील दिखाया गया है और इसे सख्त पॉजिटिविटी धारणा की आवश्यकता नहीं है।

परिणाम

सिमुलेशन अध्ययन: $N=10^5$ $N = 1 0^{5}$ के साथ व्यापक सिमुलेशन ने सिंपल रैंडम सैंपलिंग के तहत NN और रिग्रेशन प्रेडिक्शन (GLM) एस्टिमेटर्स के विरुद्ध PMM एस्टिमेटर्स की तुलना की।
- सही ढंग से निर्दिष्ट मॉडल (Correctly Specified Models): PMM एस्टिमेटर्स ने GLM के समान प्रदर्शन किया। PMM B ( $\hat{y}-y$ ) ने आम तौर पर PMM A ( $\hat{y}-\hat{y}$ ) की तुलना में कम स्टैंडर्ड एरर प्रदर्शित किया।
- मॉडल मिसस्पेसिफिकेशन: PMM A ने श्रेष्ठ मजबूती (robustness) दिखाई, जब लीनियर मॉडल को नॉन-लीनियर डेटा जनरेटिंग प्रोसेस के लिए मिसस्पेसिफाइड किया गया था, तब भी NN और GLM की तुलना में कम बायस बनाए रखा।
- वेरिएंस घटक: यह पाया गया कि $V_2$ घटक (इम्प्यूटेशन अनिश्चितता) का योगदान परिमित नमूनों (finite samples) में नगण्य नहीं था, जिससे एम्पिरिकल अध्ययन में कुल वेरिएस लगभग 40-60% बढ़ गया।
- कवरेज रेट्स: एनालिटिकल और बूटस्ट्रैप वेरिएस एस्टिमेटर्स ने नाममात्र 95% कवरेज रेट प्राप्त किया।
एम्पिरिकल अध्ययन: इन विधियों को पोलैंड में यूक्रेनी श्रमिकों के लिए रिक्तियों के हिस्से का अनुमान लगाने के लिए जॉब वैकेंसी सर्वे (संभाव्यता नमूना) को सेंट्रल जॉब ऑफर्स डेटाबेस (गैर-संभाव्यता नमूना) के साथ एकीकृत करने के लिए लागू किया गया।
- विभिन्न विधियों (GLM, NN, PMM, IPW, DR) के पॉइंट एस्टिमेट्स सुसंगत थे, जो लगभग 22% के आसपास थे।
- मिनी-बूटस्ट्रैप के माध्यम से $V_2$ घटक को शामिल करने से स्टैंडर्ड एरर्स में उल्लेखनीय वृद्धि हुई, जो मैचिंग अनिश्चितता को ध्यान में रखने के महत्व को रेखांकित करता है।
- इस विशिष्ट अनुप्रयोग में PMM A और PMM B अविभेद्य परिणाम दे रहे थे।

महत्व और दावे
यह शोध पत्र दावा करता है कि डिटरमिनिस्टिक PMM, डेटा एकीकरण के लिए एक मजबूत विकल्प प्रदान करता है, विशेष रूप से PMM A वेरिएंट जो मॉडल मिसस्पेसिफिकेशन के तहत भी सुसंगतता बनाए रखता है—एक ऐसा गुण जो उच्च आयामों (high dimensions) में मानक रिग्रेशन इम्प्यूटेशन या NN के लिए गारंटीकृत नहीं है। लेखक अपने गहन वेरिएस डिकंपोजिशन और एस्टीमेशन के प्रति अपने दृष्टिकोण पर जोर देते हैं, जो मास इम्प्यूटेशन में अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के लिए एक व्यावहारिक ढांचा प्रदान करता है, जो मौजूदा साहित्य के उस अंतराल को संबोधित करता है जहाँ NN और PMM एस्टिमेटर्स के वेरिएस का डिज़ाइन और इम्प्यूटेशन त्रुटियों को अलग करने वाला डिकंपोजिशन अज्ञात या अनुपलब्ध था। ओपन-सोर्स सॉफ्टवेयर (nonprobsvy पैकेज) की उपलब्धता इन विधियों के अनुप्रयोग को सुगम बनाती है। लेखक $V_2$ के लिए "मिनी-बूटस्ट्रैप" के प्रति विनम्र रहते हैं, इसे एक सामान्य रूप से सुसंगत एस्टिमेटर के बजाय एक ह्यूरिस्टिक (heuristic) परिमित-नमूना सुधार के रूप में वर्णित करते हैं, और नोट करते हैं कि मल्टीप्ली रोबस्ट PMM प्रक्रियाओं और $k$ हाइपरपैरामीटर के इष्टतम चयन के लिए आगे के शोध की आवश्यकता है।

इसी तरह के और पेपर