Model Assisted Data Integration: An unbiased sampling strategy to use nonprobability data

1. समस्या विवरण (Problem Statement)

आधिकारिक सांख्यिकीय एजेंसियों पर लागत और उत्तरदाता के बोझ को कम करने के लिए नॉन-प्रोबेबिलिटी डेटा (NPD) (जैसे, प्रशासनिक रजिस्टर, वेब पैनल, ट्रांजेक्शन डेटा) का उपयोग करने का बढ़ता दबाव है। हालाँकि, NPD 'सिलेक्शन बायस' (चयन पूर्वाग्रह - चयन संभावनाओं का अभाव) से ग्रस्त होता है और अक्सर लक्षित जनसंख्या का अधूरा कवरेज प्रदान करता है।

प्रोबेबिलिटी सैंपल के साथ NPD को एकीकृत करने की मौजूदा विधियाँ (जैसे, इम्प्यूटेशन, प्रोपेंसिटी वेटिंग, डबल रोबस्ट एस्टिमेटर्स) अक्सर मिसिंग एट रैंडम (MAR) जैसी मजबूत, unverifiable मान्यताओं पर निर्भर करती हैं। इसके अलावा, पारंपरिक मॉडल-असिस्टेड एस्टिमेटर्स जैसे कि जनरलाइज्ड रिग्रेशन (GREG) एस्टिमेटर तब संघर्ष करते हैं जब:

• सहायक चरों (auxiliary variables) की संख्या के सापेक्ष सैंपल का आकार छोटा हो (जिससे सिंगुलर मैट्रिसेस बन जाते हैं)।
• जटिल मशीन लर्निंग मॉडल का उपयोग किया जाता है (ओवरफिटिंग और बायस्ड वेरिएंस एस्टीमेशन का जोखिम)।
• NPD में गंभीर सिलेक्शन बायस हो।

लेखकों का लक्ष्य एक ऐसी सैंपलिंग रणनीति और एस्टिमेटर विकसित करना है जो डिजाइन-अनबायस्ड (design-unbiased) हो, एक डिजाइन-अनबायस्ड वेरिएंस एस्टिमेटर प्रदान करे, और MAR मान्यताओं पर निर्भर रहे बिना मनमाने मशीन लर्निंग मॉडल के उपयोग की अनुमति दे।

2. कार्यप्रणाली: MADI रणनीति (Methodology: The MADI Strategy)

यह पत्र मॉडल असिस्टेड डेटा इंटीग्रेशन (MADI) रणनीति का प्रस्ताव करता है, जो किम और टैम (2021) द्वारा प्रस्तावित डेटा इंटीग्रेशन (DI) एस्टिमेटर का विस्तार है।

मुख्य अवधारणा (Core Concept)

जनसंख्या $U$ को दो अलग-अलग सेटों में विभाजित किया गया है:

• सेट $A$ (NPD): जनसंख्या का एक उपसमुच्चय जहाँ अध्ययन चर $y$ सभी इकाइयों के लिए ज्ञात है (जैसे, एक पूर्ण रजिस्टर या बड़ा नॉन-प्रोबेबिलिटी डेटासेट), लेकिन चयन की संभावनाएं अज्ञात हैं।
• सेट $B$ (पूरक/Complement): जनसंख्या का वह उपसमुच्चय जो $A$ द्वारा कवर नहीं किया गया है ($B = U \setminus A$)।

सैंपलिंग डिज़ाइन (Sampling Design)

पूरी जनसंख्या $U$ से नमूना लेने के बजाय, यह रणनीति विशेष रूप से सेट $B$ से एक प्रोबेबिलिटी सैंपल ($s_B$) लेती है। यह महत्वपूर्ण है क्योंकि $A$ के लिए $y$ के मान पहले से ही ज्ञात हैं, इसलिए अनुमान लगाने के उद्देश्यों के लिए $A$ से नमूना लेना अनावश्यक है।

एस्टिमेटर (The Estimator)

MADI एस्टिमेटर ($\hat{t}_{y, MADI}$) तीन घटकों को जोड़ता है:

1. सेट $A$ का कुल योग: NPD में ज्ञात $y$ मानों का योग ($t_A = \sum_{i \in A} y_i$)।
2. सेट $B$ के लिए मॉडल प्रेडिक्शन: एक मशीन लर्निंग मॉडल $\mu(\mathbf{x}, A)$ को $y$ के लिए सभी इकाइयों $B$ की भविष्यवाणी करने हेतु सहायक चरों $\mathbf{x}$ का उपयोग करके बड़े NPD (सेट $A$) पर प्रशिक्षित किया जाता है।
3. करेक्शन टर्म (Correction Term): सेट $B$ में मॉडल भविष्यवाणियों और वास्तविक मानों के बीच के अंतर को ठीक करने के लिए प्रोबेबिलिटी सैंपल $s_B$ पर आधारित एक डिफरेंस एस्टिमेटर।

सूत्र इस प्रकार परिभाषित है:
$$\hat{t}_{y, MADI} = \underbrace{\sum_{i \in A} y_i}_{\text{ज्ञात कुल (Known Total)}} + \underbrace{\sum_{i \in B} \mu(\mathbf{x}_i, A)}_{\text{मॉडल प्रेडिक्शन}} + \underbrace{\sum_{i \in s_B} \frac{y_i - \mu(\mathbf{x}_i, A)}{\pi_{iB}}}_{\text{डिजाइन-आधारित करेक्शन}}$$

जहाँ:

• $\pi_{iB}$ सेट $B$ से लिए गए सैंपल में इकाई $i$ की समावेशन संभावना (inclusion probability) है।
• $e_i = y_i - \mu(\mathbf{x}_i, A)$ अवशेष (residual) है।

मुख्य सैद्धांतिक गुण (Key Theoretical Properties)

• डिजाइन-अनबायस्डनेस (Design-Unbiasedness): क्योंकि मॉडल $\mu$ को $A$ पर प्रशिक्षित किया गया है (जो $s_B$ की रैंडम सैंपलिंग के सापेक्ष स्थिर है), एस्टिमेटर मॉडल की फिट गुणवत्ता के बावजूद डिजाइन-अनबायस्ड रहता है। मॉडल के बायस को तीसरे पद द्वारा ठीक किया जाता है।
• अनबायस्ड वेरिएंस एस्टीमेशन: वेरिएंस केवल अवशेषों ($e_i$) पर निर्भर करता है जो प्रोबेबिलिटी सैंपल $s_B$ में होते हैं। अवशेषों पर लागू मानक डिजाइन-आधारित सूत्रों (होर्वित्ज़-थॉम्पसन शैली) का उपयोग करके एक अनबायस्ड वेरिएंस एस्टिमेटर प्राप्त किया जाता है।
• मॉडल लचीलापन (Model Flexibility): यह रणनीति मनमाने मशीन लर्निंग मॉडल्स (जैसे, रैंडम फॉरेस्ट, न्यूरल नेटवर्क) के उपयोग की अनुमति देती है। चूंकि मॉडल बड़े NPD ($A$) पर प्रशिक्षित किया जाता है न कि छोटे प्रोबेबिलिटी सैंपल पर, इसलिए छोटे सैंपल के प्रति ओवरफिटिंग का जोखिम कम हो जाता है, और जटिल मॉडल्स का उपयोग बिना "स्मॉल $n$, लार्ज $p$" वाली समस्याओं के किया जा सकता है जो GREG में आम हैं।

3. मुख्य योगदान (Key Contributions)

1. नया सैंपलिंग स्ट्रैटेजी: पिछले DI एस्टिमेटर्स के विपरीत जो पूरी जनसंख्या से नमूना लेते हैं, MADI स्पष्ट रूप से केवल अनकवर्ड हिस्से ($B$) से नमूना लेता है, जिससे संसाधनों का अनुकूलन होता है।
2. सिलेक्शन बायस के प्रति मजबूती: इसके लिए यह आवश्यक नहीं है कि NPD 'मिसिंग एट रैंडम' (MAR) हो। यह डिजाइन-आधारित करेक्शन टर्म पर भरोसा करके गंभीर सिलेक्शन बायस (MNAR) को संभालता है।
3. मशीन लर्निंग का एकीकरण: यह आधिकारिक सांख्यिकी में डिजाइन-आधारित अनुमान गुणों (अनबायस्डनेस और वैध वेरिएंस एस्टीमेशन) को बनाए रखते हुए जटिल, नॉन-पैरामीट्रिक ML मॉडल्स का उपयोग करने के लिए एक कठोर ढांचा प्रदान करता है।
4. वेरिएंस रिडक्शन: बड़े NPD का उपयोग मॉडलिंग के लिए करके, यह विधि पारंपरिक सर्वेक्षण एस्टिमेटर्स की तुलना में एस्टिमेटर के वेरिएंस को काफी कम कर देती है, भले ही प्रोबेबिलिटी सैंपल का आकार बहुत छोटा हो।

4. परिणाम (अनुभवजन्य सिमुलेशन) [Results (Empirical Simulations)]

लेखकों ने डेटा का उपयोग करके सिमुलेशन किए जिसमें $N \approx 9,838$ था (स्वीडन सांख्यिकी - आय और कराधान रजिस्टर)।

सिमुलेशन 1: प्रदर्शन तुलना

• सेटअप: विभिन्न सैंपल साइज ($n=25$ से $800$) और सिलेक्शन बायस परिदृश्यों के तहत MADI (OLS और रैंडम फॉरेस्ट के साथ) की तुलना पारंपरिक HT, GREG, और "नाइव" (Naïve) RF एस्टिमेटर्स से की गई।
• निष्कर्ष:
  • MADI-RF ने सभी सैंपल साइज में लगातार सबसे कम रूट मीन स्क्वेर्ड एरर (RMSE) प्राप्त किया।
  • GREG उच्च सहायक चरों के कारण सिंगुलर मैट्रिसेस की वजह से छोटे सैंपल साइज ($n < 400$) के लिए अनुमान देने में विफल रहा।
  • Naïve RF (छोटे सैंपल पर प्रशिक्षित) ने बायस्ड एस्टिमेट्स दिए।
  • MADI ने छोटे सैंपल ($n=25$) के साथ भी लगभग शून्य बायस और 95% कवरेज प्रोबेबिलिटी बनाए रखी, जबकि पारंपरिक एस्टिमेटर्स उच्च वेरिएंस या बायस प्रदर्शित करते हैं।

सिमुलेशन 2: सैंपल साइज दक्षता

• सेटअप: विभिन्न सिलेक्शन बायस तंत्रों (चरम MNAR सहित) के तहत 1% का कोएफिशिएंट ऑफ वेरिएशन (CV) प्राप्त करने के लिए आवश्यक सैंपल साइज का निर्धारण किया गया।
• निष्कर्ष:
  • 1% CV प्राप्त करने के लिए, पारंपरिक HT एस्टिमेटर को ~3,044 इकाइयों की आवश्यकता थी।
  • GREG एस्टिमेटर को (सैद्धांतिक रूप से) ~269 इकाइयों की आवश्यकता थी, लेकिन व्यावहारिक रूप से स्थिरता के लिए संघर्ष करता रहा।
  • MADI-RF को (बायस परिदृश्य के आधार पर) 42 से 157 इकाइयों के बीच समान सटीकता प्राप्त करने के लिए आवश्यकता थी।
  • चरम सिलेक्शन बायस वाले परिदृश्यों में भी (जहाँ NPD केवल उच्चतम या निम्नतम आय वाले लोगों को कवर करता है), MADI-RF को HT की तुलना में काफी कम इकाइयों की आवश्यकता थी और यह अक्सर GREG की तुलना में अधिक कुशल था।

5. महत्व और निहितार्थ (Significance and Implications)

• लागत और बोझ में कमी: MADI रणनीति यह दर्शाती है कि सांख्यिकीय एजेंसियां अपनी सटीकता या सुधार बनाए रखते हुए अपने प्रोबेबिलिटी सैंपल के आकार को (सिमुलेशन में 10x से 20x के कारक से) काफी कम कर सकती हैं। यह सीधे तौर पर सर्वेक्षण लागत और उत्तरदाता के बोझ को कम करता है।
• उत्पादन व्यवहार्यता: यह विधि सांख्यिकीय एजेंसियों के "गहन उत्पादन चक्र" के लिए डिज़ाइन की गई है। यह परिचित डिजाइन-आधारित सिद्धांत (अनबायस्डनेस, वेरिएंस एस्टीमेशन) का उपयोग करती है लेकिन आधुनिक ML टूल्स को शामिल करती है, जो इसे ब्लैक-बॉक्स ML दृष्टिकोणों की तुलना में सुरक्षित और लागू करने में आसान बनाती है।
• "बिग डेटा" सीमाओं को संभालना: यह इस समस्या को हल करता है जहाँ NPD बड़ा तो है लेकिन बायस्ड है। $A$ का उपयोग मॉडलिंग (ट्रेनिंग) के लिए और $B$ का उपयोग कैलिब्रेशन (करेक्शन) के लिए करके, यह अपने बायस को विरासत में लिए बिना बिग डेटा के वॉल्यूम का लाभ उठाता है।
• भविष्य का दृष्टिकोण: यह पेपर सुझाव देता है कि यह दृष्टिकोण विशेष रूप से बिजनेस स्टैटिस्टिक्स और निरंतर डेटा संग्रह के लिए उपयुक्त है, जिससे एजेंसियां कठोर सैद्धांतिक आधार के साथ शुद्ध सर्वेक्षण-आधारित अनुमान से हाइब्रिड डेटा इंटीग्रेशन रणनीतियों की ओर बढ़ सकती हैं।

निष्कर्षतः, MADI रणनीति नॉन-प्रोबेबिलिटी डेटा को आधिकारिक सांख्यिकी में एकीकृत करने के लिए एक सैद्धांतिक रूप से सुदृढ़, अनुभवजन्य रूप से सत्यापित और व्यावहारिक रूप से कुशल समाधान प्रदान करती है, जो पारंपरिक सर्वेक्षण विधियों और मानक मशीन लर्निंग अनुप्रयोगों दोनों की सीमाओं को पार करती है।