Small area estimation using incomplete auxiliary information

यहाँ Šlevinskas, Burakauskaitė, और Čiginas के शोध पत्र "Small area estimation using incomplete auxiliary information" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधिकारिक सांख्यिकी में, जनसंख्या मापदंडों के अनुमान के लिए संभाव्यता नमूना सर्वेक्षण (probability sample surveys) स्वर्ण मानक माने जाते हैं। हालाँकि, छोटे जनसंख्या डोमेन (छोटे क्षेत्रों) के लिए, प्रत्यक्ष डिज़ाइन-आधारित अनुमान अक्सर छोटे नमूना आकारों के कारण उच्च विचलन (high variance) से ग्रस्त होते हैं। जबकि प्रशासनिक रजिस्टरों या बिग डेटा स्रोतों (गैर-संभाव्यता नमूनों) से सहायक जानकारी (auxiliary information) तेजी से उपलब्ध हो रही है, यह दो प्रमुख चुनौतियाँ प्रस्तुत करती है:

1. अपूर्णता (Incompleteness): सहायक डेटा अक्सर जनसंख्या के केवल एक उपसमुच्चय (subset) को कवर करता है।
2. गैर-संभाव्यता मूल (Non-probability Origin): सहायक स्रोत का चयन तंत्र अज्ञात और अक्सर पक्षपाती होता है, जिससे मानक अंशांकन (calibration) या प्रोपेंसिटी वेटिंग विधियाँ (जो 'मिसिंग-एट-रैंडम' (MAR) धारणाओं पर निर्भर करती हैं) सीधे लागू करना कठिन या अमान्य हो जाता है।

इसके अलावा, सहायक चर ($y^*$) अक्सर अध्ययन चर ($y$) का एक "शोर युक्त प्रॉक्सी" (noisy proxy) होता है, जो परिभाषा के बेमेल होने या मापन त्रुटियों के कारण भिन्न होता है। यह शोध पत्र इस बात पर ध्यान केंद्रित करता है कि गैर-संभाव्यता स्रोत के चयन तंत्र का मॉडल बनाए बिना, ऐसे अधूरे, गैर-संभाव्यता प्रॉक्सी डेटा को संभाव्यता सर्वेक्षण डेटा के साथ कैसे एकीकृत किया जाए ताकि छोटे क्षेत्र के अनुमान (small area estimation) में सुधार किया जा सके।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय ढांचा (two-step framework) प्रस्तावित करते हैं जो एरिया-लेवल मॉडलिंग के साथ मॉडल अंशांकन (model calibration) को जोड़ता है।

चरण 1: मॉडल-अंशांकन अनुमान (इकाई-स्तर पर) (Model-Calibration Estimation - Unit-Level)

इस चरण का उद्देश्य गैर-संभाव्यता डेटा को एकीकृत करके लगभग डिज़ाइन-अनबायस्ड डोमेन टोटल्स (domain totals) प्राप्त करना है।

• सेटअप: मान लीजिए $A$ एक संभाव्यता नमूना है और $B$ एक गैर-संभाव्यता नमूना है। वे $A \cap B$ पर ओवरलैप होते हैं। $B$ के लिए, एक प्रॉक्सी $y^*$ देखा जाता है; $A$ के लिए, वास्तविक अध्ययन चर $y$ देखा जाता है।
• मापन त्रुटि मॉडल (Measurement Error Model): ओवरलैप $A \cap B$ पर एक वर्किंग मॉडल $y_i = g(y^*_i, x_i) + \epsilon_i$ फिट किया जाता है। यह मॉडल रैखिक (linear), गैर-रैखिक (nonlinear), या गैर-पैरामीट्रिक (जैसे k-nearest neighbors) हो सकता है।
• पूर्वानुमान (Prediction): फिट किया गया मॉडल $\hat{g}$, $B$ के सभी इकाइयों (जिनमें वे भी शामिल हैं जो $A$ में नहीं हैं) के लिए $y$ का पूर्वानुमान लगाता है।
• अंशांकन बाधाएं (Calibration Constraints): संभाव्यता नमूना $A$ के लिए अंशांकन भार (weights) $w_i$ तीन बाधाओं के अधीन दूरी को न्यूनतम करके प्राप्त किए जाते हैं:
  1. "लुप्त" स्ट्रैटम (वे इकाइयाँ जो $U$ में हैं लेकिन $B$ में नहीं हैं) के जनसंख्या आकार से मेल खाना।
  2. "बिग डेटा" स्ट्रैटम (वे इकाइयाँ जो $B$ में हैं) के जनसंख्या आकार से मेल खाना।
  3. गैर-संभाव्यता स्रोत से प्राप्त अनुमानित मूल्यों के डोमेन टोटल $\sum \hat{y}_i$ से मेल खाना।
• परिणाम: इससे एक मॉडल-कैलिब्रेशन (MC) अनुमानक ($\hat{t}^{MC}_m$) प्राप्त होता है जो लगभग डिज़ाइन-अनबायस्ड है और बिना MAR धारणा के प्रॉक्सी जानकारी को शामिल करता है।
• विचरण अनुमान (Variance Estimation): एक डिज़ाइन-आधारित Rao–Wu–Yue बूटस्ट्रैप का उपयोग किया जाता है। महत्वपूर्ण रूप से, पुन: नमूनाकरण (resampling) के दौरान पूर्वानुमान मॉडल $\hat{g}$ को स्थिर (fixed) माना जाता है ताकि डिज़ाइन परिवर्तनशीलता को अलग किया जा सके।

चरण 2: एरिया-लेवल मॉडलिंग (Fay–Herriot)

MC अनुमानक और उनके बूटस्ट्रैप विचरण (variances) का उपयोग दूसरे चरण में विचरण को और कम करने के लिए इनपुट के रूप में किया जाता है।

• रूपांतरण (Transformation): विचरण को स्थिर करने और विषमता (skewness) को संभालने के लिए डोमेन टोटल्स को लॉग-ट्रांसफॉर्म किया जाता है।
• Fay–Herriot (FH) मॉडल: एक मिश्रित-प्रभाव मॉडल (mixed-effects model) फिट किया जाता है:
  $$\log(\hat{t}^{MC}_m) = z_m^\top \beta + u_m + e_m$$
  जहाँ $z_m$ सटीक रूप से ज्ञात सहायक कोवेरिएट्स (त्रुटि-मुक्त) हैं, $u_m$ रैंडम एरिया प्रभाव हैं, और $e_m$ सैंपलिंग त्रुटियां हैं।
• पूर्वानुमान (Prediction): एम्पिरिकल बेस्ट लीनियर अनबायस्ड प्रेडिक्टर्स (EBLUP) की गणना की जाती है और मूल स्केल पर बायस सुधार के साथ वापस रूपांतरित किया जाता है।

बेंचमार्क तुलना

लेखक अपने दृष्टिकोण की तुलना FH मॉडल के Ybarra–Lohr (YL) संशोधन से करते हैं। YL दृष्टिकोण प्रॉक्सी टोटल को FH मॉडल में एक त्रुटि-ग्रस्त कोवेरिएट के रूप में मानता है, जिसके लिए प्रॉक्सी टोटल का अनुमान लगाने के लिए इनवर्स प्रोबेबिलिटी वेटिंग (IPW) चरण की आवश्यकता होती है। यह बेंचमार्क Missing-At-Random (MAR) धारणा पर निर्भर करता है, जिसे प्रस्तावित MC विधि टाल देती है।

3. मुख्य योगदान (Key Contributions)

1. नवाचार पूर्ण एकीकरण ढांचा: यह पेपर प्रोपेंसिटी वेटिंग के बजाय मॉडल अंशांकन का उपयोग करके गैर-संभाव्यता डेटा को संभाव्यता नमूनों के साथ एकीकृत करने के लिए एक डिज़ाइन-आधारित विधि विकसित करता है। यह बिना किसी unverifiable MAR धारणा के वैध निष्कर्ष निकालने की अनुमति देता है।
2. प्रॉक्सी मॉडलिंग में लचीलापन: यह ढांचा रैखिक मापन त्रुटि मॉडल तक सीमित रहने के बजाय, प्रॉक्सी और अध्ययन चर के बीच सामान्य संबंधों (रैखिक, ज़ीरो-इन्फ्लेटेड डेटा के लिए हर्डल मॉडल, और गैर-पैरामीट्रिक kNN) को समायोजित करता है।
3. दो-चरणीय दक्षता: यह प्रदर्शित करता है कि एक इकाई-स्तरीय अंशांकन चरण प्रभावी रूप से डोमेन टोटल्स को स्थिर करता है, जिसे फिर एरिया-लेवल मॉडलिंग द्वारा और अधिक परिष्कृत किया जा सकता है, जो प्रत्यक्ष अनुमान और मानक FH बेंचमार्क से बेहतर प्रदर्शन करता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): विविध डेटा संरचनाओं और प्रॉक्सी प्रकारों को कवर करने वाले तीन वास्तविक दुनिया के लिथुआनियाई आधिकारिक सांख्यिकी डेटासेट पर इस पद्धति का कड़ाई से परीक्षण किया गया है।

4. अनुभवजन्य परिणाम (Empirical Results)

अध्ययन ने तीन परिदृश्यों में पद्धति को लागू किया:

1. मासिक टर्नओवर (Monthly Turnover): VAT डेटा (प्रॉक्सी) को सर्वेक्षण डेटा के साथ एकीकृत किया गया।
   • परिणाम: MC अनुमानक ने प्रत्यक्ष GREG अनुमानक की तुलना में मीडियन रिलेटिव रूट मीन स्क्वेयर्ड एरर (RRMSE) को 57% कम कर दिया। "अविश्वसनीय" डोमेन (RRMSE > 0.333) की संख्या प्रति माह 2.1 से घटकर 0.2 रह गई।
2. ठोस संपत्तियों में वार्षिक निवेश (Annual Investment in Tangible Assets): एक स्ट्रक्चरल बिजनेस सर्वे से कट-ऑफ सैंपल को एकीकृत किया गया।
   • परिणाम: छोटे सहायक नमूने ($|B|/|A| \approx 1.1$) और ज़ीरो-इन्फ्लेटेड डेटा के बावजूद, MC दृष्टिकोण ने "अच्छे" डोमेन की संख्या 37 से बढ़ाकर 53 कर दी और अविश्वसनीय डोमेन को 4 से घटाकर 3 कर दिया।
3. तिमाही जॉब रिक्तियां (Quarterly Job Vacancies): वेब-स्क्रेप्ड ऑनलाइन जॉब विज्ञापनों (गैर-संभाव्यता) को सर्वेक्षण डेटा के साथ एकीकृत किया गया।
   • परिणाम: इसने सबसे नाटकीय सुधार दिखाया। "अच्छे" नगर पालिकाओं की संख्या 6.2 से बढ़कर 30.8 हो गई, और अविश्वसनीयों की संख्या 10.8 से घटकर 3.0 रह गई।

तुलनात्मक निष्कर्ष:

• MC बनाम डायरेक्ट: मॉडल-कैलिब्रेशन चरण ने अधिकांश परिशुद्धता लाभ (precision gains) प्रदान किए, जिससे सबसे परिवर्तनशील डोमेन को महत्वपूर्ण रूप से स्थिर किया गया (RRMSE वितरण के ऊपरी टेल को कम किया गया)।
• MC बनाम YL (बेंचमार्क): प्रस्तावित MC दृष्टिकोण ने Ybarra–Lohr बेंचमार्क से लगातार बेहतर प्रदर्शन किया। MAR पर निर्भर YL विधि ने टर्नओवर और रिक्ति मामलों में प्रत्यक्ष अनुमानकर्ताओं के समान प्रदर्शन किया और निवेश मामले में केवल मामूली लाभ दिखाया।
• डेटा आकार का प्रभाव: लाभ गैर-संभाव्यता स्रोत के सापेक्ष आकार ($|B|/|A|$) और प्रॉक्सी संबंध की मजबूती के आनुपातिक थे।

5. महत्व (Significance)

यह पेपर आधुनिक आधिकारिक सांख्यिकी के लिए एक मजबूत समाधान प्रदान करता है जहाँ बिग डेटा और प्रशासनिक रिकॉर्ड प्रचुर मात्रा में लेकिन अपूर्ण हैं।

• सैद्धांतिक महत्व: यह गैर-संभाव्यता डेटा एकीकरण के लिए MAR धारणा पर निर्भरता को चुनौती देता है, एक डिज़ाइन-आधारित विकल्प प्रदान करता है जो तब भी मान्य रहता है जब गैर-संभाव्यता नमूना चयन अज्ञात या पक्षपाती हो।
• व्यावहारिक महत्व: यह एक व्यावहारिक, दो-चरणीय वर्कफ़्लो प्रदान करता है जिसे सांख्यिकीविद अधूरे सहायक डेटा का उपयोग करके विश्वसनीय छोटे-क्षेत्र अनुमान प्राप्त करने के लिए लागू कर सकते हैं। परिणाम बताते हैं कि प्रॉक्सी डेटा को एरिया-लेवल पर त्रुटि-ग्रस्त कोवेरिएट के रूप में मानने के बजाय इकाई-स्तर पर अंशांकन के माध्यम से एकीकृत करना अधिक प्रभावी है।
• नीतिगत प्रभाव: "अविश्वसनीय" छोटे-क्षेत्र अनुमानों की संख्या को काफी कम करके, यह पद्धति रोजगार, व्यावसायिक टर्नओवर और निवेश जैसे क्षेत्रों में अधिक सटीक नीति-निर्माण और संसाधन आवंटन को सक्षम बनाती है।