📊 statistics

Pseudo Empirical Best Prediction of Multiple Characteristics in Small Areas

यह शोध पत्र एक बहुचर (multivariate) बहु-चरणीय नेस्टेड त्रुटि प्रतिगमन मॉडल के तहत कई आश्रित लघु क्षेत्र विशेषताओं के लिए एक बहुचर छद्म-अनुभवजन्य सर्वश्रेष्ठ रैखिक निष्पक्ष भविष्यवक्ता (best linear unbiased predictor) और संबद्ध बूटस्ट्रैप माध्य वर्ग त्रुटि अनुमानकों का प्रस्ताव करता है, जो इकाई-स्तरीय और क्षेत्र-स्तरीय दोनों डेटा के लिए डिज़ाइन निरंतरता और लचीलापन सुनिश्चित करता है।

मूल लेखक: William Acero, Domingo Morales, Isabel Molina

प्रकाशित 2026-03-12

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: William Acero, Domingo Morales, Isabel Molina

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सांख्यिकीविद् (statistician) हैं जो देश के हर एक मोहल्ले के लिए औसत किराया और बंधक (mortgage) भुगतान का पता लगाने की कोशिश कर रहे हैं। यह एक कठिन काम है क्योंकि कुछ मोहल्ले बहुत बड़े और अच्छी तरह से अध्ययन किए गए हैं, जबकि कुछ बहुत छोटे, दूरदराज के, या ऐसे हैं जहाँ बहुत कम लोग आपके सर्वेक्षण का उत्तर देने के इच्छुक हैं।

यदि आप केवल उन कुछ लोगों के आधार पर जिनसे आपने बात की है, किसी छोटे मोहल्ले के औसत का अनुमान लगाने की कोशिश करते हैं, तो आपका अनुमान अस्थिर और संभवतः गलत होगा। यही "स्मॉल एरिया एस्टीमेशन" (Small Area Estimation) की समस्या है।

यह शोध पत्र इस समस्या को हल करने के लिए एक नया और चतुर तरीका पेश करता है, विशेष रूप से तब जब आप एक साथ दो संबंधित चीजों (जैसे किराया और बंधक भुगतान) का अनुमान लगा रहे हों।

यहाँ उनके समाधान का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

1. समस्या: "अकेला पड़ोसी" और "पक्षपाती सर्वेक्षण"

कल्पना कीजिए कि आप एक छोटे से गाँव के लोगों की औसत ऊँचाई का अनुमान लगाने की कोशिश कर रहे हैं। आप केवल तीन लोगों से बात करते हैं।

प्रत्यक्ष दृष्टिकोण (The Direct Approach): आप बस उन तीन लोगों का औसत निकाल लेते हैं। यदि उनमें से एक बास्केटबॉल खिलाड़ी है, तो आपका औसत बहुत अधिक हो जाएगा। यह अविश्वसनीय है।
"भारित" (Weighted) समस्या: वास्तविक सर्वेक्षणों में, हर किसी के पास चुने जाने का समान अवसर नहीं होता है। कुछ लोग गणित में दूसरों की तुलना में अधिक "भारी" (महत्वपूर्ण) होते हैं। यदि आप इन भारों (weights) को अनदेखा करते हैं, तो आपका गणित पक्षपाती हो जाएगा, जैसे अदृश्य भारों के साथ तराजू को संतुलित करने की कोशिश करना।

2. पुराने समाधान: "एकल-पथ" बनाम "समूह औसत"

सांख्यिकीविदों ने इसे पहले भी दो मुख्य उपकरणों के साथ ठीक करने की कोशिश की है:

यूनिट-लेवल मॉडल (व्यक्तिगत दृष्टिकोण): यह सर्वेक्षण में प्रत्येक व्यक्ति को देखता है। यह बहुत विस्तृत है और आमतौर पर सटीक होता है, लेकिन यह अक्सर सर्वेक्षण भारों (weights) को अनदेखा कर देता है, जिससे यह जटिल डिजाइनों के लिए अविश्वसनीय हो जाता है।
एरिया-लेवल मॉडल (समूह दृष्टिकोण): यह पहले एक मोहल्ले के सभी लोगों का औसत निकालता है, फिर मोहल्लों को देखता है। यह सर्वेक्षण भारों का सम्मान करता है लेकिन व्यक्तिगत विवरणों को छोड़ देता है, जिससे यह कम सटीक हो जाता है।

3. नया समाधान: "सुपर-कनेक्टर" (Multivariate Pseudo-EBLUP)

लेखकों ने एक नया तरीका बनाया है जिसे Multivariate Pseudo-EBLUP कहा जाता है। इसे एक "सुपर-कनेक्टर" के रूप में सोचें जो दोनों दुनियाओं का सर्वश्रेष्ठ हिस्सा लेकर आता है।

उपमा A: "स्मार्ट पड़ोसी" (शक्ति उधार लेना)

कल्पना कीजिए कि आप एक छोटे, धुंधले शहर (क्षेत्र A) में औसत तापमान का अनुमान लगाने की कोशिश कर रहे हैं। वहां आपके पास बहुत कम थर्मामीटर हैं।

पुराना तरीका: आप केवल शहर A के कुछ थर्मामीटरों के आधार पर अनुमान लगाते हैं।
नया तरीका: आप शहर A को देखते हैं, लेकिन साथ ही आप शहर B (एक पास का शहर जिसका मौसम समान है) और शहर C (एक ऐसा शहर जहाँ बहुत अधिक डेटा है) को भी देखते हैं।
जादू: नया तरीका कहता है, "हे, शहर A का तापमान शहर B और C के समान ही होगा।" यह छोटे, डेटा-विहीन शहरों के अंतराल को भरने के लिए बड़े, डेटा-समृद्ध शहरों से "शक्ति उधार लेता" है।

उपमा B: "डबल-फीचर" मूवी (दो चर संभालना)

इस शोध पत्र का विशेष मोड़ एक साथ दो चीजों (किराया और बंधक) को संभालना है।

पुराना यूनिवेरिएट तरीका: आप केवल किराए के डेटा का उपयोग करके किराए की भविष्यवाणी करने का प्रयास करते हैं। फिर आप केवल बंधक डेटा का उपयोग करके बंधक की भविष्यवाणी करने का प्रयास करते हैं। वे अलग-अलग कमरों में चलने वाली दो अलग-अलग फिल्मों की तरह हैं।
नया मल्टीवेरिएट तरीका: लेखक महसूस करते हैं कि किराया और बंधक आपस में संबंधित हैं (आमतौर पर, यदि किराया बढ़ता है, तो बंधक भुगतान भी बढ़ सकता है)। वे इन्हें एक "डबल-फीचर मूवी" की तरह देखते हैं।
- यदि किसी छोटे शहर में "बंधक" का डेटा कमजोर है, तो मॉडल उसी शहर के "किराये" के डेटा को देखता है। चूंकि वे सह-संबंधित (correlated) हैं, इसलिए मजबूत "किराया" डेटा कमजोर "बंधक" के अनुमान को ठीक करने में मदद करता है।
- रूपक: यह एक रहस्यमयी बॉक्स के वजन का अनुमान लगाने जैसा है। आप इसके अंदर नहीं देख सकते, लेकिन आप जानते हैं कि इसमें एक भारी पत्थर और एक हल्का पंख है। यदि आप पत्थर को ठीक से नहीं तौल सकते, तो आप कुल वजन की गणना करने में मदद के लिए पंख के ज्ञात वजन का उपयोग करते हैं।

उपमा C: "कैलिब्रेटेड स्केल" (एकीकृत भविष्यवक्ता)

यह शोध पत्र एक "यूनिफाइड प्रेडिक्टर" का भी उल्लेख करता है। कल्पना कीजिए कि आपके पास एक तराजू है जो थोड़ा गलत है।

आमतौर पर, आपको यह अनुमान लगाने की आवश्यकता होती है कि संख्याओं को कितना समायोजित किया जाए।
लेखक कहते हैं: "आइए पहले तराजू को कैलिब्रेट करें।" वे सर्वेक्षण भारों को इस तरह समायोजित करते हैं कि नमूने के लोगों का कुल वजन पूरी आबादी के ज्ञात कुल वजन से पूरी तरह मेल खा जाए।
एक बार जब तराजू कैलिब्रेट हो जाता है, तो गणित बहुत सरल और अधिक सटीक हो जाता है। यह संगीत कार्यक्रम से पहले गिटार को ट्यून करने जैसा है; एक बार जब यह ट्यून हो जाता है, तो संगीत (भविस् hiervानी) एकदम सही सुनाई देता है।

4. उन्हें कैसे पता चलता है कि यह काम करता है? (द बूटस्ट्रैप)

आप कैसे जानते हैं कि आपका नया तरीका केवल भाग्यशाली नहीं है?

उपमा: कल्पना कीजिए कि आपने एक केक बनाया है और आप जानना चाहते हैं कि वह अच्छा है या नहीं, लेकिन आप पूरा केक नहीं खा सकते।
विधि: लेखक पैरामेट्रिक बूटस्ट्रैप (Parametric Bootstrap) नामक तकनीक का उपयोग करते हैं। वे अपने नुस्खे (डेटा और मॉडल) को लेते हैं, और कंप्यूटर में 500 या 1,000 आभासी केक "बनाते" (सिमुलेट करते) हैं।
वे देखते हैं कि ये आभासी केक कितने भिन्न हैं। यदि ये आभासी केक बहुत समान हैं, तो वे जानते हैं कि उनका तरीका स्थिर है। यदि वे बहुत अधिक भिन्न होते हैं, तो वे जानते हैं कि सावधान रहना चाहिए। यह उन्हें उनके अनुमानों के लिए एक "कॉन्फिडेंस स्कोर" (Mean Squared Error) देता है।

5. वास्तविक दुनिया का परीक्षण: कोलंबिया आवास

उन्होंने इस परीक्षण को कोलंबिया के वास्तविक डेटा पर किया, जिसमें 54 विभिन्न क्षेत्रों के लिए मासिक किराये की लागत और बंधक भुगतान को देखा गया।

परिणाम: उन क्षेत्रों में जहाँ सर्वेक्षण के बहुत कम उत्तरदाता थे (कुछ में केवल 2 या 3 लोग थे!), पुराने तरीके बहुत अस्थिर थे।
विजेता: उनके नए "सुपर-कनेक्टर" विधि ने सुचारू, स्थिर और तार्किक परिणाम दिए। इसने उन छोटे क्षेत्रों के लिए बेहतर अनुमान लगाने के लिए किराए और बंधक के बीच के संबंध का सफलतापूर्वक उपयोग किया जहाँ डेटा की कमी थी।

सारांश

यह शोध पत्र छोटे समूहों के लिए औसत का अनुमान लगाने के लिए एक स्मार्ट, अधिक जुड़े हुए तरीके के बारे में है।

यह व्यक्तिगत डेटा को समूह डेटा के साथ जोड़ता है।
यह दो चरों (जैसे किराया और बंधक) के बीच के संबंध का उपयोग एक-दूसरे की मदद करने के लिए करता है।
यह सर्वेक्षण के नियमों (भारों) का सम्मान करता है ताकि परिणाम पक्षपाती न हों।
यह साबित करने के लिए कि अनुमान विश्वसनीय हैं, कंप्यूटर सिमुलेशन का उपयोग करता है।

यह एक धुंधले, सिंगल-लेंस कैमरे से हाई-डेफिनिशन, मल्टी-लेंस कैमरे में अपग्रेड करने जैसा है जो डेटा के अंधेरे कोनों में भी पूरी तरह से फोकस कर सकता है।

यहाँ असेरो, मोरालेस और मोलिना के शोध पत्र "Pseudo Empirical Best Prediction of Multiple Characteristics in Small Areas" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जब नमूना आकार (sample sizes) विश्वसनीय प्रत्यक्ष डिज़ाइन-आधारित अनुमानों के लिए बहुत छोटा होता है, तो डोमेन माध्य (domain means) का अनुमान लगाने के लिए स्मॉल एरिया एस्टिमेशन (SAE) आवश्यक हो जाता है। हालाँकि, कई आश्रित चरों (dependent variables) वाले जटिल सर्वेक्षण डिज़ाइनों पर लागू होने वाले मौजूदा मॉडल-आधारित दृष्टिकोणों के सामने दो महत्वपूर्ण सीमाएँ हैं:

डिज़ाइन निरंतरता का अभाव (Lack of Design Consistency): पारंपरिक यूनिट-लेवल एम्पिरिकल बेस्ट लीनियर अनबायस्ड प्रेडिक्टर्स (EBLUPs) अक्सर सर्वेक्षण भार (survey weights) की अनदेखी करते हैं। फलस्वरूप, वे डिज़ाइन-कंसिस्टेंट नहीं होते हैं (वे नमूना आकार बढ़ने पर भी वास्तविक जनसंख्या मान की ओर अभिसरित नहीं होते), जब तक कि डिज़ाइन स्व-भारित (self-weighting) न हो।
यूनिवेरिएट फोकस (Univariate Focus): अधिकांश डिज़ाइन-कंसिस्टेंट विधियाँ (जैसे Pseudo-EBLUP) एकल रिस्पॉन्स वेरिएबल्स के लिए विकसित की गई हैं। ऐसी विधियों की कमी है जो सर्वेक्षण भार और डिज़ाइन प्रभावों को ध्यान में रखते हुए एकाधिक सह-संबंधित रिस्पॉन्स वेरिएबल्स के लिए डोमेन माध्य का एक साथ अनुमान लगा सकें।
दक्षता बनाम निरंतरता का ट्रेड-ऑफ (Efficiency vs. Consistency Trade-off): एरिया-लेवल मॉडल (जैसे Fay-Herriot) भार को शामिल कर सकते हैं लेकिन अक्सर यूनिट-लेवल मॉडल की तुलना में कम दक्षता से ग्रस्त होते हैं और आमतौर पर ज्ञात त्रुटि प्रसरणों (error variances) को मानते हैं, जिससे उन प्रसरणों से उत्पन्न अनिश्चितता की अनदेखी होती है जिन्हें अनुमानित किया जा रहा है।

2. कार्यप्रणाली (Methodology)

लेखक इन मुद्दों को हल करने के लिए मल्टीवेरिएट नेस्टेड एरर रिग्रेशन (MNER) मॉडल पर आधारित एक ढांचा प्रस्तावित करते हैं।

A. MNER मॉडल

यह शोध पत्र मानता है कि $D$ डोमेन की एक जनसंख्या है, जिसमें प्रत्येक डोमेन में $N_d$ इकाइयाँ हैं। डोमेन $d$ में इकाई $i$ के लिए, $R$ आश्रित लक्ष्य चरों का वेक्टर $\mathbf{y}_{di}$ निम्नलिखित है:
$\mathbf{y}_{di} = \mathbf{X}_{di}\boldsymbol{\beta} + \mathbf{u}_d + \mathbf{e}_{di}$
जहाँ:

$\mathbf{X}_{di}$ कोवेरिएट्स का एक मैट्रिक्स है।
$\mathbf{u}_d$ रैंडम डोमेन प्रभाव को दर्शाता है, $\mathbf{u}_d \sim N_R(\mathbf{0}, \boldsymbol{\Sigma}_u(\boldsymbol{\theta}))$ ।
$\mathbf{e}_{di}$ यूनिट-लेवल एरर को दर्शाता है, $\mathbf{e}_{di} \sim N_R(\mathbf{0}, \boldsymbol{\Sigma}_e(\boldsymbol{\theta}))$ ।
$\boldsymbol{\theta}$ सभी अज्ञात विचरण घटकों (चरों के बीच और चर के भीतर सह-प्रसरण) को समाहित करता है।

B. मल्टीवेरिएट स्यूडो-EBLUP (MPEBLUP)

डिज़ाइन निरंतरता प्राप्त करने के लिए, लेखक सर्वेक्षण भार ( $w_{di}$ ) का उपयोग करके यूनिट-लेवल MNER मॉडल को एकत्रित (aggregate) करते हैं:

एकत्रीकरण (Aggregation): वे प्रत्येक डोमेन के लिए रिस्पॉन्स और कोवेरिएट्स के भारित माध्य (weighted means) की गणना करते हैं, जिससे एक एरिया-लेवल मॉडल बनता है: $\bar{\mathbf{y}}_{dw} = \bar{\mathbf{X}}_{dw}\boldsymbol{\beta} + \mathbf{u}_d + \bar{\mathbf{e}}_{dw}$ ।
भारित अनुमान (Weighted Estimation): मानक EBLUPs के विपरीत, जो एकत्रित डेटा का उपयोग करके रिग्रेशन गुणांक ( $\boldsymbol{\beta}$ ) का अनुमान लगाते हैं, यह विधि $\boldsymbol{\beta}$ का अनुमान मूल यूनिट-लेवल सर्वेक्षण डेटा का उपयोग करके लगाती है, जिसे $w_{di}$ द्वारा भारित किया गया है। यह सुनिश्चित करता है कि अनुमानित विधि डिज़ाइन का सम्मान करते हुए नमूने में मौजूद पूर्ण जानकारी का उपयोग करे।
भविष्यवाणी (Prediction): परिणामी प्रेडिक्टर, मल्टीवेरिएट स्यूडो-EBLUP (MPEBLUP), $\boldsymbol{\beta}$ के भारित यूनिट-लेवल अनुमानों को एकत्रित मॉडल से प्राप्त बेस्ट लीनियर अनबायस्ड प्रेडिक्टर (BLUP) संरचना के साथ जोड़ता है।

C. एकीकृत प्रेडिक्टर (The Unified Predictor)

यदि सर्वेक्षण भार इस प्रकार कैलिब्रेट (calibrate) किए गए हैं कि नमूने में कोवेरिएट्स का भारित योग वास्तविक जनसंख्या कुल के बराबर है ( $\bar{\mathbf{X}}_{dw} = \bar{\mathbf{X}}_d$ ), तो एकत्रित मॉडल एक मल्टीवेरिएट Fay-Herriot (MFH) मॉडल बन जाता है। इस विशिष्ट मामले में, MPEBLUP एक "एकीकृत प्रेडिक्टर" बन जाता है। इस प्रेडिक्टर को यूनिट-लेवल या एरिया-लेवल दोनों प्रकार के डेटा से प्राप्त किया जा सकता है, लेकिन यह यूनिट-लेवल दृष्टिकोण की दक्षता बनाए रखता है।

D. पैरामेट्रिक बूटस्ट्रैप के माध्यम से MSE अनुमान

चूंकि इन जटिल अनुमानकों के लिए विश्लेषणात्मक मीन स्क्वेर्ड एरर (MSE) सूत्र जटिल हैं, इसलिए लेखक एक पैरामेट्रिक बूटस्ट्रैप (Parametric Bootstrap) प्रक्रिया प्रस्तावित करते हैं:

मूल डेटा पर MNER मॉडल फिट करें ताकि $\hat{\boldsymbol{\theta}}$ और $\hat{\boldsymbol{\beta}}_w$ प्राप्त हो सके।
अनुमानित कोवेरिएंस मैट्रिसेस के आधार पर डोमेन प्रभाव और एरर के बूटस्ट्रैप नमूने उत्पन्न करें।
नए रिस्पॉन्स वेक्टर्स का अनुकरण (simulate) करें, मॉडल को फिर से फिट करें, और प्रेडिक्टर की पुनर्गणना करें।
बूटस्ट्रैप प्रेडिक्टर्स और "वास्तविक" बूटस्ट्रैप माध्य के बीच औसत वर्ग अंतर के रूप में MSE मैट्रिक्स की गणना करें।

3. मुख्य योगदान (Key Contributions)

मल्टीवेरिएट सेटिंग्स में विस्तार: यह शोध पत्र एकल रिस्पॉन्स वेरिएबल्स के बजाय एक साथ कई सह-संबंधित रिस्पॉन्स वेरिएबल्स को संभालने के लिए यूनिवेरिएट Pseudo-EBLUP (You and Rao, 2002) का सामान्यीकरण करता है।
डिज़ाइन निरंतरता: यह सिद्ध किया गया है कि यदि नमूना आकार बढ़ता है, तो प्रस्तावित MPEBLUP सूचनात्मक नमूना डिज़ाइनों के तहत डिज़ाइन-कंसिस्टेंट है।
एकीकृत ढांचा: यह एक "एकीकृत प्रेडिक्टर" पेश करता है जो यूनिट-लेवल और एरिया-लेवल मॉडलिंग के बीच के अंतर को पाटता है, जिससे एक लचीला उपकरण मिलता है जिसे किसी भी डेटा संरचना का उपयोग करके लागू किया जा सकता है।
मजबूत MSE अनुमान: यह पूर्ण MSE मैट्रिक्स के अनुमान के लिए एक सामान्य पैरामेट्रिक बूटस्ट्रैप एल्गोरिदम प्रदान करता है, जो विचरण घटकों और रिग्रेशन गुणांकों के अनुमान से जुड़ी अनिश्चितता को ध्यान में रखता है, जिसे अक्सर मानक Fay-Herriot अनुप्रयोगों में अनदेखा कर दिया जाता है।

4. परिणाम (Results)

सिमुलेशन प्रयोग (Simulation Experiments)

लेखकों ने चार अनुमानकों की तुलना करने के लिए व्यापक सिमुलेशन ( $D=50$ क्षेत्र, $R=2$ चर) आयोजित किए:

DIR: डायरेक्ट वेटेड एस्टिमेटर।
MFH: मानक मल्टीवेरिएट Fay-Herriot EBLUP (एरिया-लेवल)।
UYR: यूनिवेरिएट Pseudo-EBLUP (प्रत्येक चर के लिए अलग मॉडल)।
MYR: प्रस्तावित मल्टीवेरिएट Pseudo-EBLUP।

निष्कर्ष:

दक्षता (Efficiency): MPEBLUP (MYR) रिलेटिव रूट मीन स्क्वेर्ड एरर (RRMSE) के मामले में डायरेक्ट एस्टिमेटर और मानक MFH मॉडल दोनों से लगातार बेहतर रहा।
शक्ति उधार लेना (Borrowing Strength): मल्टीवेरिएट दृष्टिकोण ने सह-संबंधित चरों (उच्च विचरण वाले) से शक्ति उधार लेकर कमजोर भविष्यवाणियों में काफी सुधार किया। कुछ मामलों में, यूनिवेरिएट Pseudo-EBLUP ने कमजोर चर के लिए MFH मॉडल की तुलना में खराब प्रदर्शन किया, जबकि मल्टीवेरिएट दृष्टिकोण ने इसे सुधारा।
बायस (Bias): प्रस्तावित अनुमानक ने छोटे नमूनों में डायरेक्ट एस्टिमेटर्स की अस्थिरता की तुलना में नगण्य बायस दिखाया।
MSE अनुमान: पैरामेट्रिक बूटस्ट्रैप विधि ने वास्तविक MSE मानों का सटीक रूप से पता लगाया, जिससे अनिश्चितता मात्रा निर्धारण के लिए इसके उपयोग की पुष्टि हुई।

वास्तविक दुनिया का अनुप्रयोग (Real-World Application)

इस पद्धति को कोलंबियाई आवास डेटा (2023 लिविंग कंडीशंस सर्वे) पर लागू किया गया था ताकि अनुमान लगाया जा सके:

MRC: काल्पनिक मासिक किराया लागत।
MP: वास्तविक मासिक बंधक (mortgage) भुगतान।