On cross-validation for small area estimators

तकनीकी सारांश: लघु क्षेत्र अनुमानकों (Small Area Estimators) के लिए क्रॉस-वैलिडेशन

लेखक: कियान्यु डोंग (यूसी सांता क्रूज़) और ज़ेहांग रिचर्ड ली (यूसी सांता क्रूज़)

1. समस्या: लघु क्षेत्र अनुमान (SAE) में मॉडल चयन

लघु क्षेत्र अनुमान (SAE) उप-राष्ट्रीय निगरानी (जैसे, निम्न और मध्यम आय वाले देशों में सार्वजनिक स्वास्थ्य संकेतक) के लिए महत्वपूर्ण है, जहाँ विशिष्ट भौगोलिक क्षेत्रों के भीतर नमूना आकार प्रत्यक्ष डिज़ाइन-आधारित अनुमानों के लिए बहुत छोटा होता है। शोधकर्ता आमतौर पर क्षेत्र-स्तरीय मॉडलों (जैसे, फय-हेरियट मॉडल जो प्रत्यक्ष अनुमानों को स्मूथ करते हैं) और इकाई-स्तरीय मॉडलों (जैसे, व्यक्तिगत सर्वेक्षण प्रतिक्रियाओं को मॉडल करने वाले सामान्यीकृत रैखिक मिश्रित मॉडल) के बीच चयन करते हैं।

मौलिक चुनौती मॉडल मूल्यांकन है। पारंपरिक विधियाँ अक्सर अपर्याप्त होती हैं:

• बेंचमार्क-आधारित: बाहरी "गोल्ड स्टैंडर्ड" डेटा (जैसे जनगणना) पर निर्भर करती हैं, जो अक्सर आवश्यक स्थानिक रिज़ॉल्यूशन पर उपलब्ध नहीं होता है।
• लाइकलीहुड-आधारित: एक ही लाइकलीहुड परिवार के भीतर मॉडलों की तुलना करने तक सीमित हैं, जिससे क्षेत्र-स्तरीय बनाम इकाई-स्तरीय मॉडलों की तुलना करना असंभव हो जाता है।
• अनुभवजन्य सिमुलेशन (Empirical Simulation): अक्सर प्रेक्षित डेटासेट का मूल्यांकन करने के बजाय एक काल्पनिक जनसंख्या का अनुकरण करके अनुमान के लक्ष्य को ही बदल देते हैं।
• लीव-वन-एरिया-आउट (LOAO): एक सामान्य तकनीक जो व्यवस्थित पूर्वाग्रह से ग्रस्त है क्योंकि यह "स्मूथिंग" त्रुटि के बजाय "एक्सट्रपलेशन" (extrapolation) त्रुटि को लक्षित करती है, जिससे अक्सर लचीले मॉडलों को अनुचित रूप से दंडित किया जाता है।

2. कार्यप्रणाली: एक नया क्रॉस-वैलिडेशन ढांचा

लेखक एक मॉडल-अज्ञेयवादी (model-agnostic) क्रॉस-वैलिडेशन (CV) ढांचा प्रस्तावित करते हैं जो जटिल सर्वेक्षण डिजाइनों के लिए विशेष रूप से डिज़ाइन किया गया है।

A. स्तरीकृत $K$-फोल्ड क्रॉस-वैलिडेशन:
पूरे क्षेत्रों को हटाने के बजाय, लेखक प्रत्येक क्लस्टर के भीतर द्वितीयक नमूनाकरण इकाई (SSU/घरेलू) स्तर पर नमूने को विभाजित करने का प्रस्ताव करते हैं। यह प्रत्येक फोल्ड के भीतर सर्वेक्षण डिजाइन (स्तरीकरण और क्लस्टरिंग) को सुरक्षित रखता है और एक सामान्य पैमाने पर क्षेत्र-स्तरीय और इकाई-स्तरीय मॉडलों के बीच सीधा तुलना करने की अनुमति देता है।

B. समायोजित CV स्कोर:
एक साधारण CV स्कोर पक्षपाती होता है क्योंकि इसमें रखे गए प्रत्यक्ष अनुमानों में नमूना भिन्नता होती है। लेखक एक समायोजित CV स्कोर व्युत्पन्न करते हैं जो इस त्रुटि को ठीक करता है। मॉडल $M$ के लिए, समायोजित स्कोर है:
$$\text{score}_i^M = \frac{1}{K} \sum_{k=1}^K (\hat{\theta}_{-k,i}^M - \hat{\theta}_{k,i}^w)^2 - \hat{v}_i + 2\hat{c}_i^M$$
जहाँ:

• $\hat{\theta}_{-k,i}^M$ प्रशिक्षण सेट का उपयोग करके मॉडल भविष्यवाणी है।
• $\hat{\theta}_{k,i}^w$ रखे गए वैलिडेशन सेट से प्रत्यक्ष अनुमान है।
• $\hat{v}_i$ रखे गए प्रत्यक्ष अनुमानों का अनुभवजन्य प्रसरण (empirical variance) है।
• $\hat{c}_i^M$ प्रशिक्षण मॉडल और वैलिडेशन प्रत्यक्ष अनुमानों के बीच का अनुभवजन्य सहप्रसरण (empirical covariance) है।

C. अनिश्चितता परिमाणीकरण (त्रुटि सीमा):
चूंकि दो मॉडलों के स्कोर अंतर का पूर्वाग्रह (bias) पहचानने योग्य नहीं है, इसलिए लेखक एक सिद्धांतिक थ्रेशोल्ड ($t_q$) प्रदान करते हैं। यदि दो मॉडलों के स्कोर के बीच का पूर्ण अंतर इस थ्रेशोल्ड से कम है, तो तुलना को अनिर्णायक माना जाता है। यह शोधकर्ताओं को यह दावा करने से रोकता है कि एक मॉडल दूसरे से "बेहतर" है जब वह अंतर केवल शोर (noise) के कारण हो।

3. प्रमुख योगदान

1. मॉडल-अज्ञेयवाद (Model-Agnosticism): यह ढांचा एक सामान्य मीट्रिक (भारित वर्ग त्रुटि) का उपयोग करके मौलिक रूप से भिन्न मॉडलिंग संरचनाओं (जैसे, बेयसियन इकाई-स्तरीय बनाम फ्रीक्वेंटिस्ट क्षेत्र-स्तरीय) की तुलना करने की अनुमति देता है।
2. सैद्धांतिक अपघटन (Theoretical Decomposition): वे नमूना विभाजन के संदर्भ में सशर्त मीन स्क्वायर एरर (MSE) का गणितीय अपघटन प्रदान करते हैं, जिससे पहचान योग्य और गैर-पहचान योग्य पूर्वाग्रह घटकों की पहचान होती है।
3. डिजाइन के प्रति मजबूती: मानक CV के विपरीत, यह विधि घरेलू सर्वेक्षणों (जैसे, DHS) के विशिष्ट, बहु-चरणीय स्तरीकृत डिजाइनों को ध्यान में रखती है।
4. LOAO पूर्वाग्रह का सुधार: वे औपचारिक रूप से सिद्ध करते हैं कि LOAO-CV एक एक्सट्रपलेशन अनुमानक है जो इच्छित स्मूथिंग MSE की तुलना में मॉडलों को व्यवस्थित रूप से गलत रैंक देता है।

4. परिणाम और अनुभवजन्य सत्यापन

लेखकों ने 2024 जाम्बिया डेमोग्राफिक एंड हेल्थ सर्वे (DHS) का उपयोग करके अपने तरीके को मान्य किया, जिसमें महिला साक्षरता दर पर ध्यान केंद्रित किया गया।

• सिमुलेशन अध्ययन: डिज़ाइन-आधारित सिमुलेशन में, समायोजित CV स्कोर ने मॉडलों की रैंकिंग को सही ढंग से पहचाना (उदाहरण के लिए, यह पहचानना कि एक ओवर-स्मूथ मॉडल $M_3$ का MSE एक इकाई-स्तरीय मॉडल $M_1$ की तुलना में अधिक था)। महत्वपूर्ण रूप से, त्रुटि सीमा $t_q$ ने अत्यधिक समान मॉडलों के बीच की तुलना को सही ढंग से "अनिर्णायक" के रूप में चिह्नित किया।
• LOAO की विफलता: सिमुलेशन ने दिखाया कि LOAO-CV ने वास्तविक MSE की तुलना में विपरीत (गलत) रैंकिंग प्रदान की।
• वास्तविक दुनिया का अनुप्रयोग (जाम्बिया):
  • प्रांत स्तर पर, पद्धति ने एक ओवर-स्मूथ मॉडल और अधिक लचीले मॉडलों के बीच सफलतापूर्वक अंतर किया।
  • ज़िला स्तर पर (सूक्ष्म रिज़ॉल्यूशन/विरल डेटा), यह विधि मजबूत बनी रही। इसने सही ढंग से पहचाना कि फय-हेरियट मॉडल ($M_2$) ओवर-स्मूथ मॉडल ($M_3$) से बेहतर प्रदर्शन करता है, जबकि यह भी सही ढंग से बताया कि जिला-स्तरीय डेटा में निहित उच्च अनिश्चितता के कारण $M_1$ और $M_2$ के बीच का अंतर अनिर्णायक था।

5. महत्व

यह शोध पत्र उन शोधकर्ताओं के लिए एक कठोर, गणितीय रूप से आधारित टूलकिट प्रदान करता है जो विरल स्थानिक डेटा (sparse spatial data) पर काम कर रहे हैं। मॉडल चयन के लिए "ब्लैक-बॉक्स" दृष्टिकोण से हटकर और मॉडल तुलना की अनिश्चितता को मापने के तरीके प्रदान करके, यह सार्वजनिक स्वास्थ्य और सामाजिक विज्ञानों में अधिक वैज्ञानिक रूप से ईमानदार और पुनरुत्पादनीय उप-राष्ट्रीय निगरानी को बढ़ावा देता है।