Comparative Evaluation of Dynamic Bayesian Hierarchical Models and Machine Learning Estimators for Small Area Employment Estimation in Data-Poor Settings

विकासशील देशों के विशाल और अक्सर असमान परिदृश्य में, यह जानना कि किसी विशिष्ट जिले में वास्तव में कितने लोगों के पास नौकरियां हैं, एक ऐसी चुनौती है जो प्रगति को रोक सकती है। सरकारों को सामाजिक सुरक्षा के प्रभावी कार्यक्रम डिजाइन करने या श्रम बाजार के हस्तक्षेपों को वहां लक्षित करने के लिए इन सूक्ष्म आंकड़ों की आवश्यकता होती है जहां उनकी सबसे अधिक आवश्यकता है। हालांकि, इस जानकारी को एकत्र करने के मानक उपकरण, जिन्हें श्रम बल सर्वेक्षण (लेबर फोर्स सर्वे) कहा जाता है, आमतौर पर पूरे देशों या बड़े क्षेत्रों के सटीक चित्र देने के लिए डिज़ाइन किए जाते हैं। जब अधिकारी इन आंकड़ों को छोटे प्रशासनिक इकाइयों में विभाजित करने की कोशिश करते हैं, तो नमूना आकार (सैंपल साइज) इतना छोटा हो जाता है कि उन पर भरोसा नहीं किया जा सकता, जिससे डेटा अनिश्चितता से भर जाता है। इसे हल करने के लिए, सांख्यिकीविदों ने 'स्मॉल एरिया एस्टीमेशन' नामक एक तकनीक विकसित की है। इसका मूल विचार सरल लेकिन शक्तिशाली है: केवल एक अकेले छोटे जिले के अस्थिर डेटा पर निर्भर रहने के बजाय, यह पद्धति पड़ोसी क्षेत्रों और संबंधित जानकारी, जैसे कि जनगणना डेटा या उपग्रह चित्रों से शक्ति उधार लेती है ताकि रिक्तियों को भरा जा सके। दशकों से, इसे करने का सबसे विश्वसनीय तरीका जटिल सांख्यिकीय मॉडल रहे हैं जो प्रत्येक क्षेत्र को एक बड़े, जुड़े हुए तंत्र के हिस्से के रूप में देखते हैं। हाल ही में, मशीन लर्निंग के रूप में जानी जाने वाली शक्तिशाली कंप्यूटर एल्गोरिदम की एक नई लहर क्षेत्र में आई है, जो डेटा में ऐसे पैटर्न खोजने का वादा करती है जिन्हें पारंपरिक मॉडल छोड़ सकते हैं। आधुनिक सांख्यिकीविदों के सामने प्रश्न यह है कि क्या ये नए, लचीले उपकरण पुराने, विश्वसनीय उपकरणों की जगह ले सकते हैं, विशेष रूप से उन स्थानों पर जहां डेटा दुर्लभ है और सूचना का हर टुकड़ा मायने रखता है।

टेक्निकल यूनिवर्सिटी ऑफ म्यूनिख के एक शोधकर्ता, अल्बर्ट शुले (Albert Schulle) ने इन दोनों दृष्टिकोणों को एक कठोर परीक्षण में आमने-सामने रखकर इस प्रश्न का उत्तर देने का प्रयास किया। यह अध्ययन डेटा-दुर्बल परिवेशों में रोजगार दर के अनुमान की विशिष्ट समस्या पर केंद्रित था, जिसमें परीक्षण के मैदान के रूप में भारत के वास्तविक सर्वेक्षण डेटा का उपयोग किया गया। शोधकर्ता ने एक परिष्कृत सांख्यिकीय ढांचे, जिसे 'डायनेमिक बेयसियन हिरार्किकल मॉडल' (Dynamic Bayesian Hierarchical Model) के रूप में जाना जाता है, की तुलना मशीन लर्निंग के विभिन्न उपकरणों के समूह से की, जिसमें रैंडम फॉरेस्ट और ग्रेडिएंट बूस्टिंग शामिल थे। लक्ष्य न केवल यह देखना नहीं था कि कौन सा तरीका सत्य के सबसे करीब रोजगार दर का अनुमान लगाता है, बल्कि यह निर्धारित करना भी था कि कौन सा तरीका इस बात का अधिक ईमानदार चित्र प्रदान करता है कि उस अनुमान में कितनी अनिश्चितता है। आधिकारिक सांख्यिकी की दुनिया में, त्रुटि की सीमा (मार्जिन ऑफ एरर) जानना ही उतना महत्वपूर्ण है जितना कि स्वयं संख्या जानना, क्योंकि नीति निर्माता डेटा की विश्वसनीयता को समझे बिना सुरक्षित निर्णय नहीं ले सकते।

इस तुलना को संचालित करने के लिए, शोधकर्ता ने भारत के 640 जिलों को कवर करने वाले एक विशाल डेटासेट को लिया और डेटा की कमी के विभिन्न स्तरों को सिम्युलेट करने के लिए इसे व्यवस्थित रूप से कम किया। उन्होंने ऐसे परिदृश्य बनाए जहां प्रत्येक जिले में सर्वेक्षण किए गए लोगों की संख्या को 25 प्रतिशत, फिर 50 प्रतिशत, और अंत में एक चौंका देने वाले 75 प्रतिशत तक कम कर दिया गया, जो उन संसाधन-सीमित वातावरणों की नकल करता है जहाँ सर्वेक्षण या तो कम होते हैं या कम वित्तपोषित होते हैं। डेटा की कमी के प्रत्येक स्तर पर, सांख्यिकीय मॉडल और मशीन लर्निंग एल्गोरिदम दोनों से रोजगार दरों का अनुमान लगाने के लिए कहा गया। प्रदर्शन को इस आधार पर मापा गया कि अनुमान वास्तविक मूल्यों के कितने करीब थे, अनुमानों में कितना अंतर था, और सबसे महत्वपूर्ण रूप से, क्या गणना की गई अनिश्चितता की सीमाएं वास्तव में वास्तविक संख्याओं को शामिल करती थीं।

परिणामों ने डेटा की कमी की विशिष्ट स्थितियों के लिए एक स्पष्ट और सुसंगत विजेता का खुलासा किया। डायनेमिक बेयसियन हिरार्किकल मॉडल, जो क्षेत्रों और समय के बीच सूचना साझा करने के एक संरचित तरीके पर निर्भर करता है, ने एक स्थिर बढ़त बनाए रखी। जब नमूना आकार बहुत छोटा था, तो इस मॉडल ने अनुमान काफी सटीक बनाए और शायद इससे भी अधिक महत्वपूर्ण बात यह थी कि इसने अनिश्चितता की विश्वसनीय सीमाएं प्रदान कीं। यहाँ तक कि जब डेटा को तीन-चौथाई तक कम कर दिया गया था, तब भी मॉडल के अनुमान विश्वसनीय बने रहे, और इसके द्वारा गणना की गई कॉन्फिडेंस इंटरवल (विश्वास अंतराल) ने 90 प्रतिशत से अधिक मामलों में वास्तविक रोजगार दर को सफलतापूर्वक पकड़ा। यह स्थिरता छोटे जिलों से आने वाले चरम या अनियमित अनुमानों को एक अधिक तर्कसंगत औसत की ओर खींचने की मॉडल की क्षमता से आती है, जो एक ऐसी प्रक्रिया है जो जंगली अनुमानों को रोकता है जब स्थानीय डेटा स्वयं खड़े होने के लिए बहुत पतला होता है।

इसके विपरीत, मशीन लर्निंग विधियों ने, हालांकि प्रचुर डेटा होने पर प्रभावशाली थीं, लेकिन जैसे ही जानकारी कम हुई, वे संघर्ष करने लगीं। जब पूरा डेटासेट उपलब्ध था, तो इन एल्गोरिदम ने प्रतिस्पर्धी प्रदर्शन किया, और अक्सर सटीक रोजगार संख्याओं की भविष्यवाणी करने में सांख्यिकीय मॉडल की सटीकता से मेल खाया। वे डेटा में जटिल, गैर-रेखीय संबंधों को पहचानने में विशेष रूप से अच्छी थीं जिन्हें एक सरल मॉडल अनदेखा कर सकता है। हालांकि, जैसे-जैसे नमूना आकार छोटा हुआ, उनका प्रदर्शन तेजी से गिर गया। अनुमान कम सटीक होते गए, और उनके द्वारा उत्पन्न अनिश्चितता की सीमाएं खतरनाक रूप से भ्रामक हो गईं। सबसे गंभीर कमी वाले परिदृश्यों में, मशीन लर्निंग मॉडल अपने गणना किए गए अंतराल में वास्तविक रोजगार दर को आधे से भी कम समय में पकड़ पाए। इसका अर्थ यह है कि डेटा-दुर्बल सेटिंग में इन उपकरणों पर भरोसा करने वाला नीति निर्माता सटीकता का एक झूठा अहसास प्राप्त करेगा, यह विश्वास करते हुए कि वे उत्तर जानते हैं जबकि वे वास्तव में अंधाधुंध अनुमान लगा रहे होते हैं।

अध्ययन ने यह भी जांचा कि प्रत्येक विधि लुप्त जानकारी (missing information) को कैसे संभालती है, जो विकासशील देशों में एक सामान्य समस्या है जहाँ साक्षरता दर या आर्थिक संकेतकों जैसा सहायक डेटा अधूरा हो सकता है। सांख्यिकीय मॉडल उल्लेखनीय रूप से मजबूत साबित हुआ, जो पड़ोसी क्षेत्रों से प्राप्त जानकारी का सहारा लेकर डेटा के लापता हिस्सों की भरपाई करने में सक्षम रहा। मशीन लर्निंग उपकरण, जो भविष्यवाणी करने के लिए विशेषताओं (features) के एक पूर्ण सेट पर बहुत अधिक निर्भर करते हैं, डेटा गायब होने पर प्रदर्शन में बहुत अधिक गिरावट का शिकार हुए। यह सुझाव देता है कि जिन वातावरणों में डेटा खंडित और अविश्वसनीय है, वहां सांख्यिकीय मॉडल का संरचित दृष्टिकोण मशीन लर्निंग की पैटर्न-पहचान शक्ति की तुलना में कहीं अधिक लचीला है।

अंततः, अनुसंधान यह सुझाव देता है कि हालांकि मशीन लर्निंग प्रचुर डेटा होने पर भविष्यवाणी के लिए एक शक्तिशाली उपकरण है, लेकिन यह संसाधन-सीमित सेटिंग्स में स्मॉल एरिया एस्टीमेशन के लिए स्थापित सांख्यिकीय मॉडलों को बदलने के लिए अभी तैयार नहीं है। मशीन लर्निंग विधियों ने दिखाया कि वे उपयोगी पूरक हो सकती हैं, शायद प्रारंभिक अनुमान उत्पन्न करने या समृद्ध डेटासेट को संभालने के लिए, लेकिन उनमें वे अंतर्निहित सुरक्षा उपाय नहीं हैं जो संख्या कम होने पर विश्वसनीयता सुनिश्चित करते हैं। विकासशील देशों के राष्ट्रीय सांख्यिकी कार्यालयों के लिए, आगे का रास्ता स्पष्ट है: डायनेमिक बेयसियन हिरार्किकल मॉडल आधिकारिक रोजगार सांख्यिकी उत्पन्न करने के लिए पसंदीदा विकल्प बना हुआ है। यह सटीकता और ईमानदार अनिश्चितता का एक संतुलन प्रदान करता है जो साक्ष्य-आधारित नीति के लिए आवश्यक है। अध्ययन निष्कर्ष निकालता है कि दुनिया के सबसे चुनौतीपूर्ण क्षेत्रों में बेरोजगारों और नियोजित लोगों की गिनती करने के उच्च-दांव वाले खेल में, पुराना-फैशन का, गणितीय रूप से कठोर दृष्टिकोण अभी भी बढ़त बनाए रखता है, जो यह सुनिश्चित करता है कि निर्णय सत्य की नींव पर लिए जाएं, न कि सटीकता के भ्रम पर।