HICM: An approach towards Harmonizing Indian Census Migration data and its applications

यहाँ शोध पत्र "HICM: भारतीय जनगणना प्रवास डेटा को सामंजस्यपूर्ण बनाने की एक पद्धति और इसके अनुप्रयोग" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण

यह शोध पत्र भारतीय जनगणना प्रवास डेटा (विशेष रूप से 1991, 2001 और 2011 के दशकीय रिकॉर्ड) में व्यवस्थित पूर्वाग्रहों और विसंगतियों के गंभीर मुद्दे को संबोधित करता है। यद्यपि भारतीय जनगणना जनसंख्या विस्थापन और शहरीकरण के अध्ययन के लिए एक समृद्ध अनुदैर्ध्य (longitudinal) संसाधन प्रदान करती है, लेकिन यह डेटा संरचनात्मक अंतराल से ग्रस्त है जो अस्थायी और नेटवर्क-आधारित विश्लेषणों की विश्वसनीयता को कम करते हैं।

लेखक पूर्वाग्रह और विसंगति की तीन प्राथमिक श्रेणियों की पहचान करते हैं:

• मापन अंतराल (Missingness):
  • अवर्गीकृत प्रवासी (Unclassifiable Migrants): अज्ञात "अंतिम निवास" वाले प्रवासी (कुल का लगभग <1%)।
  • निवास की अज्ञात अवधि: लुप्त प्रवास अवधि डेटा वाले प्रवासी (कुल का लगभग 8–16%), जो दशकों के अनुसार भिन्न होता है।
• कवरेज विसंगति:
  • 1991 का डेटा राजनीतिक अस्थिरता के कारण जम्मू और कश्मीर (J&K) को बाहर रखता है, जबकि 2001 और 2011 में इसे शामिल किया गया है। यह "लुप्त गणना स्थान" (missing place of enumeration) की समस्या पैदा करता है, जिससे अनुदैर्ध्य अध्ययनों में प्रतिनिधित्व संबंधी पूर्वाग्रह उत्पन्न होता है।
• नामकरण और अनुक्रमण (Indexing) विसंगतियाँ:
  • अनुक्रमण बेमेल (Indexing Mismatch): 1991 राज्यों/केंद्र शासित प्रदेशों के लिए वर्णानुक्रमिक अनुक्रमण का उपयोग करता है, जबकि 2001/2011 भौगोलिक अनुक्रमण का उपयोग करते हैं।
  • लुप्त समुच्चय (Missing Aggregates): 1991 के डेटासेट में प्रत्येक रिकॉर्ड के लिए स्पष्ट "कुल" (Total) कॉलम का अभाव है, जो दशकों के बीच तुलना को जटिल बनाता है।
  • नाम के विभिन्न रूप: दशकों के दौरान असंगत राज्य नाम (जैसे, "Orissa" बनाम "Odisha")।

2. कार्यप्रणाली: HICM ढांचा

लेखक HICM का प्रस्ताव करते हैं, जो एक डेटा-केंद्रित ढांचा है जिसे सिद्धांतों पर आधारित प्री-प्रोसेसिंग, शमन (mitigation) और सत्यापन के माध्यम से इन डेटासेट्स को सामंजस्यपूर्ण बनाने के लिए डिज़ाइन किया गया है। यह वर्कफ़्लो तीन मुख्य चरणों में शामिल है:

अ. नामकरण और लेबल सामंजस्य (Harmonization)

• मानकीकरण: राज्य के नामों को वर्तमान पहचानकर्ताओं के अनुरूप सामान्य बनाया जाता है (जैसे, "Orissa" $\to$ "Odisha")।
• अनुक्रमण संरेखण (Index Alignment): 1991 के डेटासेट को 2001 और 2011 के भौगोलिक क्रम के अनुरूप पुन: अनुक्रमित किया जाता है ताकि स्वचालित पाइपलाइनों में कम्प्यूटेशनल त्रुटियों को रोका जा सके।
• संरचनात्मक संरेखण: दशकों के बीच आयामी निरंतरता सुनिश्चित करने के लिए 1991 के डेटासेट में एक "कुल" (Total) कॉलम जोड़ा जाता है।

ब. कवरेज विसंगति का शमन (1991 में J&K की कमी)

1991 में J&K के लिए लुप्त आवत प्रवास (inflow) डेटा का अनुमान लगाने के लिए, लेखक टेम्पोरल रेशियो स्मूथिंग (एल्गोरिदम 1) का उपयोग करते हैं:

• धारणा: प्रवास प्रवाह अचानक होने के बजाय धीरे-धीरे बदलते हैं; इसलिए, समय के साथ प्रवास के अनुपात, कच्चे प्रवाह (raw flows) की तुलना में अधिक स्थिर होते हैं।
• प्रक्रिया:
  1. प्रत्येक स्रोत राज्य के लिए 1991–2001 और 2001–2011 के बीच बहिष्प्रवास (out-migration) अनुपातों की गणना करें।
  2. इन अनुपातों के आधार पर एक सुचारू बैकवर्ड टेम्पोरल अनुपात ($\tilde{R}_i$) बनाने के लिए एक ज्यामितीय माध्य (geometric mean) की गणना करें।
  3. इस अनुपात को ज्ञात 2001 आवत प्रवास डेटा पर लागू करके 1991 के लुप्त J&K आवत प्रवास का अनुमान लगाएं: $f^{(1991)}_{i,x} = f^{(2001)}_{i,x} \cdot \tilde{R}_i$।
• सत्यापन: 2001/2011 के ग्राउंड ट्रुथ डेटा के विरुद्ध 1991 के लिए प्रतिरूपित (imputed) J&K वितरण की तुलना की गई, जिसने बिना किसी अचानक विच्छेदन के सुचारू प्रतिकृति दिखाई।

स. मापन अंतराल का शमन (इम्प्यूटेशन/Imputation)

कुल जनसंख्या बाधाओं को बनाए रखते हुए लुप्त डेटा को संभालने के लिए दो अलग-अलग रणनीतियाँ लागू की जाती हैं:

1. अवर्गीकृत प्रवासियों का पुनर्वितरण (<1%):

   • अज्ञात अंतिम निवास वाले प्रवासियों को ज्ञात अंतिम निवास स्थानों के अनुपात में पुनर्वितरित किया जाता है।
   • सूत्र: $\hat{M}_{ij} = M_{ij} + U_j \cdot \frac{M_{ij}}{\sum_i M_{ij}}$
   • यह कुल प्रवासी संख्या और प्रत्येक गंतव्य के सापेक्ष आवत संरचना को सुरक्षित रखता है।

2. "अज्ञात अवधि" वाले प्रवासियों का पुनर्वितरण (8–16%):

   • एक समान पुनर्वितरण के बजाय, लेखक एक समाजशास्त्रीय धारणा लागू करते हैं: हाल के प्रवासियों के पास लुप्त अवधि डेटा होने की संभावना अधिक होती है।
   • पांच अवधि बिनों (1 वर्ष से कम से लेकर 20+ वर्ष तक) के लिए एक निश्चित भार वेक्टर $w$ लागू किया जाता है जो एक्सपोनेंशियल डिके (exponential decay) का अनुसरण करता है।
   • भार (Weights): $w \approx (0.35, 0.30, 0.20, 0.10, 0.05)$, यह सुनिश्चित करता है कि अधिकांश लुप्त डेटा छोटी अवधियों को आवंटित किया जाए ($w_1 + w_2 + w_3 > 80\%$)।
   • सूत्र: $\hat{N}_{j,b} = N_{j,b} + w_b \cdot U_j$

3. प्रमुख योगदान

1. पूर्वाग्रह प्रोफाइलिंग: तीन दशकों में भारतीय अंतरराज्यीय प्रवास डेटा में विशिष्ट पूर्वाग्रहों (मापन बनाम प्रतिनिधित्व) की पहली व्यवस्थित पहचान और मात्रात्मक निर्धारण।
2. सामंजस्य ढांचा (Harmonization Framework): एक पुनरुत्पादक, गणितीय रूप से पारदर्शी ढांचा (HICM) जो नया डेटा बनाए बिना, जनगणना के कुल योगों का सख्ती से पालन करते हुए संरचनात्मक अंतरालों को ठीक करता है।
3. नेटवर्क-रेडी डेटासेट: अनुदैर्ध्य विश्लेषण के लिए निर्देशित, भारित (directed, weighted) प्रवास नेटवर्क बनाने के लिए विशेष रूप से अनुकूलित सामंजस्यपूर्ण डेटासेट का निर्माण।

4. प्रयोगात्मक परिणाम और सत्यापन

लेखकों ने सांख्यिकीय डायग्नोस्टिक्स और नेटवर्क विश्लेषण का उपयोग करके ढांचे को सत्यापित किया:

• वितरण निरंतरता: 2001/2011 डेटा के विरुद्ध प्रतिरूपित (imputed) 1991 J&K डेटा की तुलना करने वाले वायलिन प्लॉट ने कोई अचानक उछाल नहीं दिखाया, जो टेम्पोरल निरंतरता की पुष्टि करता है।
• सांख्यिकीय संरक्षण: अनवर्गीकृत प्रवासियों को पुनर्वितरित करने के बाद, 2011 के डेटासेट का सांख्यिकीय सारांश (माध्य, मानक विचलन, Q1, Q2, Q3) इम्प्यूटेशन-पूर्व अवस्था के लगभग समान रहा। विचलन न्यूनतम थे और केवल चौथे चतुर्थक (4th quartile) तक सीमित थे, जो दर्शाता है कि पुनर्वितरण ने अंतर्निहित डेटा संरचना को विकृत नहीं किया।
• नेटवर्क विश्लेषण अनुप्रयोग:
  • प्रवृत्तियाँ (Trends): प्रवास नेटवर्क का औसत एज वेट (edge weight) प्रति दशक ~30% बढ़ा, जो बढ़ती अंतरराज्यीय गतिशीलता को दर्शाता है।
  • कम्युनिटी डिटेक्शन: लौवेन एल्गोरिदम (Louvain algorithm) का उपयोग करते हुए, सामंजस्यपूर्ण 1991 डेटा ने राज्यों के 3 समुदायों का खुलासा किया, जबकि 2001 और 2011 में 4 समुदाय स्थिर रहे।
  • अल्पकालिक बनाम दीर्घकालिक: <1 वर्ष की अवधि वाले प्रवासियों के विश्लेषण ने कुल स्टॉक की तुलना में अलग सामुदायिक संरचनाएं (1991 में 4 समुदाय) दिखाईं, जो सूक्ष्म, सामंजस्यपूर्ण डेटा के महत्व को रेखांकित करती हैं।

5. महत्व और प्रभाव

• नीतिगत प्रासंगिकता: यह ढांचा नीति निर्माताओं को डेटा अंतराल के कारण होने वाले विरूपण के बिना क्षेत्रीय असमानताओं और प्रवास पैटर्न का विश्लेषण करने के लिए एक मजबूत आधार प्रदान करता है।
• पद्धतिगत प्रगति: यह सरल इम्प्यूटेशन से आगे बढ़कर प्रतिबंध-संरक्षण (constraint-preserving) रणनीतियों का उपयोग करता है जो प्रवास की समाजशास्त्रीय वास्तविकताओं (जैसे, हाल के प्रवासियों के पास लुप्त अवधि डेटा होना) का सम्मान करती हैं।
• अनुदैर्ध्य विश्वसनीयता: अनुक्रमण और कवरेज समस्याओं को ठीक करके, HICM ढांचा वैध अंतर-दशक तुलना सक्षम बनाता है, जो पहले संरचनात्मक विसंगतियों के कारण बाधित थी।
• भविष्य के अनुप्रयोग: सामंजस्यपूर्ण डेटा उन्नत विश्लेषण जैसे मल्टीप्लेक्स नेटवर्क मॉडलिंग, सेंट्रैलिटीिटी मेजर्स और फेयरनेस-सेंसिटिव माइग्रेशन मॉडल का समर्थन करता है, जो भारत में भविष्य के शहरी नियोजन और जनसांख्यिकीय अनुसंधान के लिए आवश्यक है।