The Marginal Likelihood of two-way tables and Ecological Inference

तकनीकी सारांश: दो-तरफा तालिकाओं की मार्जिनल लाइकलीहुड और पारिस्थितिक अनुमान (Ecological Inference)

समस्या विवरण
यह शोध पत्र एक दो-तरफा कंटिंजेंसी टेबल (contingency table) के लिए साहचर्य संरचना (विशेष रूप से, सशर्त पंक्ति वितरण/conditional row distributions) का अनुमान लगाने की मौलिक सांख्यिकीय चुनौती को संबोधित करता है, जब केवल पंक्ति और स्तंभ के मार्जिनल योग (marginal totals) ही दृश्यमान होते हैं। यह समस्या पारिस्थितिक अनुमान (Ecological Inference) का केंद्र है, जो एक ऐसी पद्धति है जिसका उपयोग व्यक्तिगत स्तर के व्यवहारों (जैसे, चुनावों के बीच मतदाता संक्रमण) का अनुमान लगाने के लिए किया जाता है, जहाँ व्यक्तिगत संयुक्त निर्णय (individual joint decisions) अज्ञात होते हैं (जैसे, मतपत्र गोपनीयता के कारण)।

यह शोध पत्र दो अलग-अलग परिदृश्यों की जांच करता है:

1. एकल तालिका (Single Table): एक एकल $R \times C$ तालिका के मार्जिन से सशर्त संभावनाओं का अनुमान लगाना।
2. तालिकाओं का संग्रह (Collection of Tables): $s$ तालिकाओं (स्थानीय इकाइयों) के एक संग्रह में समान सशर्त पंक्ति वितरणों के एक सामान्य सेट का अनुमान लगाना, जो समान साहचर्य संरचना साझा करते हैं लेकिन जिनके मार्जिनल योग भिन्न होते हैं।

कार्यप्रणाली और सैद्धांतिक ढांचा

1. एकल तालिका मामला ($R \times C$)
लेखक $2 \times 2$ तालिकाओं पर प्लैकेट (Plackett, 1977) के कार्य का सामान्यीकरण $R \times C$ तालिकाओं के लिए करते हैं। विश्लेषण मल्टीनोमियल सैंपलिंग (multinomial sampling) के तहत मार्जिनल लाइकलीहुड (marginal likelihood) पर केंद्रित है।

• पैरामीट्राइजेशन (Parametrization): सशर्त पंक्ति संभावनाओं को एक बेसलाइन श्रेणी के सापेक्ष लॉजिट्स ($\phi_j$) और लॉग-ऑड्स रेश्यो ($\lambda_{ij}$) का उपयोग करके पैरामीटराइज़ किया गया है।
• लाइकलीहुड समीकरण (Likelihood Equations): पत्र के लाइकलीहुड समीकरणों को व्युत्पन्न करते हैं, जो दिखाते हैं कि मानक अनकन्स्ट्रेंड अनुमान ($\hat{p}_{j|i} = n_{ij}/n_{i0}$) मार्जिनल बाधाओं को तो संतुष्ट करते हैं, लेकिन देखे गए टेबल के लिए सशर्त प्रत्याशा बाधाओं ($M_{ij} = n_{i0}p_{j|i}$) को पूरा करने में विफल रहते हैं।
• चरम तालिकाएं (Extreme Tables): मुख्य सैद्धांतिक योगदान चरम तालिकाओं (Extreme Tables) की अवधारणा से संबंधित है। ये तालिकाएं पंक्ति और स्तंभ श्रेणियों के विशिष्ट क्रमपरिवर्तन (permutations) (एल्गोरिदम 1) के माध्यम से निर्मित आवृत्ति तालिकाएं हैं, जो दिए गए मार्जिन के साथ फ्रेचेट क्लास (Fréchet class) के वितरणों के ऊपरी स्तरों का प्रतिनिधित्व करती हैं।
  • पत्र एक संभाव्यता वितरण अनुक्रम $P(Z, \epsilon)$ को परिभाषित करता है जो $\epsilon \to 0$ होने पर एक चरम तालिका $Z$ की ओर अग्रसर होता है।
  • इस सीमा में, गैर-शून्य लॉग-ऑड्स रेश्यो $+\infty$ (या $2\xi$) की ओर विचलित (diverge) हो जाते हैं, जो फ्रेचेट क्लास के भीतर सबसे मजबूत संभव सकारात्मक साहचर्य (positive association) बनाते हैं।
• स्थानीय मैक्सिमा (Local Maxima): यह सिद्ध किया गया है कि ये सीमित वितरण लाइकलीहुड समीकरणों को संतुष्ट करते हैं, जिसका अर्थ है कि मार्जिनल लाइकलीहुड में चरम तालिकाओं पर प्राप्त होने वाले स्थानीय मैक्सिमा का एक संग्रह मौजूद है।

2. तालिकाओं का संग्रह मामला
यह पहचानते हुए कि एकल तालिका से अनुमान लगाना अनिवार्य रूप से असंभव है (क्योंकि लाइकलीहुड एक विकृत चरम साहचर्य पर अधिकतम होता है), शोध पत्र $s$ तालिकाओं के संग्रह पर ध्यान केंद्रित करता है जो समान सशर्त पंक्ति संभावनाओं को साझा करते हैं।

• लाइकलीहुड निर्माण: प्रत्येक इकाई $h$ के देखे गए मार्जिन के अनुकूल सभी संभावित तालिकाओं $N_h$ पर योग (summation) की आवश्यकता के साथ, संग्रह के लिए सटीक मल्टीनोमियल मार्जिनल लाइकलीहुड को तैयार किया गया है।
• फिशर स्कोरिंग एल्गोरिदम (Fisher Scoring Algorithm): इस जटिल लाइकलीहुड को अधिकतम करने के लिए, लेखक एक कुशल फिशर स्कोरिंग एल्गोरिदम प्रस्तावित करते हैं।
  • अपेक्षित सूचना मैट्रिक्स (expected information matrix) के बजाय (जिसे कंप्यूट करना कठिन है), यह विधि स्कोर वेक्टर्स से प्राप्त एक अनुभवजन्य सूचना मैट्रिक्स (empirical information matrix) का उपयोग करती है।
  • स्कोर वेक्टर्स को विस्तारित हाइपरजियोमेट्रिक वितरण के तहत सशर्त प्रत्याशाओं ($M_{hij}$) का उपयोग करके कंप्यूट किया जाता है।
  • पहचान क्षमता (identifiability) के लिए एक आवश्यक शर्त स्थापित की गई है: स्थानीय इकाइयों की संख्या $s$ कम से कम $R(C-1)$ होनी चाहिए (गैर-अपभ्रष्ट डेटा मानते हुए)।

मुख्य परिणाम

1. एकल-तालिका MLE की असंगतता (Inconsistency)
शोध पत्र प्रदर्शित करता है कि एकल तालिका के लिए मैक्सिमम लाइकलीहुड अनुमान (MLE) असंगत (inconsistent) हैं।

• जैसे-जैसे नमूना आकार बढ़ता है, लाइकलीहुड का वैश्विक अधिकतम (global maximum) एक चरम तालिका में प्राप्त होता है।
• ये चरम तालिकाएं उपयुक्त क्रमपरिवर्तन (permutation) के बाद सबसे मजबूत संभव सकारात्मक साहचर्य वाले वितरणों का प्रतिनिधित्व करती हैं, जो आम तौर पर वास्तविक अंतर्निहित साहचर्य संरचना को प्रतिबिंबित नहीं करते हैं।
• फलस्वरूप, एकल तालिका पर लाइकलीहुड-आधारित अनुमान "अनिर्णायक" या भ्रामक परिणाम देते हैं, जो प्लैकेट के $2 \times 2$ मामलों के पिछले निष्कर्षों की पुष्टि करते हैं।

2. प्रस्तावित एल्गोरिदम का प्रदर्शन
एक सिमुलेशन अध्ययन $s=60$ स्थानीय इकाइयों, $R=C=3$, और प्रति इकाई $n=40$ अवलोकनों के साथ किया गया था। प्रस्तावित फिशर स्कोरिंग एल्गोरिदम (सटीक लाइकलीहुड) की तुलना निम्नलिखित से की गई:

• गुडमैन की लीनियर रिग्रेशन विधि (1953)।
• संशोधित ब्राउन और पायने विधि (2009)।

निष्कर्ष:

• सटीक लाइकलीहुड (Exact Likelihood) विधि ने वास्तविक जनरेटिंग मैकेनिज्म ($\Pi$) के सबसे करीब अनुमान ($\hat{\Pi}$) प्रदान किए, जिसका माध्य वर्ग त्रुटि ($M_e$) 0.0537 था।
• संशोधित ब्राउन और पायने विधि का $M_e = 0.0549$ था।
• गुडमैन की विधि का $M_e = 0.0551$ था।
• परिणाम दर्शाते हैं कि हालांकि प्रस्तावित विधि सैद्धांतिक रूप से श्रेष्ठ है, इस विशिष्ट सिमुलेशन में स्थापित विधियों के साथ प्रदर्शन का अंतर मामूली है। लेखक नोट करते हैं कि गुडमैन की विधि, अपनी सीमाओं (जैसे, $[0,1]$ के बाहर की संभावनाओं की क्षमता) के बावजूद, आश्चर्यजनक रूप से अच्छा प्रदर्शन करती है।

3. कम्प्यूटेशनल जटिलता (Computational Complexity)
शोध पत्र एक महत्वपूर्ण कम्प्यूटेशनल बाधा को रेखांकित करता: प्रत्येक स्थानीय इकाई के लिए सभी संगत तालिकाओं ($N_h$) के संग्रह का निर्माण और भंडारण।

• $3 \times 3$ तालिका के लिए, $n$ के बढ़ते नमूना आकार के साथ $N_h$ का आकार तेजी से बढ़ता है (लगभग $n=100$ के लिए $10^5$ तालिकाएं, $n=200$ के लिए $>10^6$ तालिकाएं)।
• लेखक नोट करते हैं कि वास्तविक चुनावी डेटा (जहाँ पोलिंग स्टेशन अक्सर $n \approx 800$ रखते हैं) पर इस विधि को लागू करना वर्तमान में सन्निकटन (approximations) या उपसमुच्चय चयन रणनीतियों के बिना अव्यवहारिक है।

महत्ता और दावे

शोध पत्र का दावा है कि यह प्रदान करता है:

1. ज्यामितीय अंतर्दृष्टि (Geometric Insight): निश्चित मार्जिन वाली तालिकाओं के संग्रह की ज्यामिति का स्पष्टीकरण, विशेष रूप से यह पहचानना कि मार्जिनल लाइकलीहुड के स्थानीय मैक्सिमा चरम तालिकाओं के अनुरूप होते हैं जहाँ लॉग-ऑड्स रेश्यो विचलित (diverge) होते हैं।
2. सैद्धांतिक समाधान: यह सिद्ध करना कि एकल तालिका के लिए MLE असंगत है, जो यह समझाता है कि पारिस्थितिक अनुमान संदर्भों में अतिरिक्त धारणाओं या डेटा के बिना मानक लाइकलीहुड अनुमान क्यों विफल हो जाता है।
3. एल्गोरिदम संबंधी योगदान: जब कई स्थानीय इकाइयों से डेटा उपलब्ध हो, तो सटीक मल्टीनोमियल लाइकलीहुड को अधिकतम करने के लिए एक कुशल फिशर स्कोरिंग एल्गोरिदम।
4. अनुभवजन्य सत्यापन: प्रमाण कि सटीक लाइकलीहुड दृष्टिकोण मौजूदा विधियों की तुलना में सत्य के अधिक निकट अनुमान देता है, हालांकि छोटे सिमुलेशन में इसका व्यावहारिक लाभ मामूली है।

लेखक निष्कर्ष निकालते हैं कि यद्यपि सटीक विधि सैद्धांतिक रूप से मजबूत है, वास्तविक बड़े पैमाने के डेटा पर इसका अनुप्रयोग वर्तमान में कम्प्यूटेशनल बाधाओं द्वारा सीमित है, जो स्कोर और सूचना मैट्रिसेस (information matrices) को अनुमानित करने के लिए तालिका संग्रह के सार्थक उपसमुच्चयों (meaningful subsets) पर भविष्य के कार्य की आवश्यकता का सुझाव देता है।