📊 statistics

New Equivalence Tests for Approximate Independence in Contingency Tables

यह शोध पत्र टू-वे कंटिंजेंसी टेबल्स (two-way contingency tables) में अनुमानित स्वतंत्रता (approximate independence) के लिए नए एसिम्प्टोटिक (asymptotic) और बूटस्ट्रैप-आधारित तुल्यता परीक्षणों (equivalence tests) को प्रस्तुत करता है, जिसमें सीमा बिंदुओं (boundary points) के लिए एक गणनात्मक रूप से कुशल अनुमानक (estimator) शामिल है, और सिमुलेशन एवं वास्तविक दुनिया के अनुप्रयोगों के माध्यम से उनके प्रदर्शन को एक संलग्न आर (R) कार्यान्वयन के साथ मान्य करता है।

मूल लेखक: Vladimir Ostrovski

प्रकाशित 2026-07-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vladimir Ostrovski

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: क्या आपके डेटा में दो चीजें वास्तव में जुड़ी हुई हैं, या वे सिर्फ दिखावा कर रही हैं? शायद आप देख रहे हैं कि आंखों के रंग का बालों के रंग से कोई लेना-देना है या नहीं, या क्या किसी मरीज का लिंग किसी विशिष्ट दवा के प्रति उसकी प्रतिक्रिया को बदल देता है। सांख्यिकी (statistics) की दुनिया में, इसे "स्वतंत्रता" (independence) के लिए परीक्षण करना कहा जाता है।

आमतौर पर, जासूस एक सटीक मिलान की तलाश करते हैं। यदि डेटा 100% सटीक मेल नहीं है, तो वे कहते हैं, "अहा! वे जुड़े हुए हैं!" लेकिन वास्तविक जीवन में, कुछ भी पूरी तरह से पूर्ण नहीं होता है। कभी-कभी, दो चीजें लगभग स्वतंत्र होती हैं, इतनी करीब कि मामूली अंतर मायने नहीं रखते। यहीं पर "अनुमानित स्वतंत्रता" (approximate independence) काम आती है।

समस्या क्या है? पुराने जासूसी उपकरण थोड़े अनाड़ी थे। वे एक ऐसी विधि पर निर्भर थे जिसमें हर बार उत्तर खोजने के लिए एक विशाल, जटिल गणितीय पहेली (जिसे "संख्यात्मक अनुकूलन" या numerical optimization कहा जाता है) को हल करने की आवश्यकता होती थी। यह घास के हर एक टुकड़े के लिए एक नया रोबोट बनाने जैसा था ताकि घास के ढेर में सुई ढूंढी जा सके। यह धीमा था, और वह रोबोट कभी-कभी फंस भी जाता था।

नया जासूसी किट
व्लादिमीर ओस्ट्रोवस्की, जो कोलोन, जर्मनी के एक सांख्यिकीविद् हैं, ने एक बिल्कुल नया, अधिक सुव्यवस्थित जासूसी किट बनाया है। उस भारी गणितीय पहेली से जूझने के बजाय, उन्होंने आपके डेटा और पूर्ण स्वतंत्रता के विचार के बीच की "दूरी" को मापने के दो नए, सुपर-फास्ट तरीके ईजाद किए हैं।

इसे ऐसे समझें जैसे एक डगमगाती मेज के पूरी तरह से सपाट होने से कितनी दूर है, उसे मापना।

"निरपेक्ष" रूलर ( $d_a$ ): यह कच्चे अंतर को मापता है। यह यह जांचने जैसा है कि मेज का पैर फर्श से कितने मिलीमीटर नीचे है।
"सापेक्ष" रूलर ( $d_r$ ): यह मेज के आकार की तुलना में अंतर को मापता है। यह पूछने जैसा है, "क्या वह डगमगाहट मेज के आकार की तुलना में बहुत बड़ी है, या यह बस एक छोटा सा बिंदु है?"

ये नए रूलर उपयोग में आसान हैं। आपको इन्हें पढ़ने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है; आप तुरंत उत्तर की गणना कर सकते हैं।

"बूटस्ट्रैप" जादू का खेल
यहाँ पेचीदा बात यह है: यह जानने के लिए कि आपका माप एक "वास्तविक" अंतर है या केवल डेटा के छोटे नमूने के कारण हुआ एक संयोग है, आपको "क्रिटिकल वैल्यू" (critical value) जानने की आवश्यकता होती है। यह यह जानने जैसा है कि मेज को टूटा हुआ कहने से पहले कितनी डगमगाहट बहुत अधिक है।

पुराना तरीका एक सैद्धांतिक सूत्र का उपयोग करके इसकी गणना करता था जो तब बहुत अच्छा काम करता है जब आपके पास लाखों डेटा बिंदु होते हैं, लेकिन जब आपके पास केवल कुछ ही डेटा बिंदु होते हैं, तो यह थोड़ा डगमगा जाता है। इसे ठीक करने के लिए, लेखक बूटस्ट्रैप (bootstrap) नामक एक ट्रिक का उपयोग करते हैं।

कल्पना कीजिए कि आपके पास डेटा का प्रतिनिधित्व करने वाला कंचों का एक थैला है। बूटस्ट्रैप विधि उस थैले में हाथ डालने, एक मुट्ठी बाहर निकालने, उसकी एक प्रति बनाने, उसे वापस रखने और यह देखने के लिए हजारों बार दोहराने जैसी है कि परिणाम कितना डगमगाते हैं। यह छोटे समूहों के डेटा के लिए बहुत अधिक सटीक तस्वीर देता है।

लेकिन एक पेच था: इस स्वतंत्रता के लिए इस बूटस्ट्रैप ट्रिक को करने के लिए, आपको आमतौर पर एक विशिष्ट "बाउंड्री पॉइंट" (boundary point) ढूंढने की आवश्यकता होती है—एक जादुई स्थान जहाँ डेटा बिल्कुल स्वतंत्रता की सीमा पर होता है। उस विशिष्ट बिंदु को खोजना बिना किसी मानचित्र के समुद्र तट पर रेत के एक विशिष्ट कण को खोजने जैसा था।

समाधान: एक रैंडमाइज्ड मैप
लेखक ने इसे एक "रैंडमाइज्ड एस्टिमेटर" (randomized estimator) बनाकर हल किया। उस एक सटीक रेत के कण को खोजने के बजाय, यह विधि समुद्र तट पर एक जाल फेंकती है। यह कई यादृच्छिक "एक्सटीरियर पॉइंट्स" (बाहरी बिंदु) उत्पन्न करती है (ऐसी जगहें जो निश्चित रूप से स्वतंत्र नहीं हैं) और फिर अपने डेटा और उन बिंदुओं के बीच एक रेखा खींचकर सीमा को ढूंढती है।

यह यह कहने जैसा है, "मुझे नहीं पता कि जंगल का किनारा कहाँ है, लेकिन अगर मैं अपने घर से एक पहाड़ की ओर चलता हूँ जिसे मैं बहुत दूर जानता हूँ, तो अंततः मैं किनारे पर पहुँच जाऊँगा।" यह पूरी प्रक्रिया को तेज़ और जटिल तालिकाओं के लिए भी गणनात्मक रूप से संभव बनाता है।

सिमुलेशन ने क्या दिखाया
लेखक ने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल सिमुलेशन लैब चलाई। उन्होंने अलग-अलग आकार की हजारों नकली डेटा तालिकाएं बनाईं (छोटी $2 \times 4$ ग्रिड से लेकर बड़ी $5 \times 5$ ग्रिड तक) और अपने नए तरीके का पुराने तरीके के साथ परीक्षण किया।

अच्छी खबर: नए "बूटस्ट्रैप" परीक्षण छोटे नमूना आकारों को संभालने में बहुत बेहतर हैं। वे पुराने "एसिम्प्टोटिक" (asymptotic) परीक्षणों की तुलना में नियमों का पालन (nominal level 0.05) बहुत बेहतर तरीके से करते हैं, जो बड़ी तालिकाएँ होने पर बहुत अधिक सतर्क (conservative) हो जाते थे।
सावधानी: ये परीक्षण हर जगह पूर्ण नहीं हैं। यदि डेटा में लगभग शून्य लोग वाले श्रेणियां हैं (जैसे कि एक श्रेणी जहाँ संभावना शून्य के करीब है), तो वे संबंध खोजने के लिए बहुत अधिक उत्सुक (anti-conservative) हो सकते हैं। लेखक चेतावनी देते हैं कि यदि आपके डेटा में खाली या लगभग खाली बॉक्स हैं, तो आपको अतिरिक्त सावधानी बरतने की आवश्यकता है।
"सिकुड़ने" वाली ट्रिक: परीक्षणों को और अधिक सुरक्षित बनाने के लिए, लेखक ने दिखाया कि यदि आप "टॉलरेंस पैरामीटर" (वह डगमगाहट जिसे आप स्वीकार करने के लिए तैयार हैं) को 0.18 तक कम कर देते हैं, तो परीक्षण बहुत विश्वसनीय हो जाते हैं और शायद ही कभी गलत अलार्म बजाते हैं।

वास्तविक दुनिया के परीक्षण
लेखक ने इस नए किट को तीन वास्तविक जीवन के रहस्यों पर आज़माया:

नाइट्रेंडिपिन थेरेपी (Nitrendipine Therapy): क्या लिंग यह प्रभावित करता है कि मरीज इस रक्तचाप की दवा के प्रति कैसे प्रतिक्रिया करते हैं? 217 लोगों के नमूने के साथ, नए परीक्षणों ने सुझाव दिया कि लिंग और परिणाम लगभग स्वतंत्र हैं (वे मजबूती से जुड़े हुए नहीं हैं)।
आंखों और बालों का रंग: क्या भूरी आँखें हमेशा भूरे बालों के साथ आती हैं? परीक्षणों ने पुष्टि की कि हम पहले से ही जानते हैं: वे स्वतंत्र नहीं हैं। डेटा ने एक मजबूत संबंध दिखाया, और परीक्षण केवल तभी स्वतंत्रता को स्वीकार करते थे जब आप बहुत अधिक "डगमगाहट" (लगभग 0.58 का टॉलरेंस) की अनुमति देते।
बच्चे और आय: क्या एक परिवार में बच्चों की संख्या उनकी आय पर निर्भर करती है? यह डेटासेट बहुत बड़ा था (25,263 लोग), लेकिन कुछ श्रेणियां बहुत खाली थीं। परीक्षणों ने सुझाव दिया कि वे लगभग स्वतंत्र हो सकते हैं, लेकिन खाली श्रेणियों के कारण यह अनुमान "बहुत गलत" (very inaccurate) था।

निष्कर्ष
यह शोध पत्र यह दावा नहीं करता है कि उसने स्वतंत्रता के रहस्य को हमेशा के लिए सुलझा लिया है। इसके बजाय, यह सांख्यिकीविदों के लिए नए, तेज़ और अधिक विश्वसनीय उपकरणों का एक सेट प्रदान करता है। यह एक धीमे, भारी गणितीय पहेली को एक त्वरित, स्मार्ट गणना और छोटे डेटा सेट को संभालने के लिए एक चतुर "रैंडम वॉक" पद्धति से बदल देता है।

लेखक ऑनलाइन उपयोग के लिए एक मुफ्त "डिटेक्टिव किट" (सॉफ्टवेयर कोड) प्रदान करते हैं। हालांकि ये परीक्षण अधिकांश स्थितियों में बहुत अच्छे काम करते हैं, शोध पत्र स्पष्ट रूप से चेतावनी देता है कि जब आपके डेटा में बहुत कम प्रविष्टियाँ हों, तो इनका उपयोग सावधानी से किया जाना चाहिए। यह दुनिया को देखने का एक शक्तिशाली नया तरीका है, लेकिन किसी भी अच्छे जासूस की तरह, आपको यह भी जानना होगा कि अपने सुरागों की दोबारा जांच कब करनी है।

तकनीकी सारांश: आकस्मिक तालिकाओं (Contingency Tables) में अनुमानित स्वतंत्रता के लिए नए तुल्यता परीक्षण (Equivalence Tests)

समस्या विवरण
यह शोध पत्र दो-तरफा आकस्मिक तालिकाओं (two-way contingency tables) में अनुमानित पंक्ति-स्तंभ स्वतंत्रता (row-column independence) के परीक्षण की सांख्यिकीय चुनौती को संबोधित करता है। पारंपरिक स्वतंत्रता परीक्षण के विपरीत, जो पूर्ण स्वतंत्रता की शून्य परिकल्पना (null hypothesis) को खारिज करने का प्रयास करते हैं, यह कार्य तुल्यता परीक्षण (equivalence testing) पर केंद्रित है। इसका उद्देश्य शून्य परिकल्पना $H_0: \{d(p, M) \geq \varepsilon\}$ के विरुद्ध वैकल्पिक परिकल्पना $H_1: \{d(p, M) < \varepsilon\}$ का परीक्षण करना है, जहाँ $p$ वास्तविक प्रायिकता आव्यूह (probability matrix) है, $M$ स्वतंत्रता मॉडल (सभी उत्पाद मापों का सेट) है, $d$ एक दूरी मीट्रिक (distance metric) है, और $\varepsilon > 0$ एक पूर्व-निर्धारित सहनशीलता पैरामीटर (tolerance parameter) है।

लेखक नोट करते हैं कि जबकि पिछले तरीके मौजूद हैं (जैसे, हॉजकिन्स और लेहमैन, 1954; डायकोनिस और एफ्रोन, 1985; लियू और लिंडसे, 2009; वेलेक, 2010), वे अक्सर अर्ध-पैरामीट्रिक सहनशीलता क्षेत्रों या पूर्णतः निर्दिष्ट बहुपद वितरणों (multinomial distributions) के साथ निरंतरता के परीक्षणों पर निर्भर करते हैं। लेखक के पूर्व कार्य (ओस्ट्रोवस्की, 2018) में पहचानी गई एक विशिष्ट सीमा $d(p, M)$ के न्यूनतम मान की गणना के लिए संख्यात्मक अनुकूलन (numerical optimization) पर निर्भरता थी, जो बूटस्ट्रैप-आधारित परीक्षणों को गणनात्मक रूप से गहन (computationally intensive) बनाती है। इसके अतिरिक्त, स्वतंत्रता मॉडल के लिए एक निरंतर लघुतम (continuous minimizer) के अस्तित्व को माना गया था लेकिन सिद्ध नहीं किया गया था, जिससे एक सैद्धांतिक अंतराल उत्पन्न हुआ।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक ऐसा ढांचा प्रस्तावित करता है जो प्रायिकता आव्यूह $p$ के रूपांतरणों से प्राप्त दो विशिष्ट दूरी मीट्रिकों को पेश करके स्वतंत्रता मॉडल के लिए संख्यात्मक अनुकूलन से बचता है:

निरपेक्ष विचलन ( $d_a$ ): इसे रूपांतरण $h_a(p) = (p_{ij} - r_i c_j)$ के माध्यम से परिभाषित किया गया है, जहाँ $r$ और $c$ मार्जिनल प्रायिकता सदिश (marginal probability vectors) हैं। दूरी $d_a(p, M) = l(h_a(p), 0)$ है।
सापेक्ष विचलन ( $d_r$ ): इसे रूपांतरण $h_r(p) = (p_{ij} / r_i c_j)$ के माध्यम से परिभाषित किया गया है। दूरी $d_r(p, M) = l(h_r(p), 1)$ है।

यहाँ, $l$ एक अवकलनीय (differentiable) दूरी (विशेष रूप से सिमुलेशन में स्केल्ड यूक्लिडियन दूरी) का प्रतिनिधित्व करता है। ये मीट्रिक पुनरावृत्ति अनुकूलन (iterative optimization) के बिना स्वतंत्रता मॉडल तक न्यूनतम दूरी की सीधी गणना करने की अनुमति देते हैं।

शोध पत्र दो प्रकार के परीक्षण विकसित करता है:

अनंतस्पर्शी परीक्षण (Asymptotic Tests): परीक्षण सांख्यिकी को $T_*(p_n) = \sqrt{n}(d_*(p_n, M) - \varepsilon)$ के रूप में परिभाषित किया गया है। डेल्टा विधि (Delta method) का उपयोग करते हुए, लेखक इन सांख्यिकीओं के अनंतस्पर्शी गॉसियन वितरण (asymptotic Gaussian distribution) को व्युत्पन्न करते हैं। महत्वपूर्ण मानों (critical values) की गणना अनुमानित अनंतस्पर्शी प्रसरण $\sigma_*(p_n)$ का उपयोग करके की जाती है।
बूटस्ट्रैप परीक्षण (Bootstrap Tests): परिमित नमूना प्रदर्शन (finite sample performance) में सुधार के लिए, एक पैरामीट्रिक बूटस्ट्रैप दृष्टिकोण पेश किया गया है। एक प्रमुख नवाचार एक गणनात्मक रूप से व्यवहार्य सीमा बिंदु अनुमानक (boundary point estimator) ( $\tilde{p}_n$ $\tilde{p}_{n}$ ) का विकास है। चूंकि सीमा $\partial H_0$ $\partial H_{0}$ जटिल है और इसे पैरामीटराइज़ करना कठिन है, इसलिए लेखक एक यादृच्छिक (randomized) अनुमानक का प्रस्ताव करते हैं। इसमें शामिल है:
- "बाहरी" बिंदुओं $Q$ का एक सेट चुनना जहाँ $d_*(q, M) > \varepsilon$ हो।
- रैखिक संयोजन $c(p_n, q) = a_n p_n + (1-a_n)q$ का निर्माण करना ताकि मॉडल से दूरी $\varepsilon$ के बराबर हो।
- देखे गए डेटा $p_n$ से दूरी को न्यूनतम करने वाले संयोजन को $\tilde{p}_n$ के रूप में चुनना।
- महत्वपूर्ण मान $c(\alpha, \tilde{p}_n)$ का अनुमान लगाने के लिए $\tilde{p}_n$ पर आधारित मोंटे कार्लो सिमुलेशन का उपयोग करना।

प्रमुख योगदान

विश्लेषणात्मक सरलीकरण: शोध पत्र $d_a$ और $d_r$ का उपयोग करके स्वतंत्रता मॉडल तक न्यूनतम दूरी के लिए क्लोज्ड-फॉर्म अभिव्यक्तियाँ प्रदान करता है, जिससे पिछले सामान्य तरीकों के लिए आवश्यक संख्यात्मक अनुकूलन की आवश्यकता समाप्त हो जाती है।
कुशल सीमा अनुमान: सीमा बिंदु के लिए एक यादृच्छिक अनुमानक विकसित किया गया है, जो बूटस्ट्रैप परीक्षण को आकस्मिक तालिकाओं के लिए गणनात्मक रूप से व्यवहार्य बनाता है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि प्रस्तावित सीमा अनुमानक विशिष्ट शर्तों के तहत सुसंगत (consistent) है (यह लगभग हर जगह वास्तविक सीमा बिंदु की ओर अभिसरित होता है) और परीक्षण सांख्यिकीओं की अनंतस्पर्शी सामान्यता (asymptotic normality) स्थापित करता है।
कार्यान्वयन: परीक्षणों को R में लागू किया गया है और ऑनलाइन उपलब्ध कराया गया है।

परिणाम
प्रस्तावित परीक्षणों के प्रदर्शन का मूल्यांकन सिमुलेशन अध्ययनों के माध्यम से किया गया और वास्तविक दुनिया के डेटासेट पर लागू किया गया:

परिमित नमूना प्रदर्शन (Finite Sample Performance):
- शक्ति (Power): 90% शक्ति प्राप्त करने के लिए आवश्यक न्यूनतम सहनशीलता पैरामीटर $\varepsilon$ , नमूना आकार ( $n^{-1/2}$ ) के साथ घटता है और तालिका के आकार ( $k_1 + k_2$ ) के साथ बढ़ता है।
- टाइप I त्रुटि (Type I Error): पाया गया कि अनंतस्पर्शी परीक्षण छोटी तालिकाओं के लिए गैर-रूढ़िवादी (non-conservative) थे लेकिन बड़ी तालिकाओं के लिए अत्यधिक रूढ़िवादी (conservative) थे। इसके विपरीत, बूटस्ट्रैप परीक्षणों ने विभिन्न तालिका आकारों में नाममात्र स्तर ( $\alpha = 0.05$ ) के बहुत करीब अस्वीकृति प्रायिकताओं को बनाए रखा, हालांकि $d_r$ -आधारित बूटस्ट्रैप परीक्षण विशिष्ट सीमा क्षेत्रों (जहाँ मार्जिनल प्रायिकताएँ शून्य के करीब हैं) में एंटी-कंजर्वेटिव होने की प्रवृत्ति दिखाता है।
- टाइप II त्रुटि (Type II Error): $d_a$ -आधारित परीक्षणों की शक्ति विभिन्न बिंदुओं में अपेक्षाकृत स्थिर थी, जबकि $d_r$ -आधारित परीक्षणों ने उच्च परिवर्तनशीलता दिखाई।
वास्तविक डेटा अनुप्रयोग:
- निट्रेंडिपाइन थेरेपी (Nitrendipine Therapy): छोटे नमूना आकार ( $n=217$ ) के साथ, दोनों अनंतस्पर्शी और बूटस्ट्रैप परीक्षणों ने उपचार के परिणाम और लिंग के बीच अनुमानित स्वतंत्रता का सुझाव दिया।
- आंख और बालों का रंग: परीक्षणों ने बहुत बड़े $\varepsilon$ के लिए स्वतंत्रता को सही ढंग से खारिज कर दिया, जो इन चरों के बीच स्वतंत्रता की कमी की पुष्टि करता है।
- बच्चे और आय: बड़े नमूना आकार ( $n=25,263$ ) के बावजूद, "4+ बच्चे" श्रेणी में रिक्ति (sparsity) के कारण $d_r$ -आधारित परीक्षणों के लिए कम शक्ति देखी गई। $d_a$ -आधारित परीक्षणों ने अनुमानित स्वतंत्रता का सुझाव दिया लेकिन नोट किया कि यह सन्निकटन (approximation) सटीक नहीं था।

महत्व और दावे
शोध पत्र का दावा है कि यह अनुमानित स्वतंत्रता के परीक्षण के लिए एक सांख्यिकीय रूप से कुशल और गणनात्मक रूप से व्यवहार्य विधि प्रदान करता है। संख्यात्मक अनुकूलन और अनसुलझे अनुमानों (जो ओस्ट्रोवस्की, 2018 में आवश्यक थे) से बचकर, प्रस्तावित विधि अधिक मजबूत सैद्धांतिक आधार प्रदान करती है। लेखक इस बात पर जोर देते हैं कि बूटस्ट्रैप परीक्षण, विशेष रूप से प्रस्तावित सीमा अनुमानक का उपयोग करते हुए, अनंतस्पर्शी परीक्षणों की तुलना में बेहतर परिमित नमूना प्रदर्शन (विशेष रूप से बड़ी आकस्मिक तालिकाओं के लिए) प्रदान करते हैं। इस कार्य को सांख्यिकीय अभ्यास के लिए एक व्यावहारिक सुधार के रूप में प्रस्तुत किया गया है, और अनुप्रयोग को सुगम बनाने के लिए उपकरण ऑनलाइन उपलब्ध कराए गए हैं।

इसी तरह के और पेपर