📊 statistics

Robust Dependence Detection in Official Statistics: A Data Based Methodology

यह शोध पत्र आधिकारिक सांख्यिकी के लिए एक सुदृढ़, चिह्न-सहप्रसरण-आधारित (sign-covariance-based) निर्भरता माप के रूप में बर्गस्मा-डासियोस के τ∗ का प्रस्ताव करता है, जो सैद्धांतिक विश्लेषण, EU-SILC डेटा अनुप्रयोगों और सिमुलेशन अध्ययनों के माध्यम से यह प्रदर्शित करता है कि यह गैर-रेखीय संबंधों का पता लगाने और डेटा संदूषण को संभालने में पारंपरिक सहसंबंध मेट्रिक्स से बेहतर प्रदर्शन करता है।

मूल लेखक: STHITADHI DAS

प्रकाशित 2026-07-17

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: STHITADHI DAS

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "क्या दुनिया में ये दो चीजें वास्तव में एक-दूसरे को प्रभावित करती हैं?" आधिकारिक सांख्यिकी (official statistics) की दुनिया में—जिसका उपयोग सरकारें कानून बनाने, स्कूल बनाने और अर्थव्यवस्थाओं को ठीक करने के लिए करती हैं—यह प्रश्न ही सब कुछ है। लेकिन यहाँ पेंच यह है: सुराग हमेशा साफ-सुथरे और व्यवस्थित नहीं होते। कभी-कभी, दो चीजों के बीच का संबंध, जैसे कि एक परिवार कितनी कमाई करता है और वे कितने शिक्षित हैं, एक सीधी रेखा नहीं होता। यह एक वक्र (curve), एक लूप, या एक ऐसा पैटर्न हो सकता है जो केवल चरम सीमाओं (extremes) को देखने पर ही दिखाई देता है।

लंबे समय तक, सांख्यिकीविदों ने इन संबंधों को खोजने के लिए "कोरोलेशन" (correlation) नामक एक "आवर्धक लेंस" (magnifying glass) का उपयोग किया। इस पुराने उपकरण को एक ऐसे पैमाने की तरह समझें जो केवल सीधी रेखाओं को मापता है। यदि दो चीजें पूरी तरह से एक साथ ऊपर जाती हैं, तो पैमाना कहता है, "हाँ, वे जुड़ी हुई हैं!" लेकिन यदि संबंध एक वृत्त, एक लहर, या एक टेढ़ा-मेढ़ा ज़िगज़ैग है, तो पैमाना भ्रमित हो जाता है और कहता है, "यहाँ कुछ भी नहीं है," भले ही एक संबंध उसकी आँखों के सामने छिपा हुआ हो। इससे भी बुरा यह है कि यदि डेटा में कुछ अजीब, शोर वाले आउटलेयर्स (जैसे कि औसत श्रमिकों के सर्वेक्षण में गलती से शामिल हुआ कोई अरबपति) हों, तो पैमाना पूरी तरह से टूट सकता है। यह शोध पत्र एक नए, सुपर-पावर्ड जासूसी उपकरण के बारे में है जिसे किसी भी तरह के संबंध को खोजने के लिए डिज़ाइन किया गया है, चाहे वह कितना भी अजीब, बिखरा हुआ या छिपा हुआ क्यों न हो, ताकि यह सुनिश्चित किया जा सके कि हमारे समाज का मार्गदर्शन करने वाले अंक वास्तव में सच बोल रहे हैं।

शोध पत्र का मुख्य विचार: बिखरे हुए डेटा के लिए एक नया जासूस

"Robust Dependence Detection in Official Statistics" शीर्षक वाला यह शोध पत्र Bergsma–Dassios's τ∗ (उच्चारण "टाऊ-स्टार") नामक एक नई विधि पेश करता है। लेखक, स्थिधादि दास (Sthitadhi Das), तर्क देते हैं कि यह उपकरण आधिकारिक सांख्यिकी के लिए एक गेम-चेंजर है क्योंकि यह उन संबंधों को पकड़ सकता है जिन्हें पुराने, मानक उपकरण छोड़ देते हैं।

यह समझने के लिए कि यह क्यों महत्वपूर्ण है, कल्पना करें कि आप यह पता लगाने की कोशिश कर रहे हैं कि किसी व्यक्ति की शिक्षा की मात्रा उनकी आय से जुड़ी है या नहीं।

पुराना तरीका (Kendall's τ और Spearman's ρ): ये एक पहाड़ी पर सीधे रास्ते की तरह ऊपर देखने जैसे हैं। यदि अधिक शिक्षा का अर्थ हमेशा अधिक पैसा होता है, तो वे बेहतरीन काम करते हैं। लेकिन यदि संबंध एक लूप (शायद एक विशिष्ट क्षेत्र में बहुत अधिक शिक्षा कम वेतन की ओर ले जाती है, या आय बढ़ती है और फिर गिर जाती है) है, तो ये उपकरण खो जाते हैं। वे तब भी संघर्ष करते हैं जब डेटा "दूषित" (contaminated) हो या उसमें अजीब त्रुटियां या आउटलेयर्स हों।
नया तरीका (τ∗): यह उपकरण एक ड्रोन की तरह है जो पूरे परिदृश्य के ऊपर उड़ सकता है। यह केवल सीधी रेखाओं को नहीं देखता; यह किसी भी पैटर्न को देखता है। यह यह देखने के लिए एक बार में चार डेटा बिंदुओं के समूहों की जाँच करता है कि क्या वे एक संबंध दिखाने के लिए "साजिश" कर रहे हैं। शोध पत्र सिद्ध करता है कि τ∗ एक "संगत" (consistent) जासूस है: यदि दो चरों (variables) के बीच कोई भी संबंध है, तो τ∗ उसे खोज लेगा। यदि यह "शून्य" कहता है, तो चर वास्तव में स्वतंत्र हैं।

इस शोध पत्र ने वास्तव में क्या पाया

लेखक ने केवल इस नए उपकरण के बारे में बात नहीं की; उन्होंने इसे क्लासिक्स (जैसे कि Kendall's τ, Spearman's ρ और Hoeffding's D) और अन्य आधुनिक भारी खिलाड़ियों (जैसे कि Distance Correlation और HSIC) के मुकाबले परखने के लिए कठोर परीक्षणों की एक श्रृंखला से गुजारा।

1. सिमुलेशन लैब: उपकरणों का परीक्षण
शोधकर्ताओं ने विभिन्न वास्तविक दुनिया के परिदृश्यों का अनुकरण करने के लिए 1,000 नकली डेटासेट बनाए। उन्होंने उपकरणों का परीक्षण इन पर किया:

रैखिक संबंध (Linear relationships): सीधी रेखाएं (आसान)।
गैर-एकदिष्ट संबंध (Non-monotonic relationships): लहरदार या गोलाकार पैटर्न (कठिन)।
सममित संबंध (Symmetric relationships): जैसे कि एक "V" आकार जहाँ आय मध्य से दूर जाने पर बढ़ती है (पुराने उपकरणों के लिए बहुत कठिन)।
दूषित डेटा (Contaminated data): वास्तविक दुनिया की त्रुटियों का अनुकरण करने के लिए 10% "शोर" या आउटलेयर्स वाले डेटासेट।

परिणाम:

पुराने उपकरण: "रैखिक" परीक्षणों में, Kendall's τ और Spearman's ρ बेहतरीन थे, जिन्होंने लगभग 98% पावर स्कोर किया (अर्थात उन्होंने 100 में से 98 बार संबंध खोजा)। लेकिन जब डेटा लहरदार या गोलाकार हो गया, तो उनका प्रदर्शन गिर गया। एक साइन-वेव पैटर्न के लिए, उनकी पावर गिरकर लगभग 45% हो गई। एक "V" आकार के लिए, यह गिरकर लगभग 22% रह गई। वे मूल रूप से संबंध को पहचानने में विफल रहे।
Hoeffding's D: यह उपकरण असंगत था। यह अक्सर संबंध खोजने में विफल रहा, दूषित डेटा में इसका स्कोर 48% जितना कम रहा।
नया सितारा (τ∗): यह उपकरण MVP (सबसे मूल्यवान खिलाड़ी) था। इसने लहरदार पैटर्न पर 95.3% और "V" आकारों पर 93.7% स्कोर किया। यहाँ तक कि जब 10% डेटा कचरा (आउटलेयर्स) था, तब भी इसने अपना संयम बनाए रखा और 90.4% स्कोर किया।
अन्य आधुनिक उपकरण: Distance Correlation और HSIC ने भी बहुत अच्छा प्रदर्शन किया, अक्सर 90 के दशक में स्कोर किया, लेकिन ऑर्डिनल डेटा (क्रमबद्ध डेटा, जैसे "कम, मध्यम, उच्च") को संभालने में τ∗ ने थोड़ी बढ़त बनाई और आउटलेयर्स के प्रति मजबूत बना रहा।

2. वास्तविक दुनिया का जासूसी कार्य: EU-SILC डेटा
लेखक ने इन उपकरणों को वास्तविक दुनिया में ले जाने के लिए जर्मनी, इटली और पोलैंड के लिए EU Statistics on Income and Living Conditions (EU-SILC) के डेटा का उपयोग किया। उन्होंने शिक्षा और आय के बीच के संबंध को देखा।

जर्मनी और इटली में: नए उपकरणों (τ∗, Distance Correlation, और HSIC) ने पुराने उपकरणों की तुलना में अधिक मजबूत, अधिक महत्वपूर्ण संबंध पाया। उदाहरण के लिए, जर्मनी में, τ∗ ने 0.151 का मान और 0.001 का p-value (बहुत महत्वपूर्ण) दिया, जबकि पुराना Kendall's τ कम 0.098 था।
पोलैंड में: संबंध कमजोर था। यहाँ, पुराने उपकरणों (Kendall और Spearman) ने कहा कि लिंक सांख्यिकीय रूप से महत्वपूर्ण नहीं था (p-values क्रमशः 0.210 और 0.240)। हालाँकि, आधुनिक उपकरणों (τ∗, Distance Correlation, और HSIC) ने एक धुंधले संकेत को पकड़ने में सफलता पाई, जिसमें p-values घटकर क्रमशः 0.078, 0.053, और 0.045 हो गए। यह सुझाव देता है कि τ∗ उस संबंध की "फुसफुसाहट" को पकड़ सकता है जिसे सुनने के लिए पुराने उपकरण बहुत बहरे हैं।

उन्होंने विश्व बैंक (GDP बनाम जीवन प्रत्याशा) और एडल्ट इनकम डेटासेट (शिक्षा बनाम आय वर्ग) के डेटा का भी परीक्षण किया। हर मामले में, τ∗, Distance Correlation, और HSIC ने पारंपरिक तरीकों की तुलना में संबंध के अधिक मजबूत और विश्वसनीय प्रमाण लगातार खोजे, विशेष रूप से जब डेटा मिश्रित (कुछ संख्याएँ, कुछ श्रेणियाँ) या बिखरा हुआ था।

यह सभी के लिए क्यों मायने रखता है

शोध पत्र निष्कर्ष निकालता है कि जबकि पुराने उपकरण अभी भी सरल, सीधी-रेखा वाले संबंधों के लिए उपयोगी हैं, वे आधुनिक समाज की जटिल, गैर-रेखीय और बिखरी हुई वास्तविकताओं के प्रति खतरनाक रूप से अंधे हैं।

यदि कोई सरकार पुराने उपकरणों का उपयोग करती है, तो वे एक महत्वपूर्ण नीतिगत अंतर्दृष्टि को मिस कर सकते हैं क्योंकि डेटा सीधी-रेखा वाले पैमाने के लिए "रैंडम" दिखता है। τ∗ को अपनाकर, आधिकारिक सांख्यिकीविद निम्नलिखित कार्य कर सकते हैं:

डेटा को बेहतर ढंग से मान्य करना: जनगणना डेटा में छिपी हुई त्रुटियों या अजीब पैटर्न को पहचानना।
छिपी हुई नीतियों को खोजना: यह पता लगाना कि शिक्षा वास्तव में विभिन्न क्षेत्रों में आय को कैसे प्रभावित करती है, भले ही संबंध एक सीधी रेखा न हो।
बिखरे हुए डेटा को संभालना: वास्तविक दुनिया के सर्वेक्षणों के साथ काम करना जिनमें आउटलेयर्स, गायब संख्याएँ, या मिश्रित प्रकार के उत्तर (जैसे कि "हाई स्कूल," "कॉलेज," "पीएचडी") शामिल हैं।

लेखक का सुझाव है कि τ∗ एक "सिद्धांत आधारित और गणनात्मक रूप से व्यवहार्य" उपकरण है जिसे आधिकारिक सांख्यिकी के मानक टूलकिट में जोड़ा जाना चाहिए। यह कोई जादू की छड़ी नहीं है जो सब कुछ हल कर देती है, लेकिन यह एक बहुत अधिक तेज, अधिक विश्वसनीय आवर्धक लेंस है—एक ऐसी दुनिया के लिए जो शायद ही कभी सीधी रेखा होती है।

तकनीकी सारांश: आधिकारिक सांख्यिकी में सुदृढ़ निर्भरता का पता लगाना

समस्या विवरण
आधिकारिक सांख्यिकी के क्षेत्र में, सामाजिक-आर्थिक संकेतकों के बीच निर्भरता का सटीक पता लगाना और उनका परिमाण निर्धारित करना नीति निर्माण, मॉडल सत्यापन और डेटा गुणवत्ता नियंत्रण के लिए मौलिक है। पारंपरिक माप, जैसे कि पियर्सन का सहसंबंध (Pearson's correlation), रैखिक जुड़ावों तक सीमित हैं और गैर-सामान्यता (non-normality) के प्रति मजबूती की कमी रखते हैं। जबकि केंडल का $\tau$ (Kendall's $\tau$ ) और स्पीयरमैन का $\rho$ (Spearman's $\rho$ ) जैसे रैंक-आधारित विकल्प वितरण-मुक्त गुण प्रदान करते हैं, वे सममित गैर-एकदिष्ट (symmetric non-monotonic) संबंधों (जैसे कि द्विघात या ज्यावक्रीय पैटर्न) का पता लगाने में विफल रहते हैं, जो जटिल सामाजिक-आर्थिक डेटा में अक्सर पाए जाते हैं। इसके अतिरिक्त, आधिकारिक डेटासेट अक्सर संदूषण (contamination), मापन त्रुटियों और भारी-पूंछ वाले वितरणों (heavy-tailed distributions) से ग्रस्त होते हैं, जिसके लिए ऐसे निर्भरता मापों की आवश्यकता होती है जो गैर-पैरामीट्रिक और सुदृढ़ (robust) दोनों हों। मौजूदा माप जैसे कि होफडिंग का $D$ (Hoeffding's $D$ ) असंगत हैं, क्योंकि वे निर्भरता के बावजूद शून्य हो सकते हैं।

कार्यप्रणाली
यह शोध पत्र एक डेटा-आधारित कार्यप्रणाली प्रस्तावित करता है जो बर्ग्समा-डासियोस के $\tau^*$ (Bergsma–Dassios's $\tau^*$ ) पर केंद्रित है, जो कि एक साइन-कोवेरिएंस-आधारित निर्भरता माप है। यह अध्ययन प्रशासनिक और सर्वेक्षण डेटा पर $\tau^*$ को लागू करने के लिए एक सैद्धांतिक ढांचा स्थापित करता है, और इसकी तुलना शास्त्रीय और आधुनिक गैर-पैरामीट्रिक मापों के समूह से करता है:

शास्त्रीय: केंडल का $\tau$ , स्पीयरमैन का $\rho$ , और होफडिंग का $D$ ।
आधुनिक सुसंगत माप: ज़ेकेली और रिज़ो का डिस्टेंस कोरिलेशन (dCor), हिल्बर्ट-श्मिट स्वतंत्रता मानदंड (HSIC), और ब्लॉमक्विस्ट का $\beta$ (Blomqvist's $\beta$ )।

कार्यप्रणाली में शामिल हैं:

सैद्धांतिक समीक्षा: अनिश्चितता (asymptotic properties), सुसंगतता (किसी भी प्रकार की निर्भरता का पता लगाने की क्षमता), और सुदृढ़ता विशेषताओं का विश्लेषण।
सिमुलेशन अध्ययन: पांच निर्भरता संरचनाओं (रैखिक, गैर-एकदिष्ट, सममित, स्वतंत्रता, और संदूषित मॉडल) के तहत 1,000 डेटासेट उत्पन्न किए गए, जिनका नमूना आकार $n=200$ था। क्रमपरिवर्तन-आधारित अनुमान (permutation-based inference) का उपयोग करके $\alpha = 0.05$ पर अनुभवजन्य शक्ति (empirical power) और टाइप I त्रुटि दरों का आकलन किया गया।
वास्तविक दुनिया का अनुप्रयोग: तीन विशिष्ट डेटासेट पर मापों को लागू करना:
- EU-SILC (2022): जर्मनी, इटली और पोलैंड में शिक्षा (क्रमानुगत/ordinal) और घरेलू आय (सतत/continuous) के बीच संबंध का विश्लेषण।
- वर्ल्ड बैंक WDI (2021): 100 देशों में मैक्रो-इकोनॉमिक संकेतकों (जीडीपी, जीवन प्रत्याशा, शहरी जनसंख्या) का परीक्षण।
- UCI एडल्ट सेंसस इनकम: मिश्रित डेटा प्रकारों (क्रमानुगत शिक्षा, श्रेणीबद्ध कार्यवर्ग, बाइनरी आय) का परीक्षण।

प्रमुख परिणाम

सिमुलेशन प्रदर्शन:
- $\tau^*$ : सभी परिदृश्यों में, जिसमें गैर-एकदिष्ट और संदूषित सेटिंग्स शामिल हैं, मजबूत और सुसंगत शक्ति प्रदर्शित की। इसने क्रमानुगत जुड़ाव परिदृश्यों में उच्चतम शक्ति (लगभग 0.95) प्राप्त की और 10% डेटा संदूषण के तहत उच्च शक्ति (90.4%) बनाए रखी।
- dCor और HSIC: गैर-रैखिक और सममित सेटिंग्स में उत्कृष्ट शक्ति दिखाई, जो अक्सर शास्त्रीय रैंक मापों से बेहतर प्रदर्शन करती है। हालांकि, उनमें आउटलेर्स के प्रति मध्यम संवेदनशीलता देखी गई, जिससे संदूषित मॉडलों में उनकी शक्ति $\tau^*$ की तुलना में अधिक तेजी से गिरी।
- केंडल का $\tau$ और स्पीयरमैन का $\rho$ : रैखिक और एकदिष्ट सेटिंग्स में अच्छा प्रदर्शन किया लेकिन गैर-एकदिष्ट और सममित परिदृश्यों में महत्वपूर्ण शक्ति हानि का सामना किया (जैसे कि सममित निर्भरता में शक्ति गिरकर ~22-45% रह जाना)।
- होफडिंग का $D$ : अधिकांश परिदृश्यों में, विशेष रूपकर संदूषण और सममित निर्भरता के तहत, लगातार सबसे कम शक्ति प्रदर्शित की, जो इसकी व्यावहारिक सीमाओं की पुष्टि करता है।
- टाइप I त्रुटि: स्वतंत्रता के तहत सभी विधियों ने नाममात्र 0.05 स्तर के करीब अस्वीकृति दर बनाए रखी।
वास्तविक डेटा निष्कर्ष:
- EU-SILC डेटा में, $\tau^*$ , dCor, और HSIC ने जर्मनी और इटली में शिक्षा और आय के बीच सांख्यिकीय रूप से महत्वपूर्ण निर्भरता का पता लगाया, जहाँ शास्त्रीय मापों ने कमजोर संकेत दिखाए। पोलैंड में, जहाँ निर्भरता कमजोर थी, केवल $\tau^*$ , dCor, और HSIC ही आंशिक महत्व (marginal significance) के करीब पहुँचे।
- एडल्ट इनकम डेटासेट में, $\tau^*$ , dCor, और HSIC ने कार्यवर्ग और आय वर्ग के बीच शास्त्रीय रैंक सहसंबंधों की तुलना में अधिक सूक्ष्म निर्भरता संरचनाओं की पहचान की, जो केवल सीमावर्ती महत्व दर्शा रहे थे।
- होफडिंग का $D$ लगातार कम अनुमान प्रदान करता रहा और अक्सर सभी डेटासेट में सांख्यिकीय महत्व तक पहुँचने में विफल रहा।

प्रमुख योगदान

$\tau^*$ का समर्थन: यह शोध पत्र बर्ग्समा-डासियोस के $\tau^*$ को आधिकारिक सांख्यिकी, विशेष रूप से क्रमानुगत और मिश्रित-प्रकार के डेटा के लिए एक सुदृढ़, सुसंगत और गणनात्मक रूप से व्यवहार्य विकल्प के रूप में प्रस्तुत करता है।
तुलनात्मक ढांचा: यह वास्तविक स्थितियों (शोर, गैर-रैखिकता, आउटलेर्स) के तहत छह निर्भरता मापों का एक कठोर अनुभवजन्य तुलनात्मक अध्ययन प्रदान करता है जो राष्ट्रीय सांख्यिकीय प्रणालियों के लिए प्रासंगिक है।
गणना की व्यवहार्यता: अध्ययन नोट करता है कि हालिया एल्गोरिदम संबंधी प्रगति ने $\tau^*$ की गणनात्मक जटिलता को $O(n^4)$ से घटाकर $O(n^2 \log n)$ कर दिया है, जिससे यह बड़े पैमाने के सर्वेक्षण डेटाबेस के लिए व्यावहारिक बन गया है।
व्यावहारिक दिशानिर्देश: लेखक चिकित्सकों के लिए विशिष्ट सिफारिशें देते हैं: एकदिष्ट रुझानों के लिए रैंक-आधारित मापों का उपयोग करें, लेकिन शोर वाले आधिकारिक डेटा में सामान्य, गैर-रैखिक, या टेल डिपेंडेंसी का पता लगाने के लिए $\tau^*$ , dCor, या HSIC का उपयोग करें।

महत्व और दावे
शोध पत्र का दावा है कि $\tau^*$ राष्ट्रीय सांख्यिकीय प्रणालियों में सामान्य, उच्च-आयामी, मिश्रित-प्रकार के डेटा वातावरण में निर्भरता का पता लगाने के लिए एक "सिद्धांत-आधारित और गणनात्मक रूप से व्यवहार्य उपकरण" प्रदान करता है। यह तर्क देता है कि जबकि शास्त्रीय रैंक-आधारित माप एकदिष्ट संबंधों के लिए उपयोगी बने हुए हैं, गैर-रैखिकता और डेटा संदूषण के सामने उनकी सीमाएं स्पष्ट हो जाती हैं।

लेखक निष्कर्ष निकालते हैं कि आधिकारिक सांख्यिकी वर्कफ़्लो में $\tau^*$ , dCor, और HSIC को एकीकृत करने से डेटा सत्यापन, लघु क्षेत्र अनुमान (small area estimation) डायग्नोस्टिक्स और नीति संकेतकों के गैर-पैरामीट्रिक मूल्यांकन को काफी बढ़ाया जा सकता है। अध्ययन यह दावा नहीं करता कि कोई एक एकल माप सभी परिदृश्यों में हावी है, बल्कि इस बात पर जोर देता है कि माप का चयन डेटा-संचालित होना चाहिए, जो निर्भरता की अपेक्षित प्रकृति, डेटा की गुणवत्ता और विश्लेषण के विशिष्ट लक्ष्यों द्वारा निर्देशित हो। इन आधुनिक मापों को अपनाना आधिकारिक सांख्यिकीय डेटासेट की बढ़ती जटिलता और विषमता को संबोधित करने के लिए एक आवश्यक कदम के रूप में प्रस्तुत किया गया है।

शोध पत्र का मुख्य विचार: बिखरे हुए डेटा के लिए एक नया जासूस

इस शोध पत्र ने वास्तव में क्या पाया

यह सभी के लिए क्यों मायने रखता है

इसी तरह के और पेपर