📊 statistics

Tighter confidence intervals for quantiles of heterogeneous data

यह शोध पत्र डेटा विषमता (data heterogeneity) के तहत नमूना क्वांटाइल्स (sample quantiles) के न्यून साहिक प्रसरण (reduced asymptotic variance) के लिए एक नवीन, सुसंगत अनुमानक प्रस्तावित करता है, जो कि मानक i.i.d. मान्यताओं से प्राप्त अंतराल की तुलना में काफी छोटे और साहिक रूप से सही विश्वास अंतराल (asymptotically correct confidence intervals) के निर्माण को सक्षम बनाता है।

मूल लेखक: John H. J. Einmahl, Yi He

प्रकाशित 2026-01-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: John H. J. Einmahl, Yi He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप भीड़ की "मध्य ऊंचाई" (middle height) का अनुमान लगाने की कोशिश कर रहे हैं। सांख्यिकी (statistics) की दुनिया में, इसे एक क्वांटाइल (quantile) (विशेष रूप से, मीडियन या मध्यिका) खोजना कहा जाता है।

आमतौर पर, सांख्यिकीविद यह मान लेते हैं कि भीड़ में हर व्यक्ति बिल्कुल एक ही प्रकार का है—जैसे कि समान जुड़वा बच्चों का एक समूह। यदि आप उन्हें मापते हैं, तो आपको अनिश्चितता का एक निश्चित स्तर प्राप्त होता है, और आप अपने अनुमान के चारों ओर एक "सुरक्षा जाल" (confidence interval) खींचते हैं ताकि यह कहा जा सके कि "हमें 95% विश्वास है कि वास्तविक मध्य ऊंचाई इस सीमा के भीतर कहीं है।"

समस्या: "समान जुड़वा बच्चों" का अनुमान गलत है
वास्तविक दुनिया में, लोग समान जुड़वा बच्चे नहीं होते। एक ही समूह में बास्केटबॉल खिलाड़ी, जॉकी और बच्चे सभी शामिल हो सकते हैं। इसे विषम डेटा (heterogeneous data) कहा जाता है।

यह शोध पत्र एक चतुर तथ्य की ओर संकेत करता है: जब आप बहुत अलग-अलग समूहों को एक साथ मिलाते हैं, तो "मध्य" के बारे में आपका अनुमान वास्तव में उतना ही सटीक हो जाता है जितना कि तब होता जब सभी समान होते। इसे इस तरह सोचें: यदि आप छह फुट के समान पुरुषों से भरी एक कमरा भर लोगों की औसत ऊंचाई का अनुमान लगा रहे हैं, तो माप में एक छोटा सा बदलाव भी आपको भटका सकता। लेकिन यदि आपके पास 50 लोग हैं जो सभी 6 फुट लंबे हैं और 50 लोग हैं जो सभी 4 फुट लंबे हैं, तो "मध्य" बहुत मजबूती से 5 फुट पर लॉक हो जाता है। अत्यधिक अंतर वास्तव में एक-दूसरे को संतुलित (cancel out) कर देते हैं, जिससे मध्य बहुत स्थिर हो जाता है।

हालाँकि, लंबे समय तक सांख्यिकीविदों के पास इस अतिरिक्त स्थिरता को मापने का कोई उपकरण नहीं था। उन्हें "समान जुड़वा बच्चों" वाले सुरक्षा जाल का उपयोग करने के लिए मजबूर किया गया, जो बहुत अधिक विस्तृत और रूढ़िवादी (conservative) था। यह एक छोटी, विशिष्ट मछली को पकड़ने के लिए एक विशाल मछली पकड़ने वाले जाल का उपयोग करने जैसा था क्योंकि आप यह नहीं जानते थे कि एक छोटा, तंग जाल कैसे बनाया जाए।

समाधान: एक नई "समूह" रणनीति
लेखक, आइन्माहल और हे (Einmahl and He), इन सुरक्षा जालों की गणना करने का एक नया तरीका प्रस्तावित करते हैं। उनकी विधि एक सरल विचार पर आधारित है: समूहीकरण (Grouping)।

कल्पना कीजिए कि आप हर किसी को व्यक्तिगत रूप से नहीं माप सकते, लेकिन आप जानते हैं कि भीड़ छोटी, विशिष्ट टीमों से बनी है (उदाहरण के लिए, टीम A सभी बास्केटबॉल खिलाड़ी हैं, टीम B सभी जॉकी हैं)।

पुराना तरीका: सभी को एक बड़े ढेर में डाल दें और मध्य का अनुमान लगाएं। आपका सुरक्षा जाल बहुत बड़ा है क्योंकि आप मानते हैं कि हर कोई अराजक, अप्रत्याशित तरीके से भिन्न है।
नया तरीका: टीमों को देखें। टीम A के भीतर, हर कोई समान है। टीम B के भीतर, हर कोई समान है। लेखकों ने एक गणितीय सूत्र विकसित किया जो इन टीमों के भीतर लोगों के जोड़ों (pairs) को देखता है ताकि यह पता लगाया जा सके कि "मध्य" वास्तव में कितना हिल सकता है।

वे इसे एक "नवल, सुसंगत अनुमानक" (novel, consistent estimator) कहते हैं। सरल शब्दों में, यह एक नया कैलकुलेटर है जो कहता है: "चूंकि हम जानते हैं कि ये लोग विशिष्ट समूहों से आते हैं, इसलिए हम सुरक्षा जाल को काफी छोटा कर सकते हैं।"

उपमा: रस्सी पर चलने वाला (The Tightrope Walker)

i.i.d. (पुराना) तरीका: एक धुंधले जंगल में रस्सी पर चलने वाले (tightrope walker) की कल्पना करें। क्योंकि वे कुछ देख नहीं पा रहे हैं, उन्हें यह मानकर चलना पड़ता है कि हवा किसी भी दिशा से और किसी भी तीव्रता से चल सकती है। वे बहुत धीरे और सावधानी से चलते हैं, एक बहुत ही चौड़े रास्ते के केंद्र में रहते हैं।
विषम (नया) तरीका: अब, कल्पना कीजिए कि रस्सी पर चलने वाला हवा के पैटर्न को जानता है: "हवा रास्ते के बाईं ओर जोर से चलती है, लेकिन दाईं ओर शांत रहती है।" क्योंकि वे इन विशिष्ट पैटर्न (समूहों) को समझते हैं, वे आत्मविश्वास के साथ पथ के किनारे के बहुत करीब चल सकते हैं। उन्हें अब उस चौड़े, धुंधले पथ की आवश्यकता नहीं है। उनका पथ संकरा (एक तंग कॉन्फिडेंस इंटरवल) है, लेकिन वे उतने ही सुरक्षित हैं।

शोध पत्र ने क्या पाया
लेखकों ने इस पद्धति का परीक्षण करने के लिए हजारों कंप्यूटर सिमुलेशन चलाए। उन्होंने अलग-अलग स्तर के "मिश्रण" (कुछ में कुछ ही समूह थे, दूसरों में कई) वाले नकली भीड़ बनाए।

परिणाम 1: उनके नए सुरक्षा जाल पुराने वाले की तुलना में काफी छोटे (तंग) थे।
परिणाम 2: छोटे होने के बावजूद, वे सटीक थे। उन्होंने लगभग 95% बार वास्तविक "मध्य" को पकड़ा, जैसा कि उन्होंने वादा किया था।

मुख्य निष्कर्ष
यह शोध पत्र सांख्यिकीविदों को एक नया उपकरण देता है। यदि आपके पास ऐसा डेटा है जहाँ अवलोकन विभिन्न स्रोतों या समूहों से आते हैं (विषम डेटा), तो आपको एक अस्पष्ट, विस्तृत अनुमान पर समझौता करने की आवश्यकता नहीं है। समूह संरचना को पहचानकर, आप डेटा के मध्य के बारे में बहुत अधिक स्पष्ट, अधिक सटीक भविष्यवाणी कर सकते हैं, बिना सटीकता खोए।

नोट: यह शोध पत्र पूरी तरह से इस पद्धति के गणितीय सिद्धांत और कंप्यूटर सिमुलेशन पर केंद्रित है। यह चिकित्सा परीक्षणों या वित्तीय बाजारों जैसे विशिष्ट वास्तविक दुनिया के अनुप्रयोगों पर चर्चा नहीं करता है, न ही यह वर्णित सांख्यिकीय ढांचे से परे भविष्य के उपयोगों की भविष्यवाणी करता है।

तकनीकी सारांश: विषम डेटा के क्वांटाइल्स (Quantiles) के लिए संकीर्ण विश्वास अंतराल (Confidence Intervals)

समस्या विवरण

मानक नॉनपैरामेट्रिक क्वांटाइल अनुमान (nonparametric quantile inference) आमतौर पर स्वतंत्र और समान रूप से वितरित (i.i.d.) डेटा की धारणा पर आधारित होता है। हालांकि, कई आधुनिक अनुप्रयोगों में, अवलोकन स्वतंत्र होते हैं लेकिन विभिन्न वितरणों (विषम डेटा) से आते हैं। जबकि शास्त्रीय परिणाम (जैसे शोरैक, 1973; वैन ज़ुइलेन, 1976) यह स्थापित करते हैं कि एम्पिरिकल डिस्ट्रीब्यूशन फंक्शन का एसिम्प्टोटिक वेरिएंस (asymptotic variance) i.i.d. सैंपलिंग के तहत अधिकतम होता है और विषमता (heterogeneity) के तहत इसे काफी कम किया जा सकता है, इस सैद्धांतिक लाभ का व्यावहारिक रूप से उपयोग नहीं किया गया है।

वर्तमान में, सामान्य विषम सेटिंग्स के लिए इस वेरिएंस रिडक्शन (variance reduction) को मापने के लिए कोई भी एसिम्प्टोटिक रूप से सही नॉनपैरामेट्रिक विधि मौजूद नहीं है। फलस्वरूप, सांख्यिकीविदों को या तो:

i.i.d.-आधारित विश्वास अंतरालों (confidence intervals) का उपयोग करने के लिए मजबूर होना पड़ता है, जो विषमता की उपस्थिति में अत्यधिक रूढ़िवादी (बहुत चौड़े) होते हैं।
उन अवास्तविक परिदृश्यों तक विश्लेषण को सीमित करना पड़ता है जहाँ विषमता नगण्य है, जो प्रभावी रूप से i.i.d. सीमा की ओर वापस ले जाता है।

इस कार्य में विशिष्ट इन्फेरेंशियल लक्ष्य औसत वितरण $\bar{F}_n = n^{-1}\sum_{i=1}^n F_{n,i}$ के संगत क्वांटाइल $\bar{Q}_n(\tau)$ है, जहाँ $X_i \sim F_{n,i}$ स्वतंत्र हैं लेकिन समान रूप से वितरित नहीं हैं।

कार्यप्रणाली (Methodology)

ढांचा और धारणाएं (Framework and Assumptions)

लेखक एक त्रिकोणीय सरणी (triangular array) के स्वतंत्र यूनिवेरिएट डेटा $X_i \sim F_{n,i}$ पर विचार करते हैं जहाँ $1 \le i \le n$ । डेटा को $g$ समूहों में विभाजित किया गया है, जिन्हें इंडेक्स सेट $I_{n,j}$ द्वारा दर्शाया गया है, जिससे एक ही समूह के भीतर के अवलोकन एक सामान्य वितरण साझा करते हैं, हालांकि समूहों के बीच वितरण मनमाने ढंग से भिन्न हो सकते हैं।

धारणा 1: सभी $n \ge 2$ के लिए, इंडेक्स का एक विभाजन मौजूद है ताकि यदि $i, i'$ एक ही समूह में हों तो $F_i = F_{i'}$ हो, और प्रत्येक समूह में कम से कम दो इंडेक्स शामिल हैं।
धारणा 2: एक लिंडबर्ग-प्रकार (Lindeberg-type) की स्थिति लागू होती है: जैसे-जैसे $n \to \infty$ , $n V_n(\tau) \to \infty$ होता है, जहाँ $V_n(\tau)$ एसिम्प्टोटिक वेरिएंस है।

वेरिएंस रिडक्शन और अनुमान (Variance Reduction and Estimation)

लक्ष्य क्वांटाइल पर एम्पिरिकल डिस्ट्रीब्यूशन फंक्शन का अनुमानित वेरिएंस इस प्रकार दिया गया है:
$V_n(\tau) = n^{-1} \sum_{i=1}^n F_i(\bar{Q}_n(\tau)) [1 - F_i(\bar{Q}_n(\tau))]$
i.i.d. स्थितियों के तहत, $V_n(\tau) \equiv \tau(1-\tau)$ होता है। विषमता के तहत, $V_n(\tau) \le \tau(1-\tau)$ , और सामान्यतः सख्त असमानता (strict inequality) बनी रहती है।

मुख्य पद्धतिगत योगदान इस विषम वेरिएंस के लिए एक रेशियो-कंसिस्टेंट एस्टिमेटर (ratio-consistent estimator) $\hat{V}(\tau)$ का निर्माण है। यह एस्टिमेटर समूह संरचना का लाभ उठाता है:
$\hat{V}(\tau) = n^{-1} \sum_{j=1}^g \frac{1}{m_j - 1} \left( \sum_{\ell \in I_{n,j}} \mathbb{1}\{X_\ell \le \hat{Q}(\tau)\} \right) \left( \sum_{\ell \in I_{n,j}} \mathbb{1}\{X_\ell > \hat{Q}(\tau)\} \right)$
जहाँ $m_j$ समूह $j$ का आकार है और $\hat{Q}(\tau)$ एम्पिरिकल क्वांटाइल है। यह एस्टिमेटर रैंक-आधारित है और स्ट्रिक्टली इंक्रीजिंग ट्रांसफॉर्मेशन के तहत इनवेरिएंट (invariant) है।

सैद्धांतिक परिणाम (Theoretical Results)

कंसिस्टेंसी (Consistency): धारणाओं 1 और 2 के तहत, एस्टिमेटर $\hat{V}(\tau)$ एक रेशियो-कंसिस्टेंट एस्टिमेटर है, जिसका अर्थ है $\hat{V}(\tau)/V_n(\tau) \xrightarrow{p} 1$ ।
एसिम्प्टोटिक नॉर्मलिटी (Asymptotic Normality): एम्पिरिकल डिस्ट्रीब्यूशन फंक्शन के लिए सेंट्रल लिमिट थ्योरम के साथ वेरिएंस एस्टिमेटर की कंसिस्टेंसी को जोड़ते हुए, लेखक स्थापित करते हैं:
$\left( \frac{n}{\hat{V}(\tau)} \right)^{1/2} (\hat{F}(\bar{Q}_n(\tau)) - \tau) \xrightarrow{d} N(0, 1)$
विश्वास अंतराल (Confidence Intervals): गैलवा असमानताओं (Galois inequalities) का उपयोग करके (जो वितरण और क्वांटाइल फंक्शनों को जोड़ती हैं) एसिम्प्टोटिक परिणाम को इनवर्ट करते हुए, पेपर $\bar{Q}_n(\tau)$ के लिए एक एसिम्प्टोटिक रूप से सही $100(1-\alpha)\%$ विश्वास अंतराल व्युत्पन्न करता है:
$(\hat{Q}(\tau - \hat{c}(\alpha)), \hat{Q}(\tau + \hat{c}(\alpha)))$
जहाँ $\hat{c}(\alpha) = \hat{V}(\tau)/n^{1/2} \Phi^{-1}(1-\alpha/2)$ है। विशेष रूप से, इस प्रक्रिया के लिए क्वांटाइल डेंसिटी फंक्शन के अस्तित्व की आवश्यकता नहीं है।

सिमुलेशन परिणाम (Simulation Results)

लेखकों ने विधि के प्रदर्शन का मूल्यांकन करने के लिए $n=350$ और 10,000 मोंटे कार्लो पुनरावृत्तियों (Monte Carlo replications) के साथ एक सिमुलेशन अध्ययन आयोजित किया।

डेटा जेनरेटिंग मैकेनिज्म: विषम डेटा के तीन प्रकारों का परीक्षण किया गया (नॉर्मल, एक्सपोनेंशियल, यूनिफॉर्म) जिसमें विषमता के स्तर को पैरामीटर $\gamma \in \{1, 2, 3, 4\}$ द्वारा नियंत्रित किया गया।
ग्रुपिंग डिजाइन: दो ग्रुपिंग रणनीतियों की तुलना की गई: "ट्विन ग्रुप्स" ( $m_j=2, g=175$ ) और "ट्रायंगुलर ग्रुप्स" ( $m_j=j+1, g=25$ )।
निष्कर्ष:
- वेरियंस रिडक्शन: विषम डेटा के लिए अनुमानित त्रुटि (estimation error), औसत वितरण से लिए गए i.i.d. नमूनों की तुलना में काफी कम थी। "ट्विन ग्रुप्स" डिजाइन, जिसमें अधिक विषमता थी, ने परिवर्तनशीलता (variability) में सबसे अधिक कमी दिखाई।
- कवरेज (Coverage): प्रस्तावित विश्वास अंतराल सभी परिदृश्यों में नाममात्र 95% स्तर के बहुत करीब कवरेज प्रोबेबिलिटी प्राप्त करते हैं (लगभग 93.0% से 95.2% के बीच)।
- अंतराल की चौड़ाई (Interval Width): प्राप्त अंतराल मानक i.i.d. धारणाओं से प्राप्त अंतरालों की तुलना में काफी छोटे थे, जिन्हें विषम होने पर अत्यधिक रूढ़िवादी (overly conservative) पाया गया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह विषम सेटिंग्स में क्वांटाइल्स के लिए विश्वास अंतराल बनाने के लिए पहली सामान्य, एसिम्प्टोटिक रूप से सही नॉनपैरामेट्रिक विधि प्रदान करता है। इस विधि के माध्यम से, डेटा विषमता को स्पष्ट रूप से मॉडल करके और कम हुए वेरिएंस का अनुमान लगाकर, सांख्यिकीविद निम्नलिखित कार्य कर सकते हैं:

जब डेटा विषम होता है, तो i.i.d.-आधारित अंतरालों की अत्यधिक रूढ़िवादिता से बच सकते हैं।
बिना किसी स्मूथनेस कंडीशन (जैसे क्वांटाइल डेंसिटी का अस्तित्व) की आवश्यकता के वैध इन्फरेंस प्राप्त कर सकते हैं।
काफी टाइट (सटीक) विश्वास अंतराल प्राप्त कर सकते हैं जो सही कवरेज दर बनाए रखते हैं, जिससे उन आधुनिक अनुप्रयोगों में क्वांटाइल अनुमान की सटीकता में सुधार होता है जहाँ i.i.d. धारणा का उल्लंघन होता है।