📊 statistics

Using the rejection sampling for finding tests

यह शोध पत्र रिजेक्शन सैंपलिंग (rejection sampling) पर आधारित एक वैचारिक रूप से सहज, कार्यान्वयन में सरल और आयाम-निरपेक्ष (dimension-agnostic) सांख्यिकीय परीक्षण पद्धति प्रस्तावित करता है जो माध्य तुलना (mean comparisons) और सुफिटनेस-ऑफ-फिट (goodness-of-fit) आकलन सहित विभिन्न अनुभवजन्य परिदृश्यों में यूनिफॉर्मली मोस्ट पावरफुल (unbiased) परीक्षणों के तुलनीय शक्ति प्रदर्शित करता है।

मूल लेखक: Markku Kuismin

प्रकाशित 2026-03-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Markku Kuismin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास एक संदिग्ध है (आपका डेटा) और इस बारे में एक थ्योरी है कि अपराध किसने किया (आपका सांख्यिकीय परिकल्पना/statistical hypothesis)। आमतौर पर, जासूस यह तय करने के लिए कि संदिग्ध दोषी है या नहीं, बहुत विशिष्ट, कठोर नियमपुस्तिकाओं का उपयोग करते हैं। यदि सबूत नियमपुस्तिका में पूरी तरह से फिट नहीं होते हैं, तो वे संदिग्ध को छोड़ सकते हैं, भले ही वह संदिग्ध लगे।

यह शोध पत्र एक नया, अधिक लचीला जासूसी उपकरण पेश करता है जिसे रिजेक्शन सैंपलिंग (Rejection Sampling) कहा जाता है। एक कठोर नियमपुस्तिका का पालन करने के बजाय, यह तरीका एक सरल, सहज प्रश्न पूछता है: "यदि मैं नकली डेटा बनाने की कोशिश करूँ जो मेरी थ्योरी जैसा बिल्कुल दिखता हो, तो मेरा असली डेटा कितनी बार 'अस्वीकृत' (rejected) होगा?"

यहाँ रोजमर्रा के उपमाओं (analogies) का उपयोग करके इस शोध पत्र के विचारों का विवरण दिया गया है:

1. मुख्य विचार: क्लब का "बाउंसर" (The Bouncer at the Club)

एक सांख्यिकीय परीक्षण को एक विशिष्ट क्लब के बाउंसर की तरह समझें।

थ्योरी ( $H_0$ ): बाउंसर के पास एक विशिष्ट सूची है कि एक "असली" सदस्य कैसा दिखता है (जैसे, लाल टोपी पहने हुए)।
डेटा: आपका संदिग्ध अंदर आता है।
पुराना तरीका: पारंपरिक परीक्षण उन सख्त बाउंसरों की तरह हैं जो केवल तभी लोगों को अंदर आने देते हैं जब वे सूची से बिल्कुल मेल खाते हों। यदि टोपी लाल रंग के थोड़े गलत शेड की है, तो बाउंसर कहता है, "आप नहीं," और थ्योरी को खारिज कर देता है।

नया तरीका (रिजेक्शन सैंपलिंग):
कल्पना कीजिए कि बाउंसर के पास एक जादुई मशीन है। वह आपके संदिग्ध को लेता है और अपनी थ्योरी (लाल टोपी वाले नियम) के आधार पर 1,000 "नकली" संदिग्धों को उत्पन्न करने की कोशिश करता है।

वह पूछता है: "क्या मेरा असली संदिग्ध इन 1,000 नकली संदिग्धों जैसा दिखता है?"
यदि असली संदिग्ध नकली लोगों के समान दिखता है, तो मशीन उन्हें स्वीकार कर लेती है।
यदि असली संदिग्ध बिल्कुल अलग दिखता है (जैसे लाल टोपी के बजाय नीली टोपी पहनना), तो मशीन उन्हें "अस्वीकृत" (reject) कर देती है।

टेस्ट स्टैटिस्टिक (Test Statistic) केवल स्वीकृति दर (acceptance rate) है।

उच्च स्वीकृति दर: आपका डेटा थ्योरी के साथ पूरी तरह से फिट बैठता है। (संदिग्ध नकली लोगों जैसा दिखता है)।
कम स्वीकृति दर: आपका डेटा एक आउटलेयर (outlier) है। थ्योरी संभवतः गलत है।

2. तीन जासूसी मामले (The Three Detective Cases)

लेखक ने इस नए "बाउंसर" तरीके का परीक्षण तीन सामान्य रहस्यों पर किया:

मामला A: क्या समूह अलग हैं? (माध्यों की तुलना - Comparing Means)

परिदृश्य: आपके पास लोगों के दो समूह हैं (जैसे, समूह A और समूह B)। आप जानना चाहते हैं कि क्या उनकी औसत ऊंचाई अलग है।
उपमा: कल्पना कीजिए कि लोगों की दो कतारें हैं। पुराने परीक्षण पूछते हैं, "क्या समूह A की औसत ऊंचाई समूह B से सांख्यिकीय रूप से भिन्न है?"
नया तरीका: लेखक का तरीका पूछता है, "यदि मैं यह मान लूँ कि ये दोनों कतारें वास्तव में एक ही समूह हैं, तो मेरा 'बाउंसर' इस विचार को कितनी बार खारिज करेगा कि वे एक ही हैं?"
परिणाम: यह मौजूदा सर्वोत्तम तरीकों (जैसे प्रसिद्ध T-test) की तरह ही अच्छा काम करता है, लेकिन इसे समझना आसान है और यह तब भी काम करता है जब डेटा अव्यवस्थित या आपस में जुड़ा (correlated) हो।

मामला B: क्या औसत वेक्टर सही है? (मल्टीवेरिएट मीन्स - Multivariate Means)

परिदृश्य: केवल ऊंचाई के बजाय, आप ऊंचाई, वजन और जूते का आकार एक साथ माप रहे हैं। आप जानना चाहते हैं कि क्या आपके डेटा का "औसत व्यक्ति" एक विशिष्ट लक्ष्य प्रोफ़ाइल (जैसे, 5'10", 180lbs, साइज 10) से मेल खाता है।
उपमा: यह एक 3D ऑब्जेक्ट की ब्लूप्रिंट से मिलान करने जैसा है।
परिणाम: नया तरीका उन जटिल, उच्च-स्तरीय गणितीय परीक्षणों जितना ही शक्तिशाली है जिनका उपयोग वर्तमान में सांख्यिकीविद् करते हैं। यह एक साथ कई वेरिएबल्स की जांच करने में भ्रमित नहीं होता है।

मामला C: "गुडनेस-ऑफ-फिट" (आकार मेल खाता है या नहीं? - Goodness-of-Fit)

परिदृश्य: आपके पास डेटा का एक ढेर है और आप जानना चाहते हैं कि: "क्या यह डेटा एक सामान्य (बेल कर्व/Normal distribution) वितरण से आता है, या कुछ और है?"
उपमा: कल्पना कीजिए कि आपके पास रेत का एक ढेर है। आप जानना चाहते हैं कि क्या यह एक विशिष्ट सांचे में पूरी तरह से फिट बैठता है (सामान्य वितरण)।
नया तरीका: लेखक का तरीका रेत को सांचे में डालने और यह देखने जैसा है कि कितना बाहर गिरता है।
परिणाम: यहीं पर नया तरीका चमकता है! सिमुलेशन में, यह वर्तमान "गोल्ड स्टैंडर्ड" परीक्षणों (जैसे कोलमोगोरोव-स्मिरनोव या एंडरसन-डार्लिंग) से बेहतर था। यह विशेष रूप से तब प्रभावी था जब डेटा का आकार मेल नहीं खा रहा था, भले ही डेटा की मात्रा कम हो।

3. यह एक बड़ी बात क्यों है?

यह सहज है (Intuitive): आपको तर्क समझने के लिए गणित में PhD की आवश्यकता नहीं है। यह इस सरल विचार पर आधारित है कि "यह कितना अक्सर वैसा दिखता है जैसा वह है?"
यह लचीला है (Flexible): यह सरल डेटा (एक संख्या) और जटिल डेटा (हजारों संख्याएं) दोनों के लिए काम करता है। यह स्वतंत्र समूहों और जुड़े हुए समूहों (जैसे एक ही व्यक्ति पर बार-बार किए गए माप) के लिए भी काम करता है।
यह शक्तिशाली है: सिमुलेशन ने दिखाया कि यह नया उपकरण "दोषी" संदिग्धों को पकड़ने में (वास्तविक प्रभावों का पता लगाने में) मौजूदा सबसे परिष्कृत उपकरणों के समान या कभी-कभी उनसे बेहतर है।

4. वास्तविक दुनिया के उदाहरण

लेखक ने केवल संख्याओं के साथ नहीं खेला; उन्होंने वास्तविक डेटा का उपयोग किया:

अल्जाइमर अनुसंधान: उन्होंने विभिन्न संज्ञानात्मक गिरावट चरणों वाले लोगों के मस्तिष्क में प्रोटीन स्तरों को देखने के लिए इस परीक्षण का उपयोग किया। परीक्षण ने समूहों के बीच महत्वपूर्ण अंतर सफलतापूर्वक पाया।
प्रतिक्रिया समय (Reaction Times): उन्होंने विश्लेषण किया कि लोग बटन कितनी तेजी से दबाते हैं। उन्होंने परीक्षण किया कि क्या डेटा एक "सामान्य" वक्र (Normal curve) दिखता है या एक "तिरछा" (Skewed) वक्र। परीक्षण ने सही ढंग से पहचाना कि प्रतिक्रिया समय तिरछा (skewed) था (जैसे एक बेल कर्व जिसे एक तरफ धकेल दिया गया हो), जिससे साबित हुआ कि नया तरीका डेटा वितरण के विभिन्न आकारों के बीच अंतर कर सकता है।

सारांश

यह शोध पत्र सांख्यिकी करने का एक नया तरीका प्रस्तावित करता है जो सामान्य समझ की तरह महसूस होता है। डेटा को कठोर गणितीय बक्सों में जबरदस्ती फिट करने के बजाय, यह एक "सिमुलेशन" दृष्टिकोण का उपयोग करता है और पूछता है: "यदि मेरी थ्योरी सच होती, तो इस तरह का डेटा दिखने की कितनी संभावना होती?"

यदि उत्तर है "बहुत कम संभावना," तो थ्योरी को खारिज कर दिया जाता है। लेखक दिखाते हैं कि यह सरल, लचीला दृष्टिकोण एक शक्तिशाली उपकरण है जो आज के कई जटिल और कठिन-से-समझने वाले परीक्षणों को बदल सकता है या उनमें सुधार कर सकता है।

यहाँ मार्ककु कुइसमिन के शोध पत्र "Using the rejection sampling for finding tests" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सांख्यिकीय परिकल्पना परीक्षण (Statistical hypothesis testing) निष्कर्ष निकालने के लिए मौलिक है, फिर भी ऐसे परीक्षण विकसित करना जो शक्तिशाली भी हों और मनमाने आयामों (arbitrary dimensions) तथा वितरण प्रकारों में लागू भी हो सकें, एक चुनौती बनी हुई है। पारंपरिक विधियाँ (जैसे कि वाल्ड, स्कोर, लाइकलहुड रेशियो) अक्सर विशिष्ट पैरामीट्रिक मान्यताओं या अनंतस्पर्शी सन्निकटन (asymptotic approximations) पर निर्भर करती हैं, जो जटिल, उच्च-आयामी, या गैर-मानक परिदृश्यों में विफल हो सकती हैं।

यह शोध पत्र ऐसे सांख्यिकीय परीक्षणों के निर्माण के लिए एक एकीकृत, सहज और लचीले ढांचे की आवश्यकता को संबोधित करता है जो:

विभिन्न आयामों (एकचर से बहुचर तक) को संभाल सके।
विभिन्न परिकल्पना प्रकारों (माध्य की समानता, पैरामीटर वेक्टर, गुडनेस-ऑफ-फिट) के लिए कार्य कर सके।
यूनिफॉर्मली मोस्ट पावरफुल (UMP) परीक्षणों के तुल्य उच्च सांख्यिकीय शक्ति बनाए रखे।
संभाव्यता सिद्धांत (probability theory) पर आधारित एक वैचारिक रूप से सरल व्याख्या प्रदान करे।

2. कार्यप्रणाली: एक्सेप्ट-रिजेक्ट (AR) ढांचा (Methodology: The Accept-Reject Framework)

मुख्य योगदान एक नवीन विधि है जो एक्सेप्ट-रिजेक्ट (AR) एल्गोरिदम (जो आमतौर पर रैंडम सैंपल उत्पन्न करने के लिए उपयोग किया जाता है) को एक सांख्यिकीय परीक्षण सांख्यिकी (test statistic) के रूप में पुन: उपयोग करती है।

मुख्य अवधारणा (Core Concept)

मानक रिजेक्शन सैंपलिंग में, एक प्रपोजल वितरण $g$ से एक लक्ष्य वितरण $f$ को अनुमानित करने के लिए नमूने उत्पन्न किए जाते हैं। एक नमूना $X_i$ तब स्वीकार किया जाता है जब $u_i < f(X_i) / [D \cdot g(X_i)]$ हो, जहाँ $u_i \sim \text{Unif}(0,1)$ है और $D$ एक स्थिरांक है ताकि $f \leq Dg$ हो।

लेखक स्वीकृति की प्रायिकता ( $\rho$ ) को परीक्षण सांख्यिकी के रूप में उपयोग करने का प्रस्ताव देते हैं। छद्म-यादृच्छिक संख्याएँ (pseudo-random numbers) उत्पन्न करने के बजाय, अवलोकित डेटा (observed data) को AR एल्गोरिदम के इनपुट के रूप में माना जाता है।

परीक्षण सांख्यिकी (The Test Statistic)

एक शून्य परिकल्पना $H_0: f = f_0$ (जहाँ $f_0$ परिकल्पित घनत्व है और $\hat{f}$ एक अनुमानित घनत्व है) के लिए, परीक्षण सांख्यिकी $U$ के ऊपर स्वीकृति संकेतक का अपेक्षित मान है:

$\rho(X) = E_U[T(X)] = \frac{1}{n} \sum_{i=1}^n \min\left(1, \frac{f_0(X_i)}{\hat{f}(X_i)}\right)$

व्याख्या: $\rho(X)$ परिकल्पित वितरण $f_0$ और डेटा (जो $\hat{f}$ द्वारा दर्शाया गया है) के बीच सहमति की डिग्री को मापता है।
सीमा (Range): $0 \leq \rho(X) \leq 1$ ।
अस्वीकृति क्षेत्र (Rejection Region): $\rho(X)$ के छोटे मान $H_0$ के साथ खराब सहमति को दर्शाते हैं, जिससे $H_0$ को खारिज कर दिया जाता है।

सैद्धांतिक गुण (Theoretical Properties)

संगति (Consistency): प्रमेय 2 सिद्ध करता है कि जैसे-जैसे नमूना आकार $n \to \infty$ $n \to \infty$ होता है, $\rho(X)$ $ρ (X)$ प्रायिकता में $1 - \|f - f_0\|_{TV}$ $1 - ∥ f - f_{0} ∥_{T V}$ की ओर अभिसरित होता है, जहाँ $\| \cdot \|_{TV}$ $∥ \cdot ∥_{T V}$ टोटल वेरिएशन डिस्टेंस (Total Variation Distance) है।
- यदि $H_0$ सत्य है ( $f=f_0$ ), तो $\rho(X) \to 1$ ।
- यदि $H_0$ असत्य है, तो $\rho(X) \to 1 - \text{TVD} < 1$ ।
वितरण (Distribution): सांख्यिकी $nT(X)$, पॉइसन द्विपद वितरण (Poisson binomial distribution) का अनुसरण करती है। यह केवल अनंतस्पर्शी सामान्य सन्निकटन पर निर्भर रहने के बिना सटीक p-मानों या विश्वसनीय अंतराल (credible intervals) की गणना करने की अनुमति देता है, हालांकि व्यवहार में रिजेक्शन थ्रेसहोल्ड निर्धारित करने के लिए मोंटे कार्लो (MC) सिमुलेशन का उपयोग किया जाता है।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र तीन अलग-अलग अनुभवजन्य समस्याओं पर लागू एक बहुमुखी ढांचे को प्रस्तुत करता है:

समूह माध्यों की तुलना (Comparing Group Means):
- अनुप्रयोग: स्वतंत्र या सह-संबंधित (paired) नमूनों के लिए माध्य की समानता का परीक्षण करना।
- कार्यान्वयन: नमूना माध्य वेक्टर (sample mean vector) को एक पर्याप्त सांख्यिकी (sufficient statistic) के रूप में उपयोग करता है। लक्ष्य वितरण मल्टीवेरिएट नॉर्मल है, और अज्ञात सहप्रसरण (covariance) को संभालने के लिए मल्टीवेरिएट $t$ -वितरण का उपयोग प्रपोजल के रूप में किया गया है।
- परिणाम: AR परीक्षण LR परीक्षण और पेयर्ड t-परीक्षणों के तुल्य शक्ति प्राप्त करता है।
माध्य वेक्टर का परीक्षण (Testing a Mean Vector):
- अनुप्रयोग: यह परीक्षण करना कि क्या एक मल्टीवेरिएट माध्य वेक्टर एक विशिष्ट निश्चित वेक्टर के बराबर है ( $H_0: \mu = \mu_0$ )।
- परिणाम: AR परीक्षण EL (एम्पिरिकल लाइकलहुड) और LR परीक्षणों जैसे अत्याधुनिक परीक्षणों के समान प्रदर्शन करता है।
गुडनेस-ऑफ-फिट (GoF):
- अनुप्रयोग: यह परीक्षण करना कि क्या नमूने एक विशिष्ट एकचर या बहुचर वितरण (जैसे नॉर्मलिटी, $t$ -वितरण) से आते हैं।
- कार्यान्वयन: सैद्धांतिक घनत्व $f_0$ की तुलना कर्नेल डेंसिटी एस्टीमेट $\hat{f}$ से करता है।
- परिणाम: AR GoF परीक्षण, कोलमोगोरोव-स्मिरनोव (KS), क्रेमर-वॉन मिसेस (CVM), एंडरसन-डार्लिंग (AD), और एनर्जी टेस्ट की तुलना में बेहतर या तुल्य शक्ति प्रदर्शित करता है, विशेष रूप से भारी पूंछ वाले वितरणों (heavy-tailed distributions) और मिश्रणों (mixtures) में विचलन का पता लगाने में।

4. परिणाम और प्रदर्शन मूल्यांकन (Results and Performance Evaluation)

लेखक ने व्यापक मोंटे कार्लो सिमुलेशन (10,000 प्रतिकृति/replicates) और वास्तविक दुनिया के डेटा का उपयोग करके विधि का मूल्यांकन किया।

सांख्यिकीय शक्ति (Statistical Power):
- माध्य तुलना कार्यों में, AR परीक्षण की शक्ति UMP परीक्षणों (जैसे LR परीक्षण) और मानक t-परीक्षणों के लगभग समान है।
- गुडनेस-ऑफ-फिट कार्यों में, AR परीक्षण अक्सर पारंपरिक परीक्षणों (KS, CVM, AD, Energy) से बेहतर प्रदर्शन करता है, विशेष रूप से जब नमूना आकार छोटा हो या वैकल्पिक वितरण एक मिश्रण या भारी पूंछ वाला हो।
- टाइप I त्रुटि (Type I Error): विधि पूर्व-निर्धारित सार्थकता स्तर (जैसे $\alpha = 0.05$ ) पर टाइप I त्रुटि दर को सफलतापूर्वक बनाए रखती है।
वास्तविक दुनिया के अनुप्रयोग (Real-World Applications):
1. एमिलॉयड-बीटा (Aβ) डेटा: तीन संज्ञानात्मक समूहों (NCI, MCI, mAD) के बीच Aβ स्तरों के बीच अंतर करने के लिए लागू किया गया। AR परीक्षण ने महत्वपूर्ण अंतरों का पता लगाया ( $p \approx 0.005$ ), जहाँ युग्मवार तुलनाओं (pairwise comparisons) ने विशिष्ट समूह भेदों की पुष्टि की।
2. रिएक्शन टाइम (RT) डेटा: यह परीक्षण करने के लिए कि क्या RT शिफ्टेड लॉग-नॉर्मल बनाम नॉर्मल वितरण का पालन करते हैं। AR परीक्षण ने नॉर्मलिटी धारणा को दृढ़ता से खारिज किया ( $p=0.001$ ), जबकि शिफ्टेड लॉग-नॉर्मल फिट को स्वीकार किया ( $p=0.894$ ), जो दृश्य निरीक्षण के अनुरूप था लेकिन एक कठोर सांख्यिकीय आधार प्रदान किया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

वैचारिक सरलता: यह विधि इष्टतम परीक्षण सांख्यिकी खोजने की जटिल समस्या को AR एल्गोरिदम की स्वीकृति प्रायिकता के सीधे अनुप्रयोग में बदल देती है।
बहुमुखी प्रतिभा: यह मनमाने आयामों और विभिन्न परिकल्पना प्रकारों (संयुक्त परिकल्पना, स्वतंत्रता, GoF) के लिए लागू है, जिसके लिए प्रत्येक के लिए अलग सैद्धांतिक व्युत्पत्ति की आवश्यकता नहीं होती है।
सैद्धांतिक संबंध: यह सांख्यिकीय परीक्षण और टोटल वेरिएशन डिस्टेंस के बीच एक सीधा संबंध स्थापित करता है, जो परीक्षण शक्ति की एक ज्यामितीय व्याख्या प्रदान करता है।
व्यावहारिक उपयोगिता: यह ढांचा लागू करने में आसान है (जिसके लिए डेंसिटी एस्टीमेशन और सरल सिमुलेशन की आवश्यकता होती है) और अत्याधुनिक परीक्षणों के लिए एक शक्तिशाली विकल्प के रूप में कार्य करता है, विशेष रूप से गुडनेस-ऑफ-फिट परिदृश्यों में जहाँ पारंपरिक परीक्षणों में शक्ति की कमी हो सकती है।

शोध पत्र यह निष्कर्ष निकालता है कि AR ढांचा सांख्यिकीय टूलबॉक्स में एक महत्वपूर्ण वृद्धि है, जो परिकल्पना परीक्षण के लिए एक मजबूत, उच्च-शक्ति और सहज दृष्टिकोण प्रदान करता है, जो मिश्रित डेटा और श्रेणीबद्ध चर (categorical variable) के संदर्भों में और अधिक अन्वेषण की मांग करता है।