📊 statistics

E-variables and tests of randomness for distribution classes

यह शोध पत्र लोकप्रिय वितरण वर्गों (distribution classes) के लिए ई-चरों (e-variables) के निर्माण हेतु ई-चर-सन्निकटता (e-variable-approximability) की विधि प्रस्तुत करता है और यह प्रदर्शित करता है कि कैसे ये निर्माण एल्गोरिदमिक सूचना सिद्धांत (Algorithmic Information Theory) से लेविन (Levin) की अवधारणा पर आधारित स्पष्ट रैंडमनेस परीक्षण (randomness tests) प्रदान करते हैं।

मूल लेखक: Georgii Potapov, Yuri Kalnishkan

प्रकाशित 2026-03-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Georgii Potapov, Yuri Kalnishkan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस। आपके पास सबूतों का एक ढेर (डेटा) है, और आप जानना चाहते हैं: क्या यह सबूत सिर्फ रैंडम शोर (noise) है, या यह किसी विशिष्ट अपराधी (एक विशिष्ट पैटर्न या वितरण) की ओर इशारा करता है?

द दशकों से, जासूसों ने एक उपकरण का उपयोग किया है जिसे P-value कहा जाता है। P-value को एक "संदेह मीटर" के रूप में सोचें। यदि मीटर ऊंचा जाता है, तो आप संदेह करते हैं कि डेटा रैंडम नहीं है। लेकिन इस मीटर में एक बड़ी खामी है: यह नाजुक है। यदि आप सबूतों को टुकड़ों में देखते हैं, या यदि आप बीच में ही देखना बंद करने का निर्णय लेते हैं, तो यह मीटर टूट जाता है या गलत रीडिंग देता है। यह एक इमारत की ऊंचाई मापने के लिए ऐसे पैमाने के उपयोग जैसा है जो हर बार पलक झपकने पर छोटा हो जाता है।

यहाँ प्रवेश होता है E-variable का। यह एक नया, सुपर-पावर्ड जासूसी उपकरण है।

सुपरपावर: एक E-variable एक "संदेह स्कोर" है जो अविश्वसनीय रूप से मजबूत (robust) है। आप अलग-अलग जासूसों के स्कोर को जोड़ सकते हैं, या किसी भी समय डेटा देखना बंद कर सकते हैं, और स्कोर वैध रहता है। यह कभी नहीं टूटता।
कैच (चुनौती): जबकि हम सरल, विशिष्ट संदिग्धों (जैसे कि "एक निष्पक्ष सिक्का बिल्कुल वैसा ही है") के लिए E-variables बनाना जानते हैं, समूहों (classes) के लिए E-variables बनाना (जैसे कि "कोई भी पक्षपाती सिक्का," या "कोई भी नॉर्मल डिस्ट्रीब्यूशन") बहुत कठिन रहा है।

समस्या: "अनंत संदिग्धों" की सूची

कल्पना कीजिए कि आप यह साबित करने की कोशिश कर रहे हैं कि एक सिक्का पक्षपाती है।

सरल मामला: आपको संदेह है कि यह 60% बार 'हेड्स' आने के लिए सेट है। आसान है। आप उस विशिष्ट 60% के लिए एक टेस्ट बनाते हैं।
जटिल मामला: आप नहीं जानते कि यह कैसे पक्षपाती है। यह 60%, 61%, 59.9%, या इसके बीच की कोई भी संख्या हो सकती है। अनंत संभावनाएँ हैं।
पुराना तरीका: पूरे समूह का परीक्षण करने के लिए, आप सभी व्यक्तिगत परीक्षणों के "सबसे खराब मामले" (worst-case scenario) को लेने की कोशिश कर सकते हैं। लेकिन गणितीय रूप से, यह नियमों को तोड़ देता है। यह लकड़ी के अनंत तख्तों को एक के ऊपर एक रखकर पुल बनाने की कोशिश करने जैसा है; अंततः संरचना ढह जाएगी, या पुल अदृश्य हो जाएगा (गणितीय रूप से "गैर-मापन योग्य" या non-measurable)।

समाधान: "स्मार्ट नेट" (E-variable Approximability)

इस पेपर के लेखकों, जॉर्जिय पोटापोव और यूरी कलनिशकन ने एक नई विधि खोजी है जिसे E-variable Approximability कहा जाता है।

यहाँ उपमा है: "स्मार्ट नेट" रणनीति।

हर एक संभावित संदिग्ध (0 और 1 के बीच की हर एक संख्या) को पकड़ने की कोशिश करने के बजाय, आप विशिष्ट छेदों वाला एक नेट (जाल) बनाते हैं।

नेट: आप कुछ "प्रतिनिधि" संदिग्ध चुनते हैं (जैसे, 50%, 60%, 70%)। मान लीजिए कि ये आपके "नेट पॉइंट्स" हैं।
एस्टीमेटर (Estimator): जब आप डेटा देखते हैं, तो आप सटीक प्रतिशत का अनुमान लगाने की कोशिश नहीं करते। इसके बजाय, आप पूछते हैं: "यह डेटा मेरे नेट पॉइंट्स में से किसके सबसे करीब है?"
जादू: लेखकों ने सिद्ध किया कि यदि आपके पास अपने नेट पॉइंट्स के लिए एक वैध टेस्ट है, तो आप उन्हें संदिग्धों के पूरे समूह के लिए एक एकल, वैध टेस्ट में जोड़ सकते हैं।

यह विशिष्ट चेकपॉइंट्स पर कैमरों वाले सुरक्षा तंत्र की तरह है। आपको सड़क के हर इंच पर कैमरे की आवश्यकता नहीं है। यदि आप जानते हैं कि चेकपॉइंट्स के बीच से गुजरने वाला कोई भी व्यक्ति अनुमानित व्यवहार करता है, तो चेकपॉइंट्स अपराधी को पकड़ने के लिए पर्याप्त हैं, चाहे वह कहीं भी हो।

उन्होंने इसे कैसे किया ( "स्मूथिंग" ट्रिक)

एक तकनीकी बाधा थी। "नेट" दृष्टिकोण में आमतौर पर संख्याओं को राउंड करना (जैसे, "यदि यह 59% है, तो इसे 60% मान लें") शामिल होता है। लेकिन कंप्यूटर विज्ञान और रैंडमनेस की दुनिया में, "राउंडिंग" एक ऊबड़-खाबड़, झटकेदार क्रिया है जो इन परीक्षणों के लिए आवश्यक गणित को तोड़ देती है ताकि वे "कंप्यूटेबल" (कुछ ऐसा जिसे कंप्यूटर वास्तव में गणना कर सके) हो सकें।

लेखकों ने एक स्मूथिंग तकनीक (Smoothing Technique) का उपयोग किया।

कल्पना कीजिए कि एक चट्टान का ऊबड़-खाबड़ किनारा (राउंडिंग)।
उन्होंने चट्टानों को जोड़ने वाला एक सौम्य रैंप (एक निरंतर फलन/continuous function) बनाया।
यह कंप्यूटर को "60%" के लिए परीक्षण करने से "61%" के लिए परीक्षण करने के बीच सुचारू रूप से संक्रमण करने की अनुमति देता है बिना गणित को तोड़े।

उन्होंने क्या हासिल किया

इस "स्मार्ट नेट" और "स्मूथिंग" विधि का उपयोग करके, वे कई महत्वपूर्ण प्रकार के डेटा डिस्ट्रीब्यूशन के लिए सफल E-variables बनाने में सक्षम रहे जिनका उपयोग वैज्ञानिक रोज करते हैं:

यूनिफॉर्म डिस्ट्रीब्यूशन (Uniform Distributions): (डेटा एक सीमा के भीतर समान रूप से फैला हुआ है)।
पॉइसन डिस्ट्रीब्यूशन (Poisson Distributions): (दुर्लभ घटनाओं की गिनती करना, जैसे भूकंप या टाइपो)।
नॉर्मल (गौसियन) डिस्ट्रीब्यूशन (Normal/Gaussian Distributions): (प्रसिद्ध "बेल कर्व", जिसका उपयोग ऊंचाई, टेस्ट स्कोर आदि के लिए किया जाता है)।
कॉची डिस्ट्रीब्यूशन (Cauchy Distributions): (अत्यधिक आउटलेयर्स वाला डेटा)।

यह क्यों मायने रखता है

बेहतर विज्ञान: शोधकर्ता अब अधिक लचीले प्रयोगों को डिजाइन कर सकते हैं। वे अपने परिणामों को अमान्य किए बिना डेटा एकत्र करना कभी भी बंद कर सकते हैं।
मशीन लर्निंग: यह AI सिस्टम को बेहतर ढंग से पहचानने में मदद करता है कि डेटा "नकली" है या "आउट ऑफ डिस्ट्रीब्यूशन" है।
"कैसे" के पीछे का "क्यों": यह पेपर इस टूल को एल्गोरिद्मिक इंफॉर्मेशन थ्योरी (एक क्षेत्र जो बताता है कि डेटा की स्ट्रिंग में कितनी जानकारी है) से जोड़ता है। उन्होंने दिखाया कि उनकी नई विधि अनिवार्य रूप से "रैंडमनेस डेफिशिएंसी" नामक एक गहरे सैद्धांतिक सिद्धांत का व्यावहारिक, कंप्यूटर-अनुकूल संस्करण है।

संक्षेप में

लेखकों ने एक शक्तिशाली लेकिन नाजुक सांख्यिकीय उपकरण (E-variables) लिया, यह पता लगाया कि इसे जटिल, वास्तविक दुनिया के परिदृश्यों (डिस्ट्रीब्यूशन के वर्गों) के लिए कैसे काम करना है, और एक "नेट" बनाया जो गणित को तोड़े बिना सभी संदिग्धों को पकड़ लेता है। उन्होंने एक सैद्धांतिक अवधारणा को वैज्ञानिकों और डेटा वैज्ञानिकों के लिए एक व्यावहारिक, मजबूत उपकरण में बदल दिया।

यहाँ गेओर्गी पोटापोव और यूरी कलनिशकन के शोध पत्र "E-variables and tests of randomness for distribution classes" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सांख्यिकीय परिकल्पना परीक्षण (statistical hypothesis testing) और एल्गोरिद्मिक सूचना सिद्धांत (Algorithmic Information Theory - AIT) में दो परस्पर जुड़े हुए चुनौतियों को संबोधित करता है:

P-मानों की सीमाएँ (Limitations of P-values): पारंपरिक परिकल्पना परीक्षण p-मानों पर निर्भर करते हैं, जिनमें "प्राकृतिक" गुणों का अभाव होता है (जैसे, वे रैंडम स्टॉपिंग टाइम या डेटा एकत्रीकरण के तहत स्थिर नहीं होते हैं) और उनके दुरुपयोग की संभावना बनी रहती है।
वर्गों के लिए रैंडनेस टेस्ट का निर्माण (Constructing Randomness Tests for Classes): जबकि E-वेरिएबल्स (गैर-ऋणात्मक सांख्यिकी जिनका अपेक्षित मान $\le 1$ $\leq 1$ होता है) p-मानों के एक मजबूत विकल्प के रूप में कार्य करते हैं, संयुक्त परिकल्पनाओं (distribution classes) के लिए स्पष्ट E-वेरिएबल्स का निर्माण करना कठिन है। विशेष रूप से, लेखक विशिष्ट वितरण परिवारों के लिए लोअर सेमी-कंप्यूटेबल (l.s.c.) रैंडनेस टेस्ट (लेविन के अर्थ में) का निर्माण करने का लक्ष्य रखते हैं।
- मुख्य कठिनाई: सरल परिकल्पनाओं के लिए E-वेरिएबल्स को संयोजित करने का एक सहज दृष्टिकोण (जैसे, पैरामीटर स्पेस पर इन्फिममम (infimum) लेना) अक्सर विफल हो जाता है क्योंकि परिणामी फलन या तो मापने योग्य (measurable) नहीं होता है या वह E-वेरिएबल गुण (अपेक्षित मान $\le 1$ ) को बनाए नहीं रख पाता है। इसके अलावा, मैक्सिमम लाइकलीहुड एस्टिमेटर्स (MLE) जैसे मानक एस्टिमेटर्स हमेशा वैध E-वेरिएबल्स प्रदान नहीं करते हैं जब उन्हें संयुक्त वर्गों पर लागू किया जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नया ढांचा पेश करते हैं जिसे E-variable-approximability कहा जाता है, जो सरल और संयुक्त परिकल्पनाओं के बीच के अंतर को पाटता है।

A. E-variable-Approximability (परिभाषा 3.1)

एक वितरण परिवार $\mathcal{H}$ को एक गणनीय "नेट" (countable net) $S \subset \mathcal{H}$ से E-variable approximable कहा जाता है यदि निम्नलिखित मौजूद हो:

वितरणों का एक गणनीय सेट $\{P_s\}_{s \in S}$ ।
एक एस्टिमेटर फलन $\hat{s}: \mathcal{X} \to S$ ।
एक स्थिरांक $C > 0$ ।

ऐसा कि किसी भी E-वेरिएबल्स $\{e_s\}$ के संग्रह के लिए, जो सरल परिकल्पनाओं $\{P_s\}$ के लिए हों, एकत्रित सांख्यिकी:
$e(x) = \frac{1}{C} e_{\hat{s}(x)}(x)$
संपूर्ण संयुक्त परिकल्पना $\mathcal{H}$ के लिए एक वैध E-वेरिएबल है।

B. तकनीकी शर्तें (Lemts 1 & 2)

E-variable-approximability को सत्यापित करने के लिए, लेखक निम्नलिखित से संबंधित पर्याप्त शर्तें प्रदान करते हैं:

लॉग-लाइकलीहुड डिकम्पोजिशन (Log-likelihood decomposition): घनत्व (densities) के लॉग-अनुपात को एक डाइवर्जेंस फंक्शन $d(\cdot \| \cdot)$ से जोड़ना।
बाउंडेडनेस (Boundedness): यह सुनिश्चित करना कि नेट द्वारा परिभाषित विभाजन के भीतर एस्टिमेटर और वास्तविक पैरामीटर के बीच का डाइवर्जेंस सीमित है।
सेपरेशन (Separation): यह सुनिश्चित करना कि नेट के बिंदु पैरामीटर स्पेस में पर्याप्त रूप से अलग (separated) हैं (एक $d$ की स्थिति के माध्यम से)।
एक्सपोनेंशियल फैमिली (Exponential Families): यह शोध पत्र सिद्ध करता है कि कैनोनिकल एक्सपोनेंशियल फैमिली के लिए, लाइकलीहुड इक्वेशन का समाधान स्वाभाविक रूप से इन शर्तों को संतुष्ट करता है।

C. निरंतर इंटरपोलेशन (Continuous Interpolation - Section 3.2)

चूंकि मानक राउंडिंग फंक्शन्स (जो एस्टिमेटर्स में उपयोग किए जाते हैं) विच्छिन्न (discontinuous) होते हैं और इस प्रकार वास्तविक-मान वाले वितरणों के संदर्भ में कंप्यूट करने योग्य नहीं होते हैं, इसलिए लेखक कंटीन्यूअसली E-variable-approximability पेश करते हैं।

वे नेट बिंदुओं के बीच संक्रमण को सुचारू बनाने के लिए निरंतर इंडिकेटर फंक्शन्स का उपयोग करके एक "पार्टीशन ऑफ यूनिटी" (partition of unity) का निर्माण करते हैं।
यह सुनिश्चित करता है कि परिणामी टेस्ट फंक्शन लोअर सेमी-कंप्यूटेबल है, जो AIT रैंडनेस टेस्ट के लिए एक आवश्यकता है।

D. रैंडनेस डेफिशिएंसी से संबंध (Connection to Randomness Deficiency)

यह शोध पत्र रैंडनेस डेफिशिएंसी ( $t(x|P)$ ) की अवधारणा का लाभ उठाता है, जो कि इष्टतम l.s.c. टेस्ट ऑफ रैंडमनेस है। लक्ष्य यह दिखाना है कि एक क्लास $\mathcal{P}$ के लिए रैंडनेस टेस्ट, $t_{\mathcal{P}}(x) = \inf_{P \in \mathcal{P}} t(x|P)$ , l.s.c. है और इसे E-variable-approximability तकनीक का उपयोग करके स्पष्ट रूप से बनाया जा सकता है।

3. मुख्य योगदान (Key Contributions)

सामान्य सन्निकटन तकनीक (General Approximation Technique): यह शोध पत्र सरल परिकल्पनाओं के लिए E-वेरिएबल्स को "ब्लैक बॉक्स" के रूप में उपयोग करके संयुक्त परिकल्पनाओं के लिए E-वेरिएबल्स बनाने के लिए एक एकीकृत विधि प्रदान करता है, जो रिवर्स इंफॉर्मेशन प्रोजेक्शन या p-वैल्यू कैलिब्रेशन पर निर्भर नहीं है।
प्रमुख वितरणों के लिए स्पष्ट निर्माण: लेखक कई महत्वपूर्ण वितरण परिवारों के लिए सिद्ध करते हैं कि E-variable-approximability लागू होता है:
- बाइनोमियल (Binomial) और पूर्णांकों पर यूनिफॉर्म (Uniform) वितरण।
- पॉइसन (Poisson) वितरण।
- वास्तविक अंतरालों (real intervals) पर यूनिफॉर्म वितरण।
- नॉर्मल (Gaussian) वितरण (निश्चित वेरिएंस और निश्चित मीन दोनों के लिए)।
- कॉची (Cauchy) वितरण।
लोअर सेमी-कंप्यूटेबिलिटी (Lower Semi-Computability): यह शोध पत्र प्रदर्शित करता है कि इन परिवारों के लिए, क्लास के सापेक्ष रैंडनेस टेस्ट l.s.c. है। यह एक महत्वपूर्ण सैद्धांतिक परिणाम है, क्योंकि यह प्रभावी (एल्गोरिद्मिक) रैंडनेस टेस्ट के अस्तित्व को सिद्ध करता है, जो पिछले परिणामों का विस्तार करता है जो केवल टोपोलॉजिकल क्लोज्ड सेट्स या कैंटर स्पेस तक सीमित थे।
MDL के लिए सैद्धांतिक औचित्य: शोर के प्रभाव को कम करने के लिए एस्टिमेटर्स के माध्यम से डेटा को "ट्रिमिंग" करने का दृष्टिकोण मिनिमम डिस्क्रिप्शन लेंथ (MDL) सिद्धांत से जुड़ा हुआ है, जो E-वेरिएबल्स के संदर्भ में MDL के लिए एक सैद्धांतिक औचित्य प्रदान करता है।

4. मुख्य परिणाम (Key Results)

थ्योरम 3: स्थापित करता है कि बाइनोमियल, पॉइसन, यूनिफॉर्म, नॉर्मल और कॉची परिवार E-variable-approximable हैं। यह उपयुक्त "नेट्स" (जैसे यूनिफॉर्म के लिए 2 की घातें, नॉर्मल के लिए इंटीजर ग्रिड) और एस्टिमेटर्स (जैसे निकटतम नेट पॉइंट तक राउंडिंग) को निर्दिष्ट करता है।
थ्योरम 5 और 6 (मुख्य एल्गोरिद्मिक परिणाम):
- कंप्यूट करने योग्य परिवारों के लिए, जो E-variable-approximable हैं, क्लास के लिए यूनिवर्सल रैंडनेस टेस्ट $t_{\mathcal{P}}(x)$ , अनुमानित पैरामीटर पर मूल्यांकित टेस्ट के बराबर होता है:
  $t_{\mathcal{P}}(x) \asymp t(x | P_{\hat{s}(x)})$
- विशेष रूप से, नॉर्मल और कॉची वितरणों के लिए, क्लास के लिए रैंडनेस टेस्ट उस वितरण के विरुद्ध टेस्ट के बराबर है जिसका पैरामीटर निकटतम पूर्णांक (या ग्रिड पॉइंट) तक राउंड किया गया है।
कोरोलरी (Corollary): नॉर्मल वितरणों के प्रोडक्ट के लिए E-वेरिएबल बनाने के लिए एक ठोस सूत्र प्रदान करता है।

5. महत्व (Significance)

सांख्यिकी और AIT का मिलन: यह कार्य एल्गोरिद्मिक सूचना सिद्धांत से "रैंडनेस डेफिशिएंसी" की अमूर्त अवधारणा को E-वेरिएबल्स का उपयोग करके सांख्यिकीय परिकल्पना परीक्षण के लिए व्यावहारिक, रचनात्मक उपकरणों में सफलतापूर्वक अनुवादित करता है।
मजबूती (Robustness): E-वेरिएबल्स का उपयोग करके, प्रस्तावित टेस्ट इनके गुणों को विरासत में प्राप्त करते हैं: वे लचीले प्रयोगात्मक डिजाइन, वैध मेटा-एनालिसिस (टेस्ट का संयोजन), और रैंडम स्टॉपिंग टाइम पर वैधता (सुपरमार्टिंगेल प्रॉपर्टी) की अनुमति देते हैं।
टोपोलॉजिकल सीमाओं को पार करना: रैंडनेस टेस्ट के अस्तित्व के पिछले प्रमाण अक्सर यह मांग करते थे कि वितरण की क्लास टोपोलॉजिकल क्लोज्ड हो। यह शोध पत्र उन क्लासों के लिए भी इन परिणामों का विस्तार करता है जो टोपोलॉजिकल क्लोज्ड नहीं हैं (जैसे, एक पॉइंट मास की ओर अभिसरण करने वाले यूनिफॉर्म वितरण के अनुक्रम), जो मशीन लर्निंग के व्यावहारिक अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ पैरामीटर स्पेस अक्सर ओपन या अनबाउंडेड होता है।
व्यावहारिक प्रयोज्यता: सामान्य वितरणों (Gaussian, Poisson, आदि) के लिए स्पष्ट निर्माण प्रदान करके, यह शोध पत्र इन उन्नत सैद्धांतिक उपकरणों को मशीन लर्निंग, विसंगति का पता लगाने (anomaly detection) और अनुक्रमिक विश्लेषण (sequential analysis) में अनुप्रयोग के लिए सुलभ बनाता है।

संक्षेप में, पोटापोव और कलनिशकन वितरणों के व्यापक वर्गों के लिए इष्टतम, कंप्यूट करने योग्य रैंडनेस टेस्ट बनाने के लिए एक कठोर गणितीय ढांचा प्रदान करते हैं, जिससे यह समस्या हल होती है कि कंप्यूटैबिलिटी या सांख्यिकीय वैधता खोए बिना सरल टेस्ट को एक वैध संयुक्त टेस्ट में कैसे एकत्रित किया जाए।