📊 statistics

Confidence intervals for maximum unseen probabilities, with application to sequential sampling design

यह शोध पत्र सीमित और असीमित वर्णमाला (alphabet) व्यवस्थाओं के तहत बर्नौली उत्पाद मॉडलों (Bernoulli product models) में अधिकतम अनदेखी संभावना (maximum unseen probability) के लिए गैर-एसिम्प्टोटिक (nonasymptotic), वितरण-मुक्त (distribution-free) विश्वास सीमाएँ विकसित करता है, उनकी निकट-इष्टतमता (near-optimality) स्थापित करता है और उन्हें परिमित-नमूना गारंटियों के साथ अनुक्रमिक नमूनाकरण रुकने के नियमों (sequential sampling stopping rules) के निर्माण के लिए लागू करता है।

मूल लेखक: Alessandro Colombi, Mario Beraha, Amichai Painsky, Stefano Favaro

प्रकाशित 2026-01-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alessandro Colombi, Mario Beraha, Amichai Painsky, Stefano Favaro

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो हजारों अलग-अलग प्रकार की छिपी हुई वस्तुओं से भरे एक विशाल, अंधेरे गोदाम में एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास एक टॉर्च है, लेकिन वह बहुत ज्यादा चमकदार नहीं है, और आप केवल यह देख सकते हैं कि किसी विशिष्ट स्थान पर कोई वस्तु मौजूद है या अनुपस्थित है। आपने कई स्थानों की जाँच की है और घूमकर देखा है, लेकिन आपने अभी तक सब कुछ नहीं देखा है।

बड़ा सवाल यह है: देखना बंद करने में कितना जोखिम है?

विशेष रूप से, क्या अंधेरे में कोई "राक्षस" (एक बहुत ही सामान्य वस्तु) छिपा हुआ है जिसे आपने अभी तक नहीं खोजा है? या जो चीजें आपने नहीं खोजी हैं वे केवल धूल के नन्हे, हानिरहित कण हैं?

यह शोध पत्र, जिसे अलेसांद्रो कोलंबी और उनके सहयोगियों ने लिखा है, इस प्रश्न का उत्तर देने के लिए एक गणितीय टूलकिट प्रदान करता है। यह आपको यह तय करने में मदद करता है कि आप कब सुरक्षित रूप से खोजना बंद कर सकते हैं, भले ही आपने गोदाम की हर एक वस्तु को न देखा हो।

यहाँ उनके विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. मुख्य समस्या: "अनदेखा" खतरा

वास्तविक दुनिया की कई स्थितियों में (जैसे दुर्लभ बीमारियों की जाँच करना, कंप्यूटर कोड में बग ढूंढना, या दुर्लभ जानवरों की गिनती करना), हम अक्सर बहुत सी सामान्य चीजों को देखते हैं लेकिन दुर्लभ चीजों को चूक जाते हैं।

जाल: यदि आप 100 मरीजों को देखते हैं और किसी विशिष्ट बीमारी वाले किसी भी व्यक्ति को नहीं पाते हैं, तो आप सोच सकते हैं, "बहुत बढ़िया, जोखिम शून्य है!" लेकिन यह खतरनाक है। शायद वह बीमारी बहुत दुर्लभ है, या शायद आप बस भाग्यशाली थे और आपने सही लोगों को नहीं देखा।
लक्ष्य: लेखक एक "सुरक्षा छत" (safety ceiling) की गणना करना चाहते हैं। वे कहना चाहते हैं: "मैं 95% सुनिश्चित हूँ कि जो सबसे सामान्य चीज़ मैंने अभी तक नहीं देखी है, वह X से बड़ी नहीं है।" यदि X पर्याप्त छोटा है, तो आप देखना बंद कर सकते हैं। यदि X अभी भी बहुत बड़ा है, तो आपको खोज जारी रखनी होगी।

2. दो अलग-अलग प्रकार के गोदाम

शोध पत्र को एहसास होता है कि "गोदाम" (संभावनाओं का ब्रह्मांड) दो स्वादों में आता है, और आपको प्रत्येक के लिए अलग टॉर्च की आवश्यकता होती है:

सीमित गोदाम (Bounded Warehouse - Finite): आप जानते हैं कि वस्तुओं के कितने प्रकार मौजूद हैं (जैसे, पक्षियों की ठीक 1,000 प्रजातियां हैं)।
- पुराना तरीका: मानक नियम बहुत सतर्क होता है। यह सबसे खराब स्थिति को मानता है: "शायद सभी 1,000 पक्षी छिपे हुए हैं!" इससे एक बहुत ही विस्तृत सुरक्षा छत मिलती है, जिसका अर्थ है कि आपको सुरक्षित महसूस करने के लिए लंबे समय तक खोजना होगा।
- नया तरीका: लेखकों ने एक स्मार्ट नियम बनाया है। यदि आप पहले ही 900 पक्षी देख चुके हैं, तो नियम यह समझ जाता है, "ठीक है, हमें केवल शेष 100 की चिंता करने की आवश्यकता है।" यह सुरक्षा छत को सिकोड़ देता है, जिससे यदि डेटा समर्थन करता है तो आप जल्दी रुक सकते हैं।
असीमित गोदाम (Unbounded Warehouse - Infinite): आप नहीं जानते कि कितने प्रकार की वस्तुएं मौजूद हैं। वे 1,000 हो सकती हैं, या एक मिलियन, या अनंत संख्या में (जैसे किसी भाषा में होने वाली हर संभावित वर्तनी की गलती को गिनना)।
- बुरी खबर: लेखकों ने एक आश्चर्यजनक तथ्य सिद्ध किया है: यदि आप डेटा को नहीं देखते हैं, तो आप एक सुरक्षित अनुमान नहीं लगा सकते। यदि आप एक ऐसा नियम बनाने की कोशिश करते हैं जो किसी भी संभावित अनंत गोदाम के लिए काम करे बिना यह देखे कि आपने वास्तव में क्या पाया है, तो आप विफल हो जाएंगे। "सुरक्षा छत" शून्य से लेकर 100% तक कुछ भी हो सकती है।
- अच्छी खबर: यदि आप अपने डेटा को देखते हैं, तो आप एक स्मार्ट, अनुकूल नियम बना सकते हैं। यदि आपने बहुत अधिक विविधता देखी है, तो नियम खुद को समायोजित करता है। यदि आपने केवल कुछ ही चीजें देखी हैं, तो नियम व्यापक रहता है। उन्होंने सिद्ध किया कि यह नया तरीका अनंत संभावनाओं को संभालने का सबसे अच्छा तरीका है।

3. चुनने के लिए "नियम" (Rule of Thumb)

यह शोध पत्र एक सरल तरीका भी देता है जिससे आप यह तय कर सकें कि कब कौन सी टॉर्च इस्तेमाल करनी है जब आप अनिश्चित हों कि गोदाम सीमित है या असीमित।

दृश्य परीक्षण (Visual Test): एक ग्राफ की कल्पना करें जो दिखाता है कि जैसे-जैसे आप खोजना जारी रखते हैं, आपको कितनी नई चीजें मिलती हैं।
- यदि रेखा तेजी से ऊपर जाती है और फिर समतल (flatten out) हो जाती है (एक पठार की तरह), तो आपने शायद लगभग सब कुछ पा लिया है। "सीमित" (Bounded) विधि का उपयोग करें।
- यदि रेखा धीरे-धीरे चढ़ती रहती है (एक हल्की ढलान की तरह), तो संभावना है कि अभी भी कई छिपी हुई चीजें हैं। "असीमित" (Unbounded) विधि का उपयोग करें।
गणितीय परीक्षण (Math Test): वे एक त्वरित गणना भी प्रदान करते हैं। यदि आपने जो चीजें देखी हैं उनका कुल "भार" (weight) उन चीजों की तुलना में कम है जिन्हें आप देख सकते थे, तो मान लें कि गोदाम बहुत बड़ा है (असीमित)।

4. यह क्यों मायने रखता है ( "संदूषण" की समस्या)

वास्तविक दुनिया में, डेटा अक्सर अव्यवस्थित होता है। कल्पना कीजिए कि आप दुर्लभ पक्षियों की तलाश कर रहे हैं, लेकिन आपका कैमरा बार-बार धूल के ऐसे कणों की तस्वीरें लेता है जो पक्षियों जैसे दिखते हैं। ये "नकली" दुर्लभ आइटम (artifacts) हैं।

पुराने तरीके अक्सर इन नकली चीजों से भ्रमित हो जाते हैं। वे हजारों "दुर्लभ" धूल के कणों को देखते हैं और सोचते हैं, "वाह, इतनी सारी दुर्लभ चीजें हैं जो मैंने अभी तक नहीं देखी हैं! मुझे हमेशा के लिए खोजना होगा!"
लेखकों का नया तरीका मजबूत (robust) है। यह कुछ वास्तविक छिपे हुए, सामान्य राक्षसों और नकली, नन्हे धूल के कणों के समुद्र के बीच अंतर कर सकता है। यह शोर (noise) आने पर घबराता नहीं है।

5. वास्तविक दुनिया का परीक्षण: कैंसर जीनोमिक्स

अपने तरीके को सिद्ध करने के लिए, उन्होंने TCGA (The Cancer Genome Atlas) के वास्तविक डेटा पर परीक्षण किया, जो कैंसर रोगियों में आनुवंशिक उत्परिवर्तन (genetic mutations) का विवरण देता है।

स्थिति: अरबों संभावित आनुवंशिक उत्परिवर्तन हो सकते हैं। अधिकांश अत्यंत दुर्लभ होते हैं (केवल एक रोगी में दिखाई देते हैं)।
परिणाम: उनके तरीके ने सफलतापूर्वक गणना की कि भविष्य के रोगियों में एक नया, सामान्य उत्परिवर्तन मिलने की कितनी संभावना है। इसने दिखाया कि भले ही अरबों संभावनाएं हों, यदि सही "असीमित" दृष्टिकोण का उपयोग किया जाए, तो अन देखे उत्परिवर्तन के लिए "सुरक्षा छत" इतनी कम थी कि वह शोधकर्ताओं के लिए उपयोगी हो सके।

सारांश

यह शोध पत्र इस बारे में है कि देखना कब बंद करना है।
यह हमें सिखाता है कि:

यदि आप संभावनाओं की कुल संख्या जानते हैं, तो आप अपनी खोज के बारे में अधिक स्मार्ट हो सकते हैं।
यदि संभावनाएं अनंत हैं, तो आपको एक सुरक्षित अनुमान लगाने के लिए अपने डेटा को देखना होगा; एक सामान्य नियम काम नहीं करेगा।
उनके गणितीय उपकरण "शोर" (नकली डेटा) के प्रति अधिक सख्त हैं और वैज्ञानिकों को उन चीजों को खोजने में समय बर्बाद करने से बचने में मदद करते हैं जो संभवतः केवल नन्हे, हानिरहित धूल के कण हैं, न कि खतरनाक राक्षस।

तकनीकी सारांश: अधिकतम अनदेखी संभावनाओं के लिए विश्वास अंतराल (Confidence Intervals)

समस्या विवरण

यह शोध पत्र इस सांख्यिकीय चुनौती को संबोधित करता है कि क्या उन सभी श्रेणियों का पता लगाने के लिए अतिरिक्त नमूनाकरण (sampling) आवश्यक है जिनकी व्यापकता (prevalence) एक पूर्वनिर्धारित सीमा $\varepsilon$ से अधिक है। यह समस्या पारिस्थितिकी (ecology), जीनोमिक्स, सुरक्षा विश्लेषण और भाषा मॉडलिंग जैसे क्षेत्रों में उत्पन्न होती है, जहाँ लक्ष्य यह सुनिश्चित करना होता है कि किसी भी अनदेखी घटना की प्रायिकता द्रव्यमान (probability mass) $\varepsilon$ से अधिक न हो।

लेखक इसे एक बर्नौली उत्पाद (incidence) मॉडल के भीतर औपचारिक रूप देते हैं। इस सेटिंग में, प्रतीकों (categories) के एक सेट $j \in \{1, \dots, M\}$ और नमूनाकरण इकाइयों $i \in \{1, \dots, n\}$ के लिए, अवलोकन बाइनरी संकेतक $X_{ij}$ होते हैं जो इकाई $i$ में प्रतीक $j$ की उपस्थिति या अनुपस्थिति को दर्शाते हैं। घटना की प्रायिकताएँ $p_j$ इकाइयों में स्थिर रहती हैं। वर्णमाला का आकार (alphabet size) $M$ परिमित (bounded) या गणनीय अनंत (countably infinite/unbounded) हो सकता है।

अनुमानित लक्ष्य अधिकतम अनदेखी संभावना है, जिसे $M_{\max}$ द्वारा दर्शाया गया है:
$M_{\max} = \max_{j: N_j = 0} p_j$
जहाँ $N_j = \sum_{i=1}^n X_{ij}$ प्रतीक $j$ के देखे गए अवलोकनों की गणना है। इसका उद्देश्य एक गैर-अनंतकालीन (non-asymptotic), वितरण-मुक्त ऊपरी विश्वास सीमा (upper confidence bound) $U_n(\alpha)$ का निर्माण करना है ताकि $1-\alpha$ की प्रायिकता के साथ, $M_{\max} \leq U_n(\alpha)$ हो सके। यह सीमा एक 'स्टॉपिंग रूल' (stopping rule) के रूप में कार्य करती है: नमूनाकरण तब रोका जा सकता है जब $U_n(\alpha) \leq \varepsilon$ हो।

कार्यप्रणाली और सैद्धांतिक ढांचा

यह शोध पत्र दो व्यवस्थाओं (regimes) में एक एकीकृत सिद्धांत विकसित करता है: सीमित वर्णमाला (परिमित, ज्ञात $M$ ) और असीमित वर्णमाला (गणनीय अनंत, जो $\sum p_j < \infty$ की योग्यता स्थिति के अधीन है)।

1. सीमित वर्णमाला व्यवस्था ( $M < \infty$ )

बेंचमार्क: लेखक मल्टीप्लिसिटी-समायोजित "रूल ऑफ थ्री" (बोनफेरोनी सुधार) को एक आधार के रूप में पहचानते हैं: $T_{\text{Bonf}} = \log(M/\alpha)/n$ । वे नोट करते हैं कि यह रूढ़िवादी (conservative) है क्योंकि यह मान लेता है कि सभी $M$ श्रेणियाँ अनदेखी हैं।
वर्स्ट-केस डेटा-स्वतंत्र सीमा: प्रमेय 2.1 $\ell_r$ -नॉर्म दृष्टिकोण और मार्कोव की असमानता (Markov's inequality) का उपयोग करके बोनफेरोनी सीमा को परिष्कृत करता है। पैरामीटर $r$ पर अनुकूलन (optimization) करके, वे एक सीमा $T_{\text{wc}}(n, M, \alpha)$ प्राप्त करते हैं जो बोनफेरोनी सीमा के गैर-अनंतकालीन स्थिरांक में सुधार करती है, जबकि डेटा-स्वतंत्र बनी रहती है।
डेटा-निर्भर सीमा: प्रमेय 2.2 एक सीमा पेश करता है जो अनुभवजन्य घटना गणनाओं (empirical incidence counts) के अनुकूल होती है। यह वर्स्ट-केस कारक $M$ को एक डेटा-निर्भर प्रभावी वर्णमाला आकार $m_{b_n}(\hat{p}) = \sum (1-\hat{p}_j)^{b_n}$ से बदल देता है, जहाँ $\hat{p}_j = N_j/n$ है। यह मात्रा ट्यूनिंग पैरामीटर $b_n$ के बढ़ने के साथ अनदेखी श्रेणियों पर केंद्रित होती है। यह सीमा अनुभवजन्य और वास्तविक योगों के बीच विचलन को नियंत्रित करने के लिए मैकडियर्मिड की असमानता (McDiarmid's inequality) का उपयोग करके व्युत्पन्न की गई है।
इष्टतमता (Optimality): प्रमेय 2.3 एक मिलान निचली सीमा (matching lower bound) स्थापित करता है, जो यह सिद्ध करता है कि कोई भी समान रूप से वैध ऊपरी विश्वास सीमा $\log(K/\alpha)/n$ के क्रम में सुधार नहीं कर सकती है, जहाँ $K$ अनदेखी श्रेणियों की संख्या है। यह प्रस्तावित डेटा-निर्भर सीमाओं की निकट-इष्टतमता (near-optimality) की पुष्टि करता है।

2. असीमित वर्णमाला व्यवस्था ( $M = \infty$ )

असंभवता परिणाम: प्रमेय 3.1 प्रदर्शित करता है कि कोई भी गैर-तुच्छ, डेटा-स्वतंत्र (वर्स्ट-केस) ऊपरी सीमा, योग योग्य व्यापकता अनुक्रमों (summable prevalence sequences) के वर्ग पर समान रूप से वैध कवरेज प्राप्त नहीं कर सकती है। ऐसा इसलिए है क्योंकि प्रासंगिक फलनों (functionals) का अपेक्षित मान अनंत (diverge) होता है।
डेटा-निर्भर सीमा: इसे दूर करने के लिए, प्रमेय 3.4 एक पूर्णतः डेटा-निर्भर सीमा प्रस्तावित करता है। यह एक $r$ -नॉर्म निर्माण का उपयोग करता है जो कुल द्रव्यमान $S = \sum p_j$ की परिमितता का लाभ उठाता है। प्रक्रिया $S$ का अनुमान एक निष्पक्ष अनुमानक $\hat{S}$ के माध्यम से लगाती है और एक ऊपरी विश्वास सीमा $S^*$ का निर्माण करती है। इसके बाद $U_n$ को एक डेटा-निर्भर पैरामीटर $R^*$ चुनकर अनुकूलित किया जाता है जो $\log n$ के साथ स्केल करता है।
इष्टतमता: प्रमेय 3.5 एक मिलान निचली सीमा प्रदान करता है, जो दिखाता है कि प्रस्तावित प्रक्रिया द्वारा प्राप्त दर, $n^{-1}(\log n - \log \log n)$ , असीमित व्यवस्था के लिए अनिवार्य रूप से इष्टतम है।

3. अनुक्रमिक स्टॉपिंग नियम (Sequential Stopping Rules)

व्युत्पन्न विश्वास अंतरालों का उपयोग अनुक्रमिक स्टॉपिंग नियमों के निर्माण के लिए किया जाता है। प्रक्रिया पहले नमूना आकार $n$ पर रुक जाती है जहाँ ऊपरी सीमा $U_n(\alpha) \leq \varepsilon$ होती है। लेखक इन नियमों का मूल्यांकन कवरेज-आधारित डायग्नोस्टिक्स और प्रजाति-संचय वक्रों (species-accumulation curves) के विरुद्ध करते हैं, विशेष रूप से संदूषण (contamination - स्प्यूरियस लो-प्रवेलेंस श्रेणियों) के विरुद्ध मजबूती का परीक्षण करते हैं।

मुख्य परिणाम और अनुभवजन्य निष्कर्ष

सिमुलेशन में प्रदर्शन:
- सीमित परिवेश (Bounded settings) में हल्के-पूंछ वाले वितरणों (जहाँ अधिकांश प्रतीक देखे गए हैं) के साथ, प्रस्तावित Bounded सीमा मानक बोनफेरोनी बेंचमार्क से बेहतर प्रदर्शन करती है।
- भारी-पूंछ वाले परिवेश (Heavy-tailed settings) (जहाँ कई दुर्लभ/अनदेखी श्रेणियाँ हैं) में, Unbounded सीमा दोनों Bounded और Bonferroni सीमाओं की तुलना में काफी छोटे अंतराल उत्पन्न करती है, भले ही वास्तविक वर्णमाला परिमित लेकिन बड़ी हो।
- प्रस्तावित विधियाँ सभी परीक्षण किए गए परिदृश्यों में नाममात्र कवरेज स्तर (आमतौर पर अनुभवजन्य रूप से 100% के करीब) प्राप्त करती हैं।
चयन हेतु ह्यूरिस्टिक (Selection Heuristic): यह शोध पत्र Bounded और Unbounded प्रक्रियाओं के बीच चयन करने के लिए एक व्यावहारिक ह्यूरिस्टिक (समीकरण 10) और एक दृश्य डायग्नोस्टिक (संचय वक्र) प्रस्तावित करता है। Unbounded दृष्टिकोण की सिफारिश तब की जाती है जब कुल प्रायिकता द्रव्यमान प्रभावी वर्णमाला आकार के सापेक्ष कम हो, या जब संचय वक्र बिना किसी स्पष्ट एसिम्प्टोट (asymptote) के निरंतर वृद्धि दिखाता हो।
मजबूती (Robustness): संदूषण (अनुक्रमिक त्रुटियों की नकल करने वाली कृत्रिम कम-व्यापकता वाली श्रेणियों) की उपस्थिति में, $M_{\max}$ -आधारित स्टॉपिंग नियम स्थिर और मजबूत रहते हैं। इसके विपरीत, कवरेज-आधारित मानदंड समय से पहले रुक सकते हैं या अत्यधिक नमूनाकरण प्रयास की आवश्यकता हो सकती है।
वास्तविक अनुप्रयोग (TCGA): द कैंसर जीनोम एटलस (TCGA) के दैहिक उत्परिवर्तन (somatic mutation) डेटा पर लागू करते समय, विशाल, प्रभावी रूप से अनंत जीनोमिक वेरिएंट स्पेस के कारण Unbounded प्रक्रिया को उपयुक्त माना गया। विधि ने अनदेखी वेरिएंट की व्यापकता के लिए परिमित-नमूना गारंटी प्रदान की, जिससे सरल अपेक्षित खोज गणनाओं से परे कठोर अनिश्चितता मात्रा निर्धारण (uncertainty quantification) संभव हुआ।

महत्व और दावे

यह शोध पत्र दोनों सीमित और असीमित बर्नौली उत्पाद मॉडलों में अधिकतम अनदेखी संभावना के विश्वास अंतरालों का पहला गैर-अनंतकालीन, वितरण-मुक्त विश्लेषण प्रदान करने का दावा करता है।

मुख्य योगदान शामिल हैं:

सैद्धांतिक सीमाएँ: डेटा-स्वतंत्र सीमाओं की सीमाओं को परिभाषित करना, विशेष रूप से असीमित व्यवस्थाओं में वैध वर्स्ट-केस सीमाओं की असंभवता को सिद्ध करना।
इष्टतमता: मिलान निचली सीमाओं को स्थापित करना जो दोनों व्यवस्थाओं में प्रस्तावित डेटा-निर्भर प्रक्रियाओं की निकट-इष्टतमता (minimax optimality) को प्रदर्शित करती हैं।
व्यावहारिक उपयोगिता: एक सिद्धांतबद्ध स्टॉपिंग फ्रेमवर्क प्रदान करना जो संदूषण के प्रति मजबूत है, जो मौजूदा पारिस्थितिक और जीनोमिक स्टॉपिंग नियमों के महत्वपूर्ण अंतर को संबोधित करता है जो अक्सर अनंतकालीन धारणाओं पर निर्भर होते हैं या दुर्लभ आर्टिफैक्ट्स के प्रति नाजुक होते हैं।
परिमित-नमूना गारंटी: अनदेखी घटनाओं के लिए कठोर अनिश्चितता मात्रा निर्धारण प्रदान करना, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों (जैसे क्लिनिकल ट्रायल, रिलायबिलिटी इंजीनियरिंग) के लिए विशेष रूप से मूल्यवान है जहाँ शून्य घटनाओं का अवलोकन शून्य जोखिम का निष्कर्ष निकालने के लिए पर्याप्त नहीं है।

लेखक अपने कार्य को मौजूदा "रूल ऑफ थ्री" ह्यूरिस्टिक्स और कवरेज-आधारित डायग्नोस्टिक्स के परिशोधन के रूप में प्रस्तुत करते हैं, जो डेटा-अनुकूल सीमाएं प्रदान करते हैं जो सैद्धांतिक रूप से इष्टतमता में निहित हैं।