📊 statistics

A closed-form sample size correction for always-valid inference with optional stopping

यह शोध पत्र एक क्लोज्ड-फॉर्म सैंपल साइज करेक्शन फैक्टर पेश करता है जो हमेशा-वैध (always-valid) अनुक्रमिक परीक्षणों के लिए फिक्स्ड-सैंपल गणनाओं को समायोजित करता है, जिससे सिमुलेशन के बिना सटीक पावर अनुमान सक्षम होता है और रूढ़िवादी लास्ट-पॉइंट नियमों की तुलना में आवश्यक सैंपल बजट को 8-20% तक कम किया जा सकता है।

मूल लेखक: Mårten Schultzberg

प्रकाशित 2026-06-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mårten Schultzberg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक केस (एक A/B टेस्ट) को सुलझाने की कोशिश कर रहे हैं ताकि यह देखा जा सके कि क्या एक नया सुराग (एक ट्रीटमेंट) पुराने सुराग से बेहतर है। आप सुनिश्चित करना चाहते हैं कि आप कोई गलती न करें, लेकिन आप यह भी चाहते हैं कि पर्याप्त सबूत मिलते ही आप काम रोक दें।

समस्या: "लास्ट-स्टॉप" ट्रैप (अंतिम पड़ाव का जाल)

अतीत में, जासूस एक नियम का उपयोग करते थे जिसे "लास्ट-स्टॉप रूल" कहा जाता था। वे कहते थे, "मैं हर दिन सबूतों की जांच करूँगा, लेकिन मैं आधिकारिक तौर पर केवल 100वें दिन ही विजेता घोषित करूँगा। मुझे यह सुनिश्चित करने की आवश्यकता है कि विशेष रूप से 100वें दिन पर, मेरे पास अपराधी को पकड़ने की 95% संभावना हो।"

सुरक्षित रहने के लिए, वे गणना करते थे कि उस 95% संभावना तक पहुँचने के लिए उन्हें कितने दिनों की आवश्यकता है। लेकिन इसमें एक पेंच था, क्योंकि उन्हें 100वें दिन से पहले हर एक दिन सबूतों को देखने की अनुमति थी, तो अपराधी 10वें, 50वें या 99वें दिन भी पकड़ा जा सकता था। "लास्ट-स्टॉप रूल" उन शुरुआती अवसरोंों को अनदेखा कर देता था।

क्योंकि यह शुरुआती अवसरों को अनदेखा कर रहा था, इसलिए यह नियम ज़रूरत से ज़्यादा सतर्क (overly cautious) था। यह जासूस को बताता था, "आपको सुरक्षित रहने के लिए 100 दिन चाहिए," जबकि वास्तव में, वे केवल 85 दिनों के साथ भी सुरक्षित हो सकते थे। इसका मतलब था कि वे एक लंबे अन्वेषण के लिए बहुत अधिक समय, पैसा और संसाधन बर्बाद कर रहे थे।

समाधान: "मैजिक मल्टीप्लायर" (जादुई गुणक)

इस पेपर के लेखक, मार्टन शुल्ट्ज़बर्ग (Mårten Schultzberg) ने एक क्लोज्ड-फॉर्म करेक्शन फैक्टर (एक फैंसी गणितीय शब्द जिसका अर्थ है एक सरल "जादुई नंबर" जिसे आप जटिल कंप्यूटर सिमुलेशन चलाए बिना निकाल सकते हैं) खोज निकाला है।

इसे एक "मैजिक मल्टीप्लायर" (जिसे $k^*$ कहा जाता है) के रूप में सोचें। प्रयोग को कितने समय तक चलाना है इसका अनुमान लगाने के बजाय, आप अपने मानक "फिक्स्ड" (निश्चित) कैलकुलेशन को इस जादुई नंबर से गुणा करते हैं।

पुराना तरीका: "सुरक्षित रहने के लिए हमें 1,000 लोगों की आवश्यकता है।" (यह वास्तव में बहुत अधिक है)।
नया तरीका: "हमें 1,000 लोगों की आवश्यकता है, लेकिन इसे 0.85 से गुणा करें। इसलिए, हमें केवल 850 लोगों की आवश्यकता है।"

यह नया तरीका इस बात का हिसाब रखता है कि आप साक्ष्य (evidence) की निरंतर जांच कर रहे हैं। यह समझता है कि क्योंकि आप हर समय देख रहे हैं, इसलिए आपको निश्चित होने के लिए लंबा इंतज़ार करने की आवश्यकता नहीं है।

यह कैसे काम करता है (रूपक/Metaphor)

कल्पना कीजिए कि सबूत एक पहाड़ी पर ऊपर की ओर लुढ़टती हुई एक गेंद की तरह हैं।

बाउंड्री (सीमा) पहाड़ी के ऊपर एक बाड़ (fence) की तरह है। यदि गेंद बाड़ को पार कर जाती है, तो आप रुक जाते हैं और जीत की घोषणा करते हैं।
पुराना नियम यह मानकर चलता था कि गेंद को ट्रैक के बिल्कुल अंत में बाड़ को पार करने की आवश्यकता है। सुरक्षित रहने के लिए, उन्होंने एक बहुत लंबा ट्रैक बनाया।
नया तरीका यह समझता है कि गेंद ट्रैक पर कहीं भी बाड़ को पार कर सकती है।
लेखक एक चालाकी भरा तरीका अपनाते हैं: वे एक सीधी रेखा (एक टेंजेंट) खींचते हैं जो अंत बिंदु पर बाड़ के शीर्ष को बस छूती है। क्योंकि बाड़ घुमावदार है (जैसे-जैसे आप आगे बढ़ते हैं, इसे पार करना कठिन होता जाता है), यह सीधी रेखा वास्तविक बाड़ से थोड़ा ऊपर स्थित होती है।
यह गणना करके कि गेंद के इस सीधी रेखा को पार करने की संभावना क्या है (बजाय घुमावदार बाड़ के), गणित सरल और हल करने योग्य हो जाता है। यह सीधी रेखा वाला सन्निकटन (approximation) इतना सटीक है कि यह आपको बताता है कि ट्रैक को कितना छोटा किया जा सकता है।

परिणाम: पैसा और समय की बचत

पेपर ने इस "मैजिक मल्टीप्लायर" का परीक्षण तीन अलग-अलग प्रकार के फेंस (सांख्यिकीय सीमाओं) के विरुद्ध किया जिनका उपयोग Spotify जैसी कंपनियाँ करती हैं।

बचत: इस नए फॉर्मूले का उपयोग करके, कंपनियाँ अपने सैंपल साइज (नमूना आकार) का 8% से 20% तक बचा सकती हैं।
- उपमा: यदि आप 100 लोगों के लिए केक बनाने की योजना बना रहे हैं, तो यह नया तरीका आपको बताता है, "वास्तव में, आपको केवल 85 लोगों के लिए सामग्री की आवश्यकता है, और आप अभी भी 95% आश्वस्त होंगे कि केक अच्छा है।"
सटीकता: जब उन्होंने हजारों कंप्यूटर सिमुलेशन चलाए, तो नया तरीका लक्ष्य सफलता दर को लगभग पूरी तरह से (लगभग 3 प्रतिशत अंकों के भीतर) प्राप्त करने में सफल रहा।
वास्तविक दुनिया का प्रमाण: लेखक ने Spotify के एक्सपेरिमेंटेशन प्लेटफॉर्म के वास्तविक डेटा पर इसका परीक्षण किया। 713 अलग-अलग परीक्षणों में, इस पद्धति ने सैंपल साइज में औसत 9.5% की बचत की। यह बचत किए गए समय और पैसे की एक बड़ी मात्रा है।

महत्वपूर्ण सीमाएँ

पेपर नोट करता है कि यह "जादुई नंबर" तब सबसे अच्छा काम करता है जब डेटा व्यवहार रूप से अच्छा हो (जैसे बेल कर्व) और जब आपके पास शुरू करने के लिए पर्याप्त डेटा (जिसे "बर्न-इन" कहा जाता है) हो। यदि आप कुछ बहुत दुर्लभ चीज़ का परीक्षण कर रहे हैं (जैसे कि एक बीमारी जो 10,000 में से 1 व्यक्ति को होती है), तो गणित थोड़ा अस्थिर हो जाता है, और बचत उतनी विश्वसनीय नहीं हो सकती है।

सारांश

संक्षेप में, यह पेपर प्रयोगकर्ताओं को उनके सैंपल साइज के लिए एक सरल, पूर्व-निर्धारित "डिस्काउंट कोड" देता है। यह उन्हें उन प्रयोगों के लिए बहुत अधिक तैयारी करने से रोकता है जिनमें निरंतर निगरानी (continuous monitoring) की अनुमति होती है, जिससे वे अपने निष्कर्षों की सुरक्षा से समझौता किए बिना अपने बजट का लगभग 10-20% बचा सकते हैं।

तकनीकी सारांश: हमेशा-वैध अनुमान (Always-Valid Inference) के लिए एक क्लोज्ड-फॉर्म सैंपल साइज सुधार

समस्या विवरण
अनुक्रमिक परीक्षण (Sequential tests) जो निरंतर निगरानी (हमेशा-वैध अनुमान) की अनुमति देते हैं, उन्हें ए/बी प्रयोगण प्लेटफार्मों (A/B experimentation platforms) में व्यापक रूप से तैनात किया जाता है ताकि स्पष्ट साक्ष्य मिलने पर शीघ्र निर्णय (early stopping) लिया जा सके। हालांकि, इन परीक्षणों के लिए उपयुक्त नमूना आकार (sample size) निर्धारित करना गणनात्मक रूप से महंगा है। अनुक्रमिक परीक्षणों के लिए पारंपरिक पावर गणनाओं (power calculations) में गहन सिमुलेशन की आवश्यकता होती है जो बड़े प्रयोगण प्लेटफार्मों पर निगरानी किए जाने वाले हजारों मेट्रिक्स के लिए स्केलेबल नहीं है।

एक सामान्य ह्यूरिस्टिक (heuristic), "लास्ट-पॉइंट रूल" (last-point rule), इन प्रयोगों के आकार को निर्धारित करने के लिए निश्चित-नमूना आकार ( $n_z$ ) को तब तक बढ़ाता है जब परियोजित एंडपॉइंट पर मार्जिनल रिजेक्शन प्रोबेबिलिटी लक्षित पावर ( $1-\beta$ ) तक पहुँच जाती है। यह शोध पत्र इस दृष्टिकोण में एक महत्वपूर्ण दोष की पहचान करता है: हमेशा-वैध (AV) पावर को रन के दौरान किसी भी समय बाउंड्री क्रॉसिंग की संभावना के रूप में परिभाषित किया जाता है, न कि केवल एंडपॉइंट पर। फलस्वरूप, लास्ट-पॉइंट रूल अत्यधिक रूढ़िवादी (conservative) है। मानक ऑपरेटिंग विशेषताओं ( $\alpha=0.05, 1-\beta=0.80$ ) पर, यह नियम 0.86 और 0.88 के बीच अनुभवजन्य पावर (empirical power) देता है, जिससे प्रयोग प्रभावी रूप से 7–9 प्रतिशत अंक अधिक बड़ा हो जाता है।

कार्यप्रणाली (Methodology)
लेखक एक क्लोज्ड-फॉर्म सुधार कारक, $k^*(\alpha, \beta, t_0)$ का प्रस्ताव करते हैं, जो $n_z$ को इस तरह समायोजित करता है कि कुल नमूना आकार $n = k^* \cdot n_z$ बिना सिमुलेशन के लक्षित AV पावर प्राप्त कर सके।

कार्यप्रणाली निम्नलिखित घटकों पर आधारित है:

रीस्केल्ड टाइम और ब्राउनियन मोशन सन्निकटन (Approximation): समस्या को एक रीस्केल्ड टाइम वेरिएबल $t = n/n_z$ में मैप किया गया है। वैकल्पिक परिकल्पना ( $H_1$ ) के तहत, मानकीकृत संचयी प्रक्रिया (standardized cumulative process) $Y_t$ को ड्रिफ्ट $\mu_d = z_\alpha + z_\beta$ और यूनिट वेरियंस रेट वाले ब्राउनियन मोशन के रूप में अनुमानित किया गया है।
टैंजेंट लीनियरलाइजेशन (Tangent Linearization): सन्निकटन का मुख्य भाग योजनाबद्ध एंडपॉइंट $t=k$ पर वक्र (curved) अनुक्रमिक बाउंड्री $b(t)$ को इसके स्पर्श रेखा (tangent line) से बदलने में निहित है। यह लीनियर सरोगेट, बाचेलिए फर्स्ट-पैसेज फॉर्मूला (Bachelier first-passage formula) के अनुप्रयोग की अनुमति देता है।
विश्लेषणात्मक व्युत्पत्ति (Analytical Derivation): लेखक अंतराल $[t_0, k]$ $[t_{0}, k]$ के दौरान लीनियर बाउंड्री को क्रॉस करने की संभावना का व्युत्पन्न निकालते हैं, जहाँ $t_0 = m/n_z$ $t_{0} = m / n_{z}$ बर्न-इन अंश (burn-in fraction) है (वह बिंदु जहाँ निगरानी शुरू होती है)। व्युत्पत्ति $t_0$ $t_{0}$ पर प्रक्रिया के प्रारंभिक मान का गाऊसी कंप्लीशन-ऑफ-द-स्क्वायर (Gaussian completion-of-the-square) और द्विचरीय सामान्य संचयी वितरण फलन (bivariate normal CDF), $\Phi_2$ $Φ_{2}$ का उपयोग करके एकीकरण करती है।
- परिणामी पावर सन्निकटन $\pi_{closed}(k)$ में तीन पद शामिल हैं: $t_0$ पर तत्काल रिजेक्शन प्रोबेबिलिटी, $(t_0, k]$ के दौरान लीनियर बाउंड्री को क्रॉस करने की संभावना, और एक रिफ्लेक्शन करेक्शन टर्म।
बाउंड्री विशिष्टता (Boundary Specificity): सुधार कारक एंडपॉइंट पर विशिष्ट बाउंड्री के मान $b(k)$ $b (k)$ और ढलान (slope) $b'(k)$ $b^{'} (k)$ के माध्यम से ही निर्भर करता है। शोध पत्र तीन सामान्य बाउंड्रीज के लिए इन्हें स्पष्ट रूप से व्युत्पन्न करता है:
- वॉडी-स्मिथ एट अल. [2023] (WSKR) कॉन्फिडेंस सीक्वेंस।
- महाराज एट अल. [2023] कॉन्फिडेंस सीक्वेंस।
- जोहारी एट अल. [2022] मिक्स्चर सीक्वेंसियल प्रोबेबिलिटी रेशियो टेस्ट (mSPRT)।

प्रमुख योगदान

क्लोज्ड-फॉर्म सुधार कारक: शोध पत्र $k^*$ के लिए एक स्पष्ट सूत्र प्रदान करता है जिसे प्राथमिक फलनों और द्विचरीय सामान्य CDF का उपयोग करके मूल्यांकित किया जा सकता है, जिससे सिमुलेशन-आधारित पावर गणना की आवश्यकता समाप्त हो जाती है।
सामान्यीकरण क्षमता (Generalizability): यह सन्निकटन किसी भी स्मूथ, कॉनकेव (concave) बाउंड्री के लिए लागू है, बशर्ते एंडपॉइंट पर उसका मान और ढलान ज्ञात हो।
बर्न-इन संवेदनशीलता (Burn-in Sensitivity): विश्लेषण निगरानी विंडो के शुरू होने के बिंदु के रूप में बर्न-इन पैरामीटर $m$ को ध्यान में रखता है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखकों ने प्रत्येक सेल के लिए 50,000 प्रतिकृति (replications) के साथ मोंटे कार्लो सिमुलेशन का उपयोग करके तीन अलग-अलग बाउंड्री परिवारों और $(\alpha, \beta)$ के एक विस्तृत ग्रिड पर अपने सुधार का सत्यापन किया है।

परिणाम

सटीकता: $k^* \cdot n_z$ पर सैंपल साइज सेट करने से परीक्षणित ग्रिड में लक्षित अनुभवजन्य पावर के लगभग 3 प्रतिशत अंक के भीतर लक्ष्य प्राप्त होता है। गाऊशियन सिमुलेशन में, अनुभवजन्य पावर अक्सर $1-\beta$ से थोड़ी अधिक होती है, जो एक रूढ़िवादी पूर्वाग्रह (conservative bias) है क्योंकि स्पर्श रेखा कॉनकेव बाउंड्री के ऊपर स्थित होती है।
दक्षता लाभ (Efficiency Gains): सुधार कारक लास्ट-पॉइंट रूल की तुलना में महत्वपूर्ण सैंपल साइज बचत प्रदान करता है। ऑपरेटिंग रेंज में, बचत 8% से 20% तक है।
- उदाहरण के लिए, $\alpha=0.05$ और $1-\beta=0.80$ पर, बाउंड्री प्रकार के आधार पर बचत लगभग 10–14% है।
प्रोडक्शन सत्यापन: लेखकों ने स्पोटिफ़ाई (Spotify) के प्रयोगण प्लेटफॉर्म (महाराज बाउंड्री का उपयोग करते हुए) से 713 मेट्रिक्स पर इस सुधार को लागू किया। देखा गया औसत (median) सैंपल साइज रिडक्शन 9.5% था, और माध्य (mean) 9.8% था।
बर्न-इन प्रभाव: शोध पत्र नोट करता है कि जबकि वास्तविक बर्न-इन मान ( $m \ll n_z$ ) व्यापक कॉन्फिडेंस सीक्वेंस के कारण कुल बजट को बढ़ा देते हैं (अक्सर निश्चित-नमूना आकार से 2-3 गुना), फिर भी सुधार कारक अनकलेक्टेड लास्ट-पॉइंट रूल की तुलना में पर्याप्त बचत प्रदान करता है।
सीमाएँ: लेखक नोट करते हैं कि बहुत कम बेस रेट (जैसे, $p_C \le 0.01$ ) पर, सेंट्रल लिमिट थ्योरम (CLT) सन्निकटन कमजोर हो जाता है, और क्लोज्ड-फॉर्म फैक्टर लक्षित पावर को कम आंक सकता है।

महत्व
शोध पत्र का दावा है कि लास्ट-पॉइंट रूल, हालांकि सरल है, अनुक्रमिक परीक्षण के लिए अक्षम है, जिससे अनावश्यक संसाधन व्यय होता है। एक क्लोज्ड-फॉर्म सुधार कारक प्रदान करके, लेखक प्रयोगण प्लेटफार्मों को सटीक रूप से हमेशा-वैध परीक्षणों का आकार देने के लिए एक स्केलेबल समाधान प्रदान करते हैं। यह प्लेटफार्मों को सांख्यिकीय वैधता से समझौता किए बिना सैंपल साइज को 8–20% तक कम करने की अनुमति देता है, जिससे निर्णय लेने की प्रक्रिया तेज होती है और प्रयोग की लागत कम होती है। यह कार्य सैद्धांतिक अनुक्रमिक विश्लेषण और उद्योग परिवेश में बड़े पैमाने पर कार्यान्वयन के बीच के अंतर को पाटता है।