🔢 mathematics

Post-Hoc Large-Sample Statistical Inference

यह शोध पत्र एसिम्प्टोटिक पोस्ट-हॉक इन्फरेंस (asymptotic post-hoc inference) का एक सिद्धांत विकसित करता है जो मौजूदा नॉनएसिम्प्टोटिक विधियों की तुलना में कम धारणाओं वाले शार्पर कॉन्फिडेंस सेट्स और p-वैल्यू बनाने के लिए e-वैल्यूज़ का उपयोग करता है, जिससे डेटा देखने के बाद महत्व स्तर (significance levels) चुनने पर भी वैध सांख्यिकीय निष्कर्ष निकालना संभव हो जाता है।

मूल लेखक: Ben Chugg, Etienne Gauthier, Michael I. Jordan, Aaditya Ramdas, Ian Waudby-Smith

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ben Chugg, Etienne Gauthier, Michael I. Jordan, Aaditya Ramdas, Ian Waudby-Smith

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो सुरागों (डेटा) के ढेर का उपयोग करके एक रहस्य को सुलझाने की कोशिश कर रहे हैं। सांख्यिकी (statistics) की दुनिया में, आपका लक्ष्य वास्तविक उत्तर (पैरामीटर) को पकड़ने के लिए एक "जाल" (कॉन्फिडेंस इंटरवल) बनाना है।

पुरानी समस्या: "कठोर नियम पुस्तिका" (The Rigid Rulebook)

दशकों से, सांख्यिकीविदों के पास एक सख्त नियम पुस्तिका थी: आपको सुराग देखने से पहले ही यह तय करना होगा कि आपका जाल कितना "सख्त" होना चाहिए।

इस "सख्ती" को महत्व स्तर (significance level) कहा जाता है (आमतौर पर इसे $\alpha$ द्वारा दर्शाया जाता है, जैसे 0.05 या 5%)।

परिदृश्य: आप तय करते हैं कि आप 5% का जाल इस्तेमाल करेंगे। आप डेटा देखते हैं, और जो जाल आप पकड़ते हैं वह बहुत बड़ा और धुंधला है। यह बेकार है! आप कुछ भी सार्थक नहीं कह सकते।
दुविधा: आप एक "ढीला" जाल (जैसे 10% या 20%) आज़माना चाहते हैं ताकि आपको एक स्पष्ट तस्वीर मिल सके। लेकिन पुराने नियम कहते हैं, "नहीं! आपने शुरुआत में 5% चुना था। यदि आप इसे अब जो आपने देखा उसके आधार पर बदलते हैं, तो आप धोखाधड़ी कर रहे हैं।"
परिणाम: यदि आप खेल के बीच में नियम बदलते हैं, तो आपके सांख्यिकीय आश्वासन समाप्त हो जाते हैं। यह एक न्यायाधीश की तरह है जो कहता है, "मैं केवल सबूत तभी स्वीकार करूँगा जब आप मुकदमे शुरू होने से पहले अपना फैसला तय कर लें।" यदि आप सबूत देखने के बाद अपना मन बदलते हैं, तो फैसला अमान्य हो जाता है।

इसे "रोविंग अल्फा" (Roving Alpha) समस्या कहा जाता है। यह विश्लेषकों को या तो खराब परिणामों के साथ चिपके रहने या बेहतर परिणाम पाने के लिए धोखाधड़ी करने के लिए मजबूर करती है।

नया समाधान: "जादुई स्कोरकार्ड" (E-Values)

यह पेपर E-values (एविडेंस वैल्यूज) नामक चीज़ का उपयोग करके जासूसी करने का एक नया तरीका पेश करता है। E-value को एक जादुई स्कोरकार्ड के रूप में समझें जो किसी संदिग्ध (एक परिकल्पना) के विरुद्ध साक्ष्य एकत्र करता है।

जादुई ट्रिक: इस स्कोरकार्ड के साथ, आपको मुकदमे से पहले यह तय करने की आवश्यकता नहीं है कि आप कितने सख्त होंगे। आप सुराग देख सकते हैं, देख सकते हैं कि साक्ष्य कितने मजबूत हैं, और फिर तय कर सकते हैं, "ठीक है, मैं 5% का जोखिम उठाने को तैयार हूँ," या "वास्तव में, मैं 20% का जोखिम उठाने को तैयार हूँ।"
यह कैसे काम करता है: E-values के पीछे का गणित इस तरह से बनाया गया है कि भले ही आप डेटा देखने के बाद नियमों के बारे में अपना मन बदल लें, स्कोरकार्ड फिर भी कायम रहता है। यह एक ऐसे खेल की तरह है जहाँ स्कोर इस तरह से कैलकुलेट किया जाता है कि आप खेल के बीच में नियम बदलकर "सिस्टम को चकमा देने" से बच सकें।

बड़ी छलांग: "छोटे सैंपल" से "बिग डेटा" तक

पहले, यह "जादुई स्कोरकार्ड" वाली ट्रिक केवल छोटे, सरल डेटासेट के लिए काम करती थी जहाँ आपको बहुत मजबूत धारणाएँ बनानी पड़ती थीं (जैसे "डेटा पूरी तरह से सामान्य होना चाहिए")। यदि डेटा अव्यवस्थित या बहुत बड़ा होता, तो यह ट्रिक विफल हो जाती।

यह पेपर एक बड़ी सफलता है: यह जादुई स्कोरकार्ड को बड़े नमूनों (Large Samples/Big Data) तक विस्तारित करता है।

पुराना तरीका (Non-asymptotic): अव्यवस्थित डेटा पर स्कोरकार्ड का उपयोग करने के लिए, आपको यह मानना पड़ता था कि डेटा बहुत व्यवस्थित है। यदि ऐसा नहीं होता, तो स्कोरकार्ड बहुत अधिक रूढ़िवादी (बहुत बड़े, बेकार जाल देना) हो जाता या काम ही नहीं करता।
नया तरीका (Asymptotic): लेखकों ने स्कोरकार्ड का एक ऐसा संस्करण विकसित किया है जो तब काम करता है जब आपके पास बहुत सारा डेटा हो। जैसे-जैसे डेटा की मात्रा अनंत तक बढ़ती है, स्कोरकार्ड अविश्वसनीय रूप से सटीक होता जाता है।
- लाभ: अब आप इस लचीले, "पोस्ट-हॉक" (बाद में निर्णय लेने वाले) तरीके का उपयोग वास्तविक दुनिया के, अव्यवस्थित, बड़े डेटासेट पर बिना किसी असंभव धारणा के कर सकते हैं।

तीन नए उपकरण

यह पेपर अलग-अलग स्थितियों के लिए तीन विशिष्ट "जाल" (कॉन्फिडेंस इंटरवल) प्रदान करता है:

"एंकरित" जाल (The "Anchored" Net): आप एक "सर्वश्रेष्ठ अनुमान" चुनते हैं कि आप कितने सख्त होना चाहते हैं (जैसे, "मुझे लगता है कि 1% सही स्तर है") और उसके आधार पर अपना स्कोरकार्ड सेट करते हैं। भले ही वास्तविक उत्तर 5% या 10% निकले, यह जाल आश्चर्यजनक रूप से सटीक और प्रभावी रहता है। यह वैसा ही है जैसे मौसम के धूप होने का अनुमान लगाना; भले ही बारिश हो जाए, आपका छाता अभी भी सही आकार का है।
"मिश्रण" जाल (The "Mixture" Net): एक स्तर का अनुमान लगाने के बजाय, यह जाल कई अलग-अलग स्तरों को मिला देता है। यह एंकरित जाल की तुलना में थोड़ा व्यापक (ढीला) है, लेकिन यह गारंटी देता है कि यदि आपका अनुमान बहुत गलत निकला, तो भी आप अचानक संकट में नहीं पड़ेंगे। यह "सुरक्षा प्रथम" वाला विकल्प है।
"अनुक्रमिक" जाल (The "Sequential" Net): यह सबसे शक्तिशाली उपकरण है। यह आपको हमेशा डेटा देखते रहने की अनुमति देता है। आप जब चाहें रुक सकते हैं, या चलते रह सकते हैं, और जाल वैध बना रहता है। यह एक ऐसे जाल की तरह है जो जंगल में चलते समय अपने आप बढ़ता और सिकुड़ता रहता है, और चाहे आप कितनी भी दूर चलें, हमेशा "सत्य" को अपने भीतर रखता है।

आपको इसकी परवाह क्यों करनी चाहिए?

वास्तविक दुनिया में, वैज्ञानिक और विश्लेषक अक्सर डेटा देखते हैं, एक अस्पष्ट परिणाम देखते हैं, और फिर स्पष्ट उत्तर प्राप्त करने के लिए अपने विश्लेषण में बदलाव करते हैं। पुराने नियमों ने इसे "p-hacking" (धोखाधड़ी) कहा था।

यह पेपर कहता है: "लचीला होने के लिए आपको धोखाधड़ी करने की आवश्यकता नहीं है।"

यह सांख्यिकीविदों को एक कठोर, गणितीय रूप से सिद्ध तरीका देता है:

पहले डेटा देखना।
परिणामों को देखने के बाद यह तय करना कि वे कितना जोखिम उठाने के लिए तैयार हैं।
और फिर भी एक वैध, भरोसेमंद उत्तर प्राप्त करना।

यह सांख्यिकी को एक कठोर, पूर्व-नियोजित परीक्षा से बदलकर डेटा के साथ एक लचीली, अनुकूलन योग्य बातचीत में बदल देता है, जबकि "सत्य" को सुरक्षित रूप से जाल के भीतर रखता है।

यहाँ चग (Chugg) और अन्य लेखकों द्वारा लिखित शोध पत्र "Post-Hoc Large-Sample Statistical Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

शास्त्रीय सांख्यिकीय अनुमान (Classical statistical inference) इस धारणा पर निर्भर करता है कि डेटा विश्लेषण शुरू होने से पहले महत्व स्तर ( $\alpha$ ) को निर्धारित किया जाना चाहिए। यह "पूर्व-पंजीकरण" (pre-registration) की आवश्यकता विश्लेषकों को डेटा के आधार पर अपने महत्व थ्रेशोल्ड (जैसे, यदि प्रारंभिक परिणाम अनिर्णायक हो तो कॉन्फिडेंस इंटरवल को चौड़ा करना) को बदलने से रोकती है, क्योंकि ऐसा करने से सांख्यिकीय गारंटी (Type-I error control) अमान्य हो जाती है। इस सीमा को "रोविंग अल्फा" (roving alphas) की समस्या के रूप में जाना जाता है।

जबकि e-values को हाल ही में नॉन-एसिम्प्टोटिक (nonasymptotic) पोस्ट-हॉक अनुमान (जो डेटा-निर्भर $\alpha$ की अनुमति देता है) के लिए आवश्यक और पर्याप्त उपकरण के रूप में स्थापित किया गया है, मौजूदा नॉन-एसिम्प्टोटिक विधियों में महत्वपूर्ण कमियां हैं:

उन्हें मजबूत मोमेंट धारणाओं (जैसे, बाउंडेड सपोर्ट या सब-गौसियनिटी) की आवश्यकता होती है।
वे अक्सर अत्यधिक रूढ़िवादी (conservative) होते हैं, जिससे कॉन्फिडेंस इंटरवल बहुत चौड़े हो जाते हैं।
वे बड़े-नमूना सन्निकटन (large-sample approximations) की दक्षता का लाभ नहीं उठा पाते हैं।

मुख्य अंतराल (The Core Gap): एसिम्प्टोटिक (asymptotic) पोस्ट-हॉक अनुमान के लिए कोई सैद्धांतिक ढांचा मौजूद नहीं था। मानक एसिम्प्टोटिक विधियाँ (जैसे वाल्ड इंटरवल) कुशल तो हैं, लेकिन पोस्ट-हॉक $\alpha$ चयन के तहत विफल हो जाती हैं। यह शोध पत्र इस अंतराल को भरने के लिए एक पोस्ट-हॉक अनुमान सिद्धांत विकसित करने का लक्ष्य रखता है जो $n \to \infty$ (जैसे-जैसे नमूना आकार बढ़ता है) की सीमा में भी वैध रहता है, जबकि नॉन-एसिम्प्टोटिक विधियों की तुलना में कमजोर धारणाओं का उपयोग करता है।

2. कार्यप्रणाली और ढांचा (Methodology and Framework)

2.1 एसिम्प्टोटिक पोस्ट-हॉक वैधता (Asymptotic Post-Hoc Validity)

लेखक बड़े नमूनों के लिए वैधता को पुनरपरिभाषित करते हैं। एक निश्चित $\alpha$ के लिए त्रुटि की संभावना को सीमित करने के बजाय, वे पोस्ट-हॉक जोखिम (post-hoc risk) को सीमित करते हैं:
$\limsup_{n \to \infty} \sup_{P \in \mathcal{P}} \mathbb{E}_P \left[ \sup_{\alpha > 0} \frac{\mathbb{1}\{\theta(P) \notin H_n(\alpha)\}}{\alpha} \right] \leq 1$
यह सूत्रीकरण $\alpha$ को डेटा के फलन (function) के रूप में (या यहाँ तक कि इंटरवल देखने के बाद भी) चुनने की अनुमति देता है, जबकि यह गारंटी देता है कि सभी संभावित $\alpha$ विकल्पों में से "औसत" त्रुटि दर नियंत्रित रहती है।

2.2 एसिम्प्टोटिक ई-वेरियबल्स की भूमिका (The Role of Asymptotic E-Variables)

यह शोध पत्र एक मौलिक समानता (Proposition 2.6) स्थापित करता है:

आवश्यकता/पर्याप्तता (Necessity/Sufficiency): कॉन्फिडेंस सेट्स का एक अनुक्रम एक वैध 'एसिम्प्टोटिक एएच-सीआई' (APH-CI) है यदि और केवल यदि वह एक एसिम्प्टोटिक ई-वेरियबल (asymptotic e-variable) द्वारा थ्रेशोल्डिंग से प्राप्त किया गया हो।
परिभाषा: एक एसिम्प्टोटिक ई-वेरियबल गैर-ऋणात्मक यादृच्छिक चरों (random variables) का एक अनुक्रम $(E_n)$ है ताकि $\limsup_{n \to \infty} \mathbb{E}_P[E_n] \leq 1$ हो।
डिस्ट्रीब्यूशन-यूनिफॉर्मिटी (Distribution-Uniformity): लेखक 'पॉइंटवाइज वैलिडिटी' (प्रत्येक $P$ के लिए व्यक्तिगत रूप से वैध) और डिस्ट्रीब्यूशन-यूनिफॉर्म वैधता (वितरणों के एक वर्ग $\mathcal{P}$ के लिए एक साथ वैध) के बीच अंतर करते हैं, जो सबसे खराब स्थिति वाले वितरणों (worst-case distributions) के विरुद्ध मजबूती के लिए महत्वपूर्ण है।

3. मुख्य योगदान (Key Contributions)

यह शोध पत्र तीन अलग-अलग निर्माण (constructions) पेश करता है, जिनमें से प्रत्येक अलग-अलग एसिम्प्टोटिक ई-वेरियबल्स पर आधारित है:

A. IWR एसिम्प्टोटिक ई-वेरियबल (Ignatiadis, Wang, Ramdas)

निर्माण: यह सांख्यिकी $E_n^{IWR}(\theta; \lambda) = \exp\left( \lambda \frac{S_n(\theta)}{V_n(\theta)} - \frac{\lambda^2}{2} \right)$ पर आधारित है, जहाँ $S_n$ विचलन का योग है और $V_n$ सेल्फ-नॉर्मलाइज्ड सम है।
सैद्धांतिक प्रगति: लेखक सिद्ध करते हैं कि यह नॉर्मल के डोमेन ऑफ अट्रैक्शन (DAN) धारणा के तहत एक वैध एसिम्प्टोटिक ई-वेरियबल है (जो सीमित वेरिएंस से भी कमजोर है), और इसे यूनिफॉर्मली बाउंडेड थर्ड-मोमेंट (skewness) धारणा के तहत डिस्ट्रीब्यूशन-यूनिफॉर्म सेटिंग में विस्तारित करते हैं।
पैरामीटर चयन ( $\lambda$ ):
1. एक्स एंटे एंकरिंग (Ex Ante Anchoring): एक पूर्व-निर्धारित "एंकर" $\alpha_0$ के आधार पर $\lambda$ को स्थिर करें। यह तब सटीक इंटरवल देता है जब वास्तविक $\alpha$ , $\alpha_0$ के करीब हो।
2. मेथड ऑफ मिक्चर्स (Method of Mixtures): $\lambda$ को एक ट्रंकेटेड गौसियन वितरण पर इंटीग्रेट करें। यह एक विशिष्ट एंकर की आवश्यकता को समाप्त करता है, जिससे $\alpha$ के विस्थापन के प्रति मजबूती मिलती है, हालांकि इससे इंटरवल थोड़े चौड़े हो जाते हैं।

B. R-WS एसिम्प्टोटिक ई-वेरियबल (Ruf, Waudby-Smith)

निर्माण: यह एक ट्रंकेशन तकनीक को नॉन-एसिम्प्टोटिक स्ट्रॉन्ग लॉ ऑफ लार्ज नंबर्स (SLLN) के साथ जोड़ता है। ई-वेरियबल को $E_n^{R-WS} = (\int \dots dF(\lambda)) \wedge T_n$ के रूप में परिभाषित किया गया है, जहाँ $T_n$ एक ट्रंकेशन सीक्वेंस है।
सैद्धांतिक प्रगति: इस विधि के लिए केवल $2+\delta$ मोमेंट धारणा की आवश्यकता है (जो यूनिफॉर्म सेटिंग में IWR द्वारा आवश्यक तीसरे मोमेंट से कमजोर है)।
मजबूत गारंटी: IWR विधियों के विपरीत, R-WS निर्माण एक एसिम्प्टोटिक ई-प्रोसेस (Asymptotic E-Process) प्रदान करता है। यह एएच-सीएस (APH-CS) की अनुमति देता है, जिसका अर्थ है कि इंटरवल न केवल एक निश्चित नमूना आकार पर, बल्कि किसी भी स्टॉपिंग टाइम (ऑप्शनल कॉन्टिन्यूएशन) और किसी भी डेटा-निर्भर $\alpha$ के लिए वैध है।
समझौता (Trade-off): इसकी चौड़ाई $1/\sqrt{n}$ के बजाय $\sqrt{\log(n)/n}$ के अनुपात में बढ़ती है, जो इसे परिमित $n$ के लिए अधिक चौड़ा बनाती है, लेकिन यह सबसे मजबूत सैद्धांतिक गारंटी (टाइम-यूनिफॉर्मिटी + पोस्ट-हॉक वैधता) प्रदान करती है।

C. रेगुलराइज्ड ई-वेरियबल्स (परिशिष्ट/Appendix)

यह शोध पत्र "रेगुलराइज्ड" ई-वेरियबल्स ( $E^{reg}$ ) की भी खोज करता है जो यूनिफॉर्म इंटीग्रेबिलिटी सुनिश्चित करने के लिए डिनोमिनेटर में एक पेनल्टी टर्म जोड़ते हैं, जो IWR के समान गुणों वाले वैकल्पिक निर्माण प्रदान करते हैं।

4. परिणाम और सिमुलेशन (Results and Simulations)

चौड़ाई की तुलना (Width Comparison):
- IWR (Ex Ante): जब एंकर $\alpha_0$ , चुने गए $\alpha$ के करीब होता है, तो यह विधि सबसे सटीक इंटरवल बनाती है, जो अक्सर मानक वाल्ड सीआई (जो पोस्ट-हॉक वैध नहीं है) के बराबर होती है।
- IWR (Mixture): Ex Ante IWR से थोड़ा चौड़ा है लेकिन बेहतर 'वर्स्ट-केस' प्रदर्शन प्रदान करता है यदि $\alpha$ को एंकर से दूर चुना जाता है।
- R-WS: $\sqrt{\log(n)}$ कारक के कारण सबसे चौड़े इंटरवल बनाता है, जो टाइम-यूनिफॉर्मिटी की लागत को दर्शाता है।
जोखिम नियंत्रण (Risk Control): सिमुलेशन पुष्टि करते हैं कि जबकि वाल्ड सीआई डेटा-निर्भर $\alpha$ चयन के तहत बुरी तरह विफल हो जाता है (जोखिम $\gg 1$ ), सभी प्रस्तावित APH-CIs सैद्धांतिक जोखिम सीमा (1) को बनाए रखते हैं।
हेवी-टेल्ड डेटा (Heavy-Tailed Data): ये विधियाँ उन वितरणों के लिए वैध रहती हैं जिनमें भारी पूंछ (heavy tails) होती है (जैसे, 3 डिग्री ऑफ फ्रीडम वाले $t$ -डिस्ट्रीब्यूशन), बशर्ते कि मोमेंट धारणाएं पूरी हों। यह उन नॉन-एसिम्प्टोटिक विधियों से बेहतर प्रदर्शन करती है जिन्हें अक्सर बाउंडेड सपोर्ट की आवश्यकता होती है।
टाइप-I एरर: शोध पत्र एक निश्चित $\alpha$ के लिए सटीक एसिम्प्टोटिक टाइप-I एरर का विश्लेषण करता है। यह दिखाता है कि पोस्ट-हॉक वैधता प्राप्त करने के लिए, इंटरवल को मानक एसिम्प्टोटिक इंटरवल की तुलना में थोड़ा चौड़ा होना चाहिए, जिसके परिणामस्वरूप टाइप-I एरर $\alpha$ से कम होता है (रूढ़िवादी)। विशेष रूप से, R-WS विधि का टाइप-I एरर अपने चौड़े प्रसार के कारण शून्य होता है।

5. महत्व और प्रभाव (Significance and Impact)

एसिम्प्टोटिक्स और पोस्ट-हॉक वैधता को जोड़ना: यह कार्य ई-वैल्यू के सिद्धांत को एसिम्प्टोटिक क्षेत्र में विस्तार करने वाला पहला कठोर कार्य है। यह अभ्यासकर्ताओं को डेटा-संचालित निर्णय लेने की लचीलापन खोए बिना बड़े डेटासेट पर बड़े-नमूना सन्निकटन की दक्षता का उपयोग करने की अनुमति देता है।
कमजोर धारणाएं: एसिम्प्टोटिक ई-वेरियबल्स का उपयोग करके, यह शोध पत्र नॉन-एसिम्प्टोटिक ई-वैल्यू विधियों की तुलना में मोमेंट आवश्यकताओं को कम करता है, जिससे ये उपकरण वास्तविक दुनिया के डेटा (जैसे, वित्तीय रिटर्न, हेवी-टेल्ड घटनाएँ) के लिए अधिक लागू योग्य हो जाते हैं।
नए सांख्यिकीय ऑब्जेक्ट्स: 'एसिम्प्टोटिक ई-प्रोसेस' और 'पोस्ट-हॉक एसिम्प्टोटिक कॉन्फिडेंस सीक्वेंसज' का परिचय आधुनिक सांख्यिकी के दो प्रमुख क्षेत्रों को एकीकृत करता है: अनुक्रमिक अनुमान (sequential inference/time-uniformity) और पोस्ट-हॉक अनुमान (post-hoc inference/data-dependent $\alpha$ )।
व्यावहारिक उपयोगिता: लेखक पायथन कार्यान्वयन प्रदान करते हैं और मानक अनुप्रयोगों के लिए सटीकता और मजबूती के बीच सर्वोत्तम संतुलन के रूप में IWR विधि के लिए Ex Ante Anchoring का उपयोग करने की सिफारिश करते हैं, जबकि वैकल्पिक निरंतरता (optional continuation/stopping rules) के लिए आवश्यक परिदृश्यों के लिए R-WS की सिफारिश करते हैं।

संक्षेप में, यह शोध पत्र उन सांख्यिकीविदों के लिए एक कठोर सैद्धांतिक आधार और व्यावहारिक टूलकिट प्रदान करता है जिन्हें सख्त फ्रिक्वेंटिस्ट गारंटी बनाए रखते हुए बड़े डेटासेट पर लचीला, डेटा-अनुकूल अनुमान करने की आवश्यकता होती है।