📊 statistics

Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

यह शोध पत्र यह प्रदर्शित करता है कि सीमित संदर्भ नमूनों (finite reference samples) से प्राप्त अनुभवजन्य पी-मान (empirical p-values), प्रेरित निर्भरता और विचरण विरूपण (induced dependence and variance distortions) के कारण अपेक्षित समान वितरण (uniform distribution) से विचलित होते हैं, जिसके लिए संशोधित बैकटेस्टिंग अंशांकन विधियों की आवश्यकता है जो स्वतंत्र समान ड्रॉ के रूप में मानने के बजाय अंतर्निहित द्वि-चरणीय नमूनाकरण संरचना (two-stage sampling structure) को ध्यान में रखती हों।

मूल लेखक: Jakub Lis

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jakub Lis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "परफेक्ट मैप" बनाम "रफ स्केच"

कल्पना कीजिए कि आप यह आंकने की कोशिश कर रहे हैं कि एक नया व्यक्ति पहले से ज्ञात लोगों के समूह की तुलना में कितना "औसत" है।

सांख्यिकी की आदर्श दुनिया (Theory) में, आपके पास एक "ईश्वर की दृष्टि" (God's eye view) होती है। आप जानते हैं कि दुनिया में हर कोई कैसे वितरित है, उसका सटीक और पूर्ण मानचित्र (Map) आपके पास है। यदि आप किसी नए व्यक्ति से पूछते हैं, "कितने प्रतिशत लोग आपसे छोटे हैं?", तो इसका उत्तर एक प्रोबेबिलिटी इंटीग्रल ट्रांसफॉर्म (PIT) है। यदि आपका मॉडल सही है, तो ये उत्तर 0 और 1 के बीच पूरी तरह से यादृच्छिक (random) संख्याएं होनी चाहिए, जैसे टोपी से नंबर निकालना।

समस्या: वास्तविक दुनिया (Practice) में, हमारे पास वह परफेक्ट मैप नहीं होता। हमारे पास केवल एक रेफरेंस सैंपल (Reference Sample) होता है—लोगों का एक छोटा समूह जिन्हें हमने अब तक मापा है। यह सवाल पूछने के लिए कि "कितने प्रतिशत लोग छोटे हैं?", हमें अपने इस छोटे समूह के आधार पर अनुमान लगाना पड़ता है। हम इस सीमित डेटा का उपयोग करके वितरण (distribution) का एक "रफ स्केच" (rough sketch) बनाते हैं।

पेपर की खोज: लेखक, जकुब लिस (Jakub Lis), एक छिपे हुए जाल की ओर इशारा करते हैं। जब हम "परफेक्ट मैप" के बजाय इस "रफ स्केच" (एम्पेरिकल एस्टीमेट) का उपयोग करते हैं, तो जो संख्याएँ हमें मिलती हैं, वे यादृच्छिक संख्याओं (random numbers) की तरह व्यवहार करना बंद कर देती हैं। वे विकृत हो जाती हैं। यदि हम उन्हें पूर्ण यादृच्छिक संख्या मानकर चलते हैं, तो हमारे सांख्यिकीय परीक्षण हमें गलत उत्तर देंगे।

तीन परिदृश्य: हम स्केच कैसे बनाते हैं

यह पेपर तीन अलग-अलग तरीकों को देखता है जिनका उपयोग लोग अपने मॉडल का परीक्षण करने के लिए "रफ स्केच" बनाने के लिए करते हैं। प्रत्येक विधि नियमों को अलग तरह से तोड़ती है।

1. "एक निश्चित समूह" विधि (Common-Sample)

उपमा (Analogy): कल्पना कीजिए कि आप 100 छात्रों को ग्रेड दे रहे हैं। यह तय करने के लिए कि एक छात्र "औसत" है या नहीं, आप उनकी तुलना 50 छात्रों के एक ही निश्चित क्लास से करते हैं जिसे आपने साल की शुरुआत में मापा था। आप हर एक 100 नए छात्रों को ग्रेड देने के लिए उसी 50 छात्रों की क्लास का उपयोग करते हैं।

क्या गलत होता है:
चूंकि आप सभी के लिए उसी 50 छात्रों का उपयोग कर रहे हैं, इसलिए उस विशिष्ट 50 छात्रों के समूह में कोई भी गलती या अजीब बात सभी 100 नए ग्रेड्स में कॉपी हो जाती है।

यदि वह 50 का समूह असामान्य रूप से लंबा था, तो आपका "औसत" रेखा सभी के लिए ऊपर की ओर खिसक जाएगी।
पेपर दिखाता है कि यहाँ गणित "वन-सैंपल टेस्ट" (एक समूह की एक पूर्ण नियम के विरुद्ध जांच) की तरह व्यवहार करना बंद कर देता है और एक "टू-सैंपल टेस्ट" (दो अस्त-व्यस्त समूहों की आपस में तुलना) की तरह दिखने लगता है।
परिणाम: यदि आप मानक परीक्षणों का उपयोग करते हैं जो मानते हैं कि संख्याएँ स्वतंत्र (independent) हैं, तो आपको गलत अलार्म मिलेंगे। आपको लग सकता है कि आपका मॉडल खराब है जबकि वह वास्तव में ठीक है, या इसके विपरीत।

2. "हर किसी के लिए नया समूह" विधि (Independent Reference)

उपमा: अब, कल्पना कीजिए कि प्रत्येक 100 छात्रों के लिए, आप प्रत्येक छात्र की तुलना करने के लिए एक नया, अलग 50 छात्रों का समूह निकालते हैं।

क्या सही होता है:
यही एकमात्र तरीका है जो अच्छी तरह काम करता है। क्योंकि प्रत्येक छात्र के लिए संदर्भ समूहों (reference groups) में "शोर" (noise) या गलतियाँ अलग-अलग होती हैं, वे एक-दूसरे को रद्द कर देती हैं।

एक समूह बहुत लंबा हो सकता है, दूसरा बहुत छोटा। जब आप उन सभी का औसत निकालते हैं, तो त्रुटियां गायब हो जाती हैं।
परिणाम: संख्याएँ लगभग वैसा ही व्यवहार करती हैं जैसा उन्हें करना चाहिए। मानक परीक्षण यहाँ काम करते हैं क्योंकि "रफ स्केच" औसत होकर "परफेक्ट मैप" जैसा दिखने लगता है।

3. "स्लाइडिंग विंडो" विधि (Rolling Window)

उपमा: यह एक स्लाइडिंग डोर (खिसकने वाले दरवाजे) की तरह है। आप एक छात्र की तुलना उन 50 लोगों से करते हैं जो उनके ठीक पहले दरवाजे से अंदर आए थे। फिर, वह छात्र दरवाजे से अंदर आता है और अगले व्यक्ति के लिए समूह का हिस्सा बन जाता है।

क्या गलत होता है:
यह एक चेन रिएक्शन (श्रृंखला प्रतिक्रिया) पैदा करता है।

छात्र A, छात्र B के लिए समूह को परिभाषित करने में मदद करता है।
छात्र B (जो A से प्रभावित था), छात्र C के लिए समूह को परिभाषित करने में मदद करता है।
संख्याएँ अब स्वतंत्र नहीं हैं; वे आपस में जुड़ी हुई या ऑटोकोरिलेटेड (autocorrelated) हैं।
परिणाम: पेपर पाता है कि यह विधि डेटा के स्वाभाविक "वोबल" (wobble) या विचरण (variance) को दबा देती है। संख्याएँ बहुत स्थिर, बहुत सटीक दिखती हैं। यदि आप इस पर मानक परीक्षण चलाते हैं, तो आप वास्तविक समस्याओं को मिस कर सकते हैं क्योंकि डेटा भ्रामक रूप से सुचारू (smooth) दिखता है।

मुख्य निष्कर्ष (Core Takeaway)

पेपर का तर्क है कि हम इन "रफ स्केच" (एम्पेरिकल पी-वैल्यू) को ऐसे मान रहे हैं जैसे कि वे "परफेक्ट मैप" हों।

गलती: हम यह मान लेते हैं कि क्योंकि थ्योरी कहती है कि संख्याएँ यूनिफॉर्म (यादृच्छिक) होनी चाहिए, इसलिए वास्तविक डेटा से गणना की गई संख्याएँ भी यूनिफॉर्म होंगी।
वास्तविकता: एक सीमित नमूने का उपयोग करके मानचित्र का अनुमान लगाने की प्रक्रिया संख्याओं की प्रकृति को बदल देती है।
- यदि आप एक निश्चित समूह का उपयोग करते हैं, तो आप वास्तव में दो-समूहों की तुलना कर रहे हैं, न कि एक-समूह की जांच।
- यदि आप स्लाइडिंग विंडो का उपयोग करते हैं, तो आपकी संख्याएँ एक श्रृंखला की तरह आपस में जुड़ी होती हैं, जो स्वतंत्रता (independence) के नियम को तोड़ देती हैं।

निष्कर्ष:
इसे ठीक करने के लिए, हम केवल मानक "गुडनेस-ऑफ-फिट" परीक्षणों (जैसे कोलमोगोरोव-स्मिरनोव टेस्ट) का उपयोग नहीं कर सकते जो यह मानते हैं कि डेटा स्वतंत्र और पूरी तरह से यूनिफॉर्म है। हमें नए, संशोधित तरीकों की आवश्यकता है जो इस तथ्य को ध्यान में रखें कि हम अपना मानचित्र ईंटों की एक सीमित आपूर्ति से बना रहे हैं। यदि हम इसके लिए समायोजन नहीं करते हैं, तो हमारा बैकटेस्टिंग (यह जांचना कि हमारे रिस्क मॉडल काम कर रहे हैं या नहीं) भ्रामक हो सकता है।

तकनीकी सारांश: अनुभवजन्य p-मान समान रूप से वितरित (Uniform) क्यों नहीं होते हैं

समस्या विवरण
यह शोध पत्र प्रोबेबिलिटी इंटीग्रल ट्रांसफॉर्म (PIT) के सैद्धांतिक गुणों और मॉडल सत्यापन एवं बैकटेस्टिंग में इसके व्यावहारिक कार्यान्वयन के बीच एक मौलिक विसंगति को संबोधित करता है। सैद्धांतिक रूप से, यदि $X$ एक निरंतर यादृच्छिक चर (continuous random variable) है जिसका संचयी वितरण फलन (CDF) $F_X$ है, तो रूपांतरित चर $F_X(X)$ $[0, 1]$ पर एक समान वितरण (uniform distribution) का अनुसरण करता है। यह गुण PIT और अनुभवजन्य p-मानों के उपयोग को आधार प्रदान करता है जिसका उपयोग मॉडल के अंशांकन (calibration) के आकलन के लिए किया जाता है, जो एंसेम्बल फोरकास्टिंग से लेकर वित्तीय जोखिम प्रबंधन (जैसे यूरोपीय सेंट्रल बैंक के दिशानिर्देश) तक के क्षेत्रों में व्यापक रूप से अपनाया गया है।

हालाँकि, व्यवहार में, वास्तविक वितरण $F_X$ अज्ञात होता है। फलस्वरूप, अभ्यासकर्ता परिमित संदर्भ नमूनों (finite reference samples) का उपयोग करके पर्सेंटाइल का अनुमान लगाते हैं। यह शोध पत्र तर्क देता है कि यह अनुमान लगाने का चरण समस्या की सांख्यिकीय संरचना को मौलिक रूप से बदल देता है। विशेष रूप से, अनुभवजन्य पर्सेंटाइल को समान रूप से वितरित स्वतंत्र ड्रॉ के रूप में मानना गलत है; परिणामी सांख्यिकी अपेक्षित समान वितरण का पालन नहीं करती है, भले ही मॉडल का विनिर्देश (specification) सही हो, जिससे इन अनुभवजन्य मानों पर सीधे लागू होने वाले शास्त्रीय एक-नमूना गुडनेस-ऑफ-फिट परीक्षणों (जैसे कोलमोगोरोव-स्मिरनोव टेस्ट) की वैधता समाप्त हो जाती है।

कार्यप्रणाली
लेखक तीन अलग-अलग कार्यान्वयन ढाँचों के तहत अनुभवजन्य p-मानों के वितरण संबंधी गुणों का विश्लेषण करने के लिए सैद्धांतिक अपघटन (theoretical decomposition) और मोंटे कार्लो सिमुलेशन के संयोजन का उपयोग करते हैं:

एकल कंडिशनिंग सैंपल (निश्चित संदर्भ): सभी अवलोकनों का मूल्यांकन आकार $n$ के एक एकल, निश्चित संदर्भ नमूने के विरुद्ध किया जाता है। अनुभवजन्य पर्सेंटाइल $\hat{p}(x)$ का निर्माण इस संदर्भ नमूने के ऑर्डर स्टैटिस्टिक्स के इंटरपोलेशन के माध्यम से किया जाता है।
स्वतंत्र संदर्भ नमूने: प्रत्येक अवलोकन का मूल्यांकन एक अलग, स्वतंत्र संदर्भ नमूने के विरुद्ध किया जाता है। यह ढांचा एंसेम्बल फोरकास्टिंग में उपयोग किए जाने वाले "रैंक हिस्टोग्राम" दृष्टिकोण की नकल करता है।
रोलिंग विंडो ढांचा: अनुभवजन्य p-मानों की गणना पिछले अवलोकनों के एक चलते हुए विंडो (moving window) का उपयोग करके की जाती है, जहाँ प्रत्येक नया अवलोकन आगामी मूल्यांकनों के लिए संदर्भ सेट में प्रवेश करता है।

विश्लेषण रूपांतरित मानों के अनुभवजन्य वितरण फलन $F_m$ को समान वितरण $F_U$ के सापेक्ष अपघटित करने पर आधारित है। यह शोध पत्र अनुभवजन्य प्रक्रियाओं (empirical processes) के स्पर्शोन्मुखी व्यवहार (asymptotic behavior) को समझाने के लिए डॉन्सकर प्रमेय (Donsker's theorem) का उपयोग करता है और परिणामी कोलमोगोरोव-स्मिरनोव (KS) सांख्यिकी और p-मानों की तुलना उनके सैद्धांतिक समकक्षों से करता है।

मुख्य योगदान और परिणाम

विचलन का अपघटन (निश्चित संदर्भ):
शोध पत्र प्रदर्शित करता है कि जब एक एकल संदर्भ नमूने का उपयोग किया जाता है, तो रूपांतरित मानों का अनुभवजन्य वितरण यादृच्छिकता के दो स्रोतों का सुपरपोजिशन होता है:
1. मूल्यांकित अवलोकनों से नमूना परिवर्तनशीलता (sampling variability) (क्रम $O_p(m^{-1/2})$ )।
2. परिमित संदर्भ नमूने से अनुमान त्रुटि (estimation error) (क्रम $O_p(n^{-1/2})$ )।
अपघटन को $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$ के रूप में व्यक्त किया गया है, जहाँ $\tilde{F}$ संदर्भ नमूने द्वारा प्रेरित यादृच्छिक वितरण है। परिणाम दर्शाते हैं कि परिणामी KS सांख्यिकी स्पर्शोन्मुखी रूप से एक दो-नमूना KS सांख्यिकी की तरह व्यवहार करती है, न कि एक-नमूना सांख्यिकी की तरह। संख्यात्मक प्रयोग पुष्टि करते हैं कि अनुभवजन्य p-मानों का फैलाव और परिणामी KS सांख्यिकी, उन सांख्यिकीओं के लगभग समान है जो दो स्वतंत्र नमूनों की तुलना करने से उत्पन्न होती हैं। फलस्वरूप, मानक एक-नमूना एकरूपता परीक्षणों को लागू करने से विकृत निष्कर्ष (distorted inference) और व्यवस्थित अस्वीकृति दरें प्राप्त होती हैं।
स्वतंत्र नमूनों के माध्यम से शमन (Mitigation):
उस ढांचे में जहाँ प्रत्येक अवलोकन का अपना स्वतंत्र संदर्भ नमूना होता है, संदर्भ नमूनों से जुड़ी अनुमान शोर (estimation noise) अवलोकनों में औसत रूप से संतुलित हो जाता है। शोध पत्र दिखाता है कि इस सेटिंग में, अनुभवजन्य पर्सेंटाइल का फैलाव सटीक पर्सेंटाइल के करीब रहता है। हालाँकि शोर मौजूद है, फिर भी रूपांतरित मान मूल नमूने के सांख्यिकीय गुणों को बनाए रखते हैं, और सटीक एवं अनुभवजन्य KS सांख्यिकी के बीच सहसंबंध स्पष्ट रहता है।
रोलिंग विंडो में निर्भरता:
रोलिंग-विंडो कार्यान्वयन ऑटोकोरिलेशन और विचरण दमन (variance suppression) पेश करता है। क्योंकि प्रत्येक अवलोकन अपने स्वयं के p-मान को निर्धारित करता है और तत्पश्चात भविष्य के मूल्यांकनों के लिए संदर्भ सेट में प्रवेश करता है, इसलिए अनुभवजन्य p-मानों का अनुक्रम स्वतंत्र नहीं रह जाता है। सिमुलेशन संकेत देते हैं कि जब मूल्यांकित अवलोकनों की संख्या ( $m$ ) विंडो आकार ( $n$ ) के तुल्य होती है, तो सटीक और अनुभवजन्य p-मानों के KS सांख्यिकी के बीच सहसंबंध टूट जाता है। अनुभवजन्य p-मान वास्तविक p-मानों की तुलना में व्यवस्थित रूप से कम अस्थिरता प्रदर्शित करते हैं, जिससे मानक बैकटेस्टिंग प्रक्रियाएं भ्रामक हो जाती हैं।

महत्व और दावे
शोध पत्र का दावा है कि सैद्धांतिक PITs और उनके अनुभवजन्य अनुमान के बीच संरचनात्मक बेमेल, मानक बैकटेस्टिंग संदर्भों में शास्त्रीय गुडनेस-ऑफ-फिट प्रक्रियाओं की प्रत्यक्ष प्रयोज्यता को अमान्य कर देता है। इस कार्य का प्राथमिक महत्व यह पहचानना है कि अनुभवजन्य p-मान स्वतंत्र समान ड्रॉ (uniform draws) नहीं हैं, बल्कि वे एक दो-चरणीय नमूना संरचना द्वारा नियंत्रित होते हैं।

लेखक निष्कर्ष निकालते हैं कि:

कॉमन-सैंपल कार्यान्वयन प्रभावी रूप से समस्या को दो-नमूना तुलना में परिवर्तित कर देते हैं, जिसके लिए संदर्भ नमूने के आकार और परिवर्तनशीलता को ध्यान में रखने वाले संशोधित अंशांकन विधियों की आवश्यकता होती है।
रोलिंग-विंडो कार्यान्वयन जटिल निर्भरता संरचनाएं (ऑटोकोरिलेशन) पेश करते हैं जो सांख्यिकीय निष्कर्ष को और अधिक विकृत करते हैं।
PITs पर आधारित वर्तमान नियामक और व्यावहारिक बैकटेस्टिंग प्रक्रियाओं को इन अनुमान-प्रेरित विकृतियों को ध्यान में रखते हुए संशोधन की आवश्यकता है, विशेष रूप से जब संदर्भ नमूने परिमित और साझा होते हैं।

शोध पत्र किसी विशिष्ट नए टेस्ट स्टैटिस्टिक का प्रस्ताव नहीं करता है, बल्कि मौजूदा ढाँचों में शून्य परिकल्पना (null hypothesis) के वितरण को पुनर्मूल्यांकित करने का आह्वान करता है ताकि डेटा जनरेशन प्रक्रिया की अंतर्निहित दो-नमूना या आश्रित प्रकृति को दर्शाया जा सके।