📊 statistics

Post-selection inference for quantifying uncertainty in changes in variance

यह शोधपत्र विचरण (variance) में पता लगाए गए परिवर्तनों में अनिश्चितता को मापने के लिए वैध पोस्ट-सिलेक्शन p-मानों का निर्माण करने के दो सामान्य दृष्टिकोण प्रस्तुत करता है, जो चेंज-पॉइंट डिटेक्शन में डेटा के सहज दोहरे उपयोग से उत्पन्न होने वाले पूर्वाग्रह और एंटी-कंजर्वेटिव परिणामों को संबोधित करते हैं।

मूल लेखक: Rachel Carrington, Paul Fearnhead

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rachel Carrington, Paul Fearnhead

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक लंबे वीडियो रिकॉर्डिंग में अपराध के सटीक क्षण को खोजने की कोशिश कर रहे हैं। आप फुटेज को स्कैन करते हैं, एक संदिग्ध क्षण देखते हैं, और फिर तुरंत मुड़कर पूछते हैं, "इस बात की कितनी संभावना है कि यह संदिग्ध क्षण केवल एक रैंडम ग्लिच (खराबी) था?"

समस्या यह है, जैसा कि यह शोध पत्र बताता है, कि यदि आप संदिग्ध क्षण खोजने और उसकी संभावना का आकलन करने के लिए एक ही वीडियो का उपयोग करते हैं, तो आप धोखाधड़ी कर रहे हैं। आपने पहले ही उस ग्लिच को देख लिया है, इसलिए आपका निर्णय पक्षपाती होगा। आपको लगेगा कि यह एक वास्तविक अपराध है जबकि यह केवल शोर (noise) हो सकता है। सांख्यिकी (statistics) में, इसे "डेटा का दो बार उपयोग करना" कहा जाता है, और इससे गलत अलार्म (false alarms) पैदा होते हैं।

यह शोध पत्र एक निष्पक्ष जासूस होने का एक नया तरीका पेश करता है, विशेष रूप से उन क्षणों को खोजने के लिए जब वोलैटिलिटी (यानी उतार-चढ़ाव या अस्थिरता) बदल जाती है, न कि केवल औसत मान (average value) बदलता है।

यहाँ उनके समाधान का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

1. समस्या: "डबल-डिप" का जाल (The "Double-Dip" Trap)

कल्पना कीजिए कि आप कमरे के तापमान में अचानक आए बदलाव को देख रहे हैं। आप थर्मामीटर को देखते हैं और एक स्पाइक (तेजी से उछाल) देखते हैं। यदि आप फिर उसी स्पाइक का उपयोग यह गणना करने के लिए करते हैं कि वह कितना "सांख्यिकीय रूप से महत्वपूर्ण" है, तो आप अनिवार्य रूप से यह सवाल पूछ रहे हैं: "क्या यह स्पाइक वास्तविक है?"—उसी सबूत का उपयोग करके जिसने आपको विश्वास दिलाया कि वह वहां मौजूद है।

अतीत में, सांख्यिकीविदों के पास औसत तापमान (mean) में बदलाव के लिए इस समस्या को ठीक करने के लिए एक चतुर तरीका था। वे कहते थे, "ठीक है, आइए मान लें कि हम डेटा को केवल तभी देखते हैं यदि वह एक स्पाइक जैसा दिखता है।" यह एक निष्पक्ष खेल का मैदान बनाता है। हालाँकि, यह तरीका वोलैटिलिटी (तापमान के ऊपर-नीचे होने के उतार-चढ़ाव) में बदलाव के लिए काम नहीं आया। यह शोध पत्र इसी कमी को पूरा करता है।

2. समाधान: "क्या-होता-अगर" का खेल (The "What-If" Game)

लेखक पोस्ट-सिलेक्शन इन्फरेंस (Post-Selection Inference) नामक एक विधि प्रस्तावित करते हैं। इसे एक "क्या-होता-अगर" सिमुलेशन गेम के रूप में समझें।

जब आप एक संदिग्ध क्षण (changepoint) पाते हैं, तो कच्चे डेटा के आधार पर केवल संभावना की गणना करने के बजाय, आप पूछते हैं:

"यदि मैं इस क्षण के आसपास डेटा को थोड़ा बहुत हिलाता-डुलाता (wiggle) हूँ, तो कितनी बार मेरा डिटेक्शन एल्गोरिदम अभी भी इसी सटीक क्षण को 'संदिग्ध' क्षण के रूप में चुनेगा?"

हिलाना-डुलाना (The Wiggling): वे संदिग्ध क्षण से पहले और बाद के डेटा पॉइंट्स को गणितीय रूप से खींचते और सिकोड़ते हैं।
परीक्षण (The Test): वे अपने डिटेक्शन एल्गोरिदम को इन "हिलाए गए" (wiggled) संस्करणों पर चलाते हैं।
परिणाम: यदि एल्गोरिदम डेटा को चाहे जैसा भी हिलाया जाए, हमेशा इसी क्षण को चुनता है, तो यह एक बहुत मजबूत संकेत है। यदि एल्गोरिदम केवल तभी इसे चुनता है जब डेटा एक बहुत ही विशिष्ट और संकीर्ण विन्यास (configuration) में होता है, तो यह केवल एक इत्तेफाक हो सकता है।

3. खेल खेलने के दो तरीके

शोध पत्र में इस "क्या-होता-अगर" खेल को चलाने के दो अलग-अलग तरीके दिए गए हैं, जो इस बात पर निर्भर करते हैं कि जासूस ने मूल रूप से बदलाव को कैसे खोजा था।

रणनीति A: "स्क्वायर इट" (वर्ग करना) का तरीका (CUSUM)

कभी-कभी, वोलैटिलिटी में बदलाव संख्याओं के वर्ग (squared numbers) के औसत में बदलाव जैसा दिखता है।

उपमा: कल्पना कीजिए कि आप एक कार की गति देख रहे हैं। यदि कार बहुत तेजी से ऊपर-नीचे (high variance) होती है, तो उनकी गतियों के वर्ग (squares) का औसत अधिक होगा।
विधि: लेखक डेटा लेते हैं, प्रत्येक संख्या का वर्ग करते हैं, और फिर औसत बदलाव खोजने के लिए एक मानक, सुस्थापित विधि का उपयोग करते हैं। क्योंकि यह विधि पहले से ही अच्छी तरह से समझी जा रही है, वे एक ज्ञात समाधान वाले पहेली की तरह, एक सुंदर गणितीय सूत्र का उपयोग करके "निष्पक्ष संभावना" (p-value) की गणना कर सकते हैं।

रणनीति B: "सिमुलेशन" का तरीका (Likelihood Ratio)

कभी-कभी, "स्क्वायर इट" वाला तरीका पूरी तरह से सटीक नहीं होता है, खासकर यदि बदलाव जटिल हों। लेखक एक अन्य विधि भी विकसित करते हैं जो सीधे डेटा की संभावना (likelihood) के साथ काम करती है।

उपमा: यह घास के ढेर में सुई खोजने की कोशिश करने जैसा है जहाँ घास का ढेर अपना आकार बदलता रहता है। आप उत्तर के लिए सरल सूत्र नहीं लिख सकते।
विधि: वे कंप्यूटर का उपयोग करके हजारों मिनी-सिमुलेशन चलाते हैं।
1. वे डेटा के हजारों "नकली" संस्करण बनाते हैं।
2. वे जाँचते हैं: "इन नकली संस्करणों में से कितने में हमारा एल्गोरिदम अभी भी इस विशिष्ट चांगपॉइंट (changepoint) को पाता है?"
3. इसे तेज़ बनाने के लिए, वे एक गौसियन प्रोसेस (Gaussian Process) का उपयोग करते हैं। इसे एक स्मार्ट "अनुमान लगाने वाली मशीन" के रूप में समझें जो कुछ नमूनों से परिणामों के पैटर्न को सीखती है और बाकी का अनुमान लगाती है, ताकि उन्हें लाखों सिमुलेशन न चलाने पड़ें। यह सूप के पूरे बर्तन को खाने के बजाय, केवल एक चम्मच चखकर पूरे बर्तन के स्वाद का अनुमान लगाने जैसा है।

4. यह क्यों महत्वपूर्ण है

यह शोध पत्र यह सिद्ध करता है कि इन "क्या-होता-अगर" खेलों का उपयोग करने से प्राप्त होने वाली संभावनाएँ (p-values) ईमानदार हैं।

पहले: यदि आप पुराने "डबल-डिप" तरीके का उपयोग करते, तो आपको p-value 0.01 मिल सकता था (यह सोचकर कि यह 99% निश्चित है) जबकि वास्तव में वह केवल रैंडम शोर था।
अब: यह नई विधि सुनिश्चित करती है कि यदि कोई वास्तविक बदलाव नहीं है, तो p-values समान रूप से वितरित होंगे (एक निष्पक्ष लॉटरी की तरह), ताकि आप गलत अलार्म से न डरें।

5. वास्तविक दुनिया का परीक्षण

लेखकों ने अपने तरीकों का परीक्षण किया:

नकली डेटा (Fake Data): उन्होंने कंप्यूटर सिमुलेशन बनाए जहाँ उन्हें पता था कि बदलाव कहाँ थे। उनकी विधि ने वास्तविक बदलावों को सही ढंग से पहचाना और नकली वालों को अनदेखा किया।
स्टॉक मार्केट डेटा: उन्होंने इसे S&P 500 स्टॉक मार्केट रिटर्न्स पर लागू किया। उन्होंने उन क्षणों को खोजा जहाँ बाजार बहुत अधिक अस्थिर (volatile) हो गया था। महत्वपूर्ण रूप से, उनकी विधि "वास्तविक" वोलैटिटी स्पाइक्स और "नकली" स्पाइक्स के बीच अंतर करने में सक्षम थी, जो संदिग्ध तो दिखते थे लेकिन केवल रैंडम शोर थे।

सारांश

यह शोध पत्र डेटा वोलैटिटी के जासूसों के लिए एक नया नियम पुस्तिका प्रदान करता है। यह उन्हें सबूत खोजने और फिर उसी सबूत से निर्णय लेने के लिए उपयोग करके धोखाधड़ी करने से रोकता है। इसके बजाय, यह उन्हें "क्या-होता-अगर" खेल खेलने के लिए मजबूर करता है, हजारों वैकल्पिक वास्तविकताओं का अनुकरण करता है ताकि यह देखा जा सके कि क्या उनका सुराग टिक पाता है। यह सुनिश्चित करता है कि जब वे कहते हैं, "यह बदलाव वास्तविक है," तो वे वास्तव में उस बात पर भरोसा कर सकते हैं।

तकनीकी सारांश: विचरण में परिवर्तनों के परिमाणीकरण के लिए पोस्ट-सिलेक्शन इन्फरेंस (Post-selection Inference)

समस्या विवरण

डिटेक्ट किए गए चेंजपॉइंट्स (changepoints) में अनिश्चितता को मापना टाइम सीरीज़ विश्लेषण में एक महत्वपूर्ण चुनौती है। एक सहज (naive) दृष्टिकोण उसी डेटासेट का उपयोग पहले चेंजपॉइंट्स का पता लगाने के लिए और फिर उनकी सार्थकता (significance) का परीक्षण करने के लिए करता है। यह "डेटा का दोहरी उपयोग" टेस्ट स्टैटिस्टिक्स को पक्षपाती बना देता है, जिससे एंटी-कंजर्वेटिव $p$ -वैल्यू और इन्फ्लेटेड टाइप I एरर रेट प्राप्त होते हैं। जबकि पोस्ट-सिलेक्शन इन्फरेंस (PSI) विधियाँ इस समस्या को संबोधित करने के लिए विकसित की गई हैं (अर्थात, चयन की घटना यानी कि एक विशिष्ट स्थान को परीक्षण के लिए चुने जाने की तथ्य पर आधारित होकर), मौजूदा साहित्य मुख्य रूप से माध्य (mean) में परिवर्तन या पीसवाइज कांस्टेंट पॉलीनोमियल मॉडल पर केंद्रित रहा है। डिटेक्ट किए गए विचरण (variance) में परिवर्तनों के लिए साक्ष्य को परिमाणित करने के लिए स्थापित विधियों का अभाव है।

कार्यप्रणाली

यह शोध पत्र एक यूनिवेरिएट गौसियन मॉडल (जहाँ माध्य स्थिर है और विचरण पीसवाइज कांस्टेंट है: $X_t = \mu + \sigma_t \epsilon_t$ ) के भीतर विचरण में परिवर्तनों का पता लगाने के लिए वैध पोस्ट-सिलेक्शन $p$ -वैल्यू बनाने के लिए दो अलग-अलग दृष्टिकोण प्रस्तावित करता है।

1. टेस्ट स्टैटिस्टिक (The Test Statistic)

एक डिटेक्ट किए गए चेंजपॉइंट $\hat{\tau}$ के लिए, लेखक एक शून्य परिकल्पना $H_0$ को परिभाषित करते हैं जो यह कहती है कि विंडो $(\hat{\tau}-h, \hat{\tau}+h)$ के भीतर विचरण स्थिर है। टेस्ट स्टैटिस्टिक $\phi$ को विंडो में वर्गों के योग (sum of squares) के उस अनुपात के रूप में परिभाषित किया गया है जो $\hat{\tau}$ से पूर्व के डेटा द्वारा समझाया गया है:
$\phi = \frac{\sum_{t=\hat{\tau}-h+1}^{\hat{\tau}} X_t^2}{\sum_{t=\hat{\{\tau}-h+1}^{\hat{\tau}+h} X_t^2}$
$H_0$ के तहत, $\phi$ एक बीटा वितरण, $\text{Beta}(h/2, h/2)$ का अनुसरण करता है।

2. पोस्ट-सिलेक्शन कंडीशनिंग (Post-Selection Conditioning)

वैध $p$ -वैल्यू प्राप्त करने के लिए, $\phi$ के वितरण को उस घटना पर कंडीशन करना आवश्यक है जहाँ $\hat{\tau}$ को चेंजपॉइंट के रूप में चुना गया था। इसके लिए सेट $S = \{ \phi : \hat{\tau} \in M(X'(\phi)) \}$ पर कंडीशन करना आवश्यक है, जहाँ $X'(\phi)$ एक पुन: पैरामीटराइज़्ड डेटासेट है जहाँ वर्गों का योग संरक्षित रहता है लेकिन $\phi$ का अनुपात बदल जाता है। कंडीशनल डिस्ट्रीब्यूशन एक बीटा डिस्ट्रीब्यूशन है जो सेट $S$ तक सीमित (truncated) है।

यह पेपर उपयोग किए गए चेंजपॉइंट डिटेक्शन एल्गोरिदम के आधार पर $S$ निर्धारित करने के लिए दो विधियों का विवरण देता है:

दृष्टिकोण A: CUSUS-आधारित डिटेक्शन (एनालिटिकल)
यह विधि विचरण में परिवर्तन को वर्ग डेटा ( $Y_t = X_t^2$ ) के माध्य में परिवर्तन के रूप में मानती है। यह बाइनरी सेगमेंटेशन फ्रेमवर्क के भीतर क्युसम (CUSUM) स्टैटिस्टिक का उपयोग करती है।
- तंत्र (Mechanism): लेखक माध्य परिवर्तनों के लिए मौजूदा PSI तकनीकों को अनुकूलित करते हैं। डिटेक्शन के क्रम और परिवर्तनों की दिशा पर कंडीशन करके, चयन घटना $S$ को $\phi$ में रैखिक असमिकाओं (linear inequalities) के एक सेट के रूप में परिभाषित किया जा सकता है।
- गणना: चूंकि CUSUM स्टैटिस्टिक डेटा के प्रति रैखिक है, और डेटा ट्रांसफॉर्मेशन $X'(\phi)$ $\phi$ के प्रति रैखिक है, इसलिए $S$ को परिभाषित करने वाली असमिकाएं $\phi$ में रैखिक हो जाती हैं। इससे $S$ को अंतराल (intervals) के एक संघ (union) के रूप में विश्लेषणात्मक रूप से निकाला जा सकता है।
दृष्टिकोण B: लाइकलीहुड-रेशियो (LR) आधारित डिटेक्शन (मोंटे कार्लो)
यह विधि सीधे पीसवाइस कांस्टेंट वेरिएंस मॉडल के लिए लाइकलीहुड रेशियो स्टैटिस्टिक को मैक्सिमाइज करती है, जो आमतौर पर CUSUM दृष्टिकोण की तुलना में उच्च डिटेक्शन सटीकता प्रदान करती है, विशेष रूप से छोटे परिवर्तनों के लिए।
- तंत्र: लाइकलीहुड रेशियो स्टैटिस्टिक $\phi$ का एक गैर-रैखिक फलन है। फलस्वरूप, सेट $S$ को सरल रैखिक असमिकाओं द्वारा परिभाषित नहीं किया जा सकता है।
- गणना: लेखक सेट $S$ $S$ को अनुमानित करने के लिए गौसियन प्रोसेस (GP) का उपयोग करते हुए एक मोंटे कार्लो दृष्टिकोण प्रस्तावित करते हैं:
  1. $\phi$ के मानों को सैंपल करें और मूल्यांकन करें कि क्या $\hat{\tau}$ डिटेक्ट हुआ है (यानी, क्या $\phi \in S$ है) ट्रांसफॉर्म किए गए डेटा $X'(\phi)$ पर चेंजपॉइंट एल्गोरिदम को पुनः चलाकर।
  2. इंडिकेटर फंक्शन $I(\phi \in S)$ को एक एक्सपोनेंशियल कर्नेल के साथ गौसियन प्रोसेस के रूप में मॉडल करें।
  3. GP के पोस्टीरियर मीन का उपयोग करके $\phi$ के कंडीशनल डेंसिटी का अनुमान लगाएं।
  4. सीधे इस अनुमानित डेंसिटी से या इम्पोर्टेंस सैंपलिंग (importance sampling) के माध्यम से $p$ -वैल्यू की गणना करें।

3. विस्तार (Extensions)

यह पेपर निम्नलिखित को संभालने के लिए विस्तारों पर चर्चा करता है:

विभिन्न शून्य परिकल्पनाएँ: पड़ोसी चेंजपॉइंट्स के आधार पर विंडो साइज को अनुकूलित करना।
पावर ऑप्टिमाइज़ेशन: न्यूसेंस पैरामीटर्स (जो डेटा के वितरण से संबंधित हैं जो $\phi$ के लंबवत है) को सैंपल करके कंडीशनिंग सेट को कम करना, हालांकि इससे कम्प्यूटेशनल जटिलता बढ़ जाती है।

परिणाम

लेखक अपने तरीकों को सिमुलेटेड डेटा और एक वास्तविक दुनिया के वित्तीय डेटासेट (S&P 500 लॉग रिटर्न्स) का उपयोग करके मान्य करते हैं।

सिमुलेशन (CUSUM): QQ प्लॉट्स दर्शाते हैं कि शून्य परिकल्पना (कोई परिवर्तन नहीं) के तहत, गणना की गई $p$ -वैल्यू एक यूनिफॉर्म डिस्ट्रीब्यूशन $U(0,1)$ का पालन करती है, जो पोस्ट-सिलेक्शन इन्फरेंस की वैधता की पुष्टि करती है। अल्टरनेटिव हाइपोथीसिस के तहत, ये टेस्ट परिवर्तन का पता लगाने की शक्ति दिखाते हैं, जो विंडो साइज $h$ और विचरण परिवर्तन के परिमाण के साथ बढ़ती है।
सिमुलेशन (Likelihood-Ratio): GP-आधारित दृष्टिकोण अपेक्षाकृत कम सैंपल साइज ( $N=50$ ) के साथ भी $H_0$ के तहत यूनिफॉर्म $p$ -वैल्यू सफलतापूर्वक उत्पन्न करता है। अध्ययन में पाया गया कि GP पोस्टीरियर का सीधे उपयोग करना अक्सर इम्पोर्टेंस सैंपलिंग की तुलना में समान या बेहतर परिणाम देता है, विशेष रूप से छोटे सैंपल साइज के लिए।
तुलना: लाइकलीहुड-रेशियो दृष्टिकोण लगातार CUSUM दृष्टिकोण की तुलना में डिटेक्शन सटीकता में बेहतर प्रदर्शन करता है, विशेष रूप से छोटे विचरण परिवर्तनों के लिए, हालांकि इसके $p$ -वैल्यू के लिए मोंटे कार्लो/GP अनुमान की अधिक कम्प्यूटेशनल गहनता की आवश्यकता होती है।
वित्तीय अनुप्रयोग: S&P 500 डेटा पर लागू होने पर, यह विधि वास्तविक और स्प्यूरियस (spurious) चेंजपॉइंट्स के बीच सफलतापूर्वक अंतर करती है। जबकि बाइनरी सेगमेंटेशन और PELT जैसे एल्गोरिदम कई करीबी चेंजपॉइंट्स का पता लगा सकते हैं, पोस्ट-सिलेक्शन $p$ -वैल्यू कई को गैर-महत्वपूर्ण के रूप में सही ढंग से पहचानते हैं, जिससे फॉल्स डिस्कवरी रेट प्रभावी रूप से नियंत्रित होता है।

प्रमुख योगदान और महत्व

इस कार्य का प्राथमिक योगदान पोस्ट-सिलेक्शन इन्फरेंस साहित्य में विचरण में परिवर्तनों के लिए इन विधियों को विस्तारित करके रिक्तता को भरना है।

सामान्य ढांचा: यह पेपर विभिन्न चेंज-डिटेक्शन विधियों (CUSUM, Binary Segmentation, PELT) और विभिन्न परिकल्पनाओं के लिए लागू होने वाला एक सामान्य ढांचा प्रदान करता है।
विश्लेषणात्मक और कम्प्यूटेशनल समाधान: यह CUSUM-आधारित डिटेक्शन के लिए एक विश्लेषणात्मक समाधान (रैखिकता का लाभ उठाते हुए) और लाइकलीहुड-रेशियो आधारित डिटेक्शन के लिए गौसियन प्रोसेस का उपयोग करते हुए एक नवीन कम्प्यूटेशनल समाधान (गैर-रैखिकता को संभालते हुए) प्रदान करता है।
वैधता: ये विधियाँ शून्य परिकल्पना के तहत यूनिफॉर्म $p$ -वैल्यू उत्पन्न करती हैं, जो डिटेक्ट किए गए चेंजपॉइंट्स के नैव री-टेस्टिंग से उत्पन्न होने वाले पक्षपात (bias) को ठीक करती हैं।
व्यावहारिक उपयोगिता: वित्तीय डेटा पर इसका अनुप्रयोग दिखाता है कि ये विधियाँ वास्तविक दुनिया के परिदृश्यों में प्रभावी हैं, जो आक्रामक चेंजपॉइंट डिटेक्शन एल्गोरिदम द्वारा उत्पन्न फॉल्स पॉजिटिव को फिल्टर करने में मदद करती हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका कार्य i.i.d. गौसियन डेटा मानता है, लेकिन विकसित की गई रणनीतियाँ—विशेष रूप से जहाँ स्पष्ट लक्षण वर्णन कठिन है वहां चयन घटनाओं को अनुमानित करने के लिए गौसियन प्रोसेस का उपयोग करना—अन्य पोस्ट-सिलेक्शन इन्फरेंस समस्याओं के लिए भी लागू हो सकती हैं। वे उल्लेख करते हैं कि भविष्य के कार्य में माध्य में परिवर्तन या ऑटोकोरिलेशन वाले मॉडलों को शामिल किया जा सकता है।