📊 statistics

Rolling-Origin Conformal Prediction under Local Stationarity and Weak Dependence

यह शोध पत्र समय-श्रृंखला पूर्वानुमान (time-series forecasting) के लिए एक रोलिंग-ओरिजिन कॉन्फॉर्मल प्रेडिक्शन विधि प्रस्तावित और सैद्धांतिक रूप से मान्य करता है जो हालिया त्रुटियों पर अंशांकन (calibration) करके स्थानीय गैर-स्थिरता (non-stationarity) और कमजोर निर्भरता के अनुकूल होती है, जिससे मिनिमैक्स-इष्टतम कवरेज दर प्राप्त होती है और फुल-हिस्ट्री अंशांकन की तुलना में बेहतर अनुभवजन्य प्रदर्शन प्रदर्शित होता है।

मूल लेखक: Stanisław M. S. Halkiewicz

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stanisław M. S. Halkiewicz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं। आपका काम केवल यह भविष्यवाणी करना नहीं है कि कल बारिश होगी या नहीं; आपका काम मानचित्र पर एक घेरा बनाना और यह कहना है, "मुझे 90% यकीन है कि बारिश इस घेरे के भीतर कहीं होगी।"

सांख्यिकी (statistics) की दुनिया में, इस घेरे को प्रेडिक्शन इंटरवल (prediction interval) कहा जाता है। दशकों तक, सांख्यिकीविदों के पास इन घेरों को बनाने के लिए एक बेहतरीन उपकरण था, लेकिन इसमें एक बड़ी खामी थी: यह केवल तभी काम करता था जब मौसम हर दिन पूरी तरह से यादृच्छिक (random) और स्वतंत्र होता (जैसे कि सिक्का उछालना)। लेकिन वास्तविक जीवन ऐसा नहीं है। मौसम के पैटर्न कल के मौसम पर निर्भर करते हैं, शेयर बाजार पिछले सप्ताह के रुझानों पर निर्भर करते हैं, और अर्थव्यवस्थाएं समय के साथ बदलती रहती हैं। जब आप वास्तविक दुनिया के डेटा पर उस पुराने "सिक्का उछालने वाले" उपकरण का उपयोग करते हैं, तो आपके घेरे अक्सर बहुत छोटे हो जाते हैं (बारिश छूट जाती है) या बहुत बड़े हो जाते हैं (संसाधनों की बर्बादी होती है)।

यह शोध पत्र समय-आधारित डेटा के लिए उन घेरों को बनाने का एक स्मार्ट और अनुकूलनीय तरीका पेश करता है। यहाँ सरल शब्दों में इसका विवरण दिया गया है:

1. समस्या: "पुराना मेनू" (The "Stale Menu")

पुराना तरीका (जिसे कॉन्फॉर्मल प्रेडिक्शन कहा जाता है) एक ऐसे रेस्तरां की तरह काम करता है जो पिछले 10 वर्षों में परोसे गए हर व्यंजन के औसत के आधार पर एक "स्पेशल" बनाता है।

समस्या: यदि शेफ ने पिछले महीने अचानक तीखी मिर्च का उपयोग करना शुरू कर दिया है, तो 10 साल का औसत आज के स्वाद के लिए बेकार है। वह "स्पेशल" आज के स्वाद के हिसाब से बहुत हल्का होगा।
वास्तविक दुनिया: टाइम सीरीज़ (जैसे शेयर की कीमतें या तापमान) में नियम बदलते रहते हैं। अस्थिरता (volatility) समूहों में आती है (शांत दिनों के बाद तूफानी दिन)। पुराने डेटा का उपयोग भविष्य की भविष्यवाणी करने के लिए करने से "पुराने" इंटरवल बनते हैं जो वास्तविकता से मेल नहीं खाते।

2. समाधान: "रोलिंग ओरिजिन" (The "Rolling Origin")

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे रोलिंग-ओरिजिन कॉन्फॉर्मल प्रेडिक्शन कहा जाता है।

उपमा: पिछले 10 वर्षों के डेटा को देखने के बजाय, कल्पना करें कि शेफ आज के स्पेशल को तय करने के लिए केवल पिछले 30 दिनों के ऑर्डर्स को देखता है।
यह कैसे काम करता है: यह विधि लगातार अपने "कैलिब्रेशन" (यह नियम कि घेरा कितना चौड़ा होना चाहिए) को केवल हाल के पूर्वानुमान त्रुटियों (forecast errors) का उपयोग करके अपडेट करती है। यदि मौसम तूफानी हो जाता है, तो यह विधि हाल की बड़ी त्रुटियों को देखती है और तुरंत घेरे को चौड़ा कर देती है। यदि मौसम शांत है, तो यह घेरे को सिकोड़ देती है।

3. बड़ा सवाल: विंडो कितनी बड़ी होनी चाहिए?

यदि आप बहुत कम डेटा देखते हैं (मान लीजिए, केवल पिछले 3 दिन), तो आपका घेरा अस्थिर और अविश्वसनीय हो सकता है क्योंकि आपके पास पर्याप्त जानकारी नहीं है। यदि आप बहुत अधिक डेटा देखते हैं (पिछले 10 वर्ष), तो आपका घेरा बदलावों के प्रति प्रतिक्रिया देने में बहुत धीमा होगा।

यह शोध पत्र इस रहस्य को सुलझाता है कि आपको कितने दिन पीछे देखना चाहिए।

फॉर्मूला: लेखक गणितीय रूप से सिद्ध करते हैं कि "स्वीट स्पॉट" (सबसे सटीक बिंदु) कोई निश्चित संख्या नहीं है। यह इस पर निर्भर करता है कि दुनिया कितनी तेजी से बदल रही है।
नियम: यदि आपके पास $T$ $T$ कुल दिनों का डेटा है, तो आदर्श विंडो का आकार लगभग $T$ $T$ की घात $2/3$ $2/3$ (लग लगभग $T^{0.67}$ $T^{0.67}$ ) है।
- उदाहरण: यदि आपके पास 1,000 दिनों का डेटा है, तो आपको पूरे 1,000 दिन, न कि केवल पिछले 10 दिन, इस्तेमाल करने चाहिए। आपको पिछले ~100 दिनों का उपयोग करना चाहिए।
यह क्यों मायने रखता है: यह विशिष्ट विंडो आकार गणितीय रूप से सिद्ध है कि सबसे अच्छा विकल्प है। कोई अन्य तरीका "तेजी से प्रतिक्रिया देने" बनाम "सटीक होने" के बीच बेहतर संतुलन नहीं बना सकता।

4. "चार-भागों" वाली व्याख्या

लेखक विस्तार से बताते हैं कि भविष्यवाणी थोड़ी गलत क्यों हो सकती है, जैसे कि एक मैकेनिक कार की ईंधन दक्षता की व्याख्या करता है:

शोर (Noise): सही मात्रा में डेटा होने के बावजूद, हमेशा कुछ यादृच्छिकता (randomness) होती है (जैसे हवा का कार को प्रभावित करना)।
अनुमान (Approximation): समस्या को सरल बनाने के लिए उपयोग किया गया गणित एकदम सटीक नहीं है, लेकिन त्रुटि बहुत मामूली है।
ड्रिफ्ट (Drift): यह "पुराने मेनू" वाली समस्या है। यदि विंडो बहुत चौड़ी है, तो उसके अंदर का डेटा आज के "युग" से अलग है।
मॉडल एरर (Model Error): मूल पूर्वानुमान (मौसम का पूर्वानुमान स्वयं) थोड़ा गलत हो सकता है।

शोध पत्र दिखाता है कि सटीक विंडो आकार चुनकर, आप कुल त्रुटि को कम कर सकते हैं।

5. वास्तविक दुनिया का परीक्षण

लेखक ने केवल कागज पर गणित नहीं किया; उन्होंने वास्तविक डेटा पर इसका परीक्षण किया:

छह वास्तविक सीरीज़: जिसमें अमेरिकी मुद्रास्फीति (inflation), बेरोजगारी, शेयर बाजार रिटर्न (S&P 500) और बिजली का उपयोग शामिल है।
93 प्रतियोगिता सीरीज़: प्रसिद्ध "M4" पूर्वानुमान प्रतियोगिता से प्राप्त डेटा का एक विशाल सेट।

परिणाम:

बेहतर प्रदर्शन: 86% मामलों में, इस नए "रोलिंग विंडो" तरीके ने पुराने "सभी डेटा का उपयोग करने वाले" तरीके की तुलना में बेहतर और सटीक प्रेडिक्शन इंटरवल बनाए।
सटीकता: इस विधि ने वास्तविक परिणामों को लगभग 90% समय (लक्ष्य) घेरे के भीतर रखा, भले ही डेटा अव्यवस्थित या बदल रहा हो।
गति: इसने वित्तीय बाजारों में देखी जाने वाली अस्थिरता के उछाल के दौरान भी तेजी से अनुकूलन किया।

सारांश

इस शोध पत्र को एक स्वयं-समायोज्य सुरक्षा जाल (self-adjusting safety net) बनाने के मार्गदर्शक के रूप में देखें।

पुराना तरीका: हर स्थिति के लिए रस्सी के एक ही आकार के जाल का उपयोग करना, चाहे आप कितनी भी तेजी से गिर रहे हों।
नया तरीका: एक ऐसा जाल जो आपके गिरने की गति के आधार पर अपने आकार को स्वचालित रूप से बदल लेता है।
महत्वपूर्ण उपलब्धि: लेखक ने यह निर्धारित करने के लिए सटीक गणितीय नियम खोजा है कि उस जाल को पूर्ण बनाने के लिए कितने "हालिया इतिहास" का उपयोग किया जाए। यह सच है कि उस जाल को सटीक बनाने के लिए आपके डेटा की "शक्ति" के लगभग दो-तिहाई हिस्से (विशेष रूप से $T^{2/3}$ ) को देखना ही सुरक्षित रहने का सुनहरा नियम है।

तकनीकी सारांश: स्थानीय स्थिरता और कमजोर निर्भरता के तहत रोलिंग-ओरिजिन कॉन्फॉर्मल प्रेडिक्शन

समस्या विवरण
कॉन्फॉर्मल प्रेडिक्शन (Conformal prediction) विनिमयशीलता (exchangeability) की धारणा के तहत वितरण-मुक्त (distribution-free) पूर्वानुमान अंतराल (prediction intervals) और सटीक परिमित-नमूना कवरेज गारंटी प्रदान करता है। हालांकि, यह धारणा टाइम-सीरीज फोरकास्टिंग में सीरियल डिपेंडेंस (serial dependence), वोलैटिलिटी क्लस्टरिंग (volatility clustering) और क्रमिक वितरण संबंधी बदलाव (gradual distributional drift) के कारण मौलिक रूप से खंडित हो जाती है। फलस्वरूप, क्लासिकल स्प्लिट कॉन्फॉर्मल प्रेडिक्शन अक्सर नाममात्र के $1-\alpha$ से काफी भिन्न कवरेज स्तर प्रदान करता है। जबकि अभ्यासी अक्सर "रोलिंग-ओरिजिन कैलिब्रेशन" का उपयोग करते हैं—जिसमें कॉन्फॉर्मल क्वांटाइल को कैलिब्रेट करने के लिए केवल $m$ सबसे हालिया छद्म आउट-ऑफ-सैंपल त्रुटियों (pseudo out-of-sample errors) का उपयोग किया जाता है—इस दृष्टिकोण में इष्टतम विंडो लंबाई $m$ और $m$ , नमूना आकार $T$ , तथा गैर-स्थिरता (non-stationarity) की डिग्री के फलन के रूप में कवरेज विचलन के सटीक परिमाण के संबंध में कोई सैद्धांतिक औचित्य नहीं है।

कार्यप्रणाली
यह शोध पत्र रोलिंग-ओरिजिन कॉन्फॉर्मल प्रेडिक्शन (ROCP) का प्रस्ताव करता है और उसका विश्लेषण करता है। यह विधि $Y_{T+h}$ के लिए एक पूर्वानुमान अंतराल का निर्माण करती है, जिसमें $m$ सबसे हालिया पूर्ण पूर्वानुमान त्रुटियों (स्कोर) को एक स्थानीय कैलिब्रेशन नमूने के रूप में माना जाता है। अंतराल की अर्ध-चौड़ाई (half-width) इन $m$ स्कोर्स का अनुभवजन्य (empirical) $(1-\alpha)$ -क्वांटाइल है।

सैद्धांतिक ढांचा निम्नलिखित पर आधारित है:

स्थानीय स्थिरता (Local Stationarity): स्कोर वितरण $F_{t,h}$ डहलहॉस (Dahlhaus, 1997) के अनुसार एक हॉल्डर- $\beta$ स्मूथनेस कंडीशन के तहत विकसित होते हैं, जहाँ ड्रिफ्ट रेट को एक स्थिरांक $L_{F,h}$ द्वारा नियंत्रित किया जाता है।
कमजोर निर्भरता (Weak Dependence): ऑरेकल स्कोर प्रक्रिया को यूनिफॉर्मली $\alpha$ -मिक्सिंग (या वू के फिजिकल डिपेंडेंस फ्रेमवर्क को संतुष्ट करने वाला) माना गया है, जो कैलिब्रेशन विंडो की प्रभावी सूचना सामग्री को नियंत्रित करता है।
क्वांटाइल रेगुलरिटी (Quantile Regularity): लक्ष्य क्वांटाइल के पास स्कोर वितरण का घनत्व शून्य और अनंत से दूर (bounded away) है।
फोरकास्ट एस्टीमेशन (Forecast Estimation): ऑरेकल प्रेडिक्टर और अनुमानित प्रेडिक्टर के बीच का अंतर $T$ के साथ घटने वाले एक पद द्वारा सीमित है।

मुख्य तकनीकी नवाचार कवरेज एरर $\Delta_{T,m,h} = |P(Y_{T+h} \in \hat{C}_{T+h|T}) - (1-\alpha)|$ का एक चार-पदों वाला अपघटन (four-term decomposition) है। यह अपघटन त्रुटि को विभाजित करता है:

(I) क्वांटाइल नॉइज़ (Quantile Noise): $m$ आश्रित अवलोकनों से अनुभवजन्य क्वांटाइल की स्टोकेस्टिक परिवर्तनशीलता।
(II) बहादुर रिमाइंडर (Bahadur Remainder): एक नियत लक्ष्य के चारों ओर अनुभवजन्य क्वांटाइल के रैखिकीकरण (linearization) से होने वाली त्रुटि।
(III) ड्रिफ्ट बायस (Drift Bias): उन स्कोर्स से उत्पन्न होने वाला व्यवस्थित पूर्वाग्रह जिनकी वितरण वर्तमान लक्ष्य वितरण से विचलित हो गई है।
(IV) एस्टीमेशन एरर (Estimation Error): एक अनुमानित फोरकास्टिंग मॉडल के बजाय ऑरेकल प्रेडिक्टर का उपयोग करने की लागत।

मुख्य योगदान

इष्टतम विंडो नियम: यह शोध पत्र एक मिनिमैक्स-ऑप्टिमल कैलिब्रेशन विंडो लंबाई $m^\star \asymp T^{2\beta/(2\beta+1)}$ व्युत्पन्न करता है। लिप्सचिट्ज़ ड्रिफ्ट ( $\beta=1$ ) के तहत, यह सरल होकर $m^\star \asymp T^{2/3}$ हो जाता है। यह नियम क्वांटाइल नॉइज़ को कम करने (बड़े $m$ द्वारा समर्थित) और ड्रिफ्ट बायस को न्यूनतम करने (छोटे $m$ द्वारा समर्थित) के बीच संतुलन बनाता है।
मिनिमैक्स ऑप्टिमैलिटी: हॉल्डर- $\beta$ बम्प फंक्शन्स के साथ ले कैम (Le Cam) टू-पॉइंट कंस्ट्रक्शन का उपयोग करते हुए, लेखक सिद्ध करते हैं कि ROCP द्वारा प्राप्त कवरेज एरर रेट $O(T^{-\beta/(2\beta+1)})$ मिनिमैक्स-ऑप्टिमल है। कोई भी कॉन्फॉर्मल प्रक्रिया स्थानीय रूप से स्थिर प्रक्रियाओं के वर्ग पर समान रूप से बेहतर दर प्राप्त नहीं कर सकती।
बहादुर रिप्रेजेंटेशन (Bahadur Representations): यह शोध पत्र $\alpha$ -मिक्सिंग और फिजिकल डिपेंडेंस फ्रेमवर्क दोनों के तहत अनुभवजन्य क्वांटाइल के लिए बहादुर रिप्रेजेंटेशन स्थापित करता है, जो कवरेज एरर को बांधने के लिए आवश्यक रैखीकरण प्रदान करता है।
अनुकूली चयन के लिए ऑरेकल इनइक्वेलिटी: लेखक विंकलर क्रॉस-वैलिडेशन को एक अनुकूली विंडो सेलेक्टर के रूप में औपचारिक रूप देते हैं। वे एक ऑरेकल इनइक्वेलिटी सिद्ध करते हैं जो दिखाती है कि डेटा-संचालित सेलेक्टर $\hat{m}$ न्यूनतम वैलिडेशन लॉस प्राप्त करता है, बशर्ते कि विंडो ग्रिड पर्याप्त सूक्ष्म हो और यूनिफॉर्म कंसेंट्रेशन कंडीशन लागू हो।
वोलैटिलिटी स्केलिंग: एक वेरिएंट (VS-ROCP) प्रस्तावित है जहाँ स्कोर्स को अनुमानित कंडीशनल वोलैटिलिटी द्वारा सामान्यीकृत किया जाता है। सैद्धांतिक रूप से, यह ड्रिफ्ट कांस्टेंट $L_{F,h}$ को कम करता है, जिससे संभावित रूप से बड़े इष्टतम विंडो और संकीर्ण अंतराल मिलते हैं जब गैर-स्थिरता मुख्य रूप से समय-परिवर्तनीय स्केल द्वारा संचालित होती है।

अनुभवजन्य परिणाम
सिद्धांत को छह वास्तविक दुनिया की श्रृंखलाओं (मैक्रोइकोनॉमिक, वित्तीय, और ऊर्जा) और M4 प्रतियोगिता के 93 श्रृंखलाओं के स्ट्रैटिफाइड सैंपल पर सत्यापित किया गया है:

प्रदर्शन: रोलिंग-ओरिजिन कैलिब्रेशन, फुल-हिस्ट्री कैलिब्रेशन की तुलना में 86% मामलों में बेहतर प्रदर्शन करता है, जिसमें मीडियन विंकलर स्कोर सुधार 12.3% है।
कवरेज: यह विधि लघु ( $h=1$ ) और मध्यम ( $h=5$ ) क्षितिज पर 90% लक्ष्य के $\pm 2\%$ के भीतर कवरेज बनाए रखती है। लंबे क्षितिज ( $h=22$ ) पर, कवरेज थोड़ा घट जाता है (जैसे, 0.871), जिसका कारण मॉडल मिसस्पेसिफिकेशन है न कि कैलिब्रेशन विंडो का चुनाव।
स्केलिंग लॉ: M4 डेटासेट पर $T$ के विरुद्ध अनुभवजन्य इष्टतम विंडो $m^\star$ का लॉग-लॉग रिग्रेशन, फ्रीक्वेंसी फिक्स्ड इफेक्ट्स को नियंत्रित करने के बाद, 0.614 का ढलान (95% CI $[0.424, 0.805]$ ) देता है। यह $2/3$ (के लिए $\beta=1$ ) के सैद्धांतिक पूर्वानुमान के अनुरूप है।
डिपेंडेंस रिजीम्स: मजबूत GARCH क्लस्टरिंग वाली वित्तीय श्रृंखलाएं $T^{2/3}$ की तुलना में बहुत छोटे इष्टतम विंडो (अनुपात $\approx 0.05$ ) प्रदर्शित करती हैं, जबकि धीमी ड्रिफ्ट वाली मैक्रो श्रृंखलाएं बड़े विंडो प्रदर्शित करती हैं, जो $C_h$ की श्रृंखला-विशिष्ट भूमिका की पुष्टि करती हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह टाइम-सीरीज के लिए रोलिंग-ओरिजिन कॉन्फॉर्मल प्रेडिक्शन के लिए पहला कठोर सैद्धांतिक ढांचा प्रदान करता है। यह "ब्लैक बॉक्स" ह्यूरिस्टिक विंडो चयन से आगे बढ़कर निम्नलिखित कार्य करता है:

विनिमयशीलता (exchangeability) की आवश्यकता वाले सटीक परिमित-नमूना कवरेज के असंभव लक्ष्य को एक सटीक, गणना योग्य सन्निकटन त्रुटि सीमा (approximation error bound) से बदलकर।
यह स्थापित करना कि रोलिंग-ओरिजिन स्कीम न केवल व्यावहारिक रूप से सुविधाजनक है बल्कि मिनिमैक्स अर्थ में सांख्यिकीय रूप से कुशल भी है।
एक सिद्धांतपूर्ण, डेटा-संचालित विधि (विंकलर क्रॉस-वैलिडेशन) प्रदान करना जो इष्टतम अभिसरण दर (convergence rate) को बनाए रखते हुए कैलिब्रेशन विंडो का चयन करती है।

लेखक नोट करते हैं कि यह विधि मॉडल-अग्नोस्टिक है और उन पाइपलाइनों में कोई अतिरिक्त कंप्यूटेशनल ओवरहेड नहीं जोड़ती है जो पहले से ही रोलिंग-ओरिजिन इवैल्यूएशन कर रही हैं। वे स्वीकार करते हैं कि उच्च-आयामी घनत्व सीमाओं और बहादुर रिप्रेजेंटेशन की जटिलताओं के कारण इन परिणामों को मल्टीवेरिएट HPD क्षेत्रों तक विस्तारित करना एक खुला प्रश्न बना हुआ है।