📊 statistics

Modeling the uncertainty on the covariance matrix for probabilistic forecast reconciliation

यह शोध पत्र एक बेयसियन पूर्वानुमान सामंजस्य मॉडल प्रस्तावित करता है जो इनवर्स-विशार्ट प्रायर का उपयोग करके कोवेरिएंस मैट्रिक्स अनुमान में अनिश्चितता को ध्यान में रखता है, जिसके परिणामस्वरूप एक मल्टीवेरिएट टी-डिस्ट्रीब्यूशन प्राप्त होता है जो मानक मिनिमम ट्रेस (MinT) दृष्टिकोण की तुलना में अधिक सटीक भविष्यवाणिय अंतराल प्रदान करता है।

मूल लेखक: Chiara Carrara, Dario Azzimonti, Giorgio Corani, Lorenzo Zambon

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chiara Carrara, Dario Azzimonti, Giorgio Corani, Lorenzo Zambon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पूरे देश के लिए मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास मौसमविदों (meteorologists) की एक टीम है, जिनमें से प्रत्येक एक विशिष्ट शहर के लिए अपना अनुमान लगा रहा है।

समस्या: "शहर A" के लिए मौसमविद् व्यक्तिगत रूप से कह सकता है कि बारिश होगी, जबकि "शहर B" के लिए दूसरा कह सकता है कि धूप खिली रहेगी। लेकिन यदि आप पूरे देश की भविष्यवाणी प्राप्त करने के लिए सभी शहरों की भविष्यवाणियों को जोड़ते हैं, तो गणित मेल नहीं खाएगा। हो सकता है कि "देश का कुल योग" कहे कि मौसम धूप वाला रहेगा, लेकिन शहरों का योग कहे कि बारिश होगी। इसे असंगति (incoherence) कहा जाता है।
पुराना समाधान (MinT): लंबे समय से, सांख्यिकीविदों ने इन विरोधाभासी अनुमानों को ठीक करने के लिए MinT नामक एक विधि का उपयोग किया है। यह एक रेफरी की तरह है जो सभी बिखरे हुए, परस्पर विरोधी शहर के अनुमानों को लेता है और उन्हें पूरी तरह से फिट होने के लिए मजबूर करता है। इसे करने के लिए, रेफरी यह देखता है कि अतीत में मौसमविद् कितनी बार गलत रहे हैं (इन "त्रुटियों" या "errors" को) और उन नंबरों को समायोजित करने का निर्णय लेने के लिए उन गलतियों के एक मानचित्र (कोवेरिएंस मैट्रिक्स/covariance matrix) का उपयोग करता है।

चुनौती: पुरानी विधि उस 'गलतियों के मानचित्र' के साथ ऐसे व्यवहार करती है जैसे कि वह एक पूर्ण, अपरिवर्तनीय तथ्य हो। यह मान लेती है कि, "हम जानते हैं कि इन त्रुटियों का आपस में क्या संबंध है।" लेकिन वास्तव में, हमारे पास इस मानचित्र को बनाने के लिए सीमित मात्रा में पिछला डेटा उपलब्ध है। यदि हमारे पास पर्याप्त डेटा नहीं है, तो वह मानचित्र धुंधला और अनिश्चित होता है। पुरानी विधि इस धुंधलेपन को अनदेखा करती है, जिससे भविष्यवाणियाँ बहुत अधिक आत्मविश्वासी महसूस होती हैं। यह उत्तर के चारों ओर एक बहुत ही तंग घेरा खींचती है, यह कहते हुए, "हमें 95% यकीन है कि यह इस छोटे से बिंदु पर है," जबकि वास्तव में, हमें कम आश्वस्त होना चाहिए।

नया समाधान: t-Rec (द वाइज रेफरी - बुद्धिमान रेफरी)

इस शोध पत्र के लेखक t-Rec नामक एक नई विधि का प्रस्ताव करते हैं। "गलतियों के मानचित्र के पूर्ण होने का ढोंग करने के बजाय, t-Rec स्वीकार करता है, "हे, हमें इस मानचित्र के बारे में 100% यकीन नहीं है।"

यह कैसे काम करता है, इसका एक सरल उदाहरण यहाँ दिया गया है:

"धुंधला मानचित्र" (कोवेरिएंस अनिश्चितता): कल्पना कीजिए कि पुरानी विधि इलाके के एक लेजर-शार्प, हाई-डेफिनिशन मानचित्र का उपयोग करती है। नई विधि (t-Rec) एक ऐसे मानचित्र का उपयोग करती है जिस पर थोड़ा कोहरा छाया हुआ है। यह स्वीकार करती है कि इलाका (त्रुटियों के बीच का संबंध) उस डेटा से थोड़ा अलग हो सकता है जो दिखाया गया है क्योंकि डेटा सीमित है।
"भारी कोट" (t-डिस्ट्रीब्यूशन): क्योंकि रेफरी (t-Rec) जानता है कि मानचित्र थोड़ा धुंधला है, इसलिए वह भविष्यवाणी के लिए एक छोटा, तंग घेरा नहीं बनाता है। इसके बजाय, वह एक थोड़ा बड़ा, "भारी" घेरा बनाता है। सांख्यिकी में, इसे मल्टीवेरिएट t-डिस्ट्रीब्यूशन (multivariate t-distribution) कहा जाता है।
- एक गौसियन (नॉर्मल) डिस्ट्रीब्यूशन एक बेल कर्व (bell curve) की तरह है जो बहुत तेज़ी से कम हो जाता है। यह एक तंग सूट की तरह है; यह फिट तो बैठता है लेकिन इसमें बहुत अधिक हलचल की अनुमति नहीं देता।
- t-डिस्ट्रीब्यूशन एक भारी विंटर कोट की तरह है। यह अधिक भारी है और इसकी "पूंछ (tails) अधिक चौड़ी" है। इसका मतलब है कि यह चरम मौसम (आउटलेयर्स) की संभावना को बिना घबराए स्वीकार करता है। यह कहता है, "हम सोचते हैं कि बारिश होगी, लेकिन हम तूफान की संभावना के लिए भी थोड़ी जगह छोड़ रहे हैं।"

जब वे इसका परीक्षण करते हैं तो क्या होता है?

लेखकों ने अपने नए "बुद्धिमान रेफरी" का पुराने "लेजर-शार्प रेफरी" के विरुद्ध वास्तविक पर्यटन डेटा (स्विट्जरलैंड और ऑस्ट्रेलिया में होटल स्टे) का उपयोग करके परीक्षण किया।

पॉइंट प्रेडिक्शन (सर्वश्रेष्ठ अनुमान): दोनों रेफरी पर्यटकों की सटीक संख्या का अनुमान लगाने में समान रूप से अच्छे थे। यदि आप केवल पूछते, "कितने लोग आएंगे?" तो दोनों विधियों ने एक ही उत्तर दिया।
प्रेडिक्शन इंटरवल्स (सुरक्षा जाल): यहीं पर t-Rec जीत गया।
- पुरानी विधि (MinT) उन तंग, आत्मविश्वासी घेरों को खींचती रहती थी। अक्सर, पर्यटकों की वास्तविक संख्या उन घेरों के बाहर गिर जाती थी क्योंकि वह विधि खुद पर बहुत अधिक भरोसा करती थी।
- नई विधि (t-Rec) ने व्यापक, सुरक्षित घेरे बनाए। "मानचित्र" की अनिश्चितता को ध्यान में रखते हुए, इसके सुरक्षा जाल अधिक सटीक थे। जब उन्होंने कहा, "हमें 95% यकीन है कि संख्या X और Y के बीच है," तो वास्तव में यह 95% बार सच साबित हुआ। पुरानी विधि केवल 83% बार ही सही थी क्योंकि वह अत्यधिक आत्मविश्वासी थी।

मुख्य निष्कर्ष

यह शोध पत्र तर्क देता है कि "हमें अतीत की त्रुटियों के बारे में सब कुछ नहीं पता" को स्वीकार करके, नई विधि (t-Rec) एक अधिक ईमानदार और विश्वसनीय पूर्वानुमान बनाती है। यह मुख्य अनुमान को नहीं बदलती है, लेकिन यह "कॉन्फिडेंस इंटरवल" (संभावित परिणामों की सीमा) को बहुत अधिक भरोसेमंद बनाती है, विशेष रूप से जब डेटा शोर भरा या सीमित हो। यह एक ऐसे रेफरी के बीच का अंतर है जो अंधाधुंध आत्मविश्वासी है और एक ऐसा रेफरी जो बुद्धिमानी से कहता है, "मुझे काफी यकीन है, लेकिन मैं एहतियात के तौर पर थोड़ी अतिरिक्त जगह छोड़ दूँगा।"

तकनीकी सारांश: संभाव्य पूर्वानुमान सामंजस्य (Probabilistic Forecast Reconciliation) के लिए कोवेरियेंस मैट्रिक्स पर अनिश्चितता का मॉडलिंग

समस्या विवरण
पदानुक्रमित समय श्रृंखला पूर्वानुमान (hierarchical time series forecasting) में, विभिन्न स्तरों के लिए स्वतंत्र रूप से उत्पन्न बेस पूर्वानुमान अक्सर असंगत (incoherent) होते हैं (अर्थात, वे सही ढंग से योग नहीं करते हैं)। पूर्वानुमान सामंजस्य (forecast reconciliation) इन बेस पूर्वानुमानों को रैखिक एकत्रीकरण बाधाओं (linear aggregation constraints) को संतुष्ट करने के लिए समायोजित करता है। संभाव्य सामंजस्य के लिए मानक दृष्टिकोण मिनिमम ट्रेस (MinT) है, जो बेस पूर्वानुमान त्रुटियों के कोवेरियेंस मैट्रिक्स ( $W$ ) पर निर्भर करता है।

वर्तमान MinT कार्यान्वयन की एक महत्वपूर्ण सीमा यह है कि $W$ को इन-सैंपल अवशेषों (in-sample residuals) से अनुमानित किया जाता है और फिर इसे एक ज्ञात, स्थिर पैरामीटर के रूप में माना जाता है। यह अभ्यास $W$ में निहित अनुमान अनिश्चितता (estimation uncertainty) की अनदेखी करता है, विशेष रूप से तब जब नमूना आकार की तुलना में समय श्रृंखलाओं की संख्या अधिक होती है। फलस्वरूप, यह भविष्य कहनेवाला वितरण (predictive distribution) के प्रसरण (variance) का कम आकलन करता है, जिससे प्रेडिक्शन इंटरवल्स (PIs) व्यवस्थित रूप से बहुत संकीर्ण हो जाते हैं और नाममात्र कवरेज (nominal coverage) प्राप्त करने में विफल रहते हैं। हालांकि हाल के कार्यों ने कवरेज को ठीक करने के लिए सामंजस्य को कॉन्फॉर्मल प्रेडिक्शन (conformal prediction) के साथ जोड़ा है, लेकिन कोई भी मौजूदा ढांचा स्पष्ट रूप से कोवेरियेंस मैट्रिक्स की अनिश्चितता को स्वयं सामंजस्य प्रक्रिया के भीतर मॉडल नहीं करता है।

कार्यप्रणाली: t-Rec
लेखक t-Rec प्रस्तावित करते हैं, जो एक बेयसियन सामंजस्य विधि है जो कोवेरियेंस मैट्रिक्स $W$ की अनिश्चितता को स्पष्ट रूप से मॉडल करती है। कार्यप्रणाली इस प्रकार है:

बेयसियन सूत्रीकरण (Bayesian Formulation): $W$ के पॉइंट एस्टीमेट के बजाय, लेखक इसे एक रैंडम वेरिएबल के रूप में मानते हैं। वे $W$ के लिए एक इनवर्स-विशार्ट (Inverse-Wishart - IW) प्रायर वितरण अपनाते हैं और यह मानते हैं कि इन-सैंपल अवशेष $W$ के दिए होने पर सशर्त रूप से गॉसियन (Gaussian) हैं।
पोस्टीरियर व्युत्पत्ति (Posterior Derivation): इनवर्स-विशार्ट प्रायर और गॉसियन लाइकलीहुड के बीच संयुग्मन (conjugacy) का उपयोग करते हुए, $W$ का पोस्टीरियर वितरण विश्लेषणात्मक रूप से व्युत्पन्न किया जाता है।
असंगत भविष्य कहनेवाला वितरण (Incoherent Predictive Distribution): $W$ को जॉइंट पोस्टीरियर से मार्जिनलाइज़ करके, लेखक असंगत पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन प्राप्त करते हैं। मानक MinT के विपरीत, जो मल्टीवेरिएट गॉसियन देता है, यह एकीकरण एक मल्टीवेरिएट t-डिस्ट्रीब्यूशन का परिणाम देता है। यह वितरण स्वाभाविक रूप से भारी पूंछ (heavier tails) वाला होता है, जो $W$ की अनिश्चितता को ध्यान में रखता है।
सामंजस्य (Reconciliation via Conditioning): असंगत मल्टीवेरिएट t-डिस्ट्रीब्यूशन को पदानुक्रमित बाधाओं पर कंडीशनिंग द्वारा सामंजस्यपूर्ण बनाया जाता है (वितरण को कोहेरेंट सबस्पेस पर स्लाइस करना)। मल्टीवेरिएट t-डिस्ट्रीब्यूशन के अफ़ाइन ट्रांसफॉर्मेशन और कंडीशनिंग के तहत क्लोजर गुणों का लाभ उठाते हुए, लेखक एक क्लोज्ड-फॉर्म अभिव्यक्ति प्राप्त करते हैं, जो स्वयं एक मल्टीवेरिएट t-डिस्ट्रीब्यूशन बनी रहती है।
पैरामीटर विनिर्देश (Parameter Specification):
- प्रायर के स्केल मैट्रिक्स ( $\Psi_0$ ) का निर्माण सरल बेंचमार्क विधियों (नेइव और सीजनल नेइव) के अवशेषों के कोवेरियेंस का उपयोग करके किया जाता है, जिन्हें KPSS सीजनलिटी टेस्ट के माध्यम से चुना गया है।
- फ्रीडम के डिग्री ( $\nu_0$ ) को आउट-ऑफ-सैंपल लॉग-स्कोर को अधिकतम करने के लिए बेयसियन लीव-वन-आउट (LOO) क्रॉस-वैलिडेशन के माध्यम से अनुकूलित किया जाता है। लेखक नोट करते हैं कि यह अनुकूलन शेरमैन-मोरिसन फॉर्मूला के कारण गणनात्मक रूप से कुशल है।

प्रमुख योगदान

विश्लेषणात्मक समाधान: यह पेपर कंडीशनिंग के माध्यम से संभाव्य पूर्वानुमान सामंजस्य के लिए पहला ज्ञात विश्लेषणात्मक समाधान प्रदान करता है, जो गैर-गॉसियन मामलों (विशेष रूप से जब कोवेरियेंस अनिश्चितता को मॉडल किया जाता है) तक विस्तृत है, जो गॉसियन मामले से आगे बढ़ता है जहाँ सामंजस्य MinT के साथ मेल खाता है।
क्लोज्ड-फॉर्म मल्टीवेरिएट t: यह विधि एक क्लोज्ड-फॉर्म में पुनर्गठित भविष्य कहनेवाला वितरण देती है जो मल्टीवेरिएट t-डिस्ट्रीब्यूशन है, जिससे उन महंगी गणनात्मक सैंपलिंग तकनीकों (जैसे MCMC) की आवश्यकता नहीं होती है जो आमतौर पर गैर-गॉसियन सामंजस्य के लिए आवश्यक होती हैं।
अनुकूली अंतराल चौड़ाई (Adaptive Interval Width): MinT के विपरीत, जो हमेशा बेस पूर्वानुमानों की तुलना में प्रेडिक्शन इंटरवल्स को संकुचित करता है, t-Rec उच्च विसंगति या उच्च अनुमान अनिश्चितता की उपस्थिति में इंटरवल्स को चौड़ा करने की अनुमति देता है, जिससे अधिक विश्वसनीय कवरेज प्राप्त होता है।
कार्यान्वयन: विधि को R पैकेज bayesRecon में लागू किया गया है।

अनुभवजन्य परिणाम (Empirical Results)
लेखकों ने तीन डेटासेट्स पर t-Rec का MinT के विरुद्ध मूल्यांकन किया: एक नया स्विस पर्यटन डेटासेट (26 कैंटन + टोटल), और दो ऑस्ट्रेलियाई पर्यटन डेटासेट (मासिक और त्रैमासिक)।

पॉइंट फोरकास्ट्स: t-Rec और MinT MSE के संदर्भ में तुलनीय प्रदर्शन करते हैं, जो यह दर्शाता है कि कोवेरियेंस अनिश्चितता को मॉडल करने से पॉइंट फोरकास्ट सटीकता कम नहीं होती है।
संभाव्य पूर्वानुमान (Probabilistic Forecasts): t-Rec संभाव्य मेट्रिक्स पर लगातार MinT से बेहतर प्रदर्शन करता है:
- प्रेडिक्शन इंटरवल्स: t-Rec व्यापक इंटरवल्स बनाता है जो नाममात्र स्तरों (जैसे स्विस डेटासेट में 95% PIs के लिए 88% कवरेज बनाम MinT के लिए 83%) के करीब कवरेज दर प्राप्त करते हैं।
- स्कोरिंग रूल्स: t-Rec बेहतर निरंतर रैंकड प्रोबेबिलिटी स्कोर (CRPS) और मीन इंटरवल स्कोर (MIS) प्राप्त करता है, विशेष रूप से उच्च विश्वास स्तरों (95%) पर, जो t-डिस्ट्रीब्यूशन की भारी पूंछ के कारण है।
- संयुक्त प्रदर्शन: एनर्जी स्कोर (ES) भी t-Rec का पक्ष लेता है, जो संयुक्त भविष्य कहनेवाला वितरण के बेहतर अंशांकन (calibration) को दर्शाता है।
एब्लेशन स्टडी (Ablation Study): वेरिएंट्स (जैसे t-Rec-MAP, जो $W$ के पॉइंट एस्टीमेट का उपयोग करता है) के साथ तुलना पुष्टि करती है कि सुधार विशेष रूप से $W$ के पोस्टीरियर पर मार्जिनलाइज़ करने से आता है, न कि पॉइंट एस्टीमेट का उपयोग करने से।

महत्व और दावे
यह पेपर दावा करता है कि t-Rec भविष्य कहनेवाला वितरण में पैरामीटर अनिश्चितता को सीधे एकीकृत करके अनिश्चितता के अधिक सिद्धांतपूर्ण मात्रा निर्धारण की पेशकश करता है। लेखक कहते हैं कि उनका दृष्टिकोण "MinT सामंजस्य की तुलना में प्रेडिक्शन इंटरवल्स में लगातार सुधार करता है" जबकि समान पॉइंट फोरकास्ट सटीकता बनाए रखता है।

लेखक अपने दावों के दायरे के संबंध में विनम्र हैं:

वे स्वीकार करते हैं कि t-Rec की प्रभावशीलता प्रायर स्केल पैरामीटर $\Psi_0$ के विनिर्देश पर निर्भर करती है, जो कई सीजनलिटी वाली जटिल श्रृंखलाओं के लिए उप-इष्टतम हो सकता है।
वे उच्च-आयामी सेटिंग्स में इनवर्स-विशार्ट प्रायर की सीमाओं को नोट करते हैं और आधुनिक प्रायर्स पर भविष्य के कार्य का सुझाव देते हैं।
वर्तमान विश्लेषण क्रॉस-सेक्शनल पदानुक्रमों तक सीमित है, जिसमें टेम्पोरल और क्रॉस-टेम्पोरल विस्तार भविष्य के अध्ययन के लिए छोड़े गए हैं।

मुख्य योगदान यह प्रदर्शन करना है कि MinT में कोवेरियेंस मैट्रिक्स को एक स्थिर पैरामीटर मानना ओवरकॉन्फिडेंट पूर्वानुमानों की ओर ले जाता है, और एक बेयियन उपचार जो मल्टीवेरिएट t-डिस्ट्रीब्यूशन प्रदान करता है, संभाव्य सामंजस्य के लिए एक गणनात्मक रूप से कुशल और सांख्यिकीय रूप से श्रेष्ठ विकल्प प्रदान करता है।

नया समाधान: t-Rec (द वाइज रेफरी - बुद्धिमान रेफरी)

जब वे इसका परीक्षण करते हैं तो क्या होता है?

मुख्य निष्कर्ष

इसी तरह के और पेपर