📊 statistics

Interpretable models for forecasting high-dimensional functional time series

यह शोधपत्र उच्च-आयामी कार्यात्मक समय श्रृंखला (functional time series) के लिए एक व्याख्या योग्य पूर्वानुमान ढांचे का प्रस्ताव करता है जो नियत संरचनात्मक प्रभावों को स्टोकेस्टिक रुझानों से अलग करने के लिए एक कार्यात्मक विचरण विश्लेषण (FANOVA) अपघटन को एक कार्यात्मक कारक मॉडल के साथ जोड़ता है, जिससे पूर्वानुमान सटीकता में सुधार होता है और जापानी उप-राष्ट्रीय मृत्यु दर डेटा पर प्रदर्शित होने के अनुसार नीतिगत निर्णयों के लिए पारदर्शी अंतर्दृष्टि प्रदान होती है।

मूल लेखक: Han Lin Shang, Cristian F. Jiménez-Varón

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Han Lin Shang, Cristian F. Jiménez-Varón

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप 47 अलग-अलग शहरों के लिए भविष्य के मौसम के पैटर्न की भविष्यवाणी करने की कोशिश कर रहे हैं, लेकिन केवल "धूप" या "बारिश" के बजाय, आपके पास हर दिन के हर घंटे के लिए, पुरुषों और महिलाओं दोनों के लिए, तापमान का प्रतिनिधित्व करने वाली एक जटिल, लहरदार रेखा है। यह बहुत सारा डेटा है! सांख्यिकी (Statistics) में, इसे हाई-डायमेंशनल फंक्शनल टाइम सीरीज़ (High-Dimensional Functional Time Series) कहा जाता है। यह सुनने में बहुत भारी लगता है, लेकिन इसे ऊन के एक विशाल, उलझे हुए गोले के रूप में सोचें जहाँ हर धागा एक अलग स्थान, लिंग और समय का प्रतिनिधित्व करता है।

शैंग और जिमेनेज़-वरोन (Shang and Jiménez-Varón) का शोध पत्र इस बारे में है कि उस ऊन के गोले को कैसे सुलझाया जाए, यह समझा जाए कि क्या चीजें उन धागों को चला रही हैं, और यह भविष्यवाणी की जाए कि वे आगे कहाँ जाएँगी, और यह सब करते हुए व्याख्या को इतना सरल रखा जाए कि एक इंसान भी उसे समझ सके।

यहाँ उनके तरीके का रोजमर्रा के उदाहरणों (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "ब्लैक बॉक्स" बनाम "रेसिपी"

अधिकांश आधुनिक पूर्वानुमान उपकरण (forecasting tools) ब्लैक बॉक्स की तरह होते हैं। आप उनमें डेटा का एक पहाड़ डाल देते हैं, और वे एक भविष्यवाणी निकाल कर देते हैं। वे सटीक हो सकते हैं, लेकिन वे आपको यह नहीं बताते कि क्यों। यह एक शेफ की तरह है जो आपको एक स्वादिष्ट सूप देता है लेकिन रेसिपी बताने से मना कर देता है। आप जानते हैं कि इसका स्वाद अच्छा है, लेकिन आप नहीं जानते कि नमक, गर्मी या कोई गुप्त मसाला इसे काम करने लायक बनाता है।

लेखक एक पारदर्शी रेसिपी चाहते थे। वे डेटा को समझने योग्य हिस्सों में तोड़ना चाहते थे ताकि नीति निर्माता (policymakers) यह देख सकें कि जापान में मृत्यु दर (mortality rates) में बदलाव को वास्तव में क्या संचालित कर रहा है।

2. समाधान: "लेयर केक" दृष्टिकोण

पूरे केक का एक साथ अनुमान लगाने के बजाय, वे इसे तीन अलग-अलग, आसानी से पचने वाले परतों (layers) में काटते हैं।

लेयर 1: "ग्रैंड मीन" (केक का आधार)

सबसे पहले, वे बड़ी तस्वीर देखते हैं। पूरे जापान के लिए औसत रुझान (average trend) क्या है?

उदाहरण: कल्पना कीजिए "औसत जापानी व्यक्ति" की। यह परत वक्र (curve) के सामान्य आकार को पकड़ती है: "लोग उम्र बढ़ने के साथ अधिक मरते हैं।" यह आधार है।
गणित: वे इसे फंक्शनल ग्रैंड इफेक्ट (Functional Grand Effect) कहते हैं।

लेयर 2: "विशिष्ट स्वाद" (टॉपिंग्स)

इसके बाद, वे देखते हैं कि विशिष्ट समूह उस औसत से कैसे भिन्न हैं।

उदाहरण: "औसत ओकिनावा का व्यक्ति" "औसत टोक्यो के व्यक्ति" से कैसे अलग है? "औसत महिला" "औसत पुरुष" से कैसे अलग है?
गणित: वे एक टू-वे फंक्शनल एनोवा (Two-Way Functional ANOVA) का उपयोग करते हैं। इसे "क्षेत्र" (Region) और "लिंग" (Gender) के बर्तनों में डेटा को अलग करने के रूप में सोचें।
- क्षेत्र प्रभाव (Region Effect): शायद ओकिनावा में जलवायु के कारण मृत्यु दर कम है।
- लिंग प्रभाव (Gender Effect): महिलाएं आम तौर पर पुरुषों की तुलना में अधिक जीवित रहती हैं।
- ट्विस्ट: वे इंटरैक्शन (Interaction) को भी देखते हैं। क्या ओकिनावा में एक महिला होना, टोक्यो में एक महिला होने से अलग तरह से प्रभाव डालता है? यह वैसा ही है जैसे यह समझना कि हालांकि कॉफी आमतौर पर कड़वी होती है, लेकिन आपका विशिष्ट कप कॉफी स्थानीय पानी के कारण अलग स्वाद दे सकती है।

लेayer 3: "रैंडम नॉइज़" (स्प्रिंकल्स)

औसत, क्षेत्रीय अंतर और लिंग के अंतर को हटाने के बाद, अभी भी कुछ डेटा बचा रहता है। यह "रेसिड्यूअल" (residual) है।

उदाहरण: कल्पना कीजिए कि आपने मौसम, मौसम और दिन के समय का हिसाब लगा लिया है। लेकिन कभी-कभी, हवा का एक अचानक झोंका आपके रास्ते में एक पत्ता उड़ा देता है। वह "नॉइज़" (शोर) है। मृत्यु दर के मामले में, यह किसी विशिष्ट शहर में फ्लू का प्रकोप या स्वास्थ्य सेवा तक पहुंच में अचानक बदलाव हो सकता है।
गणित: वे इन शेष यादृच्छिक रुझानों (random trends) को पकड़ने के लिए एक फंक्शनल फैक्टर मॉडल (Functional Factor Model) का उपयोग करते हैं। यह मुख्य स्कूल से दूर तैरने गए अंतिम कुछ मछलियों को पकड़ने के लिए जाल फेंकने जैसा है।

3. भविष्यवाणी: इसे वापस जोड़ना

एक बार जब उनके पास ये तीन परतें होती हैं, तो वे प्रत्येक परत के लिए अलग से भविष्यवाणी करते हैं और फिर उन्हें वापस ऊपर से एक साथ रखते हैं।

रेसिपी: भविष्य की मृत्यु दर = (भविष्य का औसत) + (भविष्य का क्षेत्रीय अंतर) + (भत्व का लिंग अंतर) + (भविष्य का रैंडम नॉइज़)।

क्योंकि वे "कारणों" (जैसे क्षेत्र और लिंग) की अलग-अलग भविष्यवाणी करते हैं, इसलिए अंतिम भविष्यवाणी व्याख्या योग्य (interpretable) होती है। यदि भविष्यवाणी कहती है कि "2030 में मृत्यु दर बढ़ेगी," तो मॉडल आपको बता सकता है: "यह बढ़ रहा है क्योंकि होक्काइडो का क्षेत्रीय रुझान बदल रहा है, न कि इसलिए कि पूरा देश बदल रहा है।"

4. सुरक्षा जाल: "कॉन्फ़ॉर्मल प्रेडिक्शन"

भविष्यवाणी करना जोखिम भरा है। क्या होगा यदि मॉडल गलत हो?

उदाहरण: कल्पना कीजिए कि आप एक लक्ष्य पर डार्ट फेंक रहे हैं। एक मानक भविष्यवाणी केवल एक बिंदु है जहाँ आप सोचते हैं कि डार्ट गिरेगा। लेकिन क्या होगा यदि आप उस बिंदु के चारों ओर एक घेरा बना दें?
विधि: लेखक कॉन्फ़ॉर्मल प्रेडिक्शन (Conformal Prediction) नामक तकनीक का उपयोग करते हैं। केवल एक संख्या का अनुमान लगाने के बजाय, वे अपनी भविष्यवाणी के चारों ओर एक "कॉन्फिडेंस रिंग" (विश्वास घेरा) खींचते हैं।
1. स्प्लिट (Split): उन्होंने रिंग बनाने का अभ्यास करने के लिए पुराने डेटा का उपयोग किया, फिर बाकी का परीक्षण किया। (जैसे एक अभ्यास परीक्षा)।
2. सीक्वेंशियल (Sequential): उन्होंने हर बार जब डेटा का नया हिस्सा आया, तो रिंग के आकार को अपडेट किया, और चलते-चलते सीखते रहे। (जैसे एक GPS जो आपके गाड़ी चलाते समय अपना रास्ता फिर से कैलकुलेट करता है)।
- परिणाम: "सीक्वेंशियल" तरीका भविष्य के वास्तविक डेटा को सुरक्षा घेरे के भीतर रखने में बेहतर था, भले ही समय बीतने के साथ डेटा बदलता रहा।

यह क्यों मायने रखता है?

वास्तविक दुनिया में, सरकारों को अच्छे निर्णय लेने के लिए यह जानने की आवश्यकता होती है कि क्यों चीजें हो रही हैं।

यदि एक मॉडल केवल कहता है "मृत्यु दर बढ़ेगी," तो सरकार घबरा सकती है।
यदि यह मॉडल कहता है "मृत्यु दर विशेष रूप से ग्रामीण क्षेत्रों के पुरुषों के लिए एक विशिष्ट रुझान के कारण बढ़ेगी," तो सरकार उन विशिष्ट ग्रामीण क्षेत्रों में डॉक्टर और संसाधन भेज सकती है।

संक्षेप में: लेखकों ने डेटा के एक बिखरे हुए, जटिल गोले को लिया, उसे "आधार," "क्षेत्रीय," "लिंग" और "रैंडम" ढेर में वर्गीकृत किया, प्रत्येक ढेर के लिए अलग-अलग भविष्यवाणी की, और फिर उन्हें फिर से जोड़ा। परिणाम एक ऐसा पूर्वानुमान है जो न केवल सटीक है बल्कि यह भी स्पष्ट कहानी बताता है कि भविष्य ऐसा क्यों दिख रहा है।

यहाँ शेंग और जिमेनेज़-वारोन के शोध पत्र "Interpretable models for forecasting high-dimensional functional time series" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र हाई-डायमेंशनल फंक्शनल टाइम सीरीज़ (HDFTS) के मॉडलिंग और पूर्वानुमान की चुनौती को संबोधित करता है। HDFTS की विशेषताएँ निम्नलिखित हैं:

अस्थायी निर्भरता (Temporal Dependence): अवलोकन समय के साथ विकसित होते हैं।
क्रॉस-सेक्शनल निर्भरता (Cross-Sectional Dependence): कई फंक्शनल कर्व्स (जैसे विभिन्न क्षेत्रों में मृत्यु दर) आपस में सह-संबंधित हैं।
उच्च आयामीता (High Dimensionality): क्रॉस-सेक्शनल इकाइयों की संख्या ( $N$ , जैसे कि प्रान्त/प्रीफेक्चर) अक्सर समय बिंदुओं ( $T$ ) की संख्या से अधिक होती है।

मौजूदा विधियों की मुख्य सीमा:
वर्तमान अत्याधुनिक दृष्टिकोण, जैसे कि प्रिंसिपल कंपोनेंट एनालिसिस (PCA) का उपयोग करने वाले फंक्शनल फैक्टर मॉडल, आयामीता कम करने के लिए गणनात्मक रूप से कुशल हैं लेकिन अक्सर व्याख्यात्मकता (Interpretability) की कमी रखते हैं। परिणामी लेटेंट फैक्टर्स और लोडिंग मैट्रिसेस गणितीय संरचनाएं ("ब्लैक बॉक्स") होते हैं जो सीधे तौर पर दृश्यमान, वास्तविक दुनिया के चालकों (जैसे विशिष्ट भौगोलिक क्षेत्र या लिंग जैसे जनसांख्यिकीय समूह) के अनुरूप नहीं होते हैं। यह साक्ष्य-आधारित नीति निर्धारण के लिए इसकी उपयोगिता को सीमित करता है जहाँ भिन्नता के स्रोत को समझना अत्यंत महत्वपूर्ण है।

2. कार्यप्रणाली (Methodology)

लेखक एक संरचित, व्याख्यात्मक अपघटन ढांचे (structured, interpretable decomposition framework) का प्रस्ताव करते हैं जो नियतात्मक माध्य संरचनाओं (deterministic mean structures) को स्टोकेस्टिक अवशेष रुझानों (stochastic residual trends) से अलग करता है। कार्यप्रणाली में तीन क्रमिक चरण शामिल हैं:

चरण I: टू-वे फंक्शनल एनालिसिस ऑफ वेरियंस (TWA-FANOVA)

HDFTS ( $Y_{it}^g(u)$ ) को एक नियतात्मक माध्य संरचना और एक अवशेष प्रक्रिया में विभाजित किया जाता है:
$Y_{it}^g(u) = \mu(u) + \alpha_i(u) + \delta_g(u) + \gamma_{ig}(u) + X_{it}^g(u)$
जहाँ:

$\mu(u)$ : फंक्शनल ग्रैंड मीन (Grand Mean)।
$\alpha_i(u)$ : फंक्शनल रो इफेक्ट (क्षेत्र/प्रान्त)।
$\delta_g(u)$ : फंक्शनल कॉलम इफेक्ट (लिंग)।
$\gamma_{ig}(u)$ : क्षेत्र और लिंग के बीच इंटरेक्शन टर्म।
$X_{it}^g(u)$ : समय-परिवर्तनीय अवशेष घटक (Time-varying residual component)।

पिछले कार्यों के विपरीत, यह मॉडल क्रॉस-ग्रुप विषमता को पकड़ने के लिए स्पष्ट रूप से इंटरेक्शन टर्म $\gamma_{ig}(u)$ का अनुमान लगाता है।

चरण II: वन-वे फंक्शनल एनालिसिस ऑफ वेरियंस (OWA-FANOVA)

इंटरेक्शन टर्म और चरण I के अवशेषों को और अधिक परिष्कृत करने के लिए, लेखक संयुक्त पद $X_{it}^{g,\dagger}(u) = \gamma_{ig}(u) + X_{it}^g(u)$ पर वन-वे FANOVA लागू करते हैं:
$X_{it}^{g,\dagger}(u) = \theta^g(u) + \eta_i^g(u) + R_{it}^g(u)$

$\theta^g(u)$ : लिंग $g$ के लिए ग्रैंड इफेक्ट।
$\eta_i^g(u)$ : लिंग $g$ के लिए प्रान्त-विशिष्ट माध्य प्रभाव।
$R_{it}^g(u)$ : शेष स्टोकेस्टिक अवशेष प्रक्रिया।

यह चरण प्रत्येक लिंग के विशिष्ट नियतात्मक क्षेत्रीय पैटर्न को अलग करता है, जिससे एक शुद्ध स्टोकेस्टिक अवशेष प्राप्त होता है।

चरण III: फंक्शनल फैक्टर मॉडल (FFM)

शेष स्टोकेस्टिक अवशेषों $R_{it}^g(u)$ को एक एकीकृत फंक्शनल फैक्टर मॉडल का उपयोग करके मॉडल किया जाता है (जो स्केलर फैक्टर्स को फंक्शनल लोडिंग्स के साथ और इसके विपरीत एकीकृत करता है):
$R_{it}^g(u) = \sum_{k=1}^{k^*} \int B_{ik}^g(u, v) F_{tk}^g(v) dv + \varepsilon_{it}^g(u)$

$F_{tk}^g(v)$ : समय-परिवर्तनीय लेटेंट फैक्टर्स।
$B_{ik}^g(u, v)$ : फंक्शनल फैक्टर लोडिंग्स।
फैक्टर्स की संख्या ( $q$ ) का चयन एक सूचना मानदंड (Information Criterion - Leng et al., 2026) का उपयोग करके किया जाता है।

पूर्वानुमान और अनिश्चितता मात्रा निर्धारण (Forecasting and Uncertainty Quantification)

पॉइंट फोरकास्ट (Point Forecasts): अंतिम पूर्वानुमान अनुमानित नियतात्मक घटकों (TWA और OWA से) और पूर्वानुमानित स्टोकेस्टिक घटक (FFM से) का योग है।
इंटरवल फोरकास्ट (Interval Forecasts): सख्त वितरण धारणाओं पर निर्भर किए बिना अनिश्चितता को मापने के लिए, लेखक कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) का उपयोग करते हैं:
- स्प्लिट कॉन्फॉर्मल (Split Conformal): अवशेष सारांश सांख्यिकी (मानक विचलन या क्वांटाइल्स) के आधार पर ट्यूनिंग मापदंडों को कैलिब्रेट करने के लिए एक वैलिडेशन सेट का उपयोग करता है।
- सीक्वेंशियल कॉन्फॉर्मल (Sequential Conformal): एक मॉडल-एग्नोस्टिक दृष्टिकोण जो नए डेटा के आगमन के साथ ऑटोरिग्रेसिव रूप से प्रेडिक्टिव क्वांटाइल्स को अपडेट करता है, जिससे एक निश्चित वैलिडेशन सेट की आवश्यकता समाप्त हो जाती है।

3. प्रमुख योगदान (Key Contributions)

व्याख्यात्मकता (Interpretability): यह ढांचा "ब्लैक-बॉक्स" लेटेंट फैक्टर्स को संरचनात्मक रूप से परिभाषित घटकों (ग्रैंड मीन, क्षेत्र, लिंग, इंटरेक्शन) से बदल देता है, जिससे नीति निर्माता सीधे जनसांख्यिकीय या भौगोलिक चालकों के कारण होने वाली विविधताओं का श्रेय दे सकते हैं।
पदानुक्रमित अपघटन (Hierarchical Decomposition): टू-वे FANOVA, वन-वे FANOVA और फंक्शनल फैक्टर मॉडल्स का अभिनव एकीकरण व्यवस्थित भिन्नता (नियतात्मक) को स्टोकेस्टिक डायनेमिक्स से सूक्ष्मता से अलग करने की अनुमति देता है।
मजबूत अनिश्चितता मात्रा निर्धारण: कॉन्फॉर्मल प्रेडिक्शन (विशेष रूप से सीक्वेंशियल कॉन्फॉर्मल प्रेडिक्शन) का अनुप्रयोग विश्वसनीय प्रेडिक्शन इंटरवल प्रदान करता है जो मॉडल मिसस्पेसिफिकेशन और सीमित-नमूना सीमाओं के प्रति मजबूत है।
अनुभवजन्य सत्यापन (Empirical Validation): अध्ययन यह प्रदर्शित करता है कि इंटरेक्शन टर्म (क्षेत्र $\times$ लिंग) को स्पष्ट रूप से मॉडल करने से उन मॉडलों की तुलना में बेहतर पॉइंट और इंटरवल पूर्वानुमान सटीकता मिलती है जो इस इंटरेक्शन को अनदेखा करते हैं।

4. परिणाम (Results)

इन विधियों का मूल्यांकन जापानी उप-राष्ट्रीय आयु- और लिंग-विशिष्ट मृत्यु दर (1975–2023) का उपयोग करके 47 प्रान्तों (prefectures) में किया गया।

पॉइंट फोरकास्ट सटीकता (Point Forecast Accuracy):
- प्रस्तावित ढांचा (TWA + OWA + FFM) बेंचमार्क विधि (TWA + मल्टीवेरिएट फंक्शनल टाइम सीरीज़) और सरलीकृत संस्करण (TWA + FFM) की तुलना में लगातार बेहतर प्रदर्शन करता है।
- मेट्रिक्स: प्रस्तावित विधि ने पुरुष और महिला दोनों के लिए 1 से 10-स्टेप-अहेड हॉरिजों के लिए सबसे कम रूट मीन स्क्वायर फोरकास्ट एरर (RMSFE) और मीन एब्सोल्यूट फोरकास्ट एरर (MAFE) प्राप्त किया।
- मुख्य निष्कर्ष: इंटरेक्शन टर्म (क्षेत्र $\times$ लिंग) को कैप्चर करने के लिए वन-वे FANOVA चरण को शामिल करने से सटीकता में मामूली लेकिन निरंतर सुधार हुआ, जो पुष्टि करता है कि क्षेत्रीय विषमता लिंग के आधार पर काफी भिन्न होती है।
इंटरवल फोरकास्ट सटीकता (Interval Forecast Accuracy):
- सीक्वेंशियल कॉन्फॉर्मल प्रेडिक्शन ने स्प्लिट कॉन्फॉर्मल की तुलना में बेहतर कवरेज प्रोबेबिलिटी (निर्धारित 95% के करीब) प्रदान की, जो लंबे हॉरिजों पर कम कवरेज (under-cover) की ओर प्रवृत्त था।
- प्रस्तावित ढांचे ने बेंचमार्क विधियों की तुलना में समान या बेहतर कवरेज के साथ संकीर्ण प्रेडिक्शन इंटरवल (बेहतर शार्पनेस) उत्पन्न किए, जिसके परिणामस्वरूप बेहतर इंटरवल स्कोर (IS) प्राप्त हुए।

5. महत्व (Significance)

नीति प्रासंगिकता (Policy Relevance): मृत्यु दर के रुझानों को व्याख्यात्मक घटकों (जैसे, "कितना क्षेत्रीय अंतर के कारण है बनाम लिंग अंतर के कारण है") में विभाजित करके, यह मॉडल पेंशन और स्वास्थ्य देखभाल प्रणालियों के लिए संसाधन आवंटन के संबंध में स्थानीय और राष्ट्रीय नीति निर्माताओं को पारदर्शी अंतर्दृष्टि प्रदान करता है।
पद्धतिगत प्रगति (Methodological Advancement): यह शोध पत्र हाई-डायमेंशनल सांख्यिकीय दक्षता और फंक्शनल डेटा विश्लेषण में व्याख्यात्मकता की आवश्यकता के बीच के अंतर को पाटता है। यह सिद्ध करता है कि संरचित अपघटन (structured decomposition) पूर्वानुमान प्रदर्शन से समझौता नहीं करता है; बल्कि, यह शोर (noise) से सिग्नल को बेहतर ढंग से अलग करके इसे बढ़ाता है।
सामान्यीकरण (Generalizability): हालांकि इसे मृत्यु दर डेटा पर लागू किया गया है, यह ढांचा अन्य HDFTS डोमेन के लिए भी लागू करने योग्य है, जैसे कि सैकड़ों स्टॉक के वित्तीय रिटर्न कर्व्स या मौसम स्टेशनों के तापमान कर्व्स।

निष्कर्षतः, यह शोध पत्र जटिल फंक्शनल डेटा के पूर्वानुमान के लिए एक मजबूत, व्याख्यात्मक और सटीक ढांचे को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि संरचनात्मक अंतःक्रियाओं (structural interactions) को स्पष्ट रूप से मॉडल करना और अनिश्चितता के लिए कॉन्फॉर्मल प्रेडिक्शन का उपयोग करना साक्ष्य-आधारित निर्णय लेने के लिए बेहतर परिणाम देता है।