तकनीकी सारांश: StateFlow – दीर्घ-क्षितिज समय श्रृंखला पूर्वानुमान के लिए द्वैत-अवस्था पुनरावर्ती मॉडलिंग (Dual-State Recurrent Modeling)

1. समस्या विवरण

दीर्घ-क्षितिज बहुभिन्नरूपी समय श्रृंखला पूर्वानुमान (Long-horizon multivariate time series forecasting - LTSF) ऊर्जा मांग, यातायात प्रवाह और वित्तीय मॉडलिंग जैसे क्षेत्रों में एक महत्वपूर्ण चुनौती है। प्राथमिक कठिनाइयाँ गैर-स्थिरता (non-stationarity), शासन परिवर्तन (regime shifts), और विस्तारित भविष्यवाणी क्षितिजों पर त्रुटियों के संचय (accumulation of errors) से उत्पन्न होती हैं। जबकि हालिया ट्रांसफॉर्मर-आधारित आर्किटेक्चर ने सेल्फ-अटेंशन के माध्यम से दीर्घ-रेंज निर्भरता को कैप्चर करके मजबूत प्रदर्शन हासिल किया है, वे अक्सर इनपुट लंबाई के सापेक्ष द्विघात कम्प्यूटेशनल जटिलता (quadratic computational complexity) से ग्रस्त होते हैं और लंबे लुकबैक विंडो के लिए कम्प्यूटेशनल रूप से महंगे वैश्विक इंटरैक्शन पैटर्न पर निर्भर करते हैं।

इसके विपरीत, पुनरावर्ती न्यूरल नेटवर्क (RNNs) अनुक्रम लंबाई के साथ रैखिक रूप से स्केल करते हैं और एक स्वाभाविक कारण संरचना (causal structure) प्रदान करते हैं। हालाँकि, पारंपरिक पुनरावर्ती मॉडल (जैसे LSTM, GRU) आमतौर पर एकल हिडन स्टेट में टेम्पोरल जानकारी को संकुचित करते हैं, जिससे वे गैर-स्थिर परिवर्तनों से उत्पन्न होने वाले व्यवस्थित भविष्यवाणी विचलन (systematic prediction deviations) (जैसे कि ड्रिफ्ट या बायस) को स्पष्ट रूप से मॉडल करने में विफल रहते हैं। यह सीमा अक्सर दीर्घ-क्षितिज सेटिंग्स में उनके प्रदर्शन को आधुनिक ट्रांसफॉर्मर-आधारित विधियों से पीछे छोड़ देती है।

यह शोध पत्र वेरिएबिलिटी-अवेयर रिकरेंट न्यूरल नेटवर्क (VARNN) को—जिसे मूल रूप से वन-स्टेप सीक्वेंस रिग्रेशन के लिए डिज़ाइन किया गया था—दीर्घ-क्षितिज पूर्वानुमान सेटिंग में विस्तारित करने के अंतर को संबोधित करता है। मुख्य परिकल्पना यह है कि अवशेषों (residuals) को एक अलग पुनरावर्ती अवस्था के रूप में स्पष्ट रूप से मॉडल करना रैखिक पुनरावर्ती मॉडलों के दीर्घकालिक एक्सट्रपलेशन के लिए मजबूती को बढ़ा सकता है।

2. कार्यप्रणाली: StateFlow फ्रेमवर्क

प्रस्तावित StateFlow फ्रेमवर्क लुकबैक अनुक्रम से दो पूरक संकेतों को कैप्चर करने के लिए चैनल-स्वतंत्र रणनीति के माध्यम से संसाधित VARNN का उपयोग एक द्वैत-अवस्था पुनरावर्ती बैकबोन के रूप में करता है।

2.1 द्वैत-अवस्था पुनरावर्ती एनकोडर (Dual-State Recurrent Encoder)

एनकोडर प्रत्येक समय चरण $t$ के लिए दो अलग-अलग पुनरावर्ती प्रक्षेपवक्र (trajectories) बनाए रखता है:

1. हिडन-स्टेट प्रक्षेपवक्र ($h_t$): प्राथमिक टेम्पोरल डायनेमिक्स का प्रतिनिधित्व करता है, जिसमें रुझान (trends), मौसमी (seasonality), स्तर परिवर्तन और आवर्ती पैटर्न शामिल हैं। इसे वर्तमान अवलोकन और पिछले स्टेट्स का उपयोग करके अपडेट किया जाता है।
2. रेसिड्यूअल-मेमोरी प्रक्षेपवक्र ($e_t$): स्पष्ट रूप से संरचित स्थानीय भविष्यवाणी विचलन को ट्रैक करता है। यह वन-स्टेप बेस प्रेडिक्शन्स ($\hat{x}_{base}$) और प्रेक्षित मानों ($x_{t+1}$) के बीच के अवशेषों ($r_t$) के नॉन-लीनियर रिकरेंट ट्रांसफॉर्मेशन द्वारा संचालित होता है।

पारंपरिक RNNs के विपरीत, जो विचलन को एक एकल लेटेंट स्टेट के भीतर अंतर्निहित रूप से एनकोड करते हैं, VARNN इन संकेतों को अलग करता है। हिडन स्टेट अगले चरण को कंडिशन करता है, जबकि रेसिड्यूअल-मेमोरी स्टेट व्यवस्थित विचलन के लिए एक समर्पित सिग्नल प्रदान करता है, जिससे मॉडल को प्राथमिक डायनेमिक्स और स्थानीय ड्रिफ्ट के बीच अंतर करने की अनुमति मिलती है।

2.2 चंक-आधारित क्षितिज डिकोडर (Chunk-Based Horizon Decoder)

पूर्ण अनुक्रमों को फ्लैट करने से जुड़े पैरामीटर विस्फोट से बचते हुए भविष्य के क्षितिज को मैप करने के लिए, StateFlow एक चंक-आधारित डिकोडर का उपयोग करता है:

• चंक समराइजेशन (Chunk Summarization): हिडन-स्टेट और रेसिड्यूअल-मेमोरी प्रक्षेपवक्रों को ओवरलैपिंग चंक्स में विभाजित किया जाता है। प्रत्येक चंक को फ्लैट किया जाता है और अलग-अलग समराइजेशन शाखाओं के माध्यम से एक निश्चित-आयामी एम्बेडिंग में प्रोजेक्ट किया जाता है। यह स्थानीय पैटर्न को सुरक्षित रखते हुए पैरामीटर वृद्धि को कम करता है।
• फोरकास्टिंग हेड: दोनों शाखाओं से प्राप्त समराइज्ड एम्बेडिंग्स को कॉन्कैटिनेट किया जाता है और मल्टी-स्टेप फोरकास्ट जेनरेट करने के लिए एक लीनियर प्रोजेक्शन के माध्यम से पास किया जाता है।

2.3 दो-चरणीय अनुकूलन रणनीति (Two-Stage Optimization Strategy)

वन-स्टेप रेसिड्यूअल लर्निंग को दीर्घ-क्षितिज पूर्वानुमान से जोड़ने के लिए, मॉडल दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है:

1. चरण 1 (एनकोडर प्रीट्रेनिंग): VARNN एनकोडर को लुकबैक विंडो पर वन-स्टेप प्रेडिक्शन ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है। यह रेसिड्यूअल-मेमोरी स्टेट के लिए संरचित विचलन को कैप्चर करने हेतु एक स्पष्ट लर्निंग सिग्नल प्रदान करता है।
2. चरण 2 (क्षितिज-विशिष्ट डिकोडिंग): प्रीट्रेन किए गए एनकोडर को फ्रीज कर दिया जाता है, और एक क्षितिज-विशिष्ट डिकोडर को मल्टी-स्टेप फोरकास्टिंग लॉस का उपयोग करके प्रशिक्षित किया जाता है। यह अलगाव अनुकूलन को स्थिर करता है और विभिन्न प्रेडिक्शन हॉरिज़न्स के लिए एक ही एनकोडर के पुन: उपयोग की अनुमति देता है।

2.4 कम्प्यूटेशनल जटिलता

StateFlow लुकबैक लंबाई ($L$) और फोरकास्टिंग क्षितिज ($H$) के संबंध में रैखिक कम्प्यूटेशनल जटिलता बनाए रखता है। पुनरावर्ती एनकोडर $O(L)$ के रूप में स्केल करता है, और चंक-आधारित डिकोडर सेल्फ-अटेंशन तंत्र की विशिष्ट द्विघात जटिलता ($O(L^2)$) से बचता है।

3. प्रमुख योगदान

पेपर निम्नलिखित योगदानों को रेखांकित करता है:

• LTSF में पुनरावृत्ति (Recurrence) की जांच: यह प्रदर्शित करता है कि जब विचलन डायनेमिक्स को अवस्था संक्रमणों (state transitions) में स्पष्ट रूप से शामिल किया जाता है, तो पुनरावृत्ति दीर्घ-क्षितिज पूर्वानुमान के लिए प्रतिस्पर्धी बनी रह सकती है।
• VARNN का विस्तार: यह हिडन और रेसिड्यूअल-मेमोरी प्रक्षेपवक्रों को द्वैत-अवस्था फोरकास्टिंग रिप्रेजेंटेशन के रूप में उपयोग करके VARNN को वन-स्टेप रिग्रेशन से दीर्घ-क्षितिज पूर्वानुमान तक विस्तारित करता है।
• StateFlow फ्रेमवर्क: यह एक पुनरावर्ती प्रक्षेपवत्य पूर्वानुमान फ्रेमवर्क पेश करता है जिसमें एक चंक-आधारित क्षितिज डिकोडर है जो सीधे मल्टी-स्टेप प्रेडिक्शन से पहले हिडन और रेसिड्यूअल डायनेमिक्स को अलग-अलग सारांशित करता है।
• दो-चरणीय अनुकूलन: यह एक दो-चरणीय प्रशिक्षण रणनीति प्रस्तावित करता है जो पहले वन-स्टेप प्रेडिक्शन के माध्यम से रेसिड्यूअल-अवेयर रिप्रेजेंटेशन सीखता है और फिर क्षितिज-विशिष्ट डिकोडर को प्रशिक्षित करता है, जिससे एनकोडर का पुन: उपयोग संभव होता है।
• अनुभवजन्य सत्यापन (Empirical Validation): यह व्यवस्थित प्रयोग और एब्लेशन प्रदान करता है जो दिखाते हैं कि रेसिड्यूअल-मेमोरी पुनरावृत्ति दीर्घ-क्षितिज पूर्वानुमान के लिए एक प्रतिस्पर्धी और पैरामीटर-कुशल इंडक्टिव बायस है।

4. प्रयोगात्मक परिणाम

4.1 बेंचमार्क प्रदर्शन

StateFlow का मूल्यांकन दस अत्याधुनिक बेसलाइन्स (जिनमें ट्रांसफॉर्मर-आधारित मॉडल जैसे iTransformer, PatchTST, Autoformer; कनवल्शनल मॉडल जैसे TimesNet; और लीनियर मॉडल जैसे DLinear, RLinear शामिल हैं) के विरुद्ध सात मानक LTSF बेंचमार्क (ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic) पर किया गया।

• प्रतिस्पर्धात्मकता: StateFlow ने प्रतिस्पर्धी प्रदर्शन हासिल किया, जिसने 28 डेटासेट-क्षितिज सेटिंग्स में सर्वाधिक प्रथम स्थान के परिणाम (15 MSE जीत और 14 MAE जीत) सुरक्षित किए।
• तुलना: इसने मजबूत लीनियर, कनवल्शनल और ट्रांसफॉर्मर-आधारित बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन किया और द्विघात टेम्पोरल सेल्फ-अटेंशन से बचा।
• उच्च-आयामी डेटा: ECL और Traffic जैसे उच्च-आयामी डेटासेट पर, iTransformer कुछ सेटिंग्स में अधिक मजबूत रहा, जो बताता है कि स्पष्ट क्रॉस-वेरिएट डिपेंडेंसी मॉडलिंग उन विशिष्ट संदर्भों में लाभ प्रदान कर सकती है। हालाँकि, StateFlow चैनल-स्वतंत्र टेम्पोरल मॉडलिंग पर ध्यान केंद्रित करता है।

4.2 एब्लेशन अध्ययन (Ablation Studies)

• एनकोडर रिप्रेजेंटेशन: द्वैत-अवस्था प्रतिनिधित्व ($h, e$) ने केवल हिडन स्टेट ($h$), केवल रेसिड्यूअल-मेमोरी स्टेट ($e$), या रॉ बेस प्रेडिक्शंस विद रेसिड्यूल्स का उपयोग करने की तुलना में लगातार बेहतर प्रदर्शन किया। यह पुष्टि करता है कि प्राथमिक डायनेमिक्स को संरचित विचलन संकेतों के साथ मिलाने से समृद्ध फोरकास्टिंग रिप्रेजेंटेशन प्राप्त होता है।
• फ्यूजन रणनीति: हिडंड और रेसिड्यूअल प्रक्षेपव्यों के लिए अलग-अलग चंक समराइजेशन (कन्कैटिनेशन से पहले) संयुक्त चंकिंग की तुलना में बेहतर साबित हुआ, जो दोनों अवस्थाओं की विशिष्ट भूमिकाओं को सुरक्षित रखता है।
• चंक बनाम डायरेक्ट डिकोडिंग: चंक-आधारित डिकोडर ने डायरेक्ट फ्लैटनिंग की तुलना में समान या बेहतर सटीकता प्राप्त की, जबकि मॉडल पैरामीटर्स को लगभग आधा कम कर दिया।
• पुनरावर्ती एनकोडर का चयन: VARNN ने सटीकता-दक्षता ट्रेड-ऑफ के मामले में मानक RNN, GRU और LSTM एनकोडर्स को पछाड़ दिया। विशेष रूप से, VARNN ने LSTM की तुलना में काफी कम पैरामीटर्स (~80% कम) का उपयोग करते हुए कम औसत MSE प्राप्त किया।
• अनुकूलन रणनीति: दो-चरणीय अनुकूलन रणनीति ने एक-चरणीय प्रशिक्षण की तुलना में मापने योग्य लाभ (जैसे +1.88% सुधार) प्रदान किया, जो वन-स्टेप प्रेडिक्शन के माध्यम से रेसिड्यूअल-मेमोरी स्टेट को प्रीट्रेन करने की प्रभावशीलता को उजागर करता है।

5. महत्व और दावे

पेपर का दावा है कि StateFlow दीर्घ-क्षितिज पूर्वानुमान के लिए एक कुशल विकल्प प्रदान करता है। एक पुनरावर्ती ढांचे के भीतर रेसिड्यूअल-मेमोरी डायनेमिक्स को स्पष्ट रूप से मॉडल करके, मॉडल उन गैर-स्थिर परिवर्तनों और व्यवस्थित विचलन को कैप्चर करता है जिन्हें मानक पुनरावर्ती मॉडल मिस कर देते हैं।

इसका महत्व यह प्रदर्शित करने में है कि रैखिक पुनरावर्ती एनकोडिंग, जब एक समर्पित रेसिड्यूअल-मेमोरी स्टेट और चंक-आधारित डिकोडर के साथ सुसज्जित हो, तो द्विघात कम्प्यूटेशनल लागत के बिना जटिल ट्रांसफॉर्मर आर्किटेक्चर के साथ प्रतिस्पर्धा कर सकती है। लेखक सुझाव देते हैं कि पुनरावृत्ति में विचलन डायनेमिक्स को शामिल करना LTSF के लिए एक आशाजनक, पैरामीटर-कुशल इंडक्टिव बायस प्रदान करता है। यह कार्य सभी उच्च-आयामी बहुभिन्नरूपी पूर्वानुमान की चुनौतियों को हल करने का दावा नहीं करता है (क्रॉस-वेरिएट मॉडलिंग की संभावित आवश्यकता को स्वीकार करते हुए), बल्कि रेसिड्यूअल-अवेयर पुनरावर्ती दृष्टिकोणों के लिए एक मजबूत बेसलाइन स्थापित करता है।

भविष्य के कार्य के रूप में क्रॉस-वेरिएट डिपेंडेंसी मॉडलिंग की जांच करने और फ्रेमवर्क को अन्य समय-श्रृंखला विश्लेषण कार्यों पर लागू करने की पहचान की गई है।