Online Irregular Multivariate Time Series Forecasting via Uncertainty-Driven Dual-Expert Calibration

तकनीकी सारांश: अनिश्चितता-संचालित दोहरे-विशेषज्ञ अंशांकन के माध्यम से ऑनलाइन अनियमित बहुभिन्नरूपी समय श्रृंखला पूर्वानुमान

समस्या की परिभाषा
यह शोधपत्र ऑनलाइन अनियमित बहुभिन्नरूपी समय श्रृंखला (IMTS) पूर्वानुमान की चुनौती को संबोधित करता है। निरंतर-समय मॉडल और अटेंशन तंत्रों का उपयोग करके ऑफलाइन IMTS पूर्वानुमान में महत्वपूर्ण प्रगति हुई है, लेकिन ये विधियाँ आमतौर पर प्रशिक्षण के बाद मापदंडों (parameters) को स्थिर कर देती हैं, जिससे वे विकसित होते डेटा वितरण के अनुकूल होने में असमर्थ हो जाती हैं। वास्तविक दुनिया के परिदृश्यों में (जैसे स्वास्थ्य सेवा, जलवायु, वित्त), डेटा वितरण विषयों, उपकरणों या वातावरण में परिवर्तन के कारण बदल जाता है। मौजूदा ऑनलाइन लर्निंग तकनीकें मुख्य रूप से सघन टेम्पोरल निरंतरता और आवधिकता (periodicity) पर निर्भर करती हैं, जो ऐसी धारणाएं हैं जो IMTS में विफल हो जाती हैं जहाँ नमूनाकरण अनियमित होता है, अवलोकन अंतराल परिवर्तनशील होता है, और लुप्तता (missingness) के पैटर्न गैर-स्थिर और सूचनात्मक होते हैं। फलस्वरूप, मौजूदा ऑनलाइन अनुकूलन विधियों को सीधे IMTS पर लागू करने से प्रदर्शन में गिरावट आती है। लेखकों ने ऑनलाइन IMTS पूर्वानुमान की समस्या को औपचारिक रूप से परिभाषित किया है, जिसके लिए मॉडलों को क्रमिक भविष्यवाणियां उत्पन्न करने, वितरण बदलावों के अनुकूल होने और अनियमित नमूनाकरण एवं गतिशील लुप्तता को एक साथ संभालने की आवश्यकता होती है।

कार्यप्रणाली: Under-Cali
लेखक Under-Cali का प्रस्ताव करते हैं, जो एक अनिश्चितता-संचालित दोहरे-विशेषज्ञ अंशांकन (dual-expert calibration) ढांचा है जिसे स्रोत पूर्वानुमान मॉडल को संशोधित किए बिना कुशल और स्थिर ऑनलाइन अनुकूलन के लिए डिज़ाइन किया गया है। यह ढांचा तीन मुख्य घटकों से बना है:

1. अनिश्चितता अनुमानक (Uncertainty Estimator - UE):

   • टेम्पोरल निरंतरता पर निर्भर रहने के बजाय, UE वितरण बदलाव के प्रॉक्सी के रूप में पूर्वानुमान अनिश्चितता को मापता है।
   • इसे परिचालन रूप से वर्तमान डेटा वितरण के तहत सामान्यीकृत पूर्वानुमान त्रुटि (Mean Squared Error) के रूप में परिभाषित किया गया है, न कि बेयसियन कॉन्फिडेंस अनुमान के रूप में।
   • UE एक न्यूरल नेटवर्क ($g_\phi$) है जिसे ऑफलाइन प्रशिक्षित किया गया है ताकि इनपुट टाइम सीरीज़ और भविष्यवाणियों को एक अनिश्चितता स्कोर ($\hat{u} \in [0,1]$) में मैप किया जा सके। ऑनलाइन अनुकूलन के दौरान, यह स्थिरता सुनिश्चित करने के लिए "विश्वसनीय विशेषज्ञ" (reliable expert) से कैलिब्रेटेड भविष्यवाणियों का उपयोग करके स्कोर की गणना करता है।

2. दोहरा-विशेषज्ञ गेटेड वितरण अंशालक (Dual-Expert Gated Distribution Calibrator - GDC):

   • अस्थिर अनुकूलन को रोकने के लिए, GDC दो अलग-अलग मापदंडों वाले पृथक विशेषज्ञों का उपयोग करता है: एक विश्वसनीय विशेषज्ञ ($e_{\psi r}$) और एक अविश्वसनीय विशेषज्ञ ($e_{\psi ur}$)।
   • विश्वसनीय विशेषज्ञ: कम अनिश्चितता वाले नमूनों (परिचित पैटर्न) को सूक्ष्म-समायोजन (fine-grained adjustments) के साथ संभालता है।
   • अविश्वसनीय विशेषज्ञ: उच्च अनिश्चितता वाले नमूनों (विसंगतियों या महत्वपूर्ण बदलावों) को संभालता है ताकि ओवरफिटिंग या स्थिर पैटर्न के बिगड़ने को रोका जा सके।
   • दोनों विशेषज्ञ एक वेरिएबल-वार, गेटेड टेम्पोरल अंशाकलन मॉडल का उपयोग करते हैं जिसमें एक इनपुट अंशालक और एक आउटपुट अंशालक होता है। उन्हें मूल फोरकास्टर के मूल ज्ञान को तब तक सुरक्षित रखने के लिए आइडेंटिटी मैपिंग (जीरो-इनिशियलाइज्ड वेट्स) के रूप में प्रारंभ किया जाता है जब तक कि बदलाव न आ जाएं।

3. अनुकूली रूटिंग मॉड्यूल (Adaptive Routing Module - ARM):

   • ARM अनिश्चितता सांख्यिकी के एक्सपोनेंशियल मूविंग एवरेज (EMA) से प्राप्त दो गतिशील थ्रेशोल्ड का उपयोग करके नमूना आवंटन और अनुकूलन ट्रिगर को नियंत्रित करता है:
     • आवंटन थ्रेशोल्ड ($\tau_{alloc}$): नमूनों को उनके अनुमानित अनिश्चितता स्कोर के आधार पर विश्वसनीय या अविश्वसनीय विशेषज्ञ में रूट करता है।
     • ट्रिगर थ्रेशोल्ड ($\tau_{trig}$): यह निर्धारित करता है कि वर्तमान बैच के लिए अनुकूलन चरण आवश्यक है या नहीं। अनुकूलन तभी ट्रिगर होता है जब बैच का औसत अनिश्चितता इस थ्रेशोल्ड से अधिक हो जाता है, जिससे स्पार्स अपडेट सक्षम होते हैं।
   • ऑनलाइन अनुकूलन प्रक्रिया:
     • अनुमान (Inference): नमूनों को शुरू में विश्वसनीय विशेषज्ञ द्वारा संसाधित किया जाता है। अनिश्चितता स्कोर की गणना की जाती है। उच्च-अनिश्चितता वाले नमूनों को माध्यमिक अंशाकलन के लिए अविश्वसनीय विशेषज्ञ में रूट किया जाता है।
     • अनुकूलन (Adaptation): यदि ट्रिगर होता है, तो विश्वसनीय विशेषज्ञ और UE को कम-अनिश्चितता (विश्वसनीय) नमूनों का उपयोग करके अपडेट किया जाता है, जबकि अविश्वसनीय विशेषज्ञ को उच्च-अनिश्चितता (चुनौतीपूर्ण) नमूनों का उपयोग करके अपडेट किया जाता है। यह अलगाव विनाशकारी हस्तक्षेप (catastrophic interference) को रोकता है।

प्रमुख योगदान

• समस्या की परिभाषा: यह शोधपत्र पहली बार ऑनलाइन अनियमित बहुभिन्नरूपी समय श्रृंखला पूर्वानुमान की समस्या को औपचारिक रूप से परिभाषित करता है, जो अनियमित नमूनाकरण और गतिशील लुप्तता की चुनौतियों को उजागर करते हुए इसे मौजूदा नियमित समय श्रृंखला सेटिंग्स से अलग करता है।
• फ्रेमवर्क डिज़ाइन: Under-Cali का परिचय, जो एक मॉडल-अग्नोस्टिक ढांचा है जो सिद्धांतपूर्ण ऑनलाइन अनुकूलन को सक्षम बनाता है। इसमें एक दोहरा-विशेषज्ञ गेटेड अंशालक है जो नमूना अनिश्चितता के आधार पर विभेदित अंशाकलन करता है।
• अनुकूली तंत्र: एक Adaptive Routing Module का विकास जो स्वायत्त रूप से अपडेट को ट्रिगर करता है और नमूनों को विशिष्ट विशेषज्ञों को आवंटित करता है, जिससे स्रोत मॉडल को संशोधित किए बिना स्थिर ऑनलाइन पूर्वानुमान सुनिश्चित होता है।
• दक्षता: ढांचा केवल मापदंडों के एक छोटे हिस्से (कैलिब्रेशन मॉड्यूल और UE) को अपडेट करता है, जिससे स्रोत फोरकास्टर फ्रीज रहता है, जो संसाधन दक्षता सुनिश्चित करता है।

प्रायोगिक परिणाम
लेखकों ने चार IMTS बेंचमार्क (MIMIC, PhysioNet, Human Activity, USHCN) पर 21 विभिन्न सोर्स फोरकास्टर्स (tPatchGNN, HyperIMTS, mTAN, और Transformers जैसे SOTA तरीकों सहित) पर Under-Cali का मूल्यांकन किया।

• प्रदर्शन: Under-Cali ने सभी आर्किटेक्चर और डेटासेट में लगातार पूर्वानुमान प्रदर्शन (MSE द्वारा मापा गया) में सुधार किया। उल्लेखनीय सुधारों में Human Activity डेटासेट पर tPatchGNN के लिए 8.41% MSE कमी और Warpformer के लिए 21.84% की कमी शामिल है।
• मजबूती (Robustness): विधि ने गैर-अनुकूली बेसलाइन की तुलना में लॉन्ग-होरिजन फोरकास्टिंग और विभिन्न लुकबैक लंबाई में बेहतर स्थिरता प्रदर्शित की।
• तुलना: Under-Cali ने मौजूदा ऑनलाइन लर्निंग और टेस्ट-टाइम अडैप्टेशन (TTA) विधियों (जैसे OneNet, FSNet, D3A, TAFAS) को पछाड़ दिया। विशेष रूप से, नियमित समय श्रृंखला के लिए डिज़ाइन की गई विधियां (जैसे D3A और TAFAS) अक्सर IMTS पर प्रदर्शन में गिरावट लाती हैं, जबकि Under-Cali ने सटीकता बनाए रखी या उसमें सुधार किया।
• दक्षता: फ्रेमवर्क ने केवल मामूली GPU मेमोरी फुटप्रिंट पेश किया और अनुमान विलंबता (inference latency) को स्वीकार्य सीमा (0.1–0.4s प्रति बैच) के भीतर बनाए रखा, जो इसकी व्यावहारिकता को प्रमाणित करता है।
• एब्लेशन (Ablation): प्रयोगों ने पुष्टि की कि सभी घटक (UE, Dual-Expert GDC, और ARM) आवश्यक हैं; किसी भी घटक को हटाने या रैंडम रूटिंग/ट्रिगर्स का उपयोग करने से उप-इष्टतम (suboptimal) प्रदर्शन हुआ।

महत्व
शोधपत्र का दावा है कि Under-Cali ऑनलाइन IMTS पूर्वानुमान में महत्वपूर्ण अंतर को भरने के लिए एक मजबूत, मॉडल-अग्नोस्टिक समाधान प्रदान करता है। अनिश्चितता को एक नियंत्रण सिग्नल के रूप में उपयोग करके और विश्वसनीय और अविश्वसनीय नमूनों के लिए अंशाकलन पथों को अलग करके, यह ढांचा उन गतिशील वातावरणों में स्थिर अनुकूलन प्राप्त करता है जहाँ पारंपरिक टेम्पोरल धारणाएं विफल हो जाती हैं। यह मौजूदा ऑफलाइन IMTS मॉडलों को पूर्ण पुन: प्रशिक्षण की कम्प्यूटेशनल लागत या प्रत्यक्ष फाइन-ट्यूनिंग की अस्थिरता के बिना नए डेटा वितरणों को निरंतर आत्मसात करने में सक्षम बनाता है। यह कार्य अनियमित समय श्रृंखला अनुप्रयोगों में वितरण बदलावों को संभालने के लिए एक नया मानक स्थापित करता है।