तकनीकी सारांश: निष्ठावान समय-श्रृंखला पूर्वानुमान स्पष्टीकरण के लिए सूचना अवरोध (Information Bottleneck) लर्निंग

समस्या विवरण

जैसे-जैसे समय-श्रृंखला पूर्वानुमान (time-series forecasting) ऊर्जा, परिवहन और स्वास्थ्य सेवा जैसे महत्वपूर्ण निर्णयों को संचालित कर रहा है, भविष्यवाणियों के पीछे के ऐतिहासिक डेटा को समझना उतना ही महत्वपूर्ण हो गया है जितना कि स्वयं भविष्यवाणियां। मौजूदा दृष्टिकोण एक द्वंद्व का सामना करते हैं:

1. डिज़ाइन-द्वारा-व्याख्यात्मक मॉडल (Interpretable-by-design models) (जैसे, N-BEATS, TFT, DLinear) आंतरिक संरचनाओं को प्रकट करते हैं लेकिन इस बात की कोई गारंटी नहीं देते कि ये संरचनाएं उन साक्ष्यों को निष्ठापूर्वक दर्शाती हैं जो भविष्यवाणियों को संचालित कर रहे हैं। उनकी व्याख्यात्मकता का मूल्यांकन मुख्य रूप से पूर्वानुमान त्रुटि (forecasting error) पर किया जाता है, जबकि उनकी निष्ठा (faithfulness) का व्यवस्थित रूप से मूल्यांकन शायद ही कभी किया जाता है।
2. निष्ठा-उन्मुख पोस्ट-हॉक विधियाँ (Faithfulness-oriented post-hoc methods) (जैसे, ग्रेडिएंट-आधारित सैलिएंसी, ऑक्लूजन, ऑप्टिमाइज़ेशन-आधारित मास्क) स्पष्ट रूप से मॉडल के व्यवहार को सत्यापित करती हैं लेकिन मुख्य रूप से वर्गीकरण (classification) कार्यों के लिए डिज़ाइन की गई हैं। जब उन्हें पूर्वानुमान के लिए लागू किया जाता है, तो वे स्पष्टीकरण को वास्तविक गणना से अलग कर देती हैं, जिसके लिए अक्सर प्रशिक्षण वितरण के बाहर इनपुट को परिवर्तित करने की आवश्यकता होती है। इसके अतिरिक्त, वर्गीकरण-उन्मुख एट्रिब्यूशन का सीधा स्थानांतरण पूर्वानुमान के लिए अपर्याप्त है, क्योंकि पूर्वानुमान को विभिन्न चरों और भविष्य के क्षितिजों (horizons) में निरंतर स्तरों, पैमानों, आवर्ती अस्थायी संरचनाओं और इनपुट-निर्भर पूर्वाग्रहों को मॉडल करना चाहिए।

मुख्य चुनौती एक ऐसा पूर्वानुमान ढांचा बनाने के माध्यम से इस अंतर को पाटने की है जो स्वाभाविक रूप से व्याख्यात्मक हो, निर्माण द्वारा निष्ठा की गारंटी देता हो, और बिना किसी अतिरिक्त अनुमान लागत (inference cost) के अत्याधुनिक सटीकता बनाए रखता हो।

कार्यप्रणाली: IB-Forecast

लेखक IB-Forecast का प्रस्ताव करते हैं, जो एक स्व-व्याख्यात्मक बहुभिन्नरूपी (multivariate) समय-श्रृंखला पूर्वानुमान ढांचा है। यह विधि पूर्वानुमान को एक सीखे गए आवधिक घटक (periodic component) और इनपुट टोकन पर व्याख्यात्मक मास्क के साथ गणना किए गए एक अवशिष्ट (residual) घटक में विभाजित करती है।

1. संरचनात्मक संदर्भ और अपघटन (Structural Context and Decomposition)

शास्त्रीय समय-श्रृंखला अपघटन का अनुसरण करते हुए, इनपुट $X$ को एक संरचनात्मक संदर्भ $C$ और एक विचलन $D$ में अलग किया जाता है:

• संरचनात्मक संदर्भ ($C$): इसमें इंस्टेंस नॉर्मलाइजेशन के माध्यम से प्रति-चैनल स्तर ($\mu$) और स्केल ($\sigma$) शामिल हैं, और एक सीखा गया मौसमी प्रोफाइल ($Q$) है जो आवर्ती पैटर्न (जैसे दैनिक या साप्ताहिक चक्र) का प्रतिनिधित्व करता है। यह संदर्भ प्रकट किया जाता है और पूर्वानुमान के लिए स्थिर रहता है।
• विचलन ($D$): अवशिष्ट $D = (X - \mu)/\sigma - Q_{per}$ विंडो-विशिष्ट विविधताओं, स्थानीय रुझानों और उन अवशेषों को कैप्चर करता है जो मौसमी आधार रेखा से विचलित होते हैं।

2. सूचना अवरोध तंत्र (The Information Bottleneck Mechanism)

पूर्वानुमान प्रकट संदर्भ $C$ और एक बाइनरी मास्क $m$ द्वारा चयनित विचलन टोकनों के एक विरल (sparse) सेट के माध्यम से निर्भर करता है।

• टोकनीकरण (Tokenization): विचलन $D$ को चैनलों के पार पैच (patches) में विभाजित किया जाता है।
• स्टोकेस्टिक गेटिंग (Stochastic Gating): एक ट्रांसफार्मर-आधारित गेट नेटवर्क प्रत्येक टोकन की प्रासंगिकता को स्कोर करता है। प्रशिक्षण के दौरान, ग्रेडिएंट प्रवाह को सक्षम करने के लिए एक नॉइजी रिलैक्सेशन (Concrete distribution) और स्ट्रैथ-थ्रू एस्टीमेटर का उपयोग करके हार्ड बाइनरी गेट्स को सैंपल किया जाता है।
• बजट बाधा (Budget Constraint): एक स्पष्ट सूचना बजट $\rho$ (लॉस में KL-डाइवर्जेंस टर्म द्वारा नियंत्रित) टोकनों के उस अंश को सीमित करता है जिसे मॉडल "खोल" सकता है। यह मॉडल को उन अवलोकनों को प्राथमिकता देने के लिए मजबूर करता है जो सबसे अधिक पूर्वानुमान संबंधी जानकारी रखते हैं।
• गेटेड विचलन रीडआउट (Gated Deviation Readout): पूर्वानुमान केवल मास्क किए गए विचलनों ($\bar{m} \odot D$) से एक बेस नेटवर्क $f_{base}$ के माध्यम से उत्पन्न किया जाता है। यदि कोई टोकन बंद है, तो विचलन स्थान में उसका योगदान शून्य होता है, जो प्रभावी रूप से इसे वर्तमान स्तर और स्केल पर अपेक्षित मौसमी पैटर्न पर रीसेट कर देता है।

3. प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को एक संयुक्त लॉस को कम करने के लिए एंड-टू-एंड प्रशिक्षित किया जाता है:
$$\mathcal{L} = \| \hat{Y} - Y \|_2^2 + \beta \sum \text{KL}(\text{Bern}(p) \| \text{Bern}(\pi)) + \lambda_b (p - \rho)^2 + \lambda_{tv} \text{TV}(m)$$

• पूर्वानुमान लॉस: मानक MSE।
• विरलता नियमितीकरण (Sparsity Regularization): गेट्स को विरल (Bernoulli prior) बनाने के लिए प्रोत्साहित करता है।
• बजट दंड (Budget Penalty): उपयोगकर्ता-निर्धारित विरलता बजट $\rho$ को लागू करता है।
• अस्थायी निरंतरता (Temporal Continuity): मास्क पर टोटल वेरिएशन (TV) के माध्यम से निरंतर चयन को प्रोत्साहित करता है।

4. निर्माण द्वारा निष्ठा (Faithfulness by Construction)

स्पष्टीकरण फॉरवर्ड पास के भीतर उत्पन्न होता है। आर्किटेक्चर मार्कोव श्रृंखला $X \to E \to \hat{Y} | C$ को लागू करता है, जहाँ $E$ (मास्क और चयनित विचलन) एक बार $C$ स्थिर होने के बाद विंडो-विशिष्ट भविष्य कहनेवाला जानकारी का एकमात्र वाहक है। यह सुनिश्चित करता है कि स्पष्टीकरण एक पोस्ट-हॉक सन्निकटन नहीं बल्कि पूर्वानुमान का वास्तविक तंत्र है।

प्रमुख योगदान

1. समस्या का निरूपण: लेखक स्व-व्याख्यात्मक बहुभिन्नरूपी पूर्वानुमान (समस्या 1) को औपचारिक रूप करते हैं, जिसमें एक एकल फॉरवर्ड पास में एक पूर्व-निर्धारित बजट और प्रकट संरचनात्मक संदर्भ के तहत पूर्वानुमान और एक संक्षिप्त स्पष्टीकरण को संयुक्त रूप से उत्पन्न करने की आवश्यकता होती है।
2. IB-Forecast आर्किटेक्चर: एक अभिनव ढांचा जो भविष्यवाणियों को एक सीखे गए आवधिक प्रोफाइल और एक गेटेड विचलन रीडआउट में विभाजित करता है। गेट एक सूचना अवरोध (information bottleneck) के रूप में कार्य करता है, जो पूर्ण ऐतिहासिक इनपुट पर निर्भरता को सीमित करते हुए पूर्वानुमान संबंधी जानकारी को बनाए रखता है।
3. अनुभवजन्य श्रेष्ठता: व्यापक प्रयोग प्रदर्शित करते हैं कि IB-Forecast ब्लैक-बॉक्स मॉडल (जैसे, TQNet, CycleNet) की सटीकता से मेल खाता है और बिना किसी अतिरिक्त अनुमान लागत के निष्ठावान स्पष्टीकरण प्रदान करता है। मैच किए गए विरलता बजट के तहत, इसके मूल स्पष्टीकरण लगातार ग्रेडिएंट-आधारित, ऑक्लूजन-आधारित और ऑप्टिमाइज़ेशन-आधारित बेसलाइन्स से बेहतर प्रदर्शन करते हैं।

प्रयोगात्मक परिणाम

ढांचे का मूल्यांकन मानक बहुभिन्नरूपी बेंचमार्क (ETTh1/2, ETTm1/2, Weather, Electricity) पर 96 स्टेप्स के लुक-बैक विंडो और 720 तक के होराइजन्स के साथ किया गया।

• पूर्वानुमान सटीकता: IB-Forecast ने सभी डेटासेट्स पर व्याख्यात्मक मॉडलों में सर्वश्रेष्ठ MSE प्राप्त किया और समग्र MSE (सांख्यिकीय रूप से समान) और MAE में स्टेट-ऑफ-द-आर्ट ब्लैक-बॉक्स TQNet से मेल खाया। इसने PatchDecomp, TFT और DLinear जैसे अन्य व्याख्यात्मक बेसलाइन्स को काफी पीछे छोड़ दिया।
• निष्ठा (Faithfulness): एक मैच किए गए बजट फिडेलिटी मेट्रिक (कंप्रिहेन्सिवनेस माइनस सफिशिएंसी) का उपयोग करते हुए, IB-Forecast ने सभी डेटासेट्स में उच्चतम स्कोर प्राप्त किया।
  • इसने पोस्ट-हॉक स्पष्टीकरणों (Occlusion, Integrated Gradients, Saliency, TIMING) और टेस्ट-टाइम ऑप्टिमाइज़र (DynaMask, ExtremalMask) को पछाड़ दिया।
  • अन्य व्याख्यात्मक मॉडलों (TFT, PatchDecomp) के मूल स्पष्टीकरण अक्सर खराब निष्ठा प्रदर्शित करते हैं, जहाँ नकारात्मक स्कोर इंगित करते हैं कि उनके शीर्ष-क्रेडिट इनपुट को रखने से पूर्वानुमान को फिर से उत्पन्न करने में विफलता मिली।
• विरलता बनाम सटीकता का ट्रेड-ऑफ: मॉडल ऐतिहासिक इनपुट के केवल 14–20% का परामर्श करते हुए प्रतिस्पर्धी सटीकता बनाए रखता है। सख्त बजटों के साथ भी सटीकता का नुकसान न्यूनतम रहता है (उदाहरण के लिए, ETTh1 पर <3.4% MSE अंतर)।
• एब्लेशन अध्ययन (Ablation Studies): गेटेड बेस या हार्ड गेट्स को हटाने से स्पष्टीकरण की निष्ठा नष्ट हो गई (स्कोर गिरकर -1.0 या 0.62 हो गया) जबकि समान सटीकता बनी रही, जिससे पुष्टि हुई कि गेटिंग तंत्र निष्ठा के लिए आवश्यक है। मौसमी प्रोफाइल $Q$ को हटाने से MSE में 10% की महत्वपूर्ण गिरावट आई, जो इसकी महत्ता को उजागर करता है।
• सिंथेटिक ग्राउंड ट्रुथ: प्लांटेड कॉज़ल ड्राइवर्स वाले एक सिंथेटिक बेंचमार्क पर, IB-Forecast ने उच्चतम AUROC और AUR (Area Under Recall) प्राप्त किया, जो सफलतापूर्वक वास्तविक सपोर्ट को रिकवर करने और डिकोय सिग्नल्स को खारिज करने में सफल रहा, जबकि अन्य विधियाँ संघर्ष करती रहीं।

महत्व और दावे

पेपर का दावा है कि IB-Forecast बिना भविष्य कहने वाले प्रदर्शन से समझौता किए उच्च स्पष्टीकरण निष्ठा (explanation fidelity) सुनिश्चित करके व्याख्यात्मक पूर्वानुमान के लिए एक कठोर आधार प्रदान करता है।

• कोई अनुमान लागत नहीं: पोस्ट-हॉक विधियों के विपरीत जिन्हें कई फॉरवर्ड/बैकवर्ड पास या ऑप्टिमाइज़ेशन चरणों की आवश्यकता होती है, IB-Forecast फॉरवर्ड पास के दौरान ही स्वाभाविक रूप से स्पष्टीकरण उत्पन्न करता है।
• आर्किटेक्चरल गारंटी: निष्ठा डिज़ाइन द्वारा गारंटीकृत है; पूर्वानुमान केवल चयनित टोकनों और प्रकट संदर्भ पर निर्भर करता है।
• दक्षता: यह विधि न्यूनतम मेमोरी ओवरहेड के साथ उच्च-आयामी डेटासेट्स (जैसे, 862 चैनलों के साथ Traffic) के साथ स्केल करती है।
• अंतर्दृष्टि: परिणाम बताते हैं कि सटीक पूर्वानुमानों के लिए अक्सर ऐतिहासिक इनपुट के एक छोटे अंश की आवश्यकता होती है, और मौजूदा व्याख्यात्मक मॉडल अक्सर अपनी आंतरिक संरचनाओं का निष्ठापूर्वक उपयोग करने में विफल रहते हैं।

लेखक निष्कर्ष निकालते हैं कि प्रमाणित स्पष्टीकरण और मैच किए गए बजट मूल्यांकन, उन मॉडलों से आगे बढ़ने के लिए आवश्यक हैं जिनमें "डिज़ाइन-द्वारा-व्याख्यात्मक" होने के बावजूद सत्यापित निष्ठा का अभाव है, जो उच्च-जोखिम वाले निर्णय लेने वाले डोमेन के लिए एक व्यावहारिक समाधान प्रदान करता है।