Learning to Defer in Non-Stationary Time Series via Switching State-Space Models

तकनीकी सारांश: स्विचिंग स्टेट-स्पेस मॉडल के माध्यम से गैर-स्थिर समय श्रृंखला में लर्निंग-टू-डिफर (L2D)

समस्या का निरूपण
यह शोध पत्र स्ट्रीमिंग, गैर-स्थिर (non-stationary) समय-श्रृंखला परिवेशों में लर्निंग-टू-डिफर (L2D) की चुनौती को संबोधित करता है। ऑफलाइन L2D सेटिंग्स के विपरीत, जो पूर्ण पर्यवेक्षण (सभी विशेषज्ञ भविष्यवाणियों तक पहुँच) और एक स्थिर आंतरिक भविष्यवक्ता मानती हैं, प्रस्तावित सेटिंग में निम्नलिखित शामिल हैं:

1. असममित आंशिक फीडबैक (Asymmetric Partial Feedback): प्रत्येक दौर $t$ पर, सिस्टम संदर्भ $x_t$ और उपलब्ध बाहरी विशेषज्ञों का एक सेट $E_t$ देखता है। इसे या तो आंतरिक रूप से भविष्यवाणी करने (एक्शन 0) या एक बाहरी विशेषज्ञ $k \in E_t$ को डिफर करने (एक क्वेरी लागत $\beta_k$ के साथ) का चयन करना होता है। महत्वपूर्ण रूप से, निर्णय के बाद वास्तविक परिणाम $y_t$ प्रकट होता है, जिससे आंतरिक अवशेष ($e_{t,0} = \hat{y}_{t,0} - y_t$) हमेशा अवलोकन योग्य रहता है। हालाँकि, बाहरी अवशेष केवल तभी देखे जाते हैं जब संबंधित विशेषज्ञ को क्वेरी किया जाता है; अन्यथा, वे सेंसर (censored) रहते हैं।
2. एक्शन-कपल्ड लर्निंग (Action-Coupled Learning): आंतरिक भविष्यवक्ता $f_{\theta_t}$ को ऑनलाइन प्रशिक्षित किया जाता है। रूटिंग निर्णय भविष्य के लर्नर की स्थिति को सीधे प्रभावित करते हैं क्योंकि किसी विशेषज्ञ को क्वेरी करने से एक अतिरिक्त "शिक्षक" सिग्नल ($\hat{y}_{t,k}$) प्राप्त होता है जो आंतरिक मॉडल को अपडेट कर सकता है।
3. गैर-स्थिरता और गतिशील विशेषज्ञता: वातावरण गैर-स्थिर है; विशेषज्ञों की गुणवत्ता विभिन्न लेटेंट रेजीम (latent regimes) के माध्यम से बदलती रहती है। इसके अलावा, विशेषज्ञों का पूल गतिशील है; विशेषज्ञ समय के साथ आ सकते हैं, जा सकते हैं, या वापस आ सकते हैं।

उद्देश्य अपेक्षित संचयी रूटिंग लागत को कम करना है, जो तत्काल भविष्यवाणी त्रुटि और क्वेरी लागत के बीच संतुलन बनाता है, साथ ही आंतरिक लर्नर में सुधार करता है और रेजीम शिफ्ट के अनुकूल होता है।

कार्यप्रणाली: L2D-SLDS
लेखक L2D-SLDS का प्रस्ताव करते हैं, जो एक सिंगल-स्टेज ऑनलाइन फ्रेमवर्क है जो एक फैक्टराइज्ड स्विचिंग लीनियर-गौसियन स्टेट-स्पेस मॉडल (SLDS) का उपयोग करके आंतरिक भविष्यवक्ता और सभी संभावित बाहरी विशेषज्ञों के अवशेषों को संयुक्त रूप से मॉडल करता है।

• जेनरेटिव मॉडल: मॉडल प्रत्येक विशेषज्ञ $k$ की लेटेंट विश्वसनीयता को तीन घटकों में विभाजित करता है:

  1. एक साझा वैश्विक कारक (shared global factor) $g_t$ जो क्रॉस-एक्सपर्ट सहसंबंधों को कैप्चर करता है और विशेषज्ञ पूल के बीच सूचना स्थानांतरित करता है।
  2. प्रति-विशेषज्ञ इडियोसिंक्रेटिक अवस्थाएँ (per-expert idiosyncratic states) $u_{t,k}$ जो विशेषज्ञ-विशिष्ट विश्वसनीयता को कैप्चर करती हैं।
  3. एक डिस्क्रीट रेजीम वेरिएबल $z_t$ जो $M$ लीनियर-गौसियन डायनेमिक्स के बीच चयन करता है, जिससे सिस्टम विशेषज्ञ प्रदर्शन में संरचनात्मक परिवर्तनों के अनुकूल हो पाता है।
     विशेषज्ञ $k$ के लिए अवशेष को विश्वसनीयता वेक्टर $\alpha_{t,k} = B_k g_t + u_{t,k}$ के लीनियर-गौसियन एमिशन के रूप में मॉडल किया गया है।

• ऑनलाइन इन्फरेंस (Online Inference): सिस्टम एक IMM-शैली (Interacting Multiple Model) टू-फेज फ़िल्टर का उपयोग करता है:

  1. आंतरिक चरण (Internal Phase): हमेशा निष्पादित होता है। यह साझा कारक $g_t$ और रेजीम वेट्स को अपडेट करने के लिए हमेशा-अवलोकन योग्य आंतरिक अवशेष $e_{t,0}$ को शामिल करता है। यह सुनिश्चित करता है कि जब किसी बाहरी विशेषज्ञ को क्वेरी नहीं किया जाता है, तब भी सिस्टम साझा कारक के माध्यम से सभी अनक्वेरीड विशेषज्ञों के बारे में अपने विश्वास को अपडेट करता है।
  2. बाहरी चरण (External Phase): केवल तभी निष्पादित होता है जब किसी बाहरी विशेषज्ञ को क्वेरी किया जाता है। यह विशिष्ट विशेषज्ञ की स्थिति और वैश्विक कारक को और अधिक परिष्कृत करने के लिए देखे गए बाहरी अवशेष को शामिल करता है।
  3. रजिस्ट्री प्रबंधन (Registry Management): एक डायनेमिक रजिस्ट्री विशेषज्ञ जन्म और मृत्यु को संभालती है। पुराने (stale) विशेषज्ञों को $\Delta_{max}$ अवधि के लिए अनुपलब्ध होने पर सटीक मार्जिनलाइजेशन के माध्यम से हटा दिया जाता है, जिससे यह सुनिश्चित होता है कि यह रिटेन किए गए विशेषज्ञों के प्रेडिक्टिव डिस्ट्रीब्यूशन को प्रभावित किए बिना कम्प्यूटेशनल और मेमोरी दक्षता बनी रहे।

• लर्नर-अवेयर रूटिंग स्कोर: रूटिंग निर्णय एक स्कोर $S_t(k)$ द्वारा संचालित होता है जो तीन उद्देश्यों को संतुलित करता है:

  1. एक्सप्लोइटेशन (Exploitation): आंतरिक भविष्यवक्ता बनाम विशेषज्ञ $k$ को क्वेरी करने की तत्काल अतिरिक्त लागत।
  2. एक्सप्लोरेशन (Exploration - सूचना लाभ): कंडीशनल म्यूचुअल इंफॉर्मेशन $I((z_t, g_t); e_{t,k} | e_{t,0})$, जो यह मापता है कि क्वेरी आंतरिक अवशेष द्वारा प्रदान की गई अनिश्चितता के अलावा लेटेंट स्टेट के बारे में कितनी जानकारी कम करती है। इसे साझा कारक के लिए एक क्लोज्ड-फॉर्म टर्म और रेजीम पहचान के लिए एक मोंटे कार्लो टर्म के माध्यम से अनुमानित किया जाता है।
  3. लर्नर इम्प्रूवमेंट (Learner Improvement): आंतरिक लर्नर के अपेक्षित एक-चरण सुधार का एक अनुमान, जो इस संभावना पर आधारित है कि विशेषज्ञ आंतरिक भविष्यवक्ता से बेहतर प्रदर्शन करेगा और सुधार का परिमाण क्या होगा।

• एक्शन-कपल्ड अपडेट: जब किसी विशेषज्ञ को क्वेरी किया जाता है, तो आंतरिक लर्नर को एक टीचर-रेगुलराइज्ड ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है। शिक्षक सिग्नल का भार अनुकूल (adaptive) होता है, जो विशेषज्ञ की अनुमानित विश्वसनीयता, वास्तविक उपयोगिता और लर्नर के साथ असहमति के आधार पर अपडेट को गेट करता है।

प्रमुख योगदान

1. औपचारिकीकरण (Formalization): यह पेपर गैर-स्थिर समय श्रृंखला के लिए वन-स्टेज ऑनलाइन L2D को औपचारिक रूप देता है, जो असममित फीडबैक, एक्शन-कपल्ड आंतरिक लर्निंग, डायनेमिक एक्सपर्ट उपलब्धता और कंसल्टेशन लागत को स्पष्ट रूप से संभालता है।
2. एल्गोरिदम: यह L2D-SLDS पेश करता है, जो एक फैक्टराइज्ड स्विचिंग लीनियर-गौसियन मॉडल है जो सेंसरशिप के तहत स्केलेबल इन्फरेंस और क्रॉस-एक्सपर्ट सूचना ट्रांसफर को सक्षम बनाता है। इसमें एक रजिस्ट्री प्रूनिंग मैकेनिज्म शामिल है जो रिटेन किए गए विशेषज्ञों के मार्जिनल डिस्ट्रीब्यूशन को सुरक्षित रखता है।
3. रूटिंग रणनीति: एक नवीन लर्नर-अवेयर क्वेरी स्कोर प्रस्तावित किया गया है, जो केवल लागत-न्यूनतमकरण या शुद्ध एक्सप्लोरेशन से आगे बढ़कर, लेटेंट-स्टेट सूचना लाभ और अपेक्षित लर्नर सुधार को जोड़ता है।
4. सैद्धांतिक गारंटी: लेखक एक टाइम-वेरिंग लर्न-एंड-डिफर कंपैरेटर के विरुद्ध ऑरेकल रिग्रेट डिकम्पोजिशन सिद्ध करते हैं। रिग्रेट को एक क्वेरी-बोनस बजट, एक SLDS प्रेडिक्टिव-कॉस्ट-एरर टर्म ($E_{SLDS}$), और आंतरिक लर्नर के इंटरवल डायनेमिक रिग्रेट में विभाजित किया गया है। विशिष्ट स्थितियों के तहत, वे एक सबलीनियर रियलाइज्ड रिग्रेट रेट स्थापित करते हैं।
5. अनुभवजन्य प्रदर्शन (Empirical Performance): सिंथेटिक डेटा और वास्तविक दुनिया के बेंचमार्क (मेलबर्न, जेना, दिल्ली) पर व्यापक प्रयोगों से पता चलता है कि L2D-SLDS कॉन्टेक्स्टुअल और नॉन-स्टेशनरी बैंडिट बेसलाइन्स से बेहतर प्रदर्शन करता है और वास्तविक डेटा परिदृश्यों में 2% से कम राउंड पर डिफर करता है।

परिणाम

• सिंथेटिक डेटा: L2D-SLDS ने सबसे कम रूटिंग लागत (0.336) प्राप्त की, जबकि सर्वश्रेष्ठ बैंडिट बेसलाइन (0.427) इससे पीछे रही। एब्लेशन अध्ययनों ने पुष्टि की कि साझा कारक $g_t$ सूचना हस्तांतरण के लिए महत्वपूर्ण है, क्योंकि इसे हटाने से प्रदर्शन में गिरावट आई।
• वास्तविक दुनिया के बेंचमार्क:
  • मेलबर्न: L2D-SLDS ने 0.8% डिफरल रेट के साथ 5.914 की लागत प्राप्त की, जो सभी बैंडित बेसलाइन्स (जो 6.047 से 6.302 के बीच थे और उच्च डिफरल दर रखते थे) से बेहतर थी।
  • जेना: Lो ने 3.293 प्राप्त किया, जिसमें डिफरल दर मात्र 0.22% थी। उल्लेखनीय रूप से, यह एकमात्र अनुकूलित विधि थी जिसने नॉन-डिफरिंग इंटरनल प्रेडिक्टर (3.297) से बेहतर प्रदर्शन किया, जबकि सभी बैंडित बेसलाइन्स ने डिफिंग बेसलाइन से खराब प्रदर्शन किया।
  • दिल्ली (24 विशेषज्ञ): L2D-SLDS ने 1.70% डिफरल रेट के साथ 2.528 प्राप्त किया। सबसे मजबूत बैंडित बेसलाइन (SharedLinUCB+0) ने 2.542 प्राप्त किया लेकिन इसके लिए 34.8% डिफरल दर की आवश्यकता थी, जो L2D-SLDS की उच्च-मूल्य डिफरल चुनने की दक्षता को उजागर करता है।
• एब्लेशन (Ablations): साझा कारक को हटाने या सूचना-निर्देशित स्कोर को थॉम्पसन सैंपलिंग से बदलने से प्रदर्शन में काफी गिरावट आई या क्वेरी दर बढ़ गई, जो मॉडल के विशिष्ट डिजाइन विकल्पों और स्कोरिंग तंत्र की वैधता को प्रमाणित करता है।

महत्व और दावे
यह पेपर दावा करता है कि यह पहला कार्य है जो असममित फीडबैक, लेटेंट रेजीम स्विच और डायनेमिक एक्सपर्ट रजिस्ट्री के तहत ऑनलाइन रूप से एक आंतरिक लर्नर को प्रशिक्षित करने और बाहरी विशेषज्ञों को रूट करने को संयुक्त रूप से संभालता है। इसका महत्व इस बात में निहित है कि एक प्रोबेबिलिस्टिक मॉडल ऑफ रेसिडुअल्स, गैर-स्थिर सेटिंग्स में विशेषज्ञों के "सेंसर" (censored) फीडबैक को प्रभावी ढंग से संभाल सकता है, जिससे सिस्टम को साझा लेटेंट स्ट्रक्चर के माध्यम से अनक्वेरीड विशेषज्ञों के बारे में सीखने में मदद मिलती है। लेखक जोर देते हैं कि उनका दृष्टिकोण मानक बैंडित दृष्टिकोणों की तुलना में काफी कम क्वेरी दरों के साथ प्रतिस्पर्धी या बेहतर प्रदर्शन प्राप्त करता है, जो इसे उच्च-दांव वाले या लागत-संवेदनशील अनुप्रयोगों के लिए उपयुक्त बनाता है जहाँ डिफरल महंगा है। उनका सैद्धांतिक रिग्रेट डिकम्पोजिशन एक्सप्लोरेशन, प्रेडिक्शन एरर और लर्नर अडैप्टेशन के बीच ट्रेड-ऑफ को समझने के लिए एक मॉड्यूलर फ्रेमवर्क प्रदान करता है।