⚡ electrical engineering

Flow-Corrected Thompson Sampling for Non-Stationary Contextual Bandits

यह शोध पत्र फ्लो-करेक्टेड थॉमसन सैंपलिंग (fcTS) प्रस्तुत करता है, जो नॉन-स्टेशनरी लीनियर कॉन्टेक्स्टुअल बैंडिट्स के लिए एक बेयसियन एल्गोरिदम है, जो पिछले रिवॉर्ड्स को कॉन्फिडेंस-वेटेड करेक्शन्स के साथ स्पष्ट रूप से मॉडल और ट्रांसपोर्ट करके सैंपल एफिशिएंसी में सुधार करता है, जिससे यह स्ट्रक्चर्ड टेम्पोरल ड्रिफ्ट वाले वातावरण में पारंपरिक फॉरगेटिंग-आधारित विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: AmirHossein Naghdi, Ali Baheri

प्रकाशित 2026-06-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: AmirHossein Naghdi, Ali Baheri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक ऐसे सूप की रेसिपी को बेहतर बनाने की कोशिश कर रहे हैं जिसका स्वाद हर दिन थोड़ा बदल जाता है। शायद आज टमाटर थोड़े मीठे हैं, या कल शोरबा (broth) थोड़ा नमकीन है।

कंप्यूटर विज्ञान की दुनिया में, इसे कॉन्टेक्स्टुअल बैंडिट (Contextual Bandit) समस्या कहा जाता है। कंप्यूटर (शेफ) को सबसे अच्छा इनाम (सबसे स्वादिष्ट सूप) पाने के लिए वर्तमान स्थिति (उपलब्ध सामग्री) के आधार पर एक क्रिया (सूप की रेसिपी) चुननी होती है।

बड़ी समस्या है नॉन-स्टेशनैरिटी (Non-Stationarity): खेल के नियम बदलते रहते हैं। पुराने दिनों में, कंप्यूटर बस अपने पुराने नोट्स फेंक देते थे। वे कहते थे, "कल यह रेसिपी काम कर रही थी, लेकिन आज कुछ अलग है, इसलिए मैं जो कुछ भी सीखा था उसे भूल जाऊँगा और नए सिरे से शुरुआत करूँगा।" यह एक ऐसे शेफ की तरह है जो मौसम बदलने पर अपनी पूरी कुकबुक फेंक देता है। यह सुरक्षित है, लेकिन अविश्वसनीय रूप से अक्षम (inefficient) है क्योंकि उसे सब कुछ फिर से सीखना पड़ता है।

यह पेपर एक नई विधि पेश करता है जिसे फ्लो-करेक्टेड थॉम्पसन सैंपलिंग (Flow-Corrected Thompson Sampling - FC-TS) कहा जाता है। पुराने नोट्स को फेंकने के बजाय, FC-TS कहता है: "चलो पुराने नोट्स रखते हैं, लेकिन उन्हें आज के हिसाब से समझने के लिए अनुवादित (translate) करते हैं।"

यह कैसे काम करता है, इसके लिए तीन सरल उपमाएँ (analogies) दी गई हैं:

1. "टाइम ट्रैवलिंग ट्रांसलेटर" (लीनियर ड्रिफ्ट/Linear Drift)

कल्पना कीजिए कि सूप हर दिन थोड़ा अधिक नमकीन होता जा रहा है।

पुराना तरीका: यदि आपने 10 दिन पहले का सूप चखा होता, तो आप कहते, "आज के लिए यह बहुत नमकीन है!" और उस सबक को अनदेखा कर देते।
FC-TS का तरीका: आप पुराना नोट देखते हैं: "10 दिन पहले, इस रेसिपी में 1 चम्मच नमक चाहिए था।" आप जानते हैं कि सूप हर दिन 0.1 चम्मच नमकीन होता जा रहा है। इसलिए, आप गणित करते हैं: "ठीक है, अगर मैं उस पुराने रेसिपी में 1 चम्मच नमक डालूँ, तो वह आज के लिए एकदम सही होता।"
परिणाम: आप पुराने डेटा को फेंकते नहीं हैं; आप उसे समय में आगे "ट्रांसपोर्ट" करते हैं। आप पुराने सबक का उपयोग करते हैं, लेकिन आप उसे समायोजित (adjust) करते हैं ताकि वह वर्तमान में फिट हो सके।

2. "सीज़नल कैलेंडर" (पीरियोडिक वेरिएशन/Periodic Variation)

कल्पना कीजिए कि मौसम के आधार पर सूप का स्वाद बदल जाता है। सर्दियों में, इसमें अधिक काली मिर्च चाहिए; गर्मियों में, कम।

पुराना तरीका: एक कंप्यूटर केवल पिछले कुछ दिनों के डेटा को देख सकता है। यदि अभी गर्मी का मौसम है, तो वह सर्दियों के बारे में जो सीखा था उसे भूल जाता है, भले ही अगले साल सर्दियों का समय वापस आने वाला हो।
FC-TS का तरीका: यह महसूस करता है, "हे, आज साल का वही दिन है जो पिछले साल था!" यह पिछले साल की गर्मियों के नोट्स देखता है और कहता है, "यह डेटा अभी भी मान्य है क्योंकि मौसम (phase) वही है।" यह चक्र के वर्तमान "फेज़" से मेल खाने वाले पुराने डेटा का पुन: उपयोग करता है।

3. "स्विचिंग रूम्स" (रिकरिंग रेजीम्स/Recurring Regimes)

कल्पना कीजिए कि आप तीन अलग-अलग कमरों (रेजीम A, B और C) वाले किचन में खाना बना रहे हैं। कभी आप रूम A में होते हैं, फिर आप रूम B में चले जाते हैं, और बाद में आप वापस रूम A में जाते हैं।

पुराना तरीका: जब आप रूम A से बाहर निकलते हैं, तो आप ब्लैकबोर्ड को साफ कर देते हैं। जब आप बाद में वापस रूम A में आते हैं, तो आपको शून्य से रेसिपी बनाना शुरू करना पड़ता है।
FC-TS का तरीका: यह प्रत्येक कमरे के लिए एक अलग ब्लैकबोर्ड रखता है। जब आप रूम A से बाहर जाते हैं, तो यह बोर्ड को सुरक्षित (save) कर लेता है। जब आप वापस रूम A में प्रवेश करते हैं, तो यह सुरक्षित बोर्ड निकालता है और कहता है, "आह, मुझे याद है कि यहाँ कैसे खाना बनाना है!" यह भूलता नहीं है; यह बस रुक जाता है और फाइलों को स्विच करता है।

गुप्त सामग्री: कॉन्फिडेंस वेट्स (Confidence Weights)

पेपर में एक सुरक्षा फीचर का भी उल्लेख है। क्या होगा यदि कंप्यूटर "अनुवाद" करने में गलती कर दे? क्या होगा यदि वह सोचता है कि सूप नमकीन होता जा रहा है, लेकिन वास्तव में, यह मीठा होता जा रहा है?

FC-TS हर पुराने नोट को एक कॉन्फिडेंस वेट (Confidence Weight) देता है। यदि कंप्यूटर अनुवाद के बारे में बहुत आश्वस्त है, तो वह पुराने नोट पर पूरी तरह भरोसा करता है। यदि वह अनिश्चित है, तो वह पुराने नोट को "धुंधला" या "शोर भरा" (noisy) मानता है और उस पर कम ध्यान देता है। यह कंप्यूटर को गलत अनुमानों से भ्रमित होने से बचाता है।

यह बेहतर क्यों है?

लेखकों ने इस परीक्षण के विरुद्ध इसे "सब कुछ फेंक देने वाले" तरीकों (जैसे स्लाइडिंग विंडो या रीस्टार्टिंग) के खिलाफ परखा।

परिणाम: लगभग हर परीक्षण में, FC-TS ने कम गलतियाँ (कम "regret") कीं।
बड़ी जीत: यह तब सबसे अधिक चमकता है जब बदलाव संरचित (structured) होते हैं। यदि दुनिया एक अनुमानित पैटर्न (जैसे निरंतर ड्रिफ्ट, दोहराव वाला चक्र, या ज्ञात अवस्थाओं के बीच स्विच करना) में बदलती है, तो FC-TS इसके उपयोग में माहिर है। यह तेजी से सीखता है क्योंकि यह उन चीजों को फिर से सीखने में समय बर्बाद नहीं करता जिन्हें वह पहले से जानता है, बशर्ते वह उस ज्ञान को वर्तमान में "अनुवादित" कर सके।

संक्षेप में: इतिहास को फेंकने योग्य कचरे के रूप में देखने के बजाय, FC-TS इतिहास को एक लाइब्रेरी की तरह मानता है। यह केवल किताबों को पढ़ता नहीं है; यह उन्हें अनुवादित करता है ताकि वे आज के लिए समझ में आ सकें, जिससे कंप्यूटर बहुत तेज़ी से और समझदारी से सीख पाता है।

तकनीकी सारांश: गैर-स्थिर संदर्भित बैंडिट्स के लिए फ्लो-करेक्टेड थॉमसन सैंपलिंग (Flow-Corrected Thompson Sampling)

समस्या का निरूपण

यह शोध पत्र गैर-स्थिर रैखिक संदर्भित बैंडिट्स (non-stationary linear contextual bandits) की चुनौती को संबोधित करता है, एक ऐसी स्थिति जहाँ संदर्भों (contexts), क्रियाओं (actions) और पुरस्कारों (rewards) के बीच का संबंध समय के साथ विकसित होता रहता है। शास्त्रीय संदर्भित बैंडिट्स में, पैरामीटर वेक्टर $w_t$ को स्थिर माना जाता है। हालाँकि, वास्तविक दुनिया के अनुप्रयोगों (जैसे, अनुशंसा प्रणाली, गतिशील मूल्य निर्धारण, वित्त) में, उपयोगकर्ता की प्राथमिकताएँ और बाजार की स्थितियाँ बदलती रहती हैं, जिससे यदि पुराने डेटा का लापरवाही से उपयोग किया जाए, तो ऐतिहासिक डेटा व्यवस्थित रूप से पक्षपाती (biased) हो जाता है।

मुख्य कठिनाई ऐतिहासिक डेटा को बनाए रखने (पोस्टीरियर वेरिएंस को कम करने के लिए) और पुराने डेटा को त्यागने (आउटडेटेड मॉडल से होने वाले पूर्वाग्रह से बचने के लिए) के बीच के संतुलन में निहित है। मौजूदा दृष्टिकोण—जैसे कि स्लाइडिंग विंडो, एक्सपोनेंशियल डिस्काउंटिंग, और आवधिक रीस्टार्ट—ऐतिहासिक डेटा को मुख्य रूप से एक ऐसी देन के रूप में देखते हैं जिसे समान रूप से त्यागने या कम महत्व देने द्वारा प्रबंधित किया जाना चाहिए। लेखक तर्क देते हैं कि जब गैर-स्थिरता में पूर्वानुमेय संरचना (जैसे, क्रमिक बदलाव, आवधिकता, या पुनरावर्ती शासन/regimes) होती है, तो ऐतिहासिक अवलोकन मूल्यवान जानकारी होते हैं जिन्हें बीच के पर्यावरणीय परिवर्तनों के लिए सुधार (correct) करके उपयोग में लाया जा सकता है।

कार्यप्रणाली: फ्लो-करेक्टेड थॉमसन सैंपलिंग (FC-TS)

लेखक फ्लो-करेक्टेड थॉमसन सैंपलिंग (FC-TS) प्रस्तावित करते हैं, जो एक बेयसियन ढांचा (Bayesian framework) है जो ऐतिहासिक अवलोकनों को वर्तमान-समय के "छद्म-अवलोकनों" (pseudo-observations) में परिवर्तित करता है, इससे पहले कि उन्हें पोस्टीरियर में शामिल किया जाए। यह विधि गैर-स्थिरता के प्रबंधन को दो अलग-अलग घटकों में विभाजित करती है: एक ट्रांसपोर्ट ऑपरेटर (transport operator) और एक कॉन्फिडेंस वेटिंग नियम (confidence weighting rule)।

1. मुख्य तंत्र

प्रत्येक दौर $t$ पर, प्रत्येक पिछले अवलोकन $(x_s, a_s, r_s)$ के लिए, FC-TS एक परिवर्तित पुरस्कार (transported reward) $\hat{r}_{s \to t}$ का निर्माण करता है:
$\hat{r}_{s \to t} = r_s + \hat{\Delta}_{s \to t}(x_s, a_s)$
जहाँ $\hat{\Delta}_{s \to t}$ समय $s$ से $t$ तक माध्य पुरस्कार के बदलाव का अनुमान लगाता है। यह प्रभावी रूप से पिछले पुरस्कार को वर्तमान पुरस्कार मॉडल के साथ संरेखित करने के लिए आगे की ओर "प्रवाहित" (flow) करता है।

अशुद्ध ड्रिफ्ट अनुमानों से उत्पन्न होने वाले शोर (noise) को रोकने के लिए, प्रत्येक परिवर्तित अवलोकन को एक कॉन्फिडेंस वेट $\omega_{s,t} \in [0, 1]$ दिया जाता है। यह भार अवलोकन के पोस्टीरियर पर प्रभाव को नियंत्रित करता है, जिससे यदि सुधार अनिश्चित है, तो इसके प्रभावी शोर वेरिएंस (noise variance) को बढ़ा दिया जाता है।

क्रिया $a$ के लिए पोस्टीरियर को इन भारित, परिवर्तित अवलोकनों का उपयोग करके अपडेट किया जाता है:
$\Lambda_t^{(a)} = \lambda I + \sigma^{-2} \sum_{s<t, a_s=a} \omega_{s,t} x_s x_s^\top$
$\eta_t^{(a)} = \lambda m_t^{(a)} + \sigma^{-2} \sum_{s<t, a_s=a} \omega_{s,t} \hat{r}_{s \to t} x_s$
$\mu_t^{(a)} = (\Lambda_t^{(a)})^{-1} \eta_t^{(a)}$
क्रिया चयन मानक थॉमसन सैंपलिंग के माध्यम से गॉसियन पोस्टीरियर $\mathcal{N}(\mu_t^{(a)}, (\Lambda_t^{(a)})^{-1})$ का उपयोग करके किया जाता है।

2. संरचित इंस्टांशियेशन (Structured Instantiations)

यह ढांचा तीन सामान्य गैर-स्थिर पैटर्न के लिए विशिष्ट इंस्टांशियेशन के साथ एक एकीकृत टेम्पलेट प्रदान करता है:

रैखिक ड्रिफ्ट (Linear Drift): यह मानता है कि पैरामीटर $w_t^{(a)} \approx \theta^{(a)} + t \delta^{(a)}$ के रूप में विकसित होते हैं। ट्रांसपोर्ट ऑपरेटर रिवॉर्ड को शिफ्ट करने के लिए एक ऑनलाइन रिज रिग्रेशन अनुमान $\hat{\delta}_t^{(a)}$ का उपयोग करता है: $\hat{r}_{s \to t} = r_s + (t-s)\langle \hat{\delta}_t^{(a)}, x_s \rangle$ । एक्सट्रपलेशन अनिश्चितता को ध्यान में रखते हुए भार तेजी से घटता है ( $\omega_{s,t} = \gamma^{t-s}$ )।
आवधिक भिन्नता (Periodic Variation): यह मानता है कि पैरामीटर आवर्त काल $P$ के साथ दोहराए जाते हैं। ट्रांसपोर्ट ऑपरेटर एक ही चरण (phase) के अवलोकनों के लिए आइडेंटिटी ( $\hat{r}_{s \to t} = r_s$ ) है। भार चरणों के बीच की चक्रीय दूरी द्वारा निर्धारित होते हैं, जिससे एल्गोरिदम पिछले चक्रों से डेटा का पुन: उपयोग कर पाता है ( $\omega_{s,t}$ चरण निकटता पर निर्भर करता है)।
पुनरावर्ती शासन (Recurring Regimes): यह वातावरण के शासन-विशिष्ट (regime-specific) पोस्टीरियल्स के बीच स्विच करने वाले वातावरण को संभालता है। एल्गोरिदम एक शासन-विशिष्ट बैंक बनाए रखता है। चेंजपॉइंट का पता चलने पर (प्रेडिक्शन रेसिडुअल्स पर CUSUM के माध्यम से), यह शून्य से शुरू करने के बजाय पुनरावर्ती शासन के पोस्टीरियर को पुनः लोड करता है।

यह ढांचा संरचना (composition) का भी समर्थन करता है, जिससे रुझानों (trends) और आवधिकता को संभालने के लिए संबंधित वेटिंग नियमों को मिलाकर एक साथ संचालित किया जा सकता है।

मुख्य योगदान

फ्लो-करेक्टेड पोस्टीरियर अपडेट्स: यह शोध पत्र गैर-स्थिरता के लिए एक ट्रांसपोर्ट-आधारित दृष्टिकोण पेश करता है जहाँ पिछले पुरस्कारों को वर्तमान-समय के छद्म-अवलोकनों में सुधारा जाता है और उन्हें समान रूप से त्यागने के बजाय विश्वास-भारित (confidence-weighted) बेयसियन अपडेट के माध्यम से शामिल किया जाता है।
मॉड्यूलर एल्गोरिदम डिज़ाइन: FC-TS को एक जेनेरिक ट्रांसपोर्ट ऑपरेटर और वेटिंग नियम द्वारा परिभाषित किया गया है, जिसे रैखिक ड्रिफ्ट, आवधिक भिन्नता और पुनरावर्ती शासन के लिए स्थापित किया गया है। इसमें रुझानों और कई आवधिकताओं को संयोजित करने वाला एक अनुकूलित संस्करण भी शामिल है।
अनुभवजन्य सत्यापन (Empirical Validation): पांच केस स्टडीज (रैखिक ड्रिफ्ट, आवधिक भिन्नता, पुनरावर्ती शासन, संयुक्त गैर-स्थिरता, और अर्ध-सिंथेटिक पोर्टफोलियो चयन) में व्यापक मूल्यांकन यह प्रदर्शित करता है कि FC-TS, स्टेट-ऑफ-द-आर्ट फॉरगेटिंग-आधारित बेसलाइन्स से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

लेखकों ने FC-TS का चार बेसलाइन्स के विरुद्ध मूल्यांकन किया: स्टैंडर्ड टीएस (STD-TS), स्लाइडिंग विंडो टीएस (SW-TS), डिस्काउंटेड टीएस (D-TS), और रीस्टार्टिंग टीएस (R-TS)।

प्रदर्शन लाभ: FC-TS ने सभी पांच सेटिंग्स में सबसे कम संचयी रिग्रेट (cumulative regret) प्राप्त किया, जिसमें प्रत्येक विशिष्ट वातावरण में सबसे मजबूत बेसलाइन की तुलना में 14.1% से 59.0% तक का सुधार देखा गया।
मामले-विशिष्ट अंतर्दृष्टि:
- रैखिक ड्रिफ्ट: FC-TS ने वार्म-अप चरण के दौरान SW-TS के बराबर प्रदर्शन किया, लेकिन जैसे-जैसे ड्रिफ्ट अनुमान स्थिर हुए, यह बढ़ता गया और 10 में से 8 सीड्स में जीत हासिल की।
- आवधिक भिन्नता: FC-TS ने "फेज मेमोरी" के कारण सबसे अधिक सिंथेटिक लाभ (50.0%) दिखाया, जिससे पिछले चक्रों से डेटा संचित हुआ। प्रति चक्र रिग्रेट ~70 से गिरकर ~4 हो गया, जबकि बेसलाइन्स स्थिर रहे।
- पुनरावर्ती शासन: FC-TS ने स्विच का पता चलने पर शासन-विशिष्ट पोस्टीरियल्स को पुनः लोड करके 59.0% का सुधार प्राप्त किया, जिससे "कोल्ड स्टार्ट" पेनल्टी से बचा जा सका।
- संयुक्त गैर-स्थिरता: ड्रिफ्ट और अचानक परिवर्तन (abrupt changepoints) दोनों वाले वातावरण में, FC-TS ने स्मूथ इवोल्यूशन के लिए ड्रिफ्ट सुधार (drift correction) और अचानक परिवर्तनों के लिए शासन रीसेट (regime resets) को सफलतापूर्वक संयोजित किया, जिससे 29.5% का सुधार हुआ।
- अर्ध-सिंथेटिक पोर्टफोलियो: ओवरलैपिंग मासिक/त्रैमासिक चक्रों और ग्रोथ-टू-वैल्यू ड्रिफ्ट वाले वित्तीय कार्य में, अनुकूलित FC-TS वेरिएंट ने सर्वश्रेष्ठ बेसलाइन (D-TS) पर 28.1% का सुधार किया। एब्लेशन अध्ययन ने पुष्टि की कि ड्रिफ्ट सुधार इस लाभ का प्रमुख घटक था।
एब्लेशन निष्कर्ष (Ablation Findings):
- प्रभावी नमूना आकार (Effective Sample Size): ट्रांसपोर्ट सुधार के बिना अधिक डेटा बनाए रखने ( "नो-ट्रांसपोर्ट" एब्लेशन) के परिणामस्वरूप त्याग-आधारित विधियों की तुलना में अधिक रिग्रेट हुआ, जिससे पुष्टि हुई कि पुराना डेटा व्यवस्थित पूर्वाग्रह पैदा करता है।
- ट्रांसपोर्ट का मूल्य: विभिन्न ड्रिफ्ट स्केल्स पर नो-ट्रांसपोर्ट वेरिएंट की तुलना में ट्रांसपोर्ट ऑपरेटर ने स्वयं 47–57% रिग्रेट कमी दर्ज की, जो सिद्ध करता है कि केवल पोस्टीरियर पुनर्निर्माण नहीं, बल्कि सुधार तंत्र (correction mechanism) प्रदर्शन को संचालित करता है।

महत्व और दावे

शोध पत्र का दावा है कि संरचित गैर-स्थिरता को डेटा को समान रूप से त्यागने के बजाय उसे सुधारने और पुन: उपयोग करने से बेहतर तरीके से संबोधित किया जा सकता है।

लेखक इस बात पर जोर देते हैं कि जब वातावरण का ड्रिफ्ट पूर्वानुमानित (क्रमिक, आवधिक, या पुनरावर्ती) होता है, तो ऐतिहासिक डेटा एक दायित्व (liability) के बजाय एक संपत्ति (asset) होता है। समय के साथ पुरस्कार वितरण के "प्रवाह" (flow) को स्पष्ट रूप से मॉडल करके, FC-TS फॉरगेटिंग-आधारित विधियों की तुलना में बहुत बड़ा प्रभावी नमूना आकार बनाए रखता है। परिणाम बताते हैं कि गैर-स्थिर बैंडित्स में सैंपल दक्षता की कुंजी एक एकल, समान भूलने वाले नियम (forgetting rule) को लागू करने के बजाय, वातावरण की विशिष्ट अस्थायी संरचना के आधार पर ऐतिहासिक अवलोकनों को पुनः भारित (reweighting) और संशोधित (correcting) करने में निहित है।