Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं जो एक ऐसे आकाशगंगा में यात्रा कर रहे हैं जहाँ भौतिकी के नियम हर कुछ घंटों में बदल जाते हैं। कभी गुरुत्वाकर्षण ऊपर की ओर खींचता है, कभी नीचे, और कभी यह पूरी तरह से गायब हो जाता है। जीवित रहने के लिए, आपको एक नेविगेशन कंप्यूटर की आवश्यकता है जो आपके पिछले जंप से सीख सके लेकिन पुरानी आदतों में न फंसा रहे। यह कॉन्टेक्स्टुअल बैंडिट्स (Contextual Bandits) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जो कंप्यूटर को स्मार्ट निर्णय लेने में मदद करती है जब "सबसे अच्छा" विकल्प बदलता रहता है। इसे एक रोबोट की तरह समझें जो यह अनुमान लगाने की कोशिश कर रहा है कि ग्राहक को आइसक्रीम का कौन सा फ्लेवर चाहिए। यदि ग्राहक की पसंद हर दिन बदलती है, तो रोबोट केवल यह याद नहीं रख सकता कि पिछले सप्ताह उसे क्या पसंद था; उसे हालिया इतिहास को अधिक महत्व देना होगा और दूर के अतीत को भूलना होगा।

इसे करने के लिए, रोबोट आमतौर पर दो मुख्य रणनीतियों पर निर्भर करता है। पहली रणनीति फ्रीक्वेंटिस्ट (Frequentist) दृष्टिकोण है, जो एक सख्त मुनीम की तरह है। यह वर्तमान स्थिति के लिए एक एकल "सर्वश्रेष्ठ अनुमान" खोजने के लिए आंकड़ों का विश्लेषण करता है। दूसरा बायेसियन (Bayesian) दृष्टिकोण है, जो एक जिज्ञासु खोजकर्ता की तरह है। केवल एक अनुमान के बजाय, यह संभावनाओं का एक पूरा मानचित्र रखता है, यह समझते हुए कि वह गलत हो सकता है और यह भी जानता है कि उसकी अनिश्चितता कितनी है। समस्या यह है कि बदलते आकाशगंगा में, सख्त मुनीम तेज़ तो है लेकिन अपनी अनिश्चितता के प्रति अंधा है, जबकि खोजकर्ता स्मार्ट है लेकिन अपने मानचित्र की गणना करने में अक्सर बहुत धीमा होता है। यह शोध पत्र उस अंतर को भरने का प्रयास करता है, यह देने के लिए कि खोजकर्ता को मुनीम की गति मिले बिना उसकी जिज्ञासा न खोए।

---

समस्या: "भूलने वाला" रोबोट

वास्तविक दुनिया में, चीजें शायद ही कभी एक जैसी रहती हैं। फिल्मों के लिए एक अनुशंसा प्रणाली (recommendation system), किसी नई दवा का मेडिकल ट्रायल, या एक स्वयं चालक कार—सभी नॉन-स्टेशनैरिटी (non-stationarity) का सामना करते हैं—जो कि एक फैंसी शब्द है जिसका अर्थ है कि खेल के नियम बदल रहे हैं। यदि कोई रोबोट दस साल पुराने डेटा से सीखने की कोशिश करता है, तो वह गलती कर सकता है क्योंकि दुनिया बदल चुकी है।

इसे संभालने के लिए, वैज्ञानिकों ने तीन मुख्य तरकीबें आजमाई हैं:

1. रीस्टार्टिंग (Restarting): समय-समय पर, रोबोट अपनी याददाश्त मिटा देता है और फिर से शुरू करता है। यह सुरक्षित है लेकिन बर्बादी भरा है; यह अच्छे सबक फेंक देता है क्योंकि समय बीत गया है।
2. स्लाइडिंग विंडोज (Sliding Windows): रोबोट केवल डेटा के पिछले कुछ दिनों को देखता है। यह बेहतर है, लेकिन यह दुनिया को एक संकीर्ण सुरंग के माध्यम से देखने जैसा है; आप एक धीमी, महत्वपूर्ण प्रवृत्ति को मिस कर सकते हैं।
3. वेटेड लर्निंग (Weighted Learning): रोबोट सब कुछ याद रखता है लेकिन "पुराने" अनुभवों को कम महत्व देता है, जैसे कि एक फीकी पड़ती गूँज। यह सबसे सुचारू दृष्टिकोण है, लेकिन इसे "एक्सप्लोरर" शैली के सीखने के साथ पूरी तरह से काम करना कठिन रहा है।

पुराना तरीका: "नकली" खोजकर्ता

लंबे समय तक, इन बदलती दुनियाओं के लिए सबसे लोकप्रिय विधि एक तकनीक थी जिसे वेटेड रेगुलराइज्ड लीस्ट-स्क्वेयर्स (WRLS) कहा जाता है। यह "सख्त मुनीम" है। यह वर्तमान स्थिति के लिए एक एकल सर्वश्रेष्ठ अनुमान की गणना करता है और आगे बढ़ जाता है। यह तेज़ और कुशल है।

लेकिन यहाँ एक पेंच है: WRLS स्वाभाविक रूप से यह नहीं जानता कि वह कितना अनिश्चित है। रोबोट को एक्सप्लोर (अधिक सीखने के लिए नई चीजें आज़माने) करने के लिए मजबूर करने हेतु, शोधकर्ताओं को सिस्टम में हेरफेर करना पड़ा। उन्होंने मुनीम के एकल सर्वश्रेष्ठ अनुमान को लिया और उसमें कृत्रिम रूप से "नकली शोर" (fake noise) जोड़ दिया ताकि वह एक खोजकर्ता होने का नाटक कर सके। यह एक सटीक मानचित्र को हिलाने और झकझोरने जैसा था ताकि देखा जा सके कि क्या होता है। यह ठीक-ठाक काम करता था, लेकिन यह इस बात का वास्तविक प्रतिबिंब नहीं था कि रोबोट को कैसे सीखना चाहिए।

नया तरीका: "असली" खोजकर्ता (WSB)

इस शोध पत्र के लेखक, निकलास वर्गे और उनकी टीम ने नकली होने के बजाय असली बनने का फैसला किया। उन्होंने एक नई विधि पेश की जिसे वेटेड सीक्वेंशियल बायेसियन (WSB) इन्फरेंस कहा जाता है।

एक एकल अनुमान को खोजकर्ता की तरह व्यवहार करने के लिए मजबूर करने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया जो जन्मजात रूप से एक खोजकर्ता है।

• यह कैसे काम करता है: कल्पना कीजिए कि रोबंड के पास दुनिया के बारे में एक "विश्वास" (belief) है। हर बार जब उसे नया डेटा मिलता है, तो वह इस विश्वास को अपडेट करता है। एक बदलती दुनिया में, पुराने विश्वास फीके पड़ जाते हैं (उन्हें कम वजन दिया जाता है), लेकिन रोबोट के पास संभावनाओं का एक पूर्ण "मानचित्र" हमेशा बना रहता है।
• जादुई ट्रिक: लेखकों ने पाया कि यह "असली" बायेसियन मानचित्र गणना करने में उतना ही तेज़ है जितना कि पुराना "नकली" मुनीम तरीका। वे मुनीम की गति को बनाए रखते हुए खोजकर्ता की स्वाभाविक अनिश्चितता को बनाए रखने में सफल रहे।
• डायनेमिक पेनल्टी (Dynamic Penalty): इन समस्याओं में सबसे बड़ी बाधा रोबोट के प्रारंभिक अनुमान (उसका "प्रायर") से निपटना है। यदि रोबोट एक खराब अनुमान के साथ शुरू करता है, तो उसे सुधारने में धीमा हो सकता है। पुराने तरीकों ने इस प्रारंभिक गलती को एक निश्चित, अपरिवला परिवर्तनीय दंड के रूप में माना। नया WSB तरीका इसे एक डायनेमिक पेनल्टी के रूप में मानता है। जैसे-जैसे रोबोट अधिक डेटा एकत्र करता है और उसका मानचित्र स्पष्ट होता जाता है, प्रारंभिक गलती के लिए दंड स्वतः ही कम होता जाता है। यह खुद को यह बताने के बाद माफ करने जैसा है कि आपने पर्याप्त सीख लिया है कि आप गलत थे।

उन्होंने क्या पाया

टीम ने केवल एक नया विचार नहीं बनाया; उन्होंने गणितीय रूप से सिद्ध किया कि यह काम करता है और सिमुलेशन में इसका परीक्षण किया।

1. बेहतर गणित: उन्होंने दिखाया कि उनकी नई विधि, WSB, मौजूदा सर्वोत्तम विधियों के समान सुरक्षा (गणितीय गारंटी) प्रदान करती है। वास्तव में, उन्होंने "रैंडमाइज्ड" एक्सप्लोरेशन (जहाँ रोबोट सीखने के लिए चीजों को रैंडमली आज़माता है) के लिए गणित में सुधार किया, जिससे समस्या की जटिलता से संबंधित त्रुटि दर काफी कम हो गई।
2. तीन नए एल्गोरिदम: उन्होंने इस विचार पर आधारित तीन विशिष्ट उपकरण बनाए:
   • WSB-LinUCB: एक नियत (deterministic) खोजकर्ता जो अपने आत्मविश्वास के आधार पर सबसे अच्छा विकल्प चुनता है।
   • WSB-RandLinUCB: एक रैंडमाइज्ड खोजकर्ता जो अपने विकल्पों में थोड़ा भाग्य जोड़ता है।
   • WSB-LinTS: एक "थॉम्पसन सैंपलिंग" खोजकर्ता जो अपने विश्वास मानचित्र से एक रैंडम परिदृश्य चुनता है और उस पर कार्य करता है।
3. परिणाम: जब उन्होंने 4,000 राउंड के निर्णय लेने (एक लंबे खेल की तरह) के साथ सिमुलेशन चलाया, तो नई विधियों ने लगातार पुराने तरीकों को पीछे छोड़ दिया।
   • एक परिदृश्य में जहाँ दुनिया अचानक बदली (अचानक उछाल), नए रैंडमाइज्ड तरीकों ने "रिग्रेट" (गलतियों का स्कोर) को काफी कम कर दिया। उदाहरण के लिए, 32 आयामों (एक जटिल समस्या) के परीक्षण में, पुराने तरीके ने लगभग 503 गलतियाँ कीं, जबकि नए WSB-RandLinUCB ने केवल 474 गलतियाँ कीं।
   • एक परिदृश्य में जहाँ दुनिया धीरे-धीरे बदली (ड्रिफ्टिंग), सुधार और भी नाटकीय था। पुराने तरीके ने 435 गलतियाँ कीं, जबकि नए ने केवल 405 कीं।
   • सबसे महत्वपूर्ण बात यह है कि नया तरीका कम रूढ़िवादी (less conservative) था। क्योंकि यह अपने प्रारंभिक अनुमान के लिए एक निश्चित "वर्स्ट-केस" दंड पर निर्भर नहीं था, इसलिए यह शुरुआत में स्मार्ट जोखिम लेने के लिए तैयार था, जिससे वह तेजी से सीख सका।

"एब्लेशन" (Ablation) चेक

लेखकों ने यह भी परीक्षण किया कि क्या होता है यदि रोबोट एक बहुत ही खराब अनुमान के साथ शुरू करता है (एक "मिसस्पेसिफाइड प्रायर")। उन्होंने पाया कि यदि प्रारंभिक अनुमान थोड़ा सा गलत है, तो सिस्टम इसे अच्छी तरह से संभाल लेता है। लेकिन यदि अनुमान बहुत ज्यादा गलत है (जैसे यह सोचना कि गुरुत्वाकर्षण वास्तव में मौजूद गुरुत्वाकर्षण से 100 गुना अधिक मजबूत है), तो रोबोट शुरू में संघर्ष करता है। यह पुष्टि करता है कि हालांकि नया तरीका मजबूत है, फिर भी इसे अपना जादू चलाने के लिए एक उचित शुरुआती बिंदु की आवश्यकता होती है।

यह क्यों मायने रखता है

यह शोध पत्र केवल एक मामूली बदलाव नहीं है; यह रोबोट को बदलती दुनिया में कैसे सीखना है, यह सिखाने का एक स्वच्छ और अधिक ईमानदार तरीका है। "नकली शोर" को छोड़कर और एक वास्तविक बायेसियन दृष्टिकोण का उपयोग करके जो पुराने तरीकों जितना ही तेज़ है, उन्होंने दिखाया है कि आपको तेज़ होने और स्मार्ट होने के बीच चुनाव करने की आवश्यकता नहीं है। रोबोट दोनों हो सकता है।

लेखकों ने कई शोधकर्ताओं द्वारा उपयोग किए जाने वाले एक जटिल गणितीय उपकरण के लिए एक सरलीकृत प्रमाण भी प्रदान किया, जिससे पूरा क्षेत्र समझना थोड़ा आसान हो गया। हालाँकि वर्तमान विधि को यह जानने की आवश्यकता होती है कि दुनिया कितनी बदल सकती है (एक "बजट" ऑफ चेंज), यह ढांचा इतना लचीला है कि भविष्य के संस्करण इस बजट को स्वचालित रूप से सीख सकते हैं। फिलहाल, यह बिना रिसेट बटन दबाए हमारी अव्यवस्थित, बदलती वास्तविकता के अनुकूल होने वाली AI की दिशा में एक ठोस कदम है।