Kernel weighted importance sampling for off-policy evaluation in contextual bandits
यह शोध पत्र Kernel-WIS को प्रस्तुत करता है, जो कॉन्टेक्स्टुअल बैंडिट्स (contextual bandits) के लिए एक नवीन ऑफ-पॉलिसी इवैल्यूएशन एस्टीमेटर है, जो भारित इम्पोर्टेंस सैंपलिंग (weighted importance sampling) की सीमाबद्धता (boundedness) को वैनिला इम्पोर्टेंस सैंपलिंग की रैखिकता (linearity) के साथ प्रभावी ढंग से जोड़कर, व्यवहार नीति मिसस्पेसिफिकेशन (behavior policy misspecification) वाले परिदृश्यों में भी एसिम्प्टोटिक कंसिस्टेंसी (asymptotic consistency) और मौजूदा बेसलाइनों पर बेहतर अनुभवजन्य प्रदर्शन प्राप्त करने के लिए ऑफलाइन डेटा का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक नई, अनपरीक्षित रणनीति एक जटिल खेल में कैसा प्रदर्शन करेगी, लेकिन आपको केवल एक अलग, शायद अनाड़ी खिलाड़ी द्वारा खेले गए पुराने खेलों के एक धूल भरे अभिलेखागार (आर्किव) को देखने की अनुमति है। यह ऑफ-पॉलिसी इवैल्यूएशन (OPE) का मूल है, जो आर्टिफिशियल इंटेलिजेंस और मशीन लर्निंग की दुनिया में एक महत्वपूर्ण चुनौती है। इन प्रणालियों में, एक "एजेंट" (जैसे कि एक रोबोट या अनुशंसा एल्गोरिदम) इनाम पाने के लिए अपनी वर्तमान स्थिति ( "संदर्भ" या "context") के आधार पर निर्णय लेता है। समस्या यह है कि हम अक्सर एक शानदार नई रणनीति ( "टारगेट पॉलिसी") का परीक्षण करना चाहते हैं, लेकिन वास्तविक दुनिया के परिणामों को जोखिम में डाले बिना, उसे खेलने देने के बजाय हमें यह अनुमान लगाना होता है कि वह कैसा करेगा। इसके बजाय, हमें एक पुरानी, मौजूदा रणनीति ( "लॉगिंग पॉलिसी") से एकत्र किए गए डेटा का उपयोग करके उसकी सफलता की भविष्यवाणी करनी होती है।
इस भविष्यवाणी को करने के लिए, वैज्ञानिक इम्पॉर्टेंस सैंपलिंग (Importance Sampling) नामक एक गणितीय चाल का उपयोग करते हैं। इसे एक रेसिपी को समायोजित करने की तरह समझें: यदि पुराने खिलाड़ी ने बहुत अधिक नमक (एक विशिष्ट क्रिया) का उपयोग किया और नया खिलाड़ी बहुत कम उपयोग करना चाहता है, तो आपको यह देखने के लिए कि यदि नया खिलाड़ी प्रभारी होता तो क्या होता, पुराने डेटा को गणितीय रूप से "भारित" (weigh) करना होगा। सबसे आम उपकरण को वेटेड इम्पॉर्टेंस सैंपलिंग (WIS) कहा जाता है। यह एक विश्वसनीय कार्यबल है जो अनुमानों को बेकाबू होने से रोकता है (समतुल्य/bounded), लेकिन इसमें एक दोष है: क्योंकि यह सभी डेटा बिंदुओं को शामिल करने वाली एक एकल, भारी गणना पर निर्भर करता है, इसलिए यह कभी-कभी अस्थिर और उतार-चढ़ाव वाला हो सकता है, खासकर जब पुराना डेटा नई रणनीति से मेल नहीं खाता हो। आप जिस शोध पत्र का अन्वेषण करने जा रहे हैं, वह इसी विशिष्ट समस्या पर गहराई से उतरता है, और पूछता है: क्या हम एक स्मार्ट अनुमानक (estimator) बना सकते हैं जो पुराने तरीके की स्थिरता को बनाए रखते हुए, इस उतार-चढ़ाव को कम कर सके?
इस शोध पत्र के लेखक, जोशुआ स्पियर और उनकी टीम, Kernel-WIS (कर्नेल-वेटेड इम्पॉर्टेंस सैंपलिंग) नामक एक नई विधि पेश करते हैं। वे प्रस्ताव देते हैं कि प्रत्येक पुराने डेटा बिंदु को एक कठोर, अलग तथ्य मानने के बजाय, हम एक "कर्नेल" फ़ंक्शन का उपयोग करके डेटा को अधिक कोमलता से देख सकते हैं। कल्पना करें कि पुराने डेटा बिंदु रात के आकाश में सितारों की तरह हैं। पारंपरिक तरीका हर तारे को दूसरे तारे से जोड़ने की कोशिश करता है ताकि एक सटीक मानचित्र बनाया जा सके, जो अव्यवस्थित और डगमगा सकता है। Kernel-WIS, हालांकि, एक सौम्य कोहरे की तरह काम करता है जो सितारों को थोड़ा धुंधला कर देता है, जिससे पास के सितारों को एक साथ समूहबद्ध किया जा सके और एक अधिक सुचारू, स्थिर चित्र बनाया जा सके कि नए रणनीति ने क्या हासिल किया होगा।
शोधकर्ताओं ने इस विचार का परीक्षण एक "सेमी-सिम्युलेटेड" सेटअप का उपयोग करके किया। उन्होंने वास्तविक दुनिया के डेटासेट (जैसे हाथ से लिखे अंकों की छवियां या चिकित्सा रिकॉर्ड) लिए और कृत्रिम रूप से एक ऐसा खेल बनाया जहाँ उन्हें सही उत्तर पता था। फिर उन्होंने अपने नए Kernel-WIS को मानक WIS और अन्य पुराने तरीकों के विरुद्ध विभिन्न स्थितियों में मुकाबला कराया। परिणाम दिलचस्प थे। जब पुराना डेटा लॉगिंग पॉलिसी के एक "परफेक्ट" या "ओरेकल" संस्करण (एक ऐसी स्थिति जहाँ डेटा साफ है और नई रणनीति से अच्छी तरह मेल खाता है) द्वारा उत्पन्न किया गया था, तो Kernel-WIS ने मानक विधि के समान ही प्रदर्शन किया। हालाँकि, जब स्थिति अव्यवस्थित हो गई—विशेष रूप से जब लॉगिंग पॉलिसी "मिस-स्पेसिफाइड" (अर्थात पुराना डेटा शोर युक्त था या रणनीति थोड़ी अलग थी) थी—तो Kernel-WIS चमक उठा। इन कठिन, गैर-परफेक्ट परिदृश्यों में, नई विधि ने मानक WIS की तुलना में काफी बेहतर प्रदर्शन किया, जिससे कम त्रुटि के साथ अधिक सटीक भविष्यवाणियां मिलीं।
लेकिन कहानी यह नहीं है कि "नया हमेशा बेहतर होता है।" शोध पत्र एक महत्वपूर्ण सूक्ष्मता प्रकट करता है: Kernel-WIS तब सबसे अच्छा काम करता है जब पुरस्कार स्पष्ट-सुת (clear-cut) होते हैं, जैसे कि एक खेल जहाँ आप या तो एक अंक जीतते हैं या नहीं (एक "सिंगल एक्शन" रिवॉर्ड)। जब शोधकर्ताओं ने इसे अधिक जटिल, "निरंतर" (continuous) रिवॉर्ड सिस्टम (जहाँ स्कोर एक सुचारू ग्रेडिएंट है, जैसे दो संख्याओं के बीच की दूरी) पर लागू करने का प्रयास किया, तो नई विधि संघर्ष करती रही और पुराने वाले से खराब प्रदर्शन किया। लेखक सुझाव देते हैं कि ऐसा इसलिए है क्योंकि कर्नेल का "स्मूथिंग" प्रभाव इस प्रकार के डेटा के लिए बहुत अधिक आक्रामक रहा होगा।
इसके अलावा, टीम ने पाया कि उनके कर्नेल का "बैंडविड्थ" (bandwidth)—एक पैरामीटर जो यह नियंत्रित करता है कि डेटा को कितना धुंधला या सुचारू किया जाता है—ही सफलता की कुंजी थी। उन्होंने पाया कि सभी डेटा आयामों के लिए एक साझा बैंडविड्थ का उपयोग करना सबसे अच्छा काम करता है, जबकि प्रत्येक एकल विशेषता के लिए एक अद्वितीय बैंडविड्थ को ट्यून करने की कोशिश करने से "ओवरफिटिंग" हो गई, जहाँ मॉडल शोर के प्रति बहुत संवेदनशील हो गया। उन्होंने यह भी उल्लेख किया कि हालांकि उनका तरीका गणितीय रूप से सुसंगत (consistent) होने के रूप में सिद्ध है (अर्थात जैसे-जैसे आप डेटा बढ़ाते हैं, यह अधिक सटीक होता जाता है), पूर्ण बैंडविड्थ चुनने की व्यावहारिक चुनौती अभी भी एक बाधा बनी हुई है।
अंत में, शोध पत्र सुझाव देता है कि Kernel-WIS, एआई जासूस के किट में एक शक्तिशाली नया उपकरण है। यह पुराने तरीकों को पूरी तरह से प्रतिस्थापित नहीं करता है, बल्कि यह एक सांख्यिकीय रूप से बेहतर विकल्प प्रदान करता है जब वास्तविक दुनिया अव्यवस्थित और अपूर्ण होती है। यह सैद्धांतिक पूर्णता के एक छोटे से हिस्से के बदले अधिक मजबूत प्रदर्शन प्रदान करता है जो उन अराजक, गैर-ओरेकल स्थितियों में काम आता है जिनका सामना वास्तविक दुनिया के अनुप्रयोगों में किया जाता है। लेखक निष्कर्ष निकालते हैं कि हालांकि स्मूथिंग मापदंडों को चुनने को परिष्कृत करने के लिए अभी भी काम किया जाना बाकी है, यह नया दृष्टिकोण AI रणनीतियों के अधिक विश्वसनीय और सुरक्षित मूल्यांकन की ओर एक आशाजनक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।