On-Policy and Off-Policy Learning for Large Action Spaces
यह शोध प्रबंध बड़े एक्शन स्पेस वाले कॉन्टेक्स्टुअल बैंडिट्स में पॉलिसी लर्निंग की चुनौतियों को संबोधित करने के लिए अन्वेषण (exploration) और रिग्रेट बाउंड्स को बेहतर बनाने हेतु ऑन-पॉलिसी लर्निंग के लिए स्ट्रक्चर्ड बायेशियन विधियों का प्रस्ताव करता है, साथ ही नवीन ऑफ-पॉलिसी तकनीकों का भी प्रस्ताव देता है जो ऑप्टिमाइज्ड ऑब्जेक्टिव्स और डिफरेंशिएबल पेसिमिस्टिक दृष्टिकोणों के माध्यम से एस्टीमेशन एरर्स को कम करती हैं और बायस-वैरिएंस ट्रेड-ऑफ को नियंत्रित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल अंतरिक्ष यान के कप्तान हैं जो लाखों सितारों वाली एक आकाशगंगा में सबसे अच्छा रास्ता खोजने की कोशिश कर रहे हैं। हर बार जब आप किसी तारे को देखने के लिए चुनते हैं, तो आपको एक बहुत ही सूक्ष्म, धुंधला संकेत मिलता है कि वह चुनाव अच्छा था या बुरा। यह कॉन्टेक्स्टुअल बैंडिट्स (contextual bandits) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जो कंप्यूटरों को निर्णय लेने में मदद करती है जब वे नहीं जानते कि खेल के नियम क्या हैं। "कॉन्टेक्स्ट" (संदर्भ) वह स्थिति है जिसमें आप हैं (जैसे मौसम या आपका मूड), "एक्शन" (कार्य) वह है जो आप करते हैं (जैसे एक तारा चुनना), और "रिवॉर्ड" (पुरस्कार) परिणाम है (जैसे खजाना मिलना या किसी एस्टेरॉयड से टकरा जाना)।
जटिल हिस्सा विकल्पों की विशाल संख्या है। यदि आपको अनुमान लगाना है कि दस लाख सितारों में से सबसे अच्छा कौन सा है, और आप एक बार में केवल कुछ ही सितारों की जांच कर सकते हैं, तो आप अपना पूरा जीवन गलत सितारों की खोज में बिता सकते हैं। यह "लार्ज एक्शन स्पेस" (विशाल कार्य स्थान) की समस्या है। यह एक शहर के आकार के घास के ढेर में एक विशिष्ट सुई खोजने जैसा है, लेकिन आप केवल एक बार में एक तिनका निकाल सकते हैं और उम्मीद कर सकते हैं कि वही सुई हो। वैज्ञानिक इस पर इसलिए ध्यान देते हैं क्योंकि यह फिल्मों की सिफारिश करने, आपको सही विज्ञापन दिखाने या नई दवाएं डिजाइन करने जैसी चीजों के पीछे का इंजन है। यदि कंप्यूटर बेतरतीब ढंग से अनुमान लगाने में फंस जाता है, तो वह समय और पैसा बर्बाद करता है।
यह शोध प्रबंध (thesis) इस समस्या पर काम करता है कि कंप्यूटर को लाखों विकल्पों का सामना करने पर स्मार्ट विकल्प बनाना कैसे सिखाया जाए, इसके लिए दो अलग-अलग रणनीतियों का उपयोग करते हुए: चलते-चलते सीखना (on-policy) और पुराने लॉग्स से सीखना (off-policy)।
ऑन-पॉलिसी एडवेंचर: एक मानचित्र के साथ करके सीखना
सबसे पहले, लेखक "ऑन-पॉलिसी" परिदृश्य को देखता है, जहाँ कंप्यूटर वास्तविक समय में दुनिया के साथ बातचीत करके सीखता है। कल्पना कीजिए कि आप लाखों किताबों के एक विशाल पुस्तकालय की खोज कर रहे हैं, लेकिन आप नहीं जानते कि कौन सी किताबें अच्छी हैं। एक मानक खोजकर्ता एक किताब चुनेगा, एक पन्ना पढ़ेगा, और यदि वह उबाऊ है, तो पूरी तरह से एक अलग किताब से शुरुआत करेगा। यह धीमा और अक्षम है।
यह शोध पत्र मिक्स्ड-इफेक्ट थॉमसन सैंपलिंग (meTS) का उपयोग करके एक स्मार्ट खोजकर्ता पेश करता है। हर किताब को एक अनूठी पहेली मानने के बजाय, यह खोजकर्ता देखता है कि किताबें शैलियों (genres) में आती हैं। यह सीखता है कि "साइ-फाई" (Sci-Fi) किताबें सामान्य गुणों को साझा करती हैं। किताबों को श्रेणियों (जैसे "एक्शन," "रोमांस," या "मिस्ट्री") में समूहित करके, खोजकर्ता केवल कुछ किताबों से पूरे जॉनर के बारे में सीख सकता है। यदि वह एक बेहतरीन साइ-फाई किताब पढ़ता है, तो उसे संकेत मिलता है कि अन्य साइ-फाई किताबें भी अच्छी हो सकती हैं। यह "सूचनाओं का साझाकरण" सीखने की गति को नाटकीय रूप रूप से बढ़ा देता है। गणित यह दर्शाता है कि लाखों व्यक्तिगत किताबों के बारे में सीखने के बजाय, कंप्यूटर को केवल कुछ दर्जन "जॉनर" (लेटेंट इफेक्ट्स) और उन जॉनर के भीतर प्रत्येक किताब की विशिष्ट विशेषताओं को सीखने की आवश्यकता होती है।
लेखक इस विचार को डिफ्यूजन थॉमसन सैंपलिंग (dTS) के साथ और आगे ले जाता है। यदि पहला तरीका किताबों को शैली के आधार पर समूह बनाने जैसा था, तो यह नया तरीका एक अत्यंत बुद्धिमान लाइब्रेरियन जैसा है जो किताबों के बीच गहरे, जटिल संबंधों को समझता है। शायद एक किताब "साइबरपंक" और "ऐतिहासिक कथा" का मिश्रण है, या शायद यह एक अलग सदी की किताब के साथ एक विशिष्ट लेखन शैली साझा करती है। "डिफ्यूजन मॉडल" (वही तकनीक जो कुछ इमेज जनरेटर के पीछे है) नामक AI का उपयोग करके, कंप्यूटर एक समृद्ध, गहरा मानचित्र सीखता है कि सभी किताबें एक-दूसरे से कैसे संबंधित हैं। यह इसे पुस्तकालय को बहुत तेज़ी से खोजने की अनुमति देता है, भले ही पुस्तकालय बहुत बड़ा हो। सिमुलेशन में, इन तरीकों ने उन पुराने तरीकों की तुलना में बहुत तेज़ी से बेहतरीन किताबें ढूंढीं जो हर किताब को एक अजनबी की तरह मानते थे।
ऑफ-पॉलिसी चुनौती: एक अव्यवस्थित डायरी से सीखना
इसके बाद, शोध पत्र "ऑफ-पॉलिसी" परिदृश्य को संबोधित करता है। कल्पना कीजिए कि अब आप खुद पुस्तकालय की खोज नहीं कर सकते। इसके बजाय, आपको एक पिछले खोजकर्ता द्वारा छोड़ी गई एक अव्यवस्थित डायरी से सीखना होगा जिसके स्वाद बहुत अलग थे। हो सकता है कि उस खोजकर्ता ने केवल हॉरर फिल्में देखी हों, और अब आपको बेहतरीन रोमांस फिल्में ढूंढनी हैं। यह "ऑफ-पॉलिसी" समस्या है: किसी और के द्वारा एकत्र किए गए डेटा से सीखना।
लेखक इस सामान्य धारणा को चुनौती देता है कि सबसे महत्वपूर्ण बात एक सटीक "रिवॉर्ड एस्टीमेटर" (एक क्रिस्टल बॉल जो भविष्यवाणी करती है कि कोई विकल्प कितना अच्छा होगा) बनाना है। शोध पत्र तर्क देता है कि विशाल पुस्तकालयों में, ऑप्टिमाइज़ेशन (अनुकूलन) वास्तव में बड़ी समस्या है। यह एक सटीक मानचित्र (एस्टिमेटर) होने जैसा है लेकिन एक टूटे हुए कंपास के साथ नेविगेट करने की कोशिश करना। गणित दिखाता है कि इन मानचित्रों का उपयोग करने के मानक तरीके अक्सर "फ्लैट प्लेटो" (समतल पठार) या स्थानीय जाल में फंस जाते हैं, जिससे सबसे अच्छा रास्ता खोजना असंभव हो जाता है, चाहे आपका मानचित्र कितना भी अच्छा क्यों न हो।
इसे ठीक करने के लिए, लेखक एक नया दृष्टिकोण प्रस्तावित करता है: पॉलिसी-वेटेड लॉग-लाइक्लिहुड (PWLL)। सटीक रिवॉर्ड की भविष्यवाणी करने के बजाय, यह विधि इस बात पर ध्यान केंद्रित करती है कि ऑप्टिमाइज़ेशन पथ को सुचारू और आसान बनाया जाए। यह एक ऊबड़-खाबड़, पथरीले पहाड़ी रास्ते से बदलकर एक सौम्य, घुमावदार सड़क बनाने जैसा है। भले ही सड़क पूरी तरह से सीधी न हो, फिर भी शीर्ष तक पहुँचना बहुत आसान होता है। प्रयोगों में, एक मिलियन क्रियाओं तक के मामले में, इस सरल, सुचारू दृष्टिकोण ने उन जटिल, "स्मार्ट" एस्टिमेटर्स को लगातार मात दी जो फंस जाते थे।
शोध पत्र "शोर" (noise) को संभालने का एक नया तरीका भी पेश करता है। जब पिछले खोजकर्ता ने कुछ हिस्सों में बहुत कम दौरा किया, तो डेटा अविश्वसनीय हो जाता है। लेखक एक्सपोनेंशियल स्मूथिंग (Exponential Smoothing) को "सिद्धांतिक निराशावाद" (principed pessimism) के साथ जोड़ने का सुझाव देता है। इसे एक सतर्क खोजकर्ता के रूप में सोचें जो डायरी पर भरोसा तो करता है लेकिन एक सुरक्षा बफर भी जोड़ता है। यदि डायरी कहती है कि एक रास्ता शानदार है लेकिन डेटा संदिग्ध है, तो खोजकर्ता मान लेता है कि यह रिपोर्ट किए गए परिणाम से थोड़ा खराब हो सकता है ताकि आपदा से बचा जा सके। शोध पत्र गणितीय रूप से सिद्ध करता है कि यह विधि खोजकर्ता को सुरक्षित रखती है जबकि प्रभावी ढंग से सीखने की अनुमति भी देती है, और यह तब भी अच्छा काम करती है जब डेटा विरल (sparse) हो।
बड़ी तस्वीर
संक्षेप में, यह शोध प्रबंध दिखाता है कि जब आपके पास लाखों विकल्प हों, तो आप केवल बलपूर्वक (brute-force) उन्हें पार नहीं कर सकते। आपको जो आपने सीखा है उसे साझा करने के लिए छिपी हुई संरचनाओं (जैसे जॉनर या गहरे संबंध) को खोजना होगा, और आपको यह सुनिश्चित करना होगा कि आपका सीखने का मार्ग इतना सुचारू हो कि आप वास्तव में समाधान खोज सकें। चाहे आप वास्तविक समय में सीख रहे हों या पुराने लॉग्स की खुदाई कर रहे हों, कुंजी यह है कि आप सूचनाओं को कैसे समूहित करते हैं और आप गणित का संचालन कैसे करते हैं, इसके बारे में स्मार्ट बनें। परिणाम, जो नकली डेटा और वास्तविक दुनिया के मूवी रिकमेंडेशन डेटासेट दोनों पर परीक्षण किए गए हैं, यह सुझाव देते हैं कि ये नई विधियाँ AI निर्णय लेने को स्केलेबल और कुशल बनाने की दिशा में एक महत्वपूर्ण कदम हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।