Multiscale Reward Hedging from Correct Demonstrations
यह शोध पत्र एक नवीन मल्टीस्केल रिवॉर्ड हेजिंग एल्गोरिदम प्रस्तुत करता है जो टॉलरेंट ऑप्टिमलिटी टेस्ट्स पर एक साझा वोट का लाभ उठाकर संचयी हिडन गैप को मेट्रिक एंट्रॉपी के माध्यम से सीमित करके, बिना रिवॉर्ड देखे निरंतर सेटिंग्स में सही प्रदर्शनों से सीखने के लिए प्रथम होराइजन-फ्री, पॉलिनोमियल-टाइम गारंटी प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नया वीडियो गेम खेलना सीखने की कोशिश कर रहे हैं, लेकिन आपके पास न तो कोई नियम पुस्तिका है, न ही स्कोर काउंटर, और न ही कोई "गेम ओवर" स्क्रीन। आपके पास केवल एक दोस्त है जो कभी-कभी आपको एक ऐसा मूव दिखाता है जो पूरी तरह से सही रहा। पेचीदा बात यह है कि आपके दोस्त के पास कई अलग-अलग मूव्स हो सकते थे जो उतने ही अच्छे काम करते, लेकिन वह केवल एक ही दिखाता है। आपको यह नहीं पता कि आपका अपना मूव बुरा था, या वह बस एक अलग तरह का "अच्छा" मूव था। यह सही प्रदर्शनों से सीखने (learning from correct demonstrations) की पहेली है। यह आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से 'ऑनलाइन लर्निंग' और 'रीइन्फोर्समेंट लर्निंग' के क्षेत्र में एक बहुत बड़ी बात है। आमतौर पर, कंप्यूटर हर अनुमान के बाद एक स्पष्ट "हाँ" या "ना" (एक इनाम या दंड) प्राप्त करके सीखते हैं। लेकिन वास्तविक दुनिया में—जैसे जब कोई इंसान कोई सुझाव देता है या कोई शिक्षक कोई समाधान दिखाता है—फीडबैक अक्सर अस्पष्ट होता है। कंप्यूटर सही उत्तर तो देखता है, लेकिन वह अपने स्वयं के गलत उत्तर का स्कोर कभी नहीं देख पाता। बड़ा सवाल यह है कि क्या एक कंप्यूटर इस धुंधली स्थिति में लगभग पूर्ण (nearly perfect) होने के लिए सीख सकता है, भले ही "सही" होने के अनंत तरीके हों, बिना हमेशा अनुमान लगाने में फंसे रहे?
यह शोध पत्र, जिसका शीर्षक "मल्टीस्केल रिवॉर्ड हेजिंग फ्रॉम करेक्ट डेमॉन्स्ट्रेशन" (Multiscale Reward Hedging from Correct Demonstrations) है, ठीक इसी समस्या को संबोधित करता है। लेखक, जॉन्स हॉपकिन्स यूनिवर्सिटी के पाहन देवासरेन्द्र, एक चतुर नई रणनीति प्रस्तावित करते हैं ताकि एक AI लर्नर अनिश्चितता के इस कोहरे के बीच से रास्ता निकाल सके। सटीकता के कई अलग-अलग स्तरों पर एक साथ "दांव लगाने के खेल" (game of hedge your bets) को खेलने के बजाय, लर्नर एक ही समय में कई स्तरों पर सटीकता के माध्यम से नेविगेट करने की कोशिश करता है।
यहाँ उनका जादू कैसे काम करता है, इसे एक सरल उपमा (analogy) का उपयोग करके समझते है:
कल्पना कीजिए कि लर्नर एक लाइनअप में सबसे अच्छा संदिग्ध खोजने की कोशिश कर रहा है, लेकिन उसे एकमात्र सुराग के रूप में पुलिस द्वारा दी गई एक निर्दोष व्यक्ति की फोटो मिलती है जिसे पुलिस सुरक्षित जानती है। डिटेक्टिव को संदिग्धों की पूरी सूची नहीं पता है, और न ही डिटेक्टिव को यह पता है कि उसका अपना अनुमान निर्दोष था या दोषी। इस समस्या को हल करने के लिए, डिटेक्टिव "प्रॉक्सी जजों" (proxy judges) की एक टीम बनाता है। प्रत्येक जज सख्ती के एक अलग स्तर का विशेषज्ञ है। एक जज बहुत सख्त है (केवल उन मूव्स को स्वीकार करता है जो पूरी तरह से सही हैं), दूसरा थोड़ा उदार है (उन मूव्स को स्वीकार करता है जो लगभग सही हैं), और तीसरा बहुत ढीला है (जो बमुश्किल ठीक हैं)।
लर्नर इन सभी जजों से हर संभावित मूव पर वोट देने के लिए कहता है। यदि किसी मूव को एक सख्त जज से "हाँ" मिलता है, तो यह एक बड़ी जीत है। यदि इसे केवल एक उदार जज से "हाँ" मिलता है, तो वह भी उपयोगी जानकारी है। यहाँ मुख्य नवाचार यह है कि लर्नर केवल एक जज को सुनने के लिए नहीं चुनता; वे एक ही विशाल वोट में एक साथ उन सभी को सुनता है।
जब पुलिस डिटेक्टिव को एक "अच्छे" मूव (प्रदर्शन) की फोटो दिखाती है, तो लर्नर वोटों की जांच करता है। यदि एक सख्त जज ने कहा कि पुलिस का मूव अच्छा था, लेकिन लर्नर का अपना अनुमान बुरा था, तो उस सख्त जज को अगले दौर के लिए "दोहरा वजन" (double weight) दिया जाता है। यह ऐसा है जैसे जज कह रहा हो, "मैंने कहा था ना! मेरा सख्त मानक सही था, और तुमने चूक कर दी।" समय के साथ, जो जज बहुत उदार या बहुत सख्त थे, उनके प्रभाव को तब तक समायोजित किया जाता है जब तक कि टीम का सामूहिक वोट सर्वोत्तम संभव मूव की ओर इशारा न कर दे।
यह शोध पत्र सिद्ध करता है कि यह तरीका अविश्वसनीय रूप से अच्छी तरह से काम करता है, भले ही सही होने के अनंत तरीके हों। वे दिखाते हैं कि लर्नर द्वारा की जाने वाली कुल "गलतियाँ" (उनके चुनाव और सर्वोत्तम संभव चुनाव के बीच के अंतर के रूप में मापी गई) आश्चर्यजनक रूप से कम रहती हैं। वास्तव में, कई सामान्य प्रकार की समस्याओं के लिए, कुल गलतियाँ केवल समस्या की जटिलता (जैसे डेटा में फीचर्स की संख्या) के साथ बढ़ती हैं, न कि खेल कितने लंबे समय तक चलता है उसके साथ। इसका मतलब है कि लर्नर सटीक स्कोरिंग नियमों को जाने बिना ही स्मार्ट और स्मार्ट होता जाता है।
लेखक यह भी दिखाते हैं कि यह केवल एक सैद्धांतिक सपना नहीं है। उन्होंने MovieLens नामक एक वास्तविक दुनिया के डेटासेट पर इसका परीक्षण किया, जहाँ "प्रदर्शन" वास्तविक मूवी रेटिंग्स थे। भले ही लर्नर ने रेटिंग्स या स्कोर कभी नहीं देखे, फिर भी इसने एक प्रदर्शित-रेटिंग पॉलिसी और एक उचित ऑनलाइन बेसलाइन की तुलना में 'मीन लेटेंट गैप' को कम करके अपनी सिफारिशों में सुधार किया। उन्होंने यह भी सिद्ध किया कि आप इससे बेहतर बहुत कम कर सकते हैं; इस अस्पष्ट सेटिंग में कोई कितनी तेजी से सीख सकता है, इसकी एक गणितीय सीमा है, और उनका तरीका उस सीमा तक पहुँच जाता है।
संक्षेप में, यह शोध पत्र हमें मानव उदाहरणों से सीखने का एक नया, मजबूत तरीका देता है, भले ही इंसान यह न समझाएं कि उनके उदाहरण क्यों अच्छे हैं। यह एक रोबोट को एक आदर्श व्यंजन दिखाकर खाना बनाना सिखाने जैसा है, बिना कभी रेसिपी या स्वाद बताए, फिर भी रोबोट अपने आंतरिक न्यायाधीशों के समूह को सुनकर सबसे अच्छा भोजन बनाना सीख जाता है जो इस बारे में बहस करते हैं कि "पूर्णता" का वास्तव में क्या अर्थ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।