When to Plan: Learning to Select Between Reactive Control and Deliberative Planning
यह शोध पत्र एक मेटा-रीज़निंग नीति को प्रशिक्षित करने के लिए एक सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) विधि प्रस्तुत करता है जो एक रिएक्टिव-पॉलिसी अनिश्चितता स्कोर का उपयोग करके यह अनुमान लगाती है कि नियोजन (प्लानिंग) कब आवश्यक है, जिससे तेज़ प्रतिक्रियात्मक नियंत्रण और धीमी विचारशील योजना के बीच गणना को गतिशील रूप से आवंटित किया जाता है, और इस प्रकार नेविगेशन कार्यों में प्रदर्शन को अनुकूलित करते हुए रिएक्टिव पॉलिसी के बेहतर होने के साथ अनुकूलित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं। कभी-कभी, आप बस टुकड़ों पर एक नज़र डालते हैं और उन्हें तुरंत जोड़ देते हैं क्योंकि आपने वह पैटर्न हज़ार बार देखा है। वह आपके मस्तिष्क का "फास्ट लेन" (तेज़ रास्ता) है। लेकिन अन्य समय में, पहेली अजीब होती है, टुकड़े गायब होते हैं, या तस्वीर उलटी होती है। उन क्षणों में, आपका फास्ट लेन एक दीवार से टकरा जाता है, और आपको रुकना पड़ता है, गहराई से सोचना पड़ता है, और शायद कोई कदम उठाने से पहले एक नक्शा भी बनाना पड़ता है। वह "स्लो लेन" (धीमा रास्ता) है।
यह शोध पत्र आर्टिफिशियल इंटेलिजेंस की दुनिया में रहता है, विशेष रूप से मेटा-रीज़निंग (meta-reasoning) नामक एक क्षेत्र में। मेटा-रीज़निंग को मस्तिष्क के मैनेजर के रूप में समझें। यह वास्तविक काम नहीं करता है; इसके बजाय, यह तय करता है कि काम कैसे किया जाए। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम एक रोबोट या कंप्यूटर प्रोग्राम को यह कैसे सिखाएं कि कब अपने तेज़, स्वाभाविक रिफ्लेक्स का उपयोग करना है और कब धीमा होकर गहरी सोच का उपयोग करना है? हम इस पर इसलिए ध्यान देते हैं क्योंकि यदि एक रोबोट हमेशा धीरे सोचता है, तो वह गेंद को पकड़ने या कार से बचने के लिए बहुत सुस्त होगा। लेकिन यदि वह हमेशा तेज़ी से कार्य करता है, तो वह उन चीजों से टकरा सकता है जिन्हें वह समझ नहीं पाता। लक्ष्य एक ऐसा एजेंट बनाना है जो जानता हो कि ठीक कब गियर बदलना है।
इस शोध पत्र के लेखक, एडम लैबियोसा और जोसियाह पी. हन्ना ने इस AI एजेंट को यही कौशल सिखाने का निर्णय लिया। उन्होंने एक "मेटा-एजेंट" बनाया जो कंप्यूटर के मस्तिष्क के लिए एक ट्रैफिक पुलिसकर्मी की तरह काम करता है। इस एजेंट के पास अपने टूलबॉक्स में दो मुख्य उपकरण हैं: एक रिएक्टिव पॉलिसी (Reactive Policy) और एक प्लानर (Planner)।
रिएक्टिव पॉलिसी एक रिफ्लेक्स की तरह है। यह एक सुपर-फास्ट न्यूरल नेटवर्क है जो स्थिति को देखता है और तुरंत कहता है, "यह करो!" यह अविश्वसनीय रूप से तेज़ है क्योंकि यह सोचने के लिए नहीं रुकता। हालाँकि, इसकी एक कमी है: यह केवल उन स्थितियों को संभाल सकता है जिन्हें इसने पहले देखा है। यदि आप इसे किसी नए, अजीब कमरे में रखते हैं, तो यह घबरा सकता है और एक बहुत ही गलत कदम उठा सकता है।
दूसरी ओर, प्लानर एक सतर्क वास्तुकार (architect) की तरह है। यह विभिन्न रास्तों का अनुकरण करने, आगे देखने और कदमों के सही क्रम को समझने में समय लेता है। यह नए या पेचीदा स्थितियों में बहुत अधिक विश्वसनीय है, लेकिन यह धीमा है। प्लानर का उपयोग करने में "समय" लगता है, ठीक वैसे ही जैसे किसी प्रश्न का उत्तर देने से पहले अतिरिक्त मिनट सोचने में लगते हैं।
शोध पत्र की मुख्य खोज एक चतुर तरीका है जिससे मेटा-एजेंट को इन दोनों उपकरणों के बीच चयन करना सिखाया जाता है। अनुमान लगाने के बजाय, मेटा-एजेंट एक विशिष्ट संकेत देखता है: अनिश्चितता (uncertainty)। रिएक्टिव पॉलिसी कई न्यूरल नेटवर्क्स की एक टीम के रूप में बनाई गई है जो मिलकर काम करती है। यदि सभी नेटवर्क एक ही चीज़ पर सहमत होते हैं, तो अनिश्चितता कम होती है, और मेटा-एजेंट कहता है, "आगे बढ़ो, तेज़ रिफ्लेक्स का उपयोग करो!" लेकिन यदि नेटवर्क आपस में बहस करने लगते हैं, तो अनिश्चितता अधिक होती है। यह मेटा-एजेंट को बताता है, "रुको, यह अजीब लग रहा है। तेज़ रिफ्लेक्स गड़बड़ी कर सकता है। चलो रुकते हैं और धीमे प्लानर का उपयोग करते हैं।"
शोधकर्ताओं ने इस विचार का परीक्षण विभिन्न वीडियो-गेम जैसे संसारों में किया, जिसमें ग्रिड में बक्से धकेलने से लेकर बाधाओं के माध्यम से एक रोबोटिक हाथ को नेविगेट करने तक शामिल था। उन्होंने पाया कि उनका स्मार्ट, अनुकूलन योग्य एजेंट उन एजेंटों की तुलना में बहुत बेहतर था जो हमेशा तेज़ या हमेशा धीमे रहने के लिए मजबूर थे। वास्तव में, कुछ पेचीदा परिदृश्यों में, उनका एजेंट "हमेशा प्लान करने वाले" बॉट्स की तुलना में 2.5 गुना तक तेज़ था और "हमेशा प्रतिक्रिया देने वाले" बॉट्स की तुलना में बहुत अधिक सफल था।
सबसे शानदार निष्कर्षों में से एक यह है कि यह प्रणाली स्व-सुधार (self-improving) करने वाली है। शोधकर्ताओं ने एक ऐसी स्थिति बनाई जहाँ "फास्ट रिफ्लेक्स" एजेंट "स्लो प्लानर" से सीखकर समय के साथ बेहतर होता है। जैसे-जैसे रिफ्लेक्स एजेंट ने अधिक सीखा और अधिक आत्मविश्वासी हुआ, मेटा-एजेंट ने अनिश्चितता के संकेतों को गिरते हुए देखा। परिणामस्वरूप, मेटा-एजेंट ने रिफ्लेक्स पर अधिक भरोसा करना शुरू कर दिया, और अंततः लगभग पूरी तरह से तेज़, रिएक्टिव कंट्रोल पर स्विच कर दिया। यह एक छात्र की तरह है जो गणित के हर सवाल के लिए शिक्षक से मदद मांगना शुरू करता है, लेकिन जैसे-जैसे वह अधिक स्मार्ट होता जाता है, उसे एहसास होता है कि वह अधिकांश सवाल खुद हल कर सकता है और मदद मांगना बंद कर देता है।
शोध पत्र ने यह भी पता लगाया कि विभिन्न कारक एजेंट के व्यवहार को कैसे बदलते हैं। उन्होंने पाया कि यदि "सोचने की लागत" (योजना बनाने में लगने वाला समय) बढ़ जाती है, तो एजेंट स्वाभाविक रूप से अधिक आलसी हो जाता है और अपने रिफ्लेक्स पर अधिक निर्भर रहता है। उन्होंने यह भी पाया कि यदि वातावरण बहुत अराजक और शोर वाला हो जाता है, तो एजेंट लंबे, जटिल प्लान का उपयोग करना बंद कर देता है क्योंकि उन प्लान्स के गड़बड़ होने की संभावना अधिक होती है, और इसके बजाय छोटे प्लान या त्वरित रिफ्लेक्स पर टिक जाता है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि AI को अपनी उलझन (अनिश्चितता) को मापने का एक सरल तरीका देकर, हम इसे एक तेज़ रिफ्लेक्स और एक विचारशील प्लानर के बीच का आदर्श संतुलन बनाने के लिए सिखा सकते हैं। यह केवल एक विशिष्ट गेम में काम नहीं करता है; यह विधि विभिन्न प्रकार की चुनौतियों के अनुकूल ढल जाती है, जो यह साबित करती है कि थोड़ी सी आत्म-जागरूकता कृत्रिम एजेंटों को स्मार्ट और अधिक कुशल बनाने में बहुत काम आती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।