Adaptive Reinforcement Learning for Unobservable Random Delays
यह शोध पत्र एक सामान्य इंटरेक्शन लेयर फ्रेमवर्क और एक मॉडल-आधारित एक्टर-क्रिटिक विद डिले अडैप्टेशन (ACDA) एल्गोरिदम प्रस्तुत करता है जो सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) एजेंटों को अदृश्य, समय-परिवर्तनीय विलंब (डिली) और पैकेट लॉस के प्रति गतिशील रूप से अनुकूल होने में सक्षम बनाता है, जो लोकोमोशन बेंचमार्क में मौजूदा विधियों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-स्पीड वीडियो गेम खेल रहे हैं जहाँ आप एक रोबोट को नियंत्रित करते हैं। एक आदर्श दुनिया में, आप स्क्रीन देखते हैं, बटन दबाते हैं, और रोबोट तुरंत चलता है। लेकिन वास्तविक दुनिया में, चीजें अव्यवस्थित होती हैं। आपका सिग्नल ट्रैफिक में फंस सकता है, रोबोट के दिमाग को सोचने में कुछ क्षण लग सकते हैं, या संदेश पूरी तरह से खो भी सकता है। जब तक आपका कमांड आखिरकार पहुँचता है, रोबोट पहले ही हिल चुका होता है, और आपका निर्देश अब गलत हो चुका होता है।
यह वह समस्या है जिसे शोधकर्ताओं जॉन विकमैन, एलेक्जेंड्रे प्रौटीरे और डेविड ब्रोमैन ने हल किया। उन्होंने पाया कि मानक AI प्रशिक्षण यह मान लेता है कि सब कुछ तुरंत होता है, जो वास्तविक दुनिया के विलंब (delays) के मामले में विफल हो जाता है जो रैंडम और AI के लिए अदृश्य होते हैं।
"पुराना तरीका" बनाम वास्तविक समस्या
पिछले तरीकों ने इसे बहुत सुरक्षित खेलकर हल करने की कोशिश की। उन्होंने सबसे खराब स्थिति को मान लिया: "क्या होगा अगर विलंब 10 सेकंड का हो?" इसलिए, उन्होंने AI को कार्य करने से पहले ठीक 10 सेकंड तक इंतजार करने के लिए बनाया, भले ही विलंब आमतौर पर केवल 1 सेकंड का होता था। यह एक ऐसे ड्राइवर की तरह है जो हमेशा ग्रीन लाइट पर 10 मिनट तक इंतजार करता है क्योंकि उसे डर है कि कहीं लाइट लाल न रह जाए, भले ही वह आमतौर पर 2 सेकंड में हरी हो जाती है। यह सुरक्षित है, लेकिन यह अविश्वसनीय रूप से धीमा और अक्षम है।
अन्य तरीकों ने विलंब का अनुमान लगाने की कोशिश की, लेकिन वे अक्सर विफल रहे क्योंकि AI वास्तव में यह नहीं जानता था कि निर्णय लेते समय विलंब कितना लंबा होगा। पेपर इन कठोर, निश्चित-विलंब वाले दृष्टिकोणों के विरुद्ध तर्क देता है, और दिखाता है कि वे बहुत रूढ़िवादी हैं और वास्तविक नेटवर्क की अराजकता के अनुकूल नहीं होते हैं।
नया समाधान: "इंटरैक्शन लेयर" (Interaction Layer)
टीम ने एक चतुर नया ढांचा पेश किया जिसे इंटरैक्शन लेयर कहा जाता है। इसे AI मस्तिष्क और रोबोट के बीच बैठे एक स्मार्ट "कमांड सेंटर" के रूप में समझें।
एक एकल कमांड जैसे "अभी कूदो" भेजने के बजाय, AI भविष्य के कार्यों का एक मैट्रिक्स भेजता है—संभावनाओं का एक विशाल ग्रिड। यह एक शतरंज के खिलाड़ी की तरह है जो केवल एक चाल नहीं चलता, बल्कि चालों की एक पूरी किताब लिखता है: "यदि प्रतिद्वंद्वी यहाँ चलता है, तो मैं यह करूँगा; यदि वह वहाँ चलता है, तो मैं वह करूँगा।"
AI इस ग्रिड को कई अलग-अलग संभावित भविष्य के विलंबों के लिए भरता है। वह यह नहीं जानता कि ग्रिड की कौन सी पंक्ति वास्तव में उपयोग की जाएगी, क्योंकि उसे यह नहीं पता कि संदेश पहुँचने में कितना समय लगेगा। लेकिन इंटरैक्शन लेयर एक रेफरी की तरह कार्य करता है। जब संदेश आखिरकार पहुँचता है, तो लेयर समय की जांच करती है, यह पता लगाती है कि विलंब वास्तव में कितना लंबा था, और ग्रिड से सही पंक्ति चुनती है जिसे निष्पादित किया जाना है। यदि कोई संदेश खो जाता है या क्रम से बाहर पहुँचता है, तो लेयर के पास बैकअप पंक्तियाँ तैयार रहती हैं।
"एक्टर-क्रिटिक विद डिले एडेप्टेशन" (ACDA)
इसे काम करने के योग्य बनाने के लिए, उन्होंने एक नया AI एल्गोरिदम बनाया जिसे ACDA कहा जाता है। यह AI थोड़ा भविष्यद्रष्टा (psychic) है। क्योंकि यह भविष्य नहीं देख सकता, यह यह कल्पना करने के लिए एक "मॉडल" का उपयोग करता है कि दुनिया कैसी दिखेगी जब इसका कार्य अंततः लागू होगा।
कल्पना कीजिए कि आप अपने दोस्त को गेंद फेंक रहे हैं जो दूर भाग रहा है। आप केवल वहां निशाना नहीं लगाते जहां वह अभी है; बल्कि आप वहां निशाना लगाते हैं जहां आपको लगता है कि गेंद पहुँचने पर वह होगा। ACDA गणितीय रूप से ऐसा ही करता है। यह गणना करता है कि रोबोट भविष्य में कहाँ होगा और उस भविष्यवाणी के आधार पर क्रियाएं उत्पन्न करता है। यह अंधेरे में अनुमान नहीं लगा रहा है; यह गायब जानकारी के अंतराल को भरने के लिए रोबोट के चलने के मॉडल का उपयोग कर रहा है।
आंकड़े क्या कहते हैं
शोधकर्ताओं ने MuJoCo, जो रोबोट के लिए एक भौतिकी इंजन (physics engine) है, का उपयोग करके पांच अलग-अलग वातावरणों: Ant-v4, Humanoid-v4, HalfCheetah-v4, Hopper-v4, और Walker2d-v4 में एक सिम्युलेटेड दुनिया में परीक्षण किया। उन्होंने केवल नकली विलंब का उपयोग नहीं किया; उन्होंने एक विश्वविद्यालय के पुस्तकालय और एक कार्यालय में WiFi नेटवर्क से एकत्र किए गए वास्तविक डेटा का उपयोग किया।
परिणाम स्पष्ट थे:
- Ant-v4 वातावरण में एक विशिष्ट सिम्युलेटेड विलंब (GE1,23) के साथ, पुराने सर्वश्रेष्ठ तरीके (BPQL) ने 2691.88 स्कोर किया, जबकि ACDA ने 4112.78 स्कोर किया।
- Humanoid-v4 वातावरण में, उसी विलंब के साथ, BPQL ने 585.19 स्कोर किया, जबकि ACDA ने 4608.76 स्कोर किया।
- पुस्तकालय के वास्तविक-दुनिया के WiFi विलंब (DLib) के साथ भी, ACDA ने लगातार मौजूदा अत्याधुनिक (state-of-the-art) तरीकों को पछाड़ दिया।
पेपर नोट करता है कि लगभग हर परीक्षण किए गए परिदृश्य में, ACDA ने मौजूदा सर्वोत्तम तरीकों की तुलना में उच्च औसत रिटर्न प्राप्त किया। एक अपवाद था: Ant-v4 वातावरण में एक विशिष्ट प्रकार के विलंब (MM1) के साथ, BPQL थोड़ा बेहतर प्रदर्शन करता था। हालांकि, परीक्षण किए गए 25 में से 15 बेंचमार्क में, ACDA शीर्ष प्रदर्शन करने वाला रहा।
वे कितने आश्वस्त हैं?
लेखक अपने सिमुलेशन और रीप्ले किए गए वास्तविक-दुनिया के डेटा के आधार पर इन परिणामों को लेकर बहुत आश्वस्त हैं। उन्होंने प्रशिक्षण के 1 मिलियन स्टेप्स पर अपने परीक्षण चलाए। हालांकि, वे सावधानी बरतते हुए यह भी कहते हैं कि हालांकि परिणाम मजबूत हैं, लेकिन उन्होंने गणितीय रूप से यह सिद्ध नहीं किया है कि उनका एल्गोरिदम हर संभव स्थिति में हमेशा पूर्ण समाधान की ओर अग्रसर (converge) होगा। सफलता इस बात से मापी गई है कि इसने उनके विशिष्ट परीक्षणों में कैसा प्रदर्शन किया, न कि इस सैद्धांतिक गारंटी से कि यह हर ब्रह्मांड में 100% समय काम करेगा।
निष्कर्ष
यह पेपर बताता है कि AI को भविष्य के कार्यों का एक "मेन्यू" भेजने देकर और एक स्मार्ट मिडिल-लेयर को यह चुनने देकर कि वास्तव में कब पहुँचे, हम केवल इंतजार करने या अनुमान लगाने की तुलना में जटिल, अप्रत्याशित विलंबों को बहुत बेहतर तरीके से संभाल सकते हैं। यह एक अराजक, अप्रत्याशित समस्या को "क्या होगा अगर" के प्रबंधनीय खेल में बदल देता है, जिससे रोबोट सुचारू रूप से चल पाते हैं, भले ही उनके सिग्नल ट्रैफिक में फंसे हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।