Am I Still Coupled to My Environment? Task-agnostic Runtime Telemetry from the Reinforcement-learning Interaction Loop
यह शोध पत्र इंटरेक्शन एंट्रॉपी (interaction entropy) और मानक अवलोकन-क्रिया त्रिक (observation-action triplets) से प्राप्त कपलिंग मेट्रिक्स पर आधारित एक रिवॉर्ड-स्वतंत्र रनटाइम मॉनिटरिंग फ्रेमवर्क प्रस्तुत करता है, जो तैनात सुदृढीकरण शिक्षण (reinforcement learning) एजेंटों में पर्यावरणीय डिकपलिंग (environmental decoupling) और इंटरेक्शन ड्रिफ्ट (interaction drift) का पता लगाने के लिए है, तथा पारंपरिक रिवॉर्ड-आधारित निगरानी की तुलना में बेहतर दोष पहचान क्षमताओं का प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक रोबोट एक जटिल दुनिया में दौड़ना सीख रहा है। वह जो देखता है उसके आधार पर निर्णय लेता है, कार्य करता है, और फिर देखता है कि आगे क्या हुआ। यह चक्र आधुनिक आर्टिफिशियल इंटेलिजेंस की धड़कन है जिसे 'रिनफोर्समेंट लर्निंग' (reinforcement learning) कहा जाता है। वर्षों से, इंजीनियरों ने यह बताने के लिए एक एकल संख्या पर भरोसा किया है कि क्या रोबोट अच्छा कर रहा है: एक स्कोर जिसे "रिवॉर्ड" (reward) कहा जाता है। यदि स्कोर बढ़ता है, तो रोबमा सफलता प्राप्त कर रहा है। यदि यह घटता है, तो कुछ गलत है। लेकिन यह स्कोर केवल एक ही प्रश्न का उत्तर देता है: क्या रोबोट ने अपना लक्ष्य प्राप्त कर लिया? यह एक अधिक सूक्ष्म, फिर भी महत्वपूर्ण प्रश्न का उत्तर नहीं दे सकता: क्या रोबोट अभी भी उसी तरह से दुनिया के साथ बातचीत कर रहा है जैसा कि उसे करना चाहिए था? एक रोबोट लड़खड़ा सकता है, उसके सेंसर में खराबी आ सकती है, या उसके मोटर घिस सकते हैं, फिर भी वह उच्च स्कोर अर्जित करते हुए फिनिश लाइन तक पहुँचने में सक्षम हो सकता है। ऐसे मामलों में, रिवॉर्ड सिग्नल झूठ बोलता है, इस तथ्य को छिपा देता है कि मशीन एक नाजुक या टूटी हुई स्थिति में काम कर रही है।
यही वह समस्या है जिसे शोधकर्ताओं वाएल हाफ़ेज़ और चेनन वेई ने हल करने का प्रयास किया। उन्होंने पूछा कि क्या वे एक अलग प्रकार का मॉनिटर बना सकते हैं, जो अंतिम स्कोर को नहीं देखता बल्कि रोबोट और उसके वातावरण के बीच की बातचीत को सुनता है। एक सिम्युलेटेड दुनिया में, जहाँ डिजिटल चीते एक सपाट तल पर दौड़ रहे थे, उनके कार्य ने इन मशीनों को देखने का एक नया तरीका पेश किया। रोबोट के विफल होने की प्रतीक्षा करने के बजाय, वे उस क्षण का पता लगाना चाहते थे जब रोबोट की आंतरिक लय उसके स्वस्थ पैटर्न से विचलित होने लगती है। उन्होंने एक ऐसी प्रणाली विकसित की जो रोबोट के हर कदम को एक छोटी कहानी के रूप में मानती है: उसने क्या देखा, उसने क्या किया, और उसके बाद क्या हुआ। इन कहानियों के प्रवाह का विश्लेषण करके, उन्होंने उस समस्या को पकड़ने का एक तरीका खोज निकाला जिसे पारंपरिक स्कोर अक्सर चूक जाता है।
शोधकर्ताओं ने अपने विचार का परीक्षण इक्कीस अलग-अलग डिजिटल चीतों पर किया, जिनमें से प्रत्येक को दो अलग-अलग लर्निंग विधियों का उपयोग करके यथासंभव तेज़ दौड़ने के लिए प्रशिक्षित किया गया था। एक बार जब ये एजेंट पूरी तरह से प्रशिक्षित हो गए, तो शोधकर्ताओं ने उनकी लर्निंग को फ्रीज कर दिया ताकि परीक्षण के दौरान वे बदल न सकें। फिर उन्होंने विभिन्न समस्याओं, या "परटर्बेशन्स" (perturbations) को पेश किया ताकि देख सकें कि क्या उनका नया मॉनिटर उन्हें पकड़ पाता है। कुछ समस्याएं रोबोट के अपने मस्तिष्क में जोड़ी गईं, जैसे कि उसके पैरों को भेजे जाने वाले कमांड में रैंडम नॉइज़ जोड़ना। अन्य समस्याएं स्वयं दुनिया में जोड़ी गईं, जैसे कि गुरुत्वाकर्षण की शक्ति को बदलना या रोबोट को एक बाहरी बल से धक्का देना। कुल मिलाकर, उन्होंने एक सौ अड़सठ अलग-अलग परीक्षण किए जहाँ कुछ गलत था, साथ ही इक्कीस परीक्षण भी किए जहाँ सब कुछ बिल्कुल सही था।
वे क्या खोज रहे थे, इसे समझने के लिए शोधकर्ताओं ने रोबोट के अनुभव के तीन हिस्सों के बीच के संबंध पर ध्यान केंद्रित किया। एक स्वस्थ दौड़ में, रोबोट जो देखता है, जो क्रिया वह चुनता है, और जो परिणाम उसे मिलता है, उनके बीच एक गहरा और अनुमानित संबंध होता है। शोधकर्ताओं ने इस संबंध का एक पैमाना बनाया, जिसे उन्होंने "कपलिंग शेयर" (coupling share) कहा। इसे यह जांचने के तरीके के रूप में कल्पना करें कि रोबोट की कुल गतिविधि का वास्तव में उसके परिणाम से कितना जुड़ाव है। जब रोबोट स्वस्थ होता है, तो यह लिंक मजबूत और सुसंगत होता है। जब कुछ गलत होता है, तो यह लिंक ढीला हो जाता है। रोबोट अभी भी हिल-डुल सकता है, और दुनिया भी प्रतिक्रिया दे सकती है, लेकिन दोनों के बीच का विशिष्ट, विशिष्ट नृत्य बदल जाता है। नया मॉनिटर वास्तविक समय में इस परिवर्तन को ट्रैक करता है, केवल उस डेटा स्ट्रीम का उपयोग करके जो रोबोट गति करते समय उत्पन्न करता है। इसे यह जानने की आवश्यकता नहीं है कि रोबोट का लक्ष्य क्या है, और न ही इसे रिवॉर्ड स्कोर देखने की आवश्यकता है। यह केवल पूछता है: क्या रोबोट अभी भी उसी आवाज़ में दुनिया से बात कर रहा है जिसमें वह स्वस्थ होने पर करता था?
परिणामों ने दिखाया कि यह दृष्टिकोण उल्लेखनीय रूप से प्रभावी है। जब शोधकर्ताओं ने अपने नए मॉनिटर की तुलना पारंपरिक रिवॉर्ड स्कोर से की, तो अंतर स्पष्ट था। मानक रिवॉर्ड सिस्टम ने केवल चौंतालीस प्रतिशत समस्याओं का पता लगाया। इसने उन सूक्ष्म परिवर्तनों को अक्सर मिस कर दिया जहाँ रोबोट संघर्ष कर रहा था लेकिन फिर भी दौड़ पूरी करने में सक्षम था। इसके विपरीत, नए मॉनिटर ने उन उन्नतीस प्रतिशत समस्याओं का पता लगाया। इसका मतलब है कि इसने रिवॉर्ड सिस्टम की तुलना में चौबीस प्रतिशत अधिक त्रुटियों को पकड़ा, जबकि स्वस्थ रोबोटों पर समान संख्या में गलत अलार्म बजाए। एक विशिष्ट परीक्षण में जहाँ गुरुत्वाकर्षण दस प्रतिशत बढ़ गया था, रिवॉर्ड सिस्टम ने केवल चौबीस प्रतिशत परीक्षणों में समस्या को पहचाना, जबकि नए मॉनिटर ने इसे लगभग आधे में पा लिया।
महत्वपूर्ण रूप से, शोधकर्ता यह समझाने में सावधान थे कि उनका सिस्टम क्या है और क्या नहीं है। उन्होंने कोई जादुई छड़ी नहीं बनाई जो टूटे हुए रोबोटों को ठीक करती है या भविष्य बताने वाला क्रिस्टल बॉल नहीं बनाया। सिस्टम यह नहीं बताता कि ठीक क्या टूटा है, जैसे कि सेंसर गंदा है या मोटर कमजोर है। यह हमेशा किसी समस्या की चेतावनी रिवॉर्ड स्कोर से काफी पहले भी नहीं देता है; कई मामलों में, नया मॉनिटर और रिवॉर्ड स्कोर एक ही समय में अलार्म बजाते हैं। इसके बजाय, यह प्रणाली एक पूरक जाँच के रूप में कार्य करती है। यह मशीन के संचालन के स्वास्थ्य पर एक दूसरी राय प्रदान करती है। यदि रिवॉर्ड स्कोर कहता है कि रोबोट ठीक है, लेकिन यह नया मॉनिटर कहता है कि इंटरेक्शन बदल गया है, तो यह संकेत देता है कि रोबोट एक ऐसे तरीके से काम कर रहा है जो अब उसके स्वस्थ अवस्था की विशेषता नहीं है। यह मानव ऑपरेटरों को पूर्ण विफलता होने से पहले आगे की जांच करने का अवसर देता है।
यह अध्ययन पूरी तरह से कंप्यूटर सिमुलेशन के भीतर किया गया था, और शोधकर्ता स्वीकार करते हैं कि वास्तविक दुनिया के रोबोट बहुत अधिक जटिल और अप्रत्याशित चुनौतियों का सामना करते हैं। पाए गए विशिष्ट नंबर डिजिटल चीतों और उनके द्वारा पेश की गई विशिष्ट प्रकार की समस्याओं से जुड़े हैं। हालाँकि, मूल विचार स्वायत्त प्रणालियों के भविष्य के लिए एक महत्वपूर्ण संभावना रखता है। जैसे-जैसे हम वास्तविक दुनिया में अधिक रोबोट तैनात करते हैं, केवल इस बात पर निर्भर रहना कि वे अपने लक्ष्यों को प्राप्त करते हैं, पर्याप्त नहीं हो सकता है। हमें यह सत्यापित करने की भी आवश्यकता हो सकती है कि दुनिया के साथ उनके बातचीत करने की अंतर्निहित प्रक्रिया सुदृढ़ बनी हुई है। यह शोध सुझाव देता है कि केवल इंटरेक्शन की लय को सुनकर, हम एक ऐसा सुरक्षा जाल बना सकते हैं जो मशीन के रुकने से बहुत पहले ही क्षय के सूक्ष्म संकेतों को पकड़ लेता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।