Learning to Control Coupled-Dynamics Environments with Joint Markov Decision Processes
यह शोध पत्र एक नॉनपैरामीट्रिक डिस्ट्रीब्यूशनल बेलमैन ऑप्टिमलिटी ऑपरेटर को परिभाषित करके जॉइंट मार्कोव डिसीजन प्रोसेसेज (JMDPs) के लिए इष्टतम-नियंत्रण विधियों को प्रस्तुत करता है और इष्टतम संयुक्त रिटर्न लॉ की ओर इसकी अभिसरण को सिद्ध करता है, जिससे उन निर्भरताओं को संरक्षित किया जाता है जिन्हें मानक MDPs त्याग देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एजेंट एक वातावरण के साथ अंतःक्रिया करके निर्णय लेना सीखते हैं, ठीक वैसे ही जैसे एक बच्चा कमरे में रास्ता बनाना सीखता है। दशकों से, इस सीखने के लिए मानक गणितीय ढांचा 'मार्कोव डिसीजन प्रोसेस' रहा है। इस मॉडल में, एक एजेंट एक विशिष्ट क्रिया आज़माता है, होने वाले एकल परिणाम को देखता है, और उस अनुभव का उपयोग सुधार करने के लिए करता है। यह दृष्टिकोण तब अच्छा काम करता है जब लक्ष्य केवल समय के साथ औसत इनाम (रिवॉर्ड) को अधिकतम करना हो। हालाँकि, यह मानक दृष्टिकोण प्रत्येक संभावित क्रिया के साथ इस तरह व्यवहार करता है जैसे कि वह एक अलग, अलग-थलग ब्रह्मांड में मौजूद हो। यह मान लेता है कि यदि एजेंट ने दूसरा रास्ता चुना होता, तो परिणाम पूरी तरह से स्वतंत्र पासे के खेल (रोल ऑफ द डाइस) द्वारा उत्पन्न किया जाता। कई वास्तविक दुनिया की स्थितियों में, यह धारणा बहुत सरल है। अक्सर, विभिन्न विकल्पों के संभावित परिणाम एक साझा अंतर्निहित वास्तविकता से जुड़े होते हैं। उदाहरण के लिए, हवा का एक अचानक झोंका, ड्रोन के पायलट द्वारा किस दिशा में उड़ने के इरादे के बावजूद, उसके प्रक्षेपवक्र (ट्रैजेक्टरी) को प्रभावित कर सकता है। जब ये परिणाम एक सामान्य कारण से जुड़े होते हैं, तो मानक मॉडल इस बारे में महत्वपूर्ण जानकारी को त्याग देता है कि वे संभावनाएँ एक-दूसरे से कैसे संबंधित हैं।
पर्ड्यू यूनिवर्सिटी के शोधकर्ताओं ने इन जुड़े हुए परिदृश्यों को संभालने का एक नया तरीका विकसित किया है, जो अलग-थलग विकल्पों के विचार से आगे बढ़कर एक ऐसे ढांचे की ओर बढ़ता है जहाँ सभी क्रियाओं के संभावित भविष्यों की गणना एक साथ की जाती है। वे इसे 'जॉइंट मार्कोव डिसीजन प्रोसेस' कहते हैं। यह पूछने के बजाय कि, "क्या होगा यदि मैं बाईं ओर मुड़ता हूँ?" और फिर अलग से यह पूछने के बजाय कि, "क्या होगा यदि मैं दाईं ओर मुड़ता हूँ?" जैसे कि हर सवाल के बीच दुनिया रीसेट हो जाती है, उनकी विधि पूछती है, "यदि मैं बाईं ओर मुड़ता हूँ और उत्तर से हवा चलती है, तो क्या होगा? और यदि मैं दाईं ओर मुड़ता हूँ और उसी उत्तर दिशा से हवा चलती है, तो तब क्या होगा?" इन काउंटरफैक्चुअल परिणामों को—कि क्या होता यदि कोई अलग विकल्प चुना गया होता—उसी क्षण की यादृच्छिकता (रैंडमनेस) से जोड़े रखकर, शोधकर्ता यह देख सकते हैं कि विभिन्न क्रियाएं एक-दूसरे को कैसे प्रभावित करती हैं। यह सुरक्षा-महत्वपूर्ण कार्यों या संसाधन आवंटन के लिए अत्यंत महत्वपूर्ण है, जहाँ विकल्पों के बीच के संबंध को समझना एक एकल विकल्प के मूल्य को जानने जितना ही महत्वपूर्ण है।
टीम का कार्य एक एजेंट को इन जटिल, जुड़े हुए वातावरणों में सर्वोत्तम रणनीति खोजने के लिए प्रशिक्षित करने पर केंद्रित है। उन्होंने सिद्ध किया कि यदि प्रत्येक चरण पर एक स्पष्ट रूप से श्रेष्ठ क्रिया मौजूद है, तो एजेंट की सीखने की प्रक्रिया अंततः पूर्ण रणनीति पर स्थिर हो जाएगी, और सभी संभावित भविष्य के पुरस्कारों का गणितीय विवरण सही उत्तर पर अभिसरित (कन्वर्ज) हो जाएगा। उन्होंने यह भी दिखाया कि भले ही दो क्रियाएं औसत रूप पर समान रूप से अच्छी दिखें, एजेंट फिर भी उनके बीच सही संबंधों को सीख सकता है, बशर्ते कि वे संबंध एक विशिष्ट तरीके से स्थिर हों। यह सिस्टम को न केवल औसत इनाम की गणना करने की अनुमति देता है, बल्कि यह भी कि विभिन्न क्रियाओं के इनाम एक साथ कैसे चलते हैं। उदाहरण के लिए, यह निर्धारित कर सकता है कि क्या एक क्रिया के लिए उच्च इनाम के साथ दूसरी क्रिया के लिए कम इनाम आता है, या क्या वे एक साथ ऊपर और नीचे जाते हैं।
इन विचारों का परीक्षण करने के लिए, शोधकर्ताओं ने विभिन्न वातावरणों में सिमुलेशन चलाए, जिनमें अवस्थाओं (स्टेट्स) की सरल श्रृंखलाओं से लेकर जटिल ग्रिड वर्ल्ड और एक संतुलन बनाने वाली छड़ी (बैलेंसिंग पोल) से जुड़े निरंतर नियंत्रण कार्य तक शामिल थे। एक प्रयोग में, उन्होंने एक मार्ग-चयन समस्या की जांच की जहाँ एक ड्राइवर सुरक्षित पथ और दो जोखिम भरे पथों के बीच चयन कर सकता था। जोखिम भरे पथ एक साझा मौसम स्थिति से जुड़े थे: यदि हवा एक के लिए अनुकूल थी, तो अक्सर दूसरी के लिए प्रतिकूल होती थी। अपने नए तरीके का उपयोग करके, एजेंट ने दो जोखिम भरे पथों के बीच यातायात को विभाजित करना सीखा। क्योंकि जोखिम नकारात्मक रूप से जुड़े हुए थे, इस विभाजन रणनीति ने पूर्ण विफलता की संभावना को समाप्त कर दिया, जो एक ऐसा परिणाम था जिसे मानक तरीके, जो पथों के बीच के संबंध को अनदेखा करते हैं, प्राप्त नहीं कर सके। एक अन्य परीक्षण में, उन्होंने डेटा से इन संबंधों को सीखने के लिए न्यूरल नेटवर्क को प्रशिक्षित किया। नेटवर्क ने सफलतापूर्वक क्रियाओं के बीच छिपे हुए कनेक्शनों को पुनः प्राप्त किया, जिससे यह सिद्ध हुआ कि संयुक्त जानकारी केवल एक सैद्धांतिक अवधारणा नहीं है बल्कि कुछ ऐसा है जिसे आधुनिक मशीन लर्निंग सिस्टम द्वारा सीखा और उपयोग किया जा सकता है।
निष्कर्ष बताते हैं कि विभिन्न संभावनाओं के जुड़ाव की संरचना को संरक्षित करके, आर्टिफिशियल इंटेलिजेंस अधिक सुदृढ़ और सूक्ष्म निर्णय ले सकता है। शोधकर्ताओं ने प्रदर्शित किया कि उनके गणितीय उपकरण सरल और जटिल दोनों परिदृश्यों में विश्वसनीय रूप से काम करते हैं, और सही उत्तरों की ओर अभिसरित होते हैं। उन्होंने दिखाया कि जबकि मानक तरीके विकल्पों के बीच के सूक्ष्म तालमेल को मिस कर सकते हैं, उनका दृष्टिकोण इस बात की पूरी तस्वीर पकड़ता है कि दुनिया एक ही स्थिति में विभिन्न क्रियाओं के प्रति कैसे प्रतिक्रिया करती है। यह न केवल एजेंट द्वारा प्राप्त किए जाने वाले औसत स्कोर में सुधार करता है; यह मौलिक रूप से इस बात को बदल देता है कि एजेंट जोखिम और इनाम के परिदृश्य को कैसे समझता है, जिससे उसे उन वातावरणों में नेविगेट करने की अनुमति मिलती जहाँ विभिन्न विकल्पों के भाग्य आपस में अटूट रूप से बंधे होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।