Q-based Variational Inverse Reinforcement Learning
यह शोध पत्र Q-आधारित वेरिएशनल इनवर्स रीइन्फोर्समेंट लर्निंग (QVIRL) को प्रस्तुत करता है, जो एक नवीन बेयसियन विधि है जो Q-वैल्यूज़ पर एक वेरिएशनल डिस्ट्रीब्यूशन को अनुकूलित करके रिवार्ड्स पर एक पोस्टीरियर डिस्ट्रीब्यूशन सीखती है, जिससे विविध वातावरणों में रॉ पिक्सेल ऑब्जर्वेशन से स्केलेबल अनसर्टेन्टी क्वांटिफिकेशन और सफल प्रशिक्षण प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वास्तव में सहायक और सुरक्षित कृत्रिम बुद्धिमत्ता (AI) बनाने के लिए, प्रणालियों को उन तरीकों से कार्य करना सीखना चाहिए जो मानवीय मूल्यों के अनुरूप हों। फिर भी, किसी व्यक्ति से हर संभावित स्थिति के लिए सटीक नियमों की एक सूची लिखने के लिए कहना अक्सर असंभव होता है; मानवीय प्राथमिकताएं एक सरल नियमावली में समाहित करने के लिए बहुत जटिल और सूक्ष्म होती हैं। इसके बजाय, शोधकर्ता सत्य के स्रोत के रूप में स्वयं मानवीय व्यवहार की ओर देखते हैं। किसी विशेषज्ञ को कार्य करते हुए देखकर, एक AI पीछे की ओर काम करने की कोशिश कर सकता है, यह अनुमान लगाने के लिए कि उन छिपे हुए लक्ष्यों और पुरस्कारों ने विशेषज्ञ के विकल्पों को कैसे प्रेरित किया। यह प्रक्रिया, जिसे 'इनवर्स रीइन्फोर्समेंट लर्निंग' (inverse reinforcement learning) कहा जाता है, मशीनों को न केवल यह सीखने की अनुमति देती है कि क्या करना है, बल्कि यह भी कि उन्हें ऐसा क्यों करना चाहिए। हालाँकि, एक बड़ी चुनौती बनी हुई है: जब एक AI इन छिपे हुए लक्ष्यों का अनुमान लगाने की कोशिश करता है, तो वह अक्सर एक एकल, कठोर उत्तर उत्पन्न करता है। यह खतरनाक है क्योंकि एक ही व्यवहार को लक्ष्यों के कई अलग-अलग सेटों द्वारा समझाया जा सकता है, और AI को वास्तविक दुनिया में सुरक्षित निर्णय लेने के लिए अपनी अनिश्चितता को समझने की आवश्यकता होती है।
शोधकर्ताओं की एक टीम ने Q-आधारित वेरिएशनल IRL, या QVIRL नामक एक नई विधि पेश की है, जो मशीनों को निश्चित उत्तरों के बजाय संभावनाओं (probabilities) में सोचने के लिए प्रशिक्षित करके इस अनिश्चितता को संबोधित करती है। एक एकल रिवॉर्ड फंक्शन (reward function) का अनुमान लगाने के बजाय, यह दृष्टिकोण पुरस्कारों की एक पूरी श्रृंखला सीखता है जो एक विशेषज्ञ के व्यवहार की व्याख्या कर सके। शोधकर्ताओं ने प्रदर्शित किया कि उनकी विधि उन जटिल, उच्च-आयामी (high-dimensional) वातावरणों को संभाल सकती है जहाँ पिछली तकनीकें विफल रहीं, जिसमें वीडियो गेम से प्राप्त कच्चे दृश्य डेटा (raw visual data) वाले कार्य शामिल हैं। कार्यों के तत्काल पुरस्कार के बजाय कार्यों के अपेक्षित भविष्य के मूल्य (expected future value) पर ध्यान केंद्रित करके, सिस्टम संभावनाओं के वितरण की कुशलतापूर्वक गणना कर सकता है। यह AI को न केवल एक ऐसी नीति सीखने की अनुमति देता है जो अच्छा प्रदर्शन करती है, बल्कि यह पहचानने की भी अनुमति देता है कि वह कब अनिश्चित है, जो स्वायत्त ड्राइविंग (autonomous driving) या सक्रिय शिक्षण (active learning) जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए एक महत्वपूर्ण क्षमता है, जहाँ सिस्टम ठीक वहीं अधिक डेटा मांग सकता है जहाँ वह सबसे अधिक भ्रमित है।
QVIRL का मुख्य नवाचार इस बात में निहित है कि यह सीखने के गणित को कैसे संभालता है। पारंपरिक विधियाँ अक्सर संघर्ष करती हैं क्योंकि उन्हें बार-बार एक जटिल योजना बनाने (planning) की समस्या को हल करना पड़ता है ताकि यह पता लगाया जा सके कि एक विशेषज्ञ आगे क्या करेगा, एक ऐसी प्रक्रिया जो वातावरण के बड़े होने पर कम्प्यूटेशनल रूप से असंभव हो जाती है। QVIRL सीधे कार्यों के अपेक्षित भविष्य के मूल्य, जिसे Q-वैल्यू कहा जाता है, के साथ काम करके इस बाधा को दरकिनार कर देता है। कल्पना कीजिए कि आप उस गंतव्य को देखकर एक मानचित्र को समझने की कोशिश कर रहे हैं जिसकी आप ओर लक्षित हैं, बजाय इसके कि आप यात्रा के हर एक कदम को ट्रेस करें; दृष्टिकोण में यह बदलाव एल्गोरिदम को बड़े पैमाने पर विस्तार करने की अनुमति देता है। शोधकर्ताओं ने सरल ग्रिड-आधारित भूलभुलैया से लेकर अंतरिक्ष यान को उतारने और राजमार्ग पर नेविगेट करने की जटिल, निरंतर भौतिकी तक, विभिन्न कार्यों पर अपने सिस्टम को प्रशिक्षित किया। इन परीक्षणों में, सिस्टम ने पुरस्कारों के एक ऐसे वितरण को सफलतापूर्वक प्राप्त किया जो वास्तविक अंतर्निहित लक्ष्यों से बारीकी से मेल खाता था, भले ही डेटा सीमित था।
जो इस दृष्टिकोण को विशेष रूप से शक्तिशाली बनाता है वह इसकी अनिश्चितता को मापने की क्षमता है। मशीनों को मानवीय उदाहरणों से सिखाने के कई पिछले प्रयासों में, सिस्टम रिवॉर्ड के लिए एक एकल "सर्वश्रेष्ठ अनुमान" उत्पन्न करता था, जो प्रभावी रूप से यह दावा करता था कि वह पूर्ण निश्चितता के साथ उत्तर जानता है। इसके विपरीत, QVIRL संभावनाओं के एक बादल (cloud of possibilities) को बनाए रखता है। जब शोधकर्ताओं ने इसे एक सिम्युलेटेड वातावरण में परीक्षण किया जहाँ AI को एक अज्ञात क्षेत्र के माध्यम से एक सुरक्षित पथ और एक जोखिम भरे शॉर्टकट के बीच चयन करना था, तो सिस्टम का व्यवहार उसके विश्वास के आधार पर बदल गया। यदि AI जोखिम भरे क्षेत्र में रिवॉर्ड को लेकर अनिश्चित था, तो उसने सुरक्षित पथ चुना, जिससे वह सावधानी बरतता हुआ दिखाई दिया। यदि वह आश्वस्त था, तो उसने शॉर्टकट लिया। अनिश्चित होने पर जोखिम-विमुख (risk-averse) होने की यह क्षमता एक महत्वपूर्ण प्रगति है, क्योंकि यह AI को केवल डेटा की कमी के कारण खतरनाक गलतियाँ करने से रोकती है।
शोधकर्ताओं ने यह भी दिखाया कि यह विधि क्लासिक वीडियो गेम से प्राप्त पिक्सेल छवियों जैसे कच्चे दृश्य इनपुट के साथ काम करती है। जबकि अन्य विधियाँ जो अनिश्चितता का अनुमान लगाने की कोशिश करती हैं, अक्सर ऐसे उच्च-आयामी डेटा का सामना करने पर विफल हो जाती हैं, QVIRL मजबूत बना रहा। इसने Pong और Space Invaders जैसे गेम खेलने में मौजूदा सर्वोत्तम तकनीकों के समान प्रदर्शन सीखा, जबकि साथ ही यह भी प्रदान किया कि वह अपने निर्णयों के बारे में कितना आश्वस्त था। यह स्केलेबिलिटी (scalability) बताती है कि इस विधि को अंततः वास्तविक दुनिया के परिदृश्यों में लागू किया जा सकता है जहाँ सेंसर जटिल दृश्य डेटा प्रदान करते हैं, जैसे कि स्वयं चालक कारें या रोबोटिक सहायक।
अंत में, यह कार्य प्रदर्शित करता है कि ऐसी AI प्रणालियाँ बनाना संभव है जो स्केलेबल भी हों और अपनी सीमाओं के प्रति जागरूक भी हों। एकल-बिंदु अनुमानों से दूर हटकर और संभावित पुरस्कारों के पूर्ण वितरण को अपनाकर, QVIRL अधिक विश्वसनीय और सुरक्षित कृत्रिम बुद्धिमत्ता की ओर एक मार्ग प्रदान करता है। यह प्रणाली केवल मानवीय व्यवहार की नकल करना नहीं सीखती; यह उस व्यवहार के पीछे की अनिश्चितता को समझना सीखती है, जिससे यह स्पष्ट न होने पर सुरक्षित विकल्प चुनने में सक्षम होती है। विशेषज्ञों से सीखने और मदद माँगने के समय को जानने के बीच यह संतुलन लाभकारी AI बनाने की खोज में एक सार्थक प्रगति का प्रतिनिधित्व करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।