Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

जब एक इंसान एक बच्चे को साइकिल चलाना सिखाता है, तो वह सबक निगाहों के आदान-प्रदान, डगमगाहट और उत्साहजनक शब्दों का एक संवाद होता है। बच्चा संतुलन के बदलने को महसूस करके सीखता है, और माता-पिता यह देखकर सीखते हैं कि बच्चा उनके मार्गदर्शन की व्याख्या कैसे करता है। यह लेन-देन ही हाइब्रिड इंटेलिजेंस (संकर बुद्धिमत्ता) का सार है: दो अलग-अलग दिमाग मिलकर एक ऐसी समस्या को हल करने के लिए काम कर रहे हैं जिसे वे अकेले कभी सिद्ध नहीं कर पाते। रोबोटिक्स की दुनिया में, इस साझेदारी को 'ह्यूमन-इंटरैक्टिव रोबोट लर्निंग' (मानव-संवादात्मक रोबोट शिक्षण) कहा जाता है। यहाँ, एक व्यक्ति शिक्षक की भूमिका निभाता है, जो फीडबैक या प्रदर्शन के माध्यम से एक रोबोट को किसी कार्य के माध्यम से निर्देशित करता है। उम्मीद यह है कि रोबोट शिक्षक के संकेतों को समझकर एक कमरे में नेविगेट करना, एक बॉक्स को धकेलना या फर्श साफ करना सीख जाएगा। हालाँकि, जो एक शिक्षक चाहता है और जो रोबोट वास्तव में समझता है, उसके बीच अक्सर एक बड़ा अंतर होता है। यदि किसी इंसान को लगता है कि रोबोट भ्रमित है, तो वे एक ऐसा संकेत दे सकते हैं जिसे रोबोट किसी पूरी तरह से अलग क्रिया के लिए इनाम के रूप में समझ लेता है। बेहतर साझेदारी बनाने के लिए, वैज्ञानिकों को पहले यह समझना होगा कि जब मनुष्य रोबोट से सीधे बात नहीं कर सकते, तो वे रोबोट के व्यवहार का अर्थ कैसे निकालते हैं।

शोधकर्ताओं की एक टीम ने यह पता लगाने के लिए हाथ में लिया कि लोग केवल देखते समय रोबोट की सीखने की प्रक्रिया की व्याख्या कैसे करते हैं। वे इस बात में रुचि नहीं रखते थे कि एक रोबोट गणितीय रूप से कैसे सीखता है, बल्कि इस बात में कि एक मानव पर्यवेक्षक अपने मन में मशीन के बारें में क्या कहानी बुनता है। ऐसा करने के लिए, उन्होंने मानव धारणा का अध्ययन करने का एक नया तरीका विकसित किया जिसने सक्रिय शिक्षण की जटिलता को हटा दिया। लोगों से एक रोबोट के साथ बातचीत करने और फीडबैक देने के बजाय, शोधकर्ताओं ने बस रोबोट को सीखते हुए देखने के वीडियो दिखाए और फिर उनसे पूछा कि वे मशीन के दिमाग के भीतर क्या घटित हो रहा है, इसके बारे में क्या विश्वास करते हैं। इस दृष्टिकोण ने वैज्ञानिकों को उन कच्चे, अनफ़िल्टर्ड धारणाओं को देखने की अनुमति दी जो लोग एक कृत्रिम शिक्षार्थी को समझने की कोशिश करते समय बनाते हैं।

अपने पहले अध्ययन में, शोधकर्ताओं ने नौ लोगों का साक्षात्कार किया जिन्होंने एक रोबोट को ग्रिड जैसे वातावरण में नेविगेट करना, गड्ढों से बचना और निकास खोजना सीखते हुए देखा। प्रतिभागियों से रोबोट को चलते हुए देखते समय अपने विचारों को ज़ोर से बोलने के लिए कहा गया। शोधकर्ताओं ने यह देखने के लिए इन पर्यवेक्षकों के पैटर्न को सुना कि वे रोबोट के कार्यों की व्याख्या कैसे करते हैं। उन्होंने पाया कि लोग केवल यादृच्छिक (रैंडम) गतिविधियाँ नहीं देख रहे थे; वे रोबोट के आंतरिक जीवन का एक विस्तृत मानसिक मॉडल बना रहे थे। यह मॉडल लगातार चार मुख्य श्रेणियों में विभाजित था। पहला, लोगों ने माना कि रोबोट के विशिष्ट लक्ष्य थे, जैसे कि जल्द से जल्द निकास तक पहुँचना या गिरने से बचना। दूसरा, उनका मानना था कि रोबोट ज्ञान एकत्र कर रहा है, यानी कौन सी जगह खतरनाक है और कौन सी सुरक्षित है, इसे याद रख रहा है। तीसरा, पर्यवेक्षकों ने सोचा कि रोबोट निर्णय ले रहा है, विकल्पों को तौल रहा है और एक रणनीति के आधार पर पथ चुन रहा है। अंत में, लोगों ने एक 'लर्निंग मैकेनिज्म' (सीखने की प्रक्रिया) का अनुमान लगाया, यानी पिछले अनुभवों या सफलताओं के आधार पर अपनी समझ को अपडेट करने का एक तरीका। इन निष्कर्षों ने सुझाव दिया कि मनुष्य मशीन को समझने योग्य बनाने के लिए स्वाभाविक रूप से उस पर एक समृद्ध, मानव-समान आंतरिक जीवन आरोपित करते हैं।

इन प्रारंभिक विचारों की पुष्टि करने और यह देखने के लिए कि क्या वे अधिक जटिल स्थितियों में भी टिके रहते हैं, शोधकर्ताओं ने तैंतीस प्रतिभागियों के साथ एक दूसरा, बड़ा अध्ययन किया। उन्होंने प्रयोग का विस्तार दो अलग-अलग प्रकार के कार्यों और दो अलग-अलग प्रकार के लर्निंग एल्गोरिदम को शामिल करने के लिए किया। एक परिदृश्य में, एक रोबोट फर्नीचर के चारों ओर घूमकर और गंदगी उठाकर कमरा साफ करना सीख रहा था। दूसरे में, एक अलग रोबлот मेज पर दवा का डिब्बा धक्का देकर उस मरीज तक पहुँचाना सीख रहा था जो वहाँ तक नहीं पहुँच सकता था। रोबोटों ने सीखने के लिए अलग-अलग तरीकों का उपयोग किया: एक ने 'ट्रायल एंड एरर' (प्रयास और त्रुटि) की एक सरल, टेबल-आधारित विधि का उपयोग किया, जबकि दूसरे ने एक अधिक जटिल, निरंतर विधि का उपयोग किया जो इस तरह नकल करती है जैसे जैविक मस्तिष्क सुचारू गतिविधियों को संसाधित करते हैं। प्रतिभागियों ने रोबोट को सीखने के तीन अलग-अलग चरणों में देखा: शुरुआती, मध्य और अंतिम चरण। प्रत्येक वीडियो के बाद, उन्होंने लक्ष्यों, ज्ञान, निर्णय लेने और सीखने की प्रक्रियाओं के चार विषयों की रोबोट के प्रति प्रासंगिकता को रेट किया।

इस बड़े अध्ययन के परिणामों ने पुष्टि की कि पहले प्रयोग में पहचाने गए चार विषय केवल एक इत्तेफाक नहीं थे। सफाई और धक्का देने, दोनों कार्यों में, और रोबोट द्वारा उपयोग किए जाने वाले जटिल लर्निंग मेथड के बावजूद, लोग रोबोट को समझने के लिए लगातार इन चार श्रेणियों पर निर्भर थे। शोधकर्ताओं ने पाया कि जैसे-जैसे रोबोट अपने कार्यों में बेहतर होता गया, लोगों द्वारा उनका वर्णन करने का तरीका बदल गया। शुरुआती चरणों में, पर्यवेक्षकों ने अक्सर सोचा कि रोबोट के पास ज्ञान की कमी है या वह केवल अनुमान लगा रहा है। जैसे-जैसे रोबोट में सुधार हुआ, लोगों ने अपना दृष्टिकोण बदला, यह मानते हुए कि रोबोट ने एक स्पष्ट योजना विकसित कर ली है और वह जानबूझकर निर्णय ले रहा है। अध्ययन ने दिखाया कि मानव समझ स्थिर नहीं है; यह रोबोट के व्यवहार के साथ विकसित होती है। लोग केवल कोड का पालन करने वाली मशीन नहीं देखते; वे एक ऐसे एजेंट को देखते हैं जो सीख रहा है, याद रख रहा है और योजना बना रहा है।

शोधकर्ताओं ने यह भी खोजा कि इन धारणाओं के विशिष्ट विवरण काफी लचीले थे। उदाहरण के लिए, जब लोग रोबोट के लक्ष्यों के बारे में सोचते थे, तो वे कभी अंतिम परिणाम पर ध्यान केंद्रित करते थे, जैसे निकास तक पहुँचना, और कभी गति की गुणवत्ता पर, जैसे कुशलता से सफाई करना या सुरक्षित रूप से चलना। इसी तरह, यह विचार करते समय कि रोबोट कैसे सीख रहा है, लोग कभी-कभी कल्पना करते थे कि रोबोट शुद्ध अन्वेषण (एक्सप्लोरेशन) के माध्यम से सीख रहा है, जबकि अन्य समय में वे विश्वास करते थे कि वह फीडबैक से या समस्या के माध्यम से तर्क करके सीख रहा है। यह लचीलापन बताता है कि मनुष्यों के पास रोबोट की व्याख्या करने के लिए एक गतिशील ढांचा है, जिसे वे रोबोट को प्रदर्शन करते हुए देखते समय लगातार समायोजित करते रहते हैं। अध्ययन में यह नहीं पाया गया कि किसी व्यक्ति की पृष्ठभूमि, जैसे कि उनके बच्चे या पालतू जानवर हैं या नहीं, इन मौलिक विचार पैटर्न को बदलती है।

यह कार्य मानव-रोबोट सहयोग के भविष्य में एक महत्वपूर्ण चुनौती को उजागर करता है। क्योंकि मनुष्य स्वाभाविक रूप से यह मान लेते हैं कि रोबोट के पास भी अपने जैसे लक्ष्य, ज्ञान और निर्णय लेने की प्रक्रियाएं हैं, इसलिए इन धारणाओं के गलत होने का जोखिम रहता है। यदि कोई इंसान यह मानता है कि रोबोट तर्क के माध्यम से सीख रहा है जबकि वह वास्तव में केवल एक सरल नियम का पालन कर रहा है, तो इंसान ऐसा फीडबैक दे सकता है जो मशीन को भ्रमित कर दे। शोधकर्ता सुझाव देते हैं कि रोबोटों को वास्तव में प्रभावी साथी बनाने के लिए, उनके डिजाइनरों को इन मानवीय धारणाओं को समझना चाहिए। यह पहचानते हुए कि लोग अनिवार्य रूप से एक रोबोट पर मानव-समान मन आरोपित करेंगे, इंजीनियर अधिक पारदर्शी सिस्टम बना सकते हैं। वे ऐसे रोबोट डिज़ाइन कर सकते हैं जो अपनी वास्तविक सीखने की प्रक्रिया को इस तरह से संप्रेषित करें जो मानवीय अपेक्षाओं के अनुरूप हो, जिससे रोबोट जो कर रहा है और इंसान जो सोच रहा है, उसके बीच के अंतर को कम किया जा सके। इस प्रकार का तालमेल (अलाइनमेंट) उस हाइब्रिड इंटेलिजेंस के निर्माण के लिए आवश्यक है जहाँ मनुष्य और मशीनें वास्तव में एक साथ काम कर सकें, और एक-दूसरे की भूमिका को समझ सकें।