Explaining Reinforcement Learning Agents via Inductive Logic Programming
यह शोध पत्र इंडक्टिव लॉजिक प्रोग्रामिंग का उपयोग करके प्रतीकात्मक नीति निरूपण (symbolic policy representations) निकालने और एकल एवं बहु-एजेंट डोमेन में आरएल (RL) एजेंटों की व्याख्यात्मकता, शिक्षण गतिकी (learning dynamics) और समन्वय पैटर्न को व्यवस्थित रूप से मापने और विश्लेषण करने के लिए नए उद्देश्य मेट्रिक्स पेश करके व्याख्यात्मक सुदृढीकरण लर्निंग (Explainable Reinforcement Learning) को आगे बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही स्मार्ट रोबोट बनाया है जो केवल चीजों को आज़माकर, गलतियाँ करके और अच्छे मूव्स के लिए पॉइंट्स पाकर वीडियो गेम खेलना या कार चलाना सीखता है। इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है। यह एक पिल्ले (puppy) द्वारा करतब सीखने जैसा है: उसे कोई मैनुअल नहीं मिलता; वह बस यह समझ जाता है कि एक बटन दबाने से ट्रीट (treat) सामने आती है, इसलिए वह फिर से वही बटन दबाता है। समस्या यह है कि ये रोबोट अक्सर "ब्लैक बॉक्स" होते हैं। वे शानदार निर्णय लेते हैं, लेकिन उनके निर्माता भी हमेशा यह नहीं समझा पाते कि उन्होंने बाएं मुड़ने के बजाय दाएं मुड़ने का फैसला क्यों किया। वे बस इतना जानते हैं कि रोबोट काम कर रहा है, लेकिन उसके पीछे का तर्क (logic) नहीं जानते। यह खतरनाक है यदि आपका रोबोट वास्तविक कार चला रहा हो या किसी डॉक्टर की मदद कर रहा हो, क्योंकि हमें उसके तर्क पर भरोसा करने की आवश्यकता होती है।
इसे ठीक करने के लिए, वैज्ञानिक रोबोट के गुप्त मस्तिष्क को सरल भाषा में, जैसे कि "If-Then" (यदि-तो) नियमों के एक सेट में अनुवाद करने की कोशिश कर रहे हैं। यहीं पर एक्सप्लेनेबल एआई (Explainable AI) आता है। इसे एक रोबोट से उसके विचारों की डायरी लिखने के लिए कहने जैसा समझें। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि रोबोट ने एक डायरी लिखी है, इसका मतलब यह नहीं है कि वह डायरी सटीक, पूर्ण या उपयोगी है। हम यह कैसे जानें कि रोबोट का स्पष्टीकरण वास्तव में सच बोल रहा है या नहीं? अब तक, हम ज्यादातर इंसानों से पूछते थे, "क्या यह तर्कसंगत लगता है?" जो व्यक्तिपरक (subjective) है और अलग-अलग लोगों के लिए अलग-अलग हो सकता है। हमें इन स्पष्टीकरणों की गुणवत्ता को केवल एक भावना के बजाय एक पैमाने (रूलर) से मापने का तरीका चाहिए था।
यह शोध पत्र एक नया "पैमाना" पेश करता है जिससे हम एक रीइन्फोर्समेंट लर्निंग रोबोट के मस्तिष्क को कितनी अच्छी तरह समझाया जा सकता है, इसे माप सकें। लेखकों ने, जो शोधकर्ताओं की एक टीम है, एक चतुर तकनीक का उपयोग किया जिसे इंडक्टिव लॉजिक प्रोग्रामिंग (Inductive Logic Programming) कहा जाता है (इसे बिखरे हुए व्यवहार को व्यवस्थित नियमों में बदलने वाले एक अत्यंत सुव्यवस्थित जासूस के रूप में सोचें)। उन्होंने विभिन्न परिदृश्यों में रोबोट को प्रशिक्षित किया—जैसे कि एक व्यस्त चौराहे पर खुद चलने वाली कार या एक गोदाम में रोबोट की टीमें मिलकर काम कर रही हों—और फिर अपने जासूस का उपयोग करके उन नियमों को लिखा जिनका रोबोट पालन कर रहा था।
बड़ी खोज यह है कि उन्होंने यह जांचने के चार विशिष्ट तरीके बनाए कि लिखे गए नियम कितने अच्छे हैं। पहला, वे एक्टिवेशन रेट (Activation Rate) को मापते हैं, जो यह जांचने जैसा है कि रोबोट वास्तव में उन नियमों का कितनी बार पालन करता है जो उसने लिखे हैं। यदि रोबोट कहता है, "मैं धीमा हो जाता हूँ जब कोई कार पास होती है," लेकिन वह आधी बार तेज़ हो जाता है, तो उस नियम का एक्टिवेशन रेट कम है और वह एक अच्छा स्पष्टीकरण नहीं है। दूसरा, वे फीचर कवरेज (Feature Coverage) को देखते हैं, जो हमें बताता है कि वातावरण के किन हिस्सों की रोबोट वास्तव में परवाह करता है। हो सकता है कि रोबोट दावा करे कि वह ट्रैफिक लाइटों को देख रहा है, लेकिन नियम दिखाते हैं कि वह वास्तव में केवल अपने आगे वाली कार की दूरी को देख रहा है।
उन्होंने नियमों की तुलना करने के दो और तरीके भी बनाए: सिंटैक्टिक डिस्टेंस (Syntactic Distance) और सिमेंटिक डिस्टेंस (Semantic Distance)। कल्पना कीजिए कि दो रोबोट एक ही कार्य सीख रहे हैं। सिंटैक्टिक डिस्टेंस यह जांचता है कि क्या उन्होंने नियमों का वर्णन करने के लिए समान शब्दों का उपयोग किया (जैसे दोनों का "धीमा होना" कहना)। सिमेंटिक डिस्टेंस यह जांचता है कि क्या उन्होंने वास्तव में एक ही काम किया, भले ही उन्होंने अलग-अलग शब्दों का उपयोग किया हो। टीमों के रोबोट के लिए यह महत्वपूर्ण है; यह हमें देखने में मदद करता है कि क्या वे वास्तव में मिलकर काम कर रहे हैं या केवल दिखावा कर रहे हैं।
शोधकर्ताओं ने इन पैमानों का परीक्षण गेम खेलने वाले और ट्रैफिक में गाड़ी चलाने वाले रोबोटों पर किया। उन्होंने पाया कि इन नए मापों ने उन चीजों को भी उजागर किया जो गेम के मानक "स्कोर" ने छोड़ दी थीं। उदाहरण के लिए, एक रोबोट का स्कोर बहुत अधिक हो सकता है, लेकिन इन पैमानों ने दिखाया कि उसका तर्क कमजोर था और वह केवल बहुत विशिष्ट स्थितियों में ही काम करता था, सामान्य रूप से नहीं। टीम गेम्स में, पैमानों ने दिखाया कि कैसे रोबोटों ने विशेष भूमिकाएँ विकसित कीं, जहाँ कुछ एक काम के विशेषज्ञ बन गए और अन्य दूसरे काम के, भले ही वे सभी जीतने के लिए एक ही तरह से प्रयास कर रहे थे।
संक्षेप में, यह शोध पत्र हमें केवल यह बताने का तरीका नहीं देता कि रोबोट खुद को कैसे समझाए; यह हमें उन स्पष्टीकरणों को ग्रेड देने का तरीका भी देता है। यह सुझाव देता है कि इन वस्तुनिष्ठ (objective) मापों का उपयोग करके, हम पहचान सकते हैं कि रोबोट कब भ्रमित है, उसने कब कोई बुरी आदत सीखी है, या वह अधिक जटिल कार्यों के साथ भरोसेमंद होने के लिए कब तैयार है। यह "क्या यह रोबोट समझाने योग्य है?" के अस्पष्ट विचार को एक ठोस, मापने योग्य तथ्य में बदल देता है, जिससे वास्तविक दुनिया के लिए सुरक्षित और अधिक विश्वसनीय एआई बनाने में मदद मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।