Explaining Reinforcement Learning Decisions in Self-adaptive Systems
यह शोध पत्र EARL प्रस्तुत करता है, जो एक पायथन लाइब्रेरी है जो स्व-अनुकूली प्रणालियों में सुदृढीकरण लर्निंग (reinforcement learning) निर्णयों के लिए सहज प्रतितथ्यात्मक (counterfactual) स्पष्टीकरण उत्पन्न करती है, जिसे पारदर्शिता और उपयोगकर्ता विश्वास बढ़ाने के लिए सिटीबाइक (CitiBike) सिमुलेशन के इसके अनुप्रयोग के माध्यम से प्रदर्शित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे शहर की कल्पना करें जहाँ ट्रैफ़िक लाइट, पावर ग्रिड, या रेंटल बाइक का वितरण अपने आप बदल जाता है, जो मानवीय हस्तक्षेप के बिना लोगों के प्रवाह और मौसम के प्रति प्रतिक्रिया करता है। ये स्व-अनुकूलन प्रणाली (self-adaptive systems) हैं, और वे अपने निर्णय लेने के लिए 'रिनफोर्समेंट लर्निंग' नामक एक प्रकार की आर्टिफिशियल इंटेलिजेंस पर तेजी से निर्भर कर रहे हैं। इस प्रक्रिया में, एक कंप्यूटर प्रोग्राम, या एजेंट, प्रयास और त्रुटि (trial and error) के माध्यम से सीखता है, जो एक लक्ष्य प्राप्त करने के सर्वोत्तम तरीके को खोजने के लिए अपने वातावरण के साथ अंतःक्रिया करता है। समय के साथ, यह नियमों का एक सेट, या एक 'पॉलिसी' बनाता है, जो इसे बताती है कि किसी भी दी गई स्थिति में क्या करना है। हालाँकि, जब ये एजेंट जटिल न्यूरल नेटवर्क—मानव मस्तिष्क के मॉडल पर आधारित डिजिटल संरचनाओं—का उपयोग करते हैं, तो उनकी निर्णय लेने की प्रक्रिया एक 'ब्लैक बॉक्स' बन जाती है। हम इनपुट और अंतिम क्रिया को देखते हैं, लेकिन उनके बीच का मार्ग अपारदर्शी होता है। उन लोगों के लिए जो इन प्रणालियों पर निर्भर हैं, जैसे कि शहर योजनाकार या आम उपयोगकर्ता, पारदर्शिता की यह कमी एक समस्या है। यदि कोई प्रणाली एक अजीब विकल्प चुनती है, जैसे कि एक बाइक को ऐसे स्टेशन पर ले जाना जहाँ पहले से ही पर्याप्त संख्या में बाइक मौजूद हैं, तो कोई भी आसानी से यह नहीं समझ सकता कि ऐसा क्यों हुआ। उस समझ के बिना, विश्वास कम हो जाता है, और यह सत्यापित करना कठिन हो जाता है कि सिस्टम सही ढंग से या सुरक्षित रूप से काम कर रहा है या नहीं।
इसे हल करने के लिए, ट्रिनिटी कॉलेज डबलिन के शोधकर्ताओं—जसमिना गैसिन, जुआन सी. रोसेरो और इवाना डस्पारिक ने EARL नामक एक नया टूल विकसित किया है। यह एक सॉफ्टवेयर लाइब्रेरी है जिसे 'काउंटरफैक्चुअल एक्सप्लेनेशन' (counterfactual explanations) उत्पन्न करके इन ब्लैक-बॉक्स निर्णयों से पर्दा हटाने के लिए डिज़ाइन किया गया है। केवल यह बताने के बजाय कि एजेंट ने क्या किया, एक काउंटरफैफल एक्सप्लेनेशन "क्या होता यदि?" (what if?) पूछता है। यह उपयोगकर्ता को दिखाता है कि यदि स्थिति थोड़ी अलग होती, तो परिणाम कैसे बदल जाता। उदाहरण के लिए, यदि एक बाइक-शेयरिंग एजेंट स्टेशन A से स्टेशन B में बाइक ले जाने का निर्णय लेता है, तो यह टूल दिखा सकता है कि यदि स्टेशन A थोड़ा खाली होता, तो एजेंट बाइक को वहीं छोड़ने का विकल्प चुनता। यह दृष्टिकोण इस बात की नकल करता है कि मनुष्य स्वाभाविक रूप से कारण और प्रभाव के बारे었던 कैसे तर्क करते हैं, जिससे मशीन का तर्क बहुत अधिक सहज हो जाता है। हालाँकि समान विधियों का उपयोग आर्टिफिशियल इंटेलिजेंस के अन्य क्षेत्रों में किया गया है, लेकिन वास्तविक दुनिया की अनुकूलन योग्य प्रणालियों में रिनफोर्समेंट लर्निंग के लिए उन्हें लागू करना कठिन था क्योंकि मौजूदा उपकरण अक्सर सरल, खिलौना उदाहरणों (toy examples) तक सीमित थे।
टीम ने इस अंतर को पाटने के लिए EARL का निर्माण किया, जिससे एक लचीला ढांचा तैयार हुआ जो जटिल, वास्तविक वातावरण के साथ काम करता है। उन्होंने अपने सिस्टम का परीक्षण न्यूयॉर्क शहर के 'सिटीबाइक' (CitiBikes) नेटवर्क के सिमुलेशन पर किया, जो एक क्लासिक स्व-अनुकूलन प्रणाली का उदाहरण है जहाँ मांग के अनुरूप बाइकों को लगातार पुनर्गठित करना पड़ता है। उनके सिमुलेशन में, एजेंट ने कमी और अधिकता को रोकने के लिए पांच अलग-अलग स्टेशनों के बीच बाइक स्थानांतरित करना सीखा। एक बार जब एजेंट को प्रशिक्षित कर लिया गया, तो शोधकर्ताओं ने EARL का उपयोग करके इसके निर्णयों की जांच की। उन्होंने सिमुलेशन के विशिष्ट क्षणों को चुना और सिस्टम से वैकल्पिक परिदृश्य उत्पन्न करने के लिए कहा। टूल ने इन "क्या होता यदि" स्थितियों को खोजने के चार अलग-अलग तरीकों के लिए सफलतापूर्वक स्पष्टीकरण प्रस्तुत किए। दो विधियाँ एजेंट के अपने कार्यों के इतिहास और वातावरण के नियमों के माध्यम से खोज पर आधारित थीं, जबकि एक अन्य विधि ने पिछले ट्रांज़िशन के डेटासेट पर प्रशिक्षित एक 'जेनरेटिव मॉडल' का उपयोग करके नए, काल्पनिक अवस्थाओं (states) को बनाया।
इस प्रयोग के परिणामों ने गति और यथार्थवाद के बीच एक स्पष्ट ट्रेड-ऑफ (trade-off) को प्रकट किया। जिस विधि ने पूर्व-प्रशिक्षित जेनरेटिव मॉडल पर भरोसा किया, वह एक मिलीसेकंड से भी कम समय में स्पष्टीकरण उत्पन्न कर सकती थी, लेकिन इसने केवल 82% मामलों में ही प्रशंसनीय उदाहरण उत्पन्न किए, जिसका अर्थ है कि कुछ उत्पन्न परिदृश्य स्टेशन क्षमता जैसे भौतिक बाधाओं का उल्लंघन करते थे। इसके विपरीत, उन विधियों ने जो एजेंट के वास्तविक निष्पादन पथ (execution path) के माध्यम से खोज करती थीं, उन्हें स्पष्टीकरण देने में काफी अधिक समय लगा—लगभग पैंतीस से लेकर लगभग दो सौ सेकंड प्रति स्पष्टीकरण तक—लेकिन उन्होंने हमेशा वास्तविक, प्रशंसनीय परिदृश्य उत्पन्न किए जो बाइक-शेयरिंग की दुनिया के नियमों का सम्मान करते थे। शोधकर्ताओं ने पाया कि सभी चार विधियाँ परीक्षण किए गए लगभग हर निर्णय के लिए स्पष्टीकरण उत्पन्न करने में अत्यधिक सफल रहीं, जिसकी सफलता दर निन्यानवे प्रतिशत थी। हालाँकि, टीम ने उल्लेख किया कि धीमी, नियम-आधारित विधियाँ वास्तविक दुनिया में स्पष्टीकरणों का अर्थ सुनिश्चित करने में कहीं अधिक बेहतर थीं, जबकि तेज़, डेटासेट-आधारित विधि को असंभव परिणामों को हटाने के लिए सावधानीपूर्वक फ़िल्टरिंग की आवश्यकता थी।
यह कार्य यह प्रदर्शित करता है कि जटिल, स्व-अनुकूलन प्रणालियों को उनके कार्य करने की क्षमता से समझौता किए बिना अधिक पारदर्शी बनाना संभव है। EARL लाइब्रेरी इन स्पष्टीकरण तकनीकों को विभिन्न प्रकार के एजेंटों और वातावरणों पर लागू करने का एक एकीकृत तरीका प्रदान करती है, जो इस क्षेत्र को सरल बेंचमार्क से आगे बढ़ाकर व्यावहारिक अनुप्रयोगों की ओर ले जाती है। शोधकर्ता निष्कर्ष निकालते हैं कि जबकि उपकरण उपयोग के लिए तैयार हैं, अभी भी काम किया जाना बाकी है। भविष्य के सुधारों को यह सुनिश्चित करने पर ध्यान केंद्रित करने की आवश्यकता है कि तेज़, डेटासेट-आधारित विधियाँ अधिक विश्वसनीय हों ताकि वे असंभव परिदृश्य उत्पन्न न करें, और अधिक यथार्थवादी, नियम-आधारित विधियों को तेज़ करने के तरीके खोजने की आवश्यकता है। अंततः, लक्ष्य उपयोगकर्ताओं को इन स्वायत्त प्रणालियों पर विश्वास करने का आत्मविश्वास देना है, उन्हें न केवल यह दिखाकर कि मशीन ने क्या निर्णय लिया, बल्कि यह भी दिखाकर कि उसने वह निर्णय क्यों लिया और क्या होता यदि दुनिया थोड़ी अलग होती।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।