Interpretable reinforcement learning with decision-tree pruning

ब्लैक बॉक्स और ब्लूप्रिंट

कल्पना कीजिए कि आप एक रोबोट को चलना, शतरंज खेलना या एक गाड़ी पर डंडा संतुलित करना सिखा रहे हैं। आप हर एक चाल के लिए कोड नहीं लिखते; इसके बजाय, आप रोबोट को प्रयास और त्रुटि (trial and error) के माध्यम से सीखने देते हैं, जब वह सफल होता है तो उसे पुरस्कृत करते हैं और जब विफल होता है तो दंडित करते हैं। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ सॉफ्टवेयर एजेंट वातावरण के साथ अंतःक्रिया करके निर्णय लेना सीखते हैं। इसका परिणाम अक्सर एक "पॉलिसी" (policy) होता है—निर्देशों का एक समूह जिसका रोबोट पालन करता है। हालाँकि, सबसे शक्तिशाली पॉलिसियाँ आमतौर पर विशाल, जटिल न्यूरल नेटवर्क के भीतर छिपी होती हैं। इन नेटवर्कों को ऊन के एक विशाल, उलझे हुए गोले या एक "ब्लैक बॉक्स" के रूप में सोचें। आप रोबोट को कार्य करते देख सकते हैं, लेकिन यदि आप पूछते हैं कि उसने एक विशिष्ट चाल क्यों चली, तो उत्तर लाखों अदृश्य कनेक्शनों के बीच दबा होता है। यह एक समस्या है क्योंकि, वास्तविक दुनिया में, हमें इन रोबरों पर भरोसा करने की आवश्यकता होती है। यदि कोई सेल्फ-ड्राइविंग कार या मेडिकल एआई गलती करता है, तो हमें ब्लैक बॉक्स के अंदर देखने, तर्क को समझने और उसे ठीक करने में सक्षम होना चाहिए।

इसे हल करने के लिए, वैज्ञानिकों ने इन उलझे हुए न्यूरल नेटवर्कों को डिसीजन ट्री (Decision Trees) में अनुवाद करने के तरीके विकसित किए हैं। यदि एक न्यूरल नेटवर्क ऊन का एक उलझा हुआ गोला है, तो एक डिसीजन ट्री एक स्पष्ट फ्लोचार्ट या एक "चूज़ योर ओन एडवेंचर" (अपनी पसंद का रास्ता चुनें) पुस्तक की तरह है। यह "क्या पोल बाईं ओर झुक रहा है?" जैसे सरल प्रश्न पूछता है और "दाएं धकेलो" जैसे उत्तर तक पहुँचने के लिए एक पथ का अनुसरण करता है। ये पेड़ मनुष्यों के लिए पढ़ना बहुत आसान होते हैं। लेकिन यहाँ एक पेंच है: जब आप एक जटिल मस्तिष्क को एक पेड़ में अनुवाद करते हैं, तो वह पेड़ अक्सर पढ़ने के लिए बहुत बड़ा हो जाता है। इसमें हजारों शाखाएं हो सकती हैं, जो इसे मूल ब्लैक बॉक्स जितना ही भ्रमित करने वाला बना देती हैं। बड़ा सवाल यह है: क्या हम इस विशाल पेड़ को बिना रोबोट की कार्य करने की क्षमता को नुकसान पहुँचाए, छोटा और सरल बना सकते हैं?

झाड़ी की छंटाई: AI को सरल बनाने का एक नया तरीका

इस शोध पत्र में, मार्क रिंगर और मिशेल टोकिक इस सवाल का जवाब देने के लिए एक चतुर विधि प्रस्तावित करते हैं। वे इन AI डिसीजन ट्री के सरलीकरण को एक बार के जादू के रूप में नहीं, बल्कि एक सावधानीपूर्वक, चरण-दर-चरण संपादन प्रक्रिया के रूप में देखते हैं। कल्पना कीजिए कि आपके पास एक विशाल, अनियंत्रित झाड़ी है जो एक रास्ते को रोक रही है। आप इसे काटने चाहते हैं ताकि लोग वहां से गुजर सकें, लेकिन आप इतना अधिक नहीं काटना चाहते कि झाड़ी गिर जाए या बगीचे को व्यवस्थित रखने का अपना काम करना बंद कर दे।

लेखक एक ऐसे डिसीजन ट्री से शुरुआत करते हैं जिसे पहले से ही एक न्यूरल नेटवर्क से अनुवादित किया जा चुका है। यह पेड़ उनके लिए "शिक्षक" के रूप में कार्य करता है क्योंकि यह कार्य को हल करना जानता है, लेकिन यह मानव के समझने के लिए बहुत जटिल है। उनका लक्ष्य इसे 'प्रून' (prune) करना है—अर्थात अनावश्यक शाखाओं को काटना—जबकि रोबोट के प्रदर्शन को उच्च बनाए रखना है। वे केवल अंदाजे से शाखाएं नहीं काटते; वे एक सख्त, ऑडिट योग्य प्रक्रिया का उपयोग करते हैं। वे पेड़ को काटने के लिए तीन मुख्य तरीके प्रस्तावित करते हैं:

1. "ऊंचाई सीमा" (मैक्स-डेप्थ प्रूनिंग - Max-Depth Pruning): यह यह कहने जैसा है कि, "कोई भी शाखा 5 फीट से अधिक ऊंची नहीं हो सकती।" पेड़ का कोई भी हिस्सा जो अधिक गहरा जाने की कोशिश करता है, उसे काट दिया जाता है और एक साधारण 'लीफ' (leaf) से बदल दिया जाता है। यह पेड़ को छोटा और सरल रहने के लिए मजबूर करता है।
2. "होमोजेनिटी चेक" (मैक्स-इम्प्योरिटी प्रूनिंग - Max-Impurity Pruning): यह विधि शाखाओं को देखती है और पूछती है, "क्या पेड़ का यह हिस्सा पहले से ही इतना स्पष्ट है कि इसे और विभाजन की आवश्यकता नहीं है?" यदि एक शाखा पहले से ही लगभग हर चीज़ के लिए एक ही निर्णय ले रही है, तो उसे "शुद्ध" (pure) माना जाता है। एल्गोरिदम अतिरिक्त विभाजनों को काट देता है और उस पूरे अनुभाग को एक एकल लीफ में बदल देता है।
3. "स्मार्ट विजिटर काउंटर" (डिसीजन-ट्री एडेप्टिव कंस्ट्रेंड प्रूनिंग या DACP): यह सबसे परिष्कृत विधि है, और यह मुख्य आकर्षण है। यह एक संग्रहालय में प्रत्येक कमरे में आने वाले लोगों की गिनती करने वाले एक टूर गाइड की तरह है। यदि किसी कमरे (या निर्णय नोड) में कम लोग आते हैं, तो गाइड उस कमरे को बंद करने का निर्णय ले सकता है। हालाँकि, गाइड स्मार्ट है: काटने से पहले, वे जांचते हैं कि क्या वह वास्तव में एक गुप्त वीआईपी प्रवेश द्वार है, जिसे बंद करने से पूरा दौरा खराब हो सकता है। वे एक सुरक्षा जाल (safety net) का उपयोग करते ताकि यह सुनिश्चित हो सके कि यदि किसी कट के कारण रोबोट का स्कोर बहुत तेजी से गिरता है, तो वे रुक जाएं और पीछे हट जाएं।

यह प्रक्रिया "हॉट एंड कोल्ड" (Hot and Cold) के खेल की तरह काम करती है। एल्गोरिदम शाखाओं के एक बैच को काटने की कोशिश करता है। फिर, यह देखता है कि रोबोट कार्य को कितनी अच्छी तरह से करता है। यदि रोबोट अभी भी अच्छा प्रदर्शन करता है (एक विशिष्ट सुरक्षा सीमा से ऊपर रहता है), तो कट को रखा जाता है, और पेड़ छोटा हो जाता है। यदि रोबोट का प्रदर्शन बहुत अधिक गिर जाता है, तो कट को खारिज कर दिया जाता है, और एल्गोरिदम एक अलग, छोटे कट का प्रयास करता है। प्रत्येक परिवर्तन को रिकॉर्ड किया जाता है, जिससे एक "ट्रेल" (trail) बनता है जो ठीक से दिखाता है कि पेड़ को कैसे सरल बनाया गया और इसने रोबवर के व्यवहार को कैसे प्रभावित किया।

उन्होंने क्या पाया: छोटे पेड़, कभी-कभी बेहतर रोबोट

लेखकों ने इस पद्धति का परीक्षण कई क्लासिक रोबोट चुनौतियों पर किया, जिसमें पोल को संतुलित करना (CartPole) से लेकर इंसान की तरह चलना (Walker2D) शामिल है। उन्होंने पाया कि उनकी प्रूनिंग प्रक्रिया ने विशाल, अपठनीय पेड़ों को सघन, मानव-अनुकूल संस्करणों में सफलतापूर्वक बदल दिया।

सबसे दिलचस्प खोजों में से एक यह थी कि सरलीकरण का अर्थ हमेशा प्रदर्शन का नुकसान नहीं होता। कुछ मामलों में, जैसे लूनर लैंडर (Lunar Lander) कार्य के साथ, मूल "शिक्षक" न्यूरल नेटवर्क वास्तव में 'ओवरफिटिंग' (overfitting) कर रहा था—इसने प्रशिक्षण डेटा को बहुत अधिक पूर्णता से याद कर लिया था और अनावश्यक चालें चल रहा था। जब लेखकों ने डिसीजन ट्री को प्रून किया, तो उन्होंने अनजाने में इन अजीब, ओवरफिट शाखाओं को काट दिया। परिणाम? सरलीकृत पेड़ मूल जटिल नेटवर्क की तुलना में वास्तव में बेहतर प्रदर्शन कर रहा था, जो कम नियमों के साथ उच्च स्कोर प्राप्त कर रहा था।

हालाँकि, इसकी एक सीमा है। पेपर दिखाता है कि एक स्पष्ट ट्रेड-ऑफ है: जैसे-जैसे आप पेड़ को छोटा और छोटा करते जाते हैं, अंततः रोबोट विफल होने लगता है। एक "टिपिंग पॉइंट" (tipping point) आता है जहाँ पेड़ कार्य की जटिलता को संभालने के लिए बहुत सरल हो जाता है। लेखकों ने पाया कि उनका "स्मार्ट विजिटर काउंटर" (DACP) विधि आम तौर पर इस 'स्वीट स्पॉट' को खोजने में सबसे अच्छी थी, जो पेड़ को उच्च प्रदर्शन बनाए रखते हुए पढ़ने योग्य रूप में छोटा रखती है।

उन्होंने यह भी नोट किया कि जबकि पत्तियों (leaves) की संख्या (अंत बिंदु) जटिलता को मापने का एक अच्छा तरीका है, यह इस पूरी कहानी को नहीं बताता कि एक पेड़ मनुष्यों के लिए समझना कितना आसान है। कम पत्तियों वाला पेड़ भी भ्रमित करने वाला हो सकता है यदि उसके भीतर के प्रश्न समझने के लिए बहुत कठिन हों।

निष्कर्ष

यह पेपर यह दावा नहीं करता कि उसने AI विश्वास के रहस्य को हमेशा के लिए सुलझा लिया है, लेकिन यह एक शक्तिशाली नया उपकरण प्रदान करता है। यह सुझाव देता है कि हमें एक स्मार्ट रोबोट और एक पारदर्शी रोबोट के बीच चयन करने की आवश्यकता नहीं है। एक सावधानीपूर्वक, चरण-दर-चरण प्रूनिंग प्रक्रिया का उपयोग करके, जो लगातार रोबोट के प्रदर्शन की जाँच करती है, हम एक विशाल, भ्रमित करने वाले डिसीजन ट्री को नियमों के एक छोटे, स्पष्ट सेट में बदल सकते हैं। यह AI के निर्णयों को ऑडिट योग्य बनाता है—जिसका अर्थ है कि हम ठीक से पता लगा सकते हैं कि उसने जो किया वह क्यों किया—और संभावित रूप से ओवरफिटिंग के "शोर" को हटाकर इसके प्रदर्शन में सुधार भी कर सकता है। हालाँकि लेखक स्वीकार करते हैं कि उनका "समझने की क्षमता" का माप पेड़ के आकार पर आधारित है और अभी तक वास्तविक मानव परीक्षण पर नहीं, फिर भी उनकी विधि जटिल कोड से सरल, विश्वसनीय तर्क तक एक स्पष्ट, पारदर्शी मार्ग प्रदान करती है।