dtControl2+: Trading Optimality for Explainability in MDPs via Decision Trees
यह शोध पत्र dtControl2+ प्रस्तुत करता है, जो अत्याधुनिक टूल dtControl2 का एक विस्तार है, जो अनुकूलन क्षमता () की एक नियंत्रणीय मात्रा को बेहतर व्याख्यात्मकता के बदले में देकर मार्कोव निर्णय प्रक्रियाओं (Markov decision processes) के लिए काफी छोटे और अधिक मानव-बोधगम्य निर्णय वृक्ष नियंत्रक (decision tree controllers) उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। कंप्यूटर विज्ञान की दुनिया में, इसे "कंट्रोलर सिंथेसिस" (controller synthesis) कहा जाता है। आप रोबोट को नियमों और एक लक्ष्य का एक सेट देते हैं और एक कंप्यूटर प्रोग्राम वहां तक पहुँचने के लिए सटीक चालें निकाल लेता है। लेकिन यहाँ एक पेंच है: जटिल भूलभुलैया के लिए, कंप्यूटर अक्सर निर्देशों की एक विशाल, अव्यवस्थित सूची थमा देता है—हर उस वर्ग (square) के लिए एक निर्देश जहाँ रोबोट कभी भी जा सकता है। यह एक ऐसी रेसिपी बुक की तरह है जिसके लाखों पन्ने हैं, जहाँ हर पन्ना बस यह कहता है "बाएँ मुड़ें" या "दाएँ मुड़ें" किसी विशिष्ट, सूक्ष्म क्षण के लिए। हालांकि यह सूची गणितीय रूप से एकदम सही है, लेकिन यह एक इंसान के लिए पढ़ना, बल्कि समझना भी असंभव है। यदि रोबोट टकरा जाता है, तो कोई भी उस विशाल सूची को देखकर यह नहीं कह पाएगा, "आह, मुझे समझ आया, इसने बाएँ मुड़ा क्योंकि यह लाल दीवार को लेकर भ्रमित था।" हमें ये निर्देश छोटे, सरल और व्याख्या योग्य चाहिए, एक स्पष्ट मानचित्र की तरह, न कि एक विशाल स्प्रेडशीट की तरह।
यहीं पर "डिसीजन ट्रीज़" (decision trees) काम आते हैं। एक डिसीजन ट्री को एक फ्लोचार्ट या "20 सवाल" (20 Questions) के खेल के रूप में सोचें। एक विशाल सूची के बजाय, आपके पास एक सरल संरचना होती है: "यदि दीवार बाईं ओर है, तो दाईं ओर जाएँ; अन्यथा, सीधे जाएँ।" ये मनुष्यों के लिए समझने में बहुत आसान होते हैं। हालाँकि, यदि रोबोट कठिन स्थितियों या दुर्लभ "कॉर्नर केसेस" (corner cases) का सामना करता है, तो ये पेड़ भी बहुत बड़े और जटिल हो सकते हैं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम इन पेड़ों को बिना रोबोट को क्रैश किए और भी छोटा और सरल बना सकते हैं? इसका उत्तर "एप्सिलॉन-ऑप्टिमैलिटी" (epsilon-optimality) की एक अवधारणा में निहित है। कल्पना कीजिए कि आपने रोबोट को बताया, "आपको 100% परफेक्ट होने की ज़रूरत नहीं है; आप 99.9% परफेक्ट हो सकते हैं।" त्रुटि की यह थोड़ी सी अनुमति रोबोट (और कंप्यूटर) को सूक्ष्म, अनिश्चित विवरणों को अनदेखा करने की स्वतंत्रता देती है, जिसके परिणामस्वरूप निर्देशों का एक बहुत छोटा, साफ सेट मिलता है जो अभी भी सुरक्षित रूप से काम पूरा करता है।
यह शोध पत्र "dtControl 2+ε: Trading Optimality for Explainability in MDPs via Decision Trees" एक नया टूल पेश करता है जिसे dtControl 2+ε कहा जाता है जो ठीक यही करता है। शोधकर्ता, मार्कोव डिसीजन प्रोसेस (MDPs - जो रैंडमनेस वाले सिस्टम का वर्णन करने का एक फैंसी गणितीय तरीका है, जैसे कि एक रोबोट जो गीले फर्श पर फिसल सकता है) के साथ काम करते हुए, एक जटिल, पूर्ण कंट्रोलर को एक छोटे, मानव-पठनीय डिसीजन ट्री में सिकोड़ते हैं। वे ऐसा करने के लिए त्रुटि की एक छोटी, नियंत्रित मात्रा () की अनुमति देते हैं।
उनका जादू इस प्रकार काम करता है: हर एक चाल को समझाने के बजाय, यह टूल मानचित्र को देखता है और पूछता है, "कौन सी चालें वास्तव में मायने रखती हैं?" यदि रोबोट ऐसी जगह पर है जहाँ वह लगभग निश्चित रूप से कभी नहीं जाएगा, या जहाँ उसका कोई भी कदम एक ही परिणाम की ओर ले जाता है, तो टूल कहता है, "आइए उस हिस्से को समझाने से बचते हैं।" वे कंट्रोलर को उसके "सार" (essence) तक निचोड़ देते हैं। उदाहरण के लिए, एक पहाड़ी पर रोबोट के परीक्षण में, पूर्ण कंट्रोलर के पास दर्जनों जटिल नियम थे। नया टूल, केवल 0.001 की मामूली त्रुटि की अनुमति देते हुए, निर्देशों को केवल पाँच नोड्स (पेड़ में निर्णय बिंदु) में बदल देता है। परिणामी नियम खूबसूरती से सरल था: "ऊपर शिखर तक जाओ, दाईं ओर किनारे तक जाओ, फिर नीचे जाओ।" यह हर सूक्ष्म परिदृश्य में गणितीय रूप से पूर्ण नहीं था, लेकिन यह पूर्णता के इतने करीब था कि अंतर नगण्य था, और यह कुछ ऐसा था जिसे एक इंसान सेकंडों में समझ सकता था।
टीम ने अपने टूल का परीक्षण अन्य अत्याधुनिक तरीकों के विरुद्ध किया और पाया कि यह एक बड़ा सुधार है। कई मामलों में, उनके टूल ने प्रतिस्पर्धा की तुलना में क्रमों के परिमाण (orders of magnitude) से छोटे डिसीजन ट्री बनाए। वास्तव में, उनके द्वारा चलाए गए लगभग आधे टेस्ट केसों के लिए, (0.01) की छोटी त्रुटि की अनुमति देने से उन्हें पूरे कंट्रोलर को एक एकल नोड (single node) तक सिकोड़ने की अनुमति मिली। इसका मतलब है कि रोबमान केवल एक मुख्य क्रिया चुन सकता है और, यदि वह क्रिया संभव नहीं है, तो किसी भी अन्य उपलब्ध चाल को यादृच्छिक रूप से चुन सकता है, और वह फिर भी पूर्ण, जटिल रणनीति की तरह ही अच्छा प्रदर्शन करेगा। यह एक तथ्य है जिसे पिछले टूल्स पूरी तरह से मिस कर गए थे।
शोधकर्ता सावधानीपूर्वक नोट करते हैं कि उन्होंने केवल अनुमान नहीं लगाया; उन्होंने हर सरलीकृत पेड़ की दोबारा जाँच करने के लिए एक शक्तिशाली मॉडल चेकर (एक उपकरण जो गणितीय रूप से सत्यापित करता है कि सिस्टम काम करता है या नहीं) का उपयोग किया। उन्होंने सिद्ध किया कि इन आक्रामक सरलीकरणों के बावजूद, रोबोट का प्रदर्शन सुरक्षा सीमा से नीचे नहीं गिरता है। उन्होंने यह भी दिखाया कि उनका टूल न केवल गंतव्य तक पहुँचने, बल्कि खतरे से बचने या पुरस्कार एकत्र करने जैसे विभिन्न प्रकार के लक्ष्यों पर भी काम करता है।
संक्षेप में, यह शोध पत्र गणितीय पूर्णता के एक छोटे, नियंत्रणीय हिस्से को मानवीय समझ के बड़े लाभ के साथ बदलने का एक तरीका प्रस्तुत करता है। कंप्यूटर को यह स्वीकार करने की अनुमति देकर कि उसे हर एक सूक्ष्म विवरण समझाने की आवश्यकता नहीं है, शोधकर्ताओं ने ऐसे कंट्रोलर बनाए हैं जो न केवल सुरक्षित और प्रभावी हैं, बल्कि इतने छोटे भी हैं कि एक पोस्टकार्ड पर आ सकें और इतने सरल हैं कि एक इंसान उन्हें अपने दोस्त को समझा सके। यह एक भ्रमित करने वाली, लाखों पन्नों की निर्देश पुस्तिका को एक स्पष्ट, तीन-चरणीय मार्गदर्शिका में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।