ArborEnum: Decision Tree Rashomon Sets over Continuous Features
यह शोधपत्र निरंतर विशेषताओं (continuous features) पर आधारित निर्णय-वृक्ष (decision-tree) रशोंन सेटों (Rashomon sets) को उनकी क्रमित संरचना का लाभ उठाते हुए सटीक रूप से सूचीबद्ध करने के लिए प्रथम एल्गोरिदम के साथ-साथ अनुमानित और 'एनीटाइम' (anytime) विधियों को प्रस्तुत करता है, जो गति और सटीकता में मौजूदा बाइनराइजेशन-आधारित दृष्टिकोणों से काफी बेहतर प्रदर्शन करते हैं और महत्वपूर्ण भविष्य कहनेवाला बहुलता (predictive multiplicity) को प्रकट करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उलझी हुई गांठ जैसी समस्या को सुलझाने की कोशिश कर रहे हैं। कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से मशीन लर्निंग नामक क्षेत्र में, हम अक्सर कंप्यूटरों से सबसे अच्छा तरीका खोजने के लिए कहते हैं, जैसे यह अनुमान लगाना कि क्या कोई ग्राहक उत्पाद खरीदेगा या क्या किसी मरीज को कोई विशेष स्थिति है। लंबे समय तक वैज्ञानिकों का मानना था कि आमतौर पर केवल एक ही एकल, पूर्ण उत्तर होता है—एक अद्वितीय "स्वर्ण मॉडल" (golden model) जो बिल्कुल सर्वश्रेष्ठ है। लेकिन इस कहानी में एक दिलचस्प मोड़ आता है जिसे राशोमोन प्रभाव (Rashochon effect) कहा जाता है। एक प्रसिद्ध फिल्म के नाम पर आधारित, यह प्रभाव बताता है कि कई पूरी तरह से अलग मॉडल लगभग एक जैसा प्रदर्शन कर सकते हैं। वे सभी "काफी अच्छे" हैं, लेकिन वे अलग-अलग सुरागों का उपयोग कर सकते हैं या डेटा को बिल्कुल अलग तरीके से देख सकते हैं।
यह क्यों मायने रखता है? क्योंकि यदि आप केवल उस एक "स्वर्ण" मॉडल की तलाश करते हैं, तो आप कई समान रूप से अच्छे विकल्पों को छोड़ सकते हैं। इनमें से कुछ विकल्प अधिक सुरक्षित, समझने में आसान या अधिक निष्पक्ष हो सकते हैं। इसका अध्ययन करने के लिए, शोधकर्ता एक राशोमोन सेट (Rashomon set) की तलाश करते हैं: उन सभी मॉडलों का संग्रह जो लगभग पूर्ण हैं। चुनौती यह है कि इस सेट को खोजना समुद्र तट पर रेत के प्रत्येक कण को गिनने जैसा है। यह एक बहुत बड़ा, अस्त-व्यस्त काम है, खासकर जब डेटा केवल "हाँ या ना" वाले उत्तरों (जैसे लाल या नीला) तक सीमित नहीं होता, बल्कि इसमें निरंतर विशेषताएं (continuous features) शामिल होती हैं—ऐसे नंबर जो कुछ भी हो सकते हैं, जैसे तापमान, ऊंचाई या कीमत, जिन्हें लाखों अलग-अलग बिंदुओं पर विभाजित किया जा सकता है।
यहीं पर एक नया अध्ययन आता है, जो ArborEnum नामक एक चतुर नए उपकरण का परिचय देता है। ArborEnum को एक ऐसे खोजकर्ता के रूप में सोचें जो एक घने, कोहरे से भरे जंगल का मानचित्र बनाने की कोशिश कर रहा है। पहले, यदि वे जंगल का मानचित्र बनाना चाहते थे, तो उन्हें इसे व्यवस्थित, वर्गाकार ग्रिड वर्गों (जिसे बाइनराइजेशन कहा जाता है) में काटने के लिए मजबूर करना पड़ता था। लेकिन ऐसा करने में, वे अक्सर जंगली परिदृश्य में मौजूद छिपे हुए रास्तों, दुर्लभ पेड़ों और महत्वपूर्ण शॉर्टकटों को खो देते थे। इस शोध के लेखकों ने एक नया प्रकार का दिशा-सूचक यंत्र बनाया है जो उन्हें जंगल को पहले से काटे बिना, उसके सटीक, निरंतर वक्रों के साथ खोजने की अनुमति देता है। उन्होंने पाया कि डेटा की सहजता (smoothness) को अनदेखा करके, पुराने तरीके "अच्छे" मॉडलों के बड़े हिस्से को खो रहे थे। उनका नया तरीका इन मॉडलों को पुराने तरीकों की तुलना में बहुत तेज़ी से—कभी-कभी सैकड़ों गुना तेज़ी से—सूचीबद्ध कर सकता है। इससे भी बेहतर, उन्होंने एक "स्मार्ट" संस्करण बनाया है जो जंगल के एक रफ स्केच से शुरू होता है और जितना अधिक आप इसे चलने देते हैं, यह उतना ही विस्तृत होता जाता है, ताकि आप पर्याप्त जानकारी मिलने पर इसे कभी भी रोक सकें। उन्होंने वास्तविक दुनिया के डेटा पर प्रयोगों के माध्यम through सिद्ध किया कि यह दृष्टिकोण न केवल समय बचाता है, बल्कि उन महत्वपूर्ण विशेषताओं और मॉडल विविधताओं को भी खोज निकालता है जिन्हें पुराने, ग्रिड-आधारित तरीकों ने पूरी तरह से अनदेखा कर दिया था।
जंगल और ग्रिड की कहानी
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं। आपके पास सुरागों का एक ढेर है, और आपको यह पता लगाने के लिए एक निर्णय वृक्ष (decision tree)—यानी प्रश्नों का एक फ्लोचार्ट—बनाने की आवश्यकता है कि किसने यह किया। आमतौर पर, आप ऐसे प्रश्न पूछेंगे जैसे, "क्या संदिग्ध की ऊंचाई 6 फीट से अधिक है?" या "क्या संदिग्ध ने टोपी पहनी है?" पुराने दिनों में, कंप्यूटर वैज्ञानिकों को पेड़ बनाने से पहले हर एक सुराग को एक सरल "हाँ या ना" वाले प्रश्न में बदलना पड़ता था। यदि कोई सुराग एक संख्या था, जैसे "संद संदिग्ध की ऊंचाई 5'11" है," तो उन्हें उसे बकेटों में बांटना पड़ता था: "क्या वह 5'6" से छोटा है?" "क्या वह 5'6" और 6'0" के बीच है?" "क्या वह 6'0" से ऊपर है?"
इस विभाजन प्रक्रिया को बाइनराइजेशन (binarization) कहा जाता है। यह एक बहती हुई नदी को जबरदस्ती चौकोर, कंक्रीट के चैनलों में बदलने जैसा है। समस्या यह है कि डेटा को इन कठोर बक्सों में डालने से, आप एक छोटी, एकदम सही लहर या एक छिपी हुई धारा को खो सकते हैं जो दरारों के बीच से बह रही है। मशीन लर्निंग की दुनिया में, इसका मतलब है कि आप डेटा को विभाजित करने का एक आदर्श तरीका मिस कर सकते हैं क्योंकि आपके "ग्रिड" में ठीक उसी जगह रेखा नहीं थी जहाँ डेटा की आवश्यकता थी।
राशोमोन प्रभाव यह विचार है कि केवल एक पूर्ण फ्लोचार्ट नहीं है। दर्जनों, शायद सैकड़ों अलग-अलग फ्लोचार्ट हैं जो उसी उच्च सटीकता के साथ रहस्य को सुलझाते हैं। कुछ ऊंचाई का उपयोग कर सकते हैं, अन्य वजन का, या दोनों का संयोजन। राशोमोन सेट उन सभी समान रूप से अच्छे फ्लोचार्टों का संग्रह है। इस सेट को खोजना बहुत उपयोगी है क्योंकि यह हमें समझने में मदद करता है कि कौन से सुराग वास्तव में महत्वपूर्ण हैं और कौन से केवल भाग्यशाली अनुमान हैं। यदि कोई सुराग लगभग हर अच्छे फ्लोचार्ट में दिखाई देता है, तो वह संभवतः एक वास्तविक कुंजी है। यदि यह केवल एक में दिखाई देता है, तो यह केवल एक इत्तेफाक हो सकता है।
पुराने मानचित्रों के साथ समस्या
लंबे समय तक, इस राशोमोन सेट को खोजने का एकमात्र तरीका "कंक्रीट चैनल" विधि (बाइनराइजेशन) का उपयोग करना था। शोधकर्ता डेटा को कुछ बकेटों में काटते थे और फिर सभी अच्छे पेड़ों को खोजने का प्रयास करते थे। लेकिन इसके दो बड़े दोष थे। पहला, खोज स्थान (search space) पहले से ही बहुत बड़ा था; केवल 2-20 बाइनरी फीचर्स के साथ ही, पृथ्वी पर रेत के कणों की संख्या से भी अधिक पेड़ मौजूद थे। दूसरा, डेटा को काटकर, वे जानकारी को फेंक रहे थे। वे एक ऐसा विभाजन मिस कर सकते थे जो एक बहुत ही विशिष्ट संख्या पर हुआ हो, जैसे 5.99 इंच, क्योंकि उनके बकेट केवल 5.5 और 6.0 थे।
यह पेपर दिखाता है कि यह "खुरदरी" बाइनराइजेशन घास के ढेर में सुई खोजने के पुराने तरीके जैसा है जहाँ आप केवल घास की ऊपरी परत को देखते हैं। आप एक सुई पा सकते हैं, लेकिन आप उन सुइयों को मिस कर देंगे जो गहराई में दबी हुई हैं या जो थोड़ी अलग आकार की हैं। लेखकों ने पाया कि जब उन्होंने डेटा को इन मोटे बक्सों में डाला, तो उन्होंने कई महत्वपूर्ण पेड़ों, महत्वपूर्ण विशेषताओं और समाधानों की वास्तविक विविधता (predictive multiplicity) को खो दिया।
नया दिशा-सूचक यंत्र: ArborEnum
यहाँ ArborEnum आता है। लेखकों ने पहला एल्गोरिदम बनाया है जो बिना पहले से काटे "निरंतर जंगल" (continuous forest) का पता लगा सकता है। डेटा को चौकोर बक्सों में डालने के बजाय, ArborEnum संख्याओं के प्राकृतिक क्रम का सम्मान करता है। यह डेटा को एक चिकनी रेखा की तरह मानता है और इसे काटने के सबसे अच्छे स्थानों की तलाश करता है, यह जानते हुए कि वहाँ हजारों संभावित कट पॉइंट हो सकते हैं।
इसे करने के लिए, उन्होंने एक चतुर चाल का उपयोग किया। कल्पना कीजिए कि आप रस्सी को काटने के लिए सबसे अच्छी जगह की तलाश कर रहे हैं। आपको हर एक मिलीमीटर का परीक्षण करने की आवश्यकता नहीं है। यदि आप जानते हैं कि 10 इंच पर काटना बुरा है, और 11 इंच पर काटना भी बुरा है, तो आप अनुमान लगा सकते हैं कि 10.5 इंच पर काटना भी बहुत अच्छा नहीं होगा। लेखों ने इन "सीमाओं" (bounds) का उपयोग करके रस्सी के उन बड़े हिस्सों को छोड़ने का तरीका विकसित किया है जिन्हें परीक्षण करने की आवश्यकता नहीं है। वे इसे प्रूनिंग (pruning) कहते हैं। यह एक ऐसे मानचित्र के होने जैसा है जो कहता है, "इस पूरी घाटी में देखने की ज़रूरत नहीं है; खजाना यहाँ नहीं है।"
उन्होंने एक "प्रॉक्सी" (proxy) प्रणाली भी पेश की। एक प्रॉक्सी को एक त्वरित, मोटे अनुमान के रूप में सोचें। हर संभावना की जांच करने का कठिन काम करने से पहले, एल्गोरिदम एक तेज़, अनुमानित अनुमान लगाता है कि क्या कोई रास्ता तलाशने योग्य है। यदि अनुमान कहता है "बिल्गी नहीं," तो वह पूरे ब्रांच को छोड़ देता है। यदि अनुमान कहता है "शायद," तो वह गहराई में जाता है। यह एल्गोरिदम को अविश्वसनीय रूप से तेज़ बनाता है। अपने परीक्षणों में, यह विधि मौजूदा विधियों की तुलना में औसतन 270 गुना तेज़ थी, और कुछ मामलों में यह अंतर और भी नाटकीय था।
"एनीटाइम" विशेषता: एक स्केच जो बेहतर होता जाता है
ArborEnum का सबसे शानदार हिस्सा इसका एनीटाइम (anytime) एल्गोरिदम है। आमतौर पर, यदि आप एक पूर्ण मानचित्र चाहते हैं, तो आपको कंप्यूटर के पूरा काम खत्म करने तक प्रतीक्षा करनी पड़ती है। लेकिन क्या होगा यदि आपको अभी उत्तर चाहिए? "एनीटाइम" संस्करण जंगल का एक बहुत ही रफ स्केच लेकर शुरू होता है। यह केवल कुछ प्रमुख कट पॉइंट्स को देख सकता है। यह अच्छे पेड़ों की एक सूची देता है जो उस रफ स्केच पर आधारित है।
फिर, जैसे-जैसे आप इसे चलने देते हैं, यह अपने मानचित्र में अधिक और अधिक कट पॉइंट्स जोड़ता जाता है। यह स्केच को परिष्कृत करता है, अंतराल को भरता है। आप इसे जितना अधिक समय देंगे, पेड़ों की सूची उतनी ही विस्तृत और सटीक होती जाएगी। अंततः, यदि आप इसे पर्याप्त समय तक चलने देते हैं, तो यह सभी अच्छे पेड़ों की सटीक, पूर्ण सूची खोज लेता है। सबसे अच्छी बात? आप इसे किसी भी समय रोक सकते हैं। यदि आपको 5 मिनट में उत्तर चाहिए, तो आपको एक अच्छा अनुमान मिलता है। यदि आपके पास 5 घंटे हैं, तो आपको एक लगभग पूर्ण उत्तर मिलता है। लेखकों ने पाया कि इस "रफ स्टार्ट" के बावजूद, विधि ने लगभग सभी महत्वपूर्ण पेड़ों को खोज लिया, और मानचित्र को परिष्कृत करने में लगने वाला अतिरिक्त समय बहुत कम था—मौजूदा बिंदुओं के अंतिम सेट पर गैर-परिष्कृत संस्करण चलाने की तुलना में केवल लगभग 2.7% अधिक समय।
उन्होंने क्या पाया और इसका क्या अर्थ है
प्रयोग 20 अलग-अलग वास्तविक दुनिया के डेटासेट्स पर किए गए थे, जिनमें बाइक रेंटल से लेकर क्रेडिट कार्ड डिफॉल्ट तक शामिल थे। परिणाम स्पष्ट थे:
- खुरदरी बाइनराइजेशन बहुत कुछ मिस करती है: जब उन्होंने पुराने "काटे गए" तरीके की तुलना नए निरंतर तरीके से की, तो पुराने तरीके ने कई पेड़ों और महत्वपूर्ण विशेषताओं को मिस कर दिया। यह धुंधली खिड़की से फोटो देखने जैसा था; आप सामान्य आकार देख सकते थे, लेकिन विवरण चूक गए।
- गति वास्तविक है: नया तरीका कई गुना तेज़ था। "Bike" नामक एक डेटासेट पर, नया इष्टतम (optimal) तरीका एकमात्र अन्य विधि की तुलना में 63 गुना तेज़ था जो वास्तव में काम कर सकती थी।
- सटीकता उच्च है: भले ही उन्होंने तेज़, अनुमानित "प्रॉक्सी" विधि का उपयोग किया हो, उन्होंने उन पेड़ों का 94.5% से 100% तक सफलतापूर्वक खोज निकाला जो पूर्ण विधि ने खोजे थे। इसका मतलब है कि आप बिना अनंत प्रतीक्षा किए राशोमोन सेट के लगभग सभी लाभ प्राप्त कर सकते हैं।
- "एनीटाइम" दृष्टिकोण काम करता है: वह विधि जो रफ स्टार्ट लेती है और बेहतर होती जाती है, बहुत कुशल साबित हुई। इसने महत्वपूर्ण विशेषताओं को जल्दी खोज लिया, जिसका अर्थ है कि आप पूर्ण गणना की प्रतीक्षा किए बिना जल्दी से उपयोगी अंतर्दatz प्राप्त कर सकते हैं।
यह पेपर यह दावा नहीं करता है कि इसने मशीन लर्निंग की हर समस्या को हल कर दिया है। यह यह नहीं कहता कि निरंतर विशेषताएं ही एकमात्र तरीका हैं, या यह तरीका हर प्रकार के मॉडल के लिए काम करता है। लेकिन यह ठोस प्रमाण के साथ दिखाता है कि निर्णय वृक्षों (decision trees) के लिए, निरंतर डेटा को निरंतर मानना एक गेम-चेंजर है। यह हमें बिना अपना मानसिक संतुलन खोए या कंप्यूटर को थकाए, राशोमोन सेट के पूर्ण चित्र को देखने की अनुमति देता है।
संक्षेप में, ArborEnum अच्छे समाधानों के परिदृश्य का पता लगाने का एक नया तरीका है। यह हमें दुनिया को एक ऐसे ग्रिड में मजबूर करने से रोकता है जो उसमें फिट नहीं बैठता, और इसके बजाय हमें उन चिकने, निरंतर रास्तों पर चलने की अनुमति देता है जहाँ वास्तविक उत्तर अक्सर छिपे होते हैं। चाहे आप एक डेटा वैज्ञानिक हों जो सर्वश्रेष्ठ मॉडल की तलाश कर रहे हों या केवल एक जिज्ञासु व्यक्ति जो यह जानना चाहता है कि कंप्यूटर निर्णय कैसे लेते हैं, यह कार्य सुझाव देता है कि वहां उतने अच्छे उत्तर मौजूद हैं जितने हमने सोचे थे, और अब हमारे पास उन्हें खोजने का एक बेहतर तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।