Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance
यह बड़े पैमाने पर किया गया प्रयोगात्मक अध्ययन इष्टतम निर्णय वृक्षों (डिसीजन ट्रीज़) के संबंध में विरोधाभासी साक्ष्यों को यह प्रदर्शित करते हुए हल करता है कि वे लक्षित उद्देश्यों को सीधे अनुकूलित करने और छोटे, अधिक सटीक मॉडल बनाने में उनकी श्रेष्ठता सिद्ध करते हैं, जबकि उन परिकल्पनाओं का खंडन करता है कि उनके लाभ अधिक डेटा के साथ कम हो जाते हैं या वे ओवरफिटिंग के प्रति अधिक संवेदनशील होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को निर्णय लेना सिखाने की कोशिश कर रहे हैं, जैसे कि एक डॉक्टर द्वारा मरीज का निदान करना या एक बैंक द्वारा ऋण पर निर्णय लेना। आपके द्वारा चुना गया उपकरण अक्सर एक "डिसीजन ट्री" (निर्णय वृक्ष) होता है। इसे एक विशाल फ्लोचार्ट के रूप में सोचें: "यदि मरीज को बुखार है, तो बाईं ओर जाएं; यदि नहीं, तो दाईं ओर जाएं।" अंततः, आप नीचे एक 'लीफ' (पत्ती) तक पहुँचते हैं जो उत्तर देता है। ये पेड़ इसलिए प्रसिद्ध हैं क्योंकि इन्हें मनुष्यों के लिए पढ़ना और समझना आसान है, जो तब महत्वपूर्ण होता है जब हमें यह जानने की आवश्यकता होती है कि मशीन ने कोई विकल्प क्यों चुना।
द दशकों से, इन पेड़ों को बनाने का मानक तरीका "ग्रीडी" (लालची) रहा है। कल्पना कीजिए कि आप घने कोहरे में एक पहाड़ चढ़ रहे हैं। एक ग्रीडी पर्वतारोही केवल अपने ठीक सामने वाले कदम को देखता है और ऊपर की ओर सबसे तीव्र पथ पर कदम बढ़ाता है, इस उम्मीद में कि यह उसे शिखर तक ले जाएगा। वे आगे नहीं देखते कि क्या वह तीव्र पथ बाद में किसी मृत अंत (डेड एंड) की ओर ले जाता है। यह तेज़ है और आमतौर पर आपको काफी ऊपर तक ले जाता है। हालाँकि, एक नया, अधिक महत्वाकांक्षी दृष्टिकोण है जिसे "ऑप्टिमल" (इष्टतम) डिसीजन ट्री कहा जाता है। केवल एक कदम आगे देखने के बजाय, यह तरीका पूरे पहाड़ का मानचित्र एक साथ बनाने की कोशिश करता है ताकि सबसे अच्छे पथ को खोजा जा सके। यह वैसा ही है जैसे कि सबके पास अंधेरे में लड़खड़ाने के बजाय आपके पास एक सैटेलाइट मैप हो। बड़ा सवाल यह रहा है: क्या यह धीमा, मानचित्र बनाने वाला दृष्टिकोण, तेज़, कोहरे वाली चढ़ाई से बेहतर है, या यह केवल समय की बर्बादी है?
डेल्फ़्ट यूनिवर्सिटी ऑफ़ टेक्नोलॉजी के शोधकर्ताओं द्वारा लिखा गया यह शोध पत्र इस बहस में गहराई से उतरता है। उन्होंने इस प्रकार के सबसे बड़े प्रयोग को चलाया, जिसमें 109 वास्तविक दुनिया के डेटासेट्स और हजारों कृत्रिम (सिंथेटिक) डेटासेट्स पर इन दोनों तरीकों का परीक्षण किया गया। उनके निष्कर्ष मशीन लर्निंग की दुनिया के लिए एक प्लॉट ट्विस्ट की तरह हैं। उन्होंने पाया कि "ऑप्टिमल" तरीका वास्तव में श्रेष्ठ है, लेकिन केवल तभी जब आप सही नियमों के साथ खेलें।
सबसे पहले, उन्होंने पाया कि "ऑप्टिमल" पेड़ अविश्वसनीय रूप से लचीले होते हैं। जबकि ग्रीडी तरीका एक विशिष्ट, कठोर नियम (जैसे कि "गिनी इम्प्योरिटी" का उपयोग करना, जो अव्यवस्था के लिए एक फैंसी गणितीय शब्द है) का उपयोग करने के लिए मजबूर है जो यह तय करता है कि कौन सा कदम उठाना है, ऑप्टिमल तरीका सीधे लक्ष्य की ओर निशाना लगा सकता है: शुद्ध सटीकता (एक्यूरेसी)। यह ऐसा है जैसे ग्रीडी पर्वतारोही केवल सबसे तीव्र चट्टान को खोजने के लिए मजबूर है, जबकि ऑप्टिमल पर्वतारोही सीधे उच्चतम बिंदु को देख सकता है, चाहे जमीन कैसी भी हो। शोध पत्र दिखाता है कि जब आप ऑप्टिमल तरीके को सीधे सटीकता के लिए लक्षित करने देते हैं, तो यह ग्रीडी वाले की तुलना में छोटे और अधिक सटीक पेड़ बनाता है।
हालाँकि, शोधकर्ताओं ने दो लोकप्रिय मिथकों का खंडन भी किया। एक मिथक यह था कि जैसे-जैसे आप कंप्यूटर को अधिक डेटा देते हैं, ग्रीडी तरीका बराबरी कर लेता है और अंतर समाप्त हो जाता है। शोध पत्र इसके विपरीत दिखाता है: अधिक डेटा के साथ, ग्रीडी तरीका वास्तव में और पीछे छूट जाता है, जिससे वह विशाल, अव्यवस्थित पेड़ बनाता है जिन्हें पढ़ना कठिन होता है, जबकि ऑप्टिमल तरीका संक्षिप्त और सटीक बना रहता है। दूसरा मिथक यह था कि ऑप्टिमल पेड़ "ओवरफिटिंग" करते हैं—यानी वे ट्रेनिंग डेटा को बहुत अच्छी तरह से याद कर लेते हैं और नए डेटा पर विफल हो जाते हैं। अध्ययन ने पाया कि जब आप उन्हें सही ढंग से ट्यून करते हैं, तो ऑप्टिमल पेड़ वास्तव में ग्रीडी वाले की तुलना में ओवरफिट होने की संभावना कम रखते हैं।
लेकिन एक पेच है। ऑप्टिमल तरीका गणनात्मक रूप से भारी (कंप्यूटेशनल रूप से जटिल) है। यह एक विशाल पहेली को हल करने की कोशिश करने जैसा है जहाँ आप प्रत्येक टुकड़े के संयोजन की जाँच करते हैं; इसमें बहुत समय और शक्ति लगती है। शोध पत्र पुष्टि करता है कि जबकि ये पेड़ विशाल डेटासेट (1,00,000 इंस्टेंस तक) को संभाल सकते हैं, वे तब संघर्ष करते हैं जब फीचर्स (पहेली के टुकड़ों) की संख्या बहुत अधिक हो जाती है। इसलिए, शोधकर्ता निष्कर्ष निकालते हैं कि जब आपको एक छोटा, अत्यधिक सटीक और समझने में आसान मॉडल की आवश्यकता होती है, विशेष रूप से यदि आपका डेटा शोर (नॉइज़) वाला या जटिल है, तो ऑप्टिमल डिसीजन ट्री सबसे अच्छा विकल्प है। लेकिन यदि आपको बस एक त्वरित उत्तर चाहिए और आप पेड़ के आकार की परवाह नहीं करते हैं, तो पुराना तरीका यानी ग्रीडी मेथड अभी भी एक विश्वसनीय, तेज़ साथी है। मुख्य सीख क्या है? यदि आप दोनों तरफ का सर्वश्रेष्ठ चाहते हैं, तो आपको अपने ऑप्टिमल ट्री को सावधानीपूर्वक ट्यून करना होगा, अन्यथा यह अपने नाम को सार्थक नहीं करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।