🤖 machine learning

Woodelf++: A Fast and Unified Partial Dependence Plot Algorithm for Decision Tree Ensembles

Woodelf++ एक एकीकृत, उच्च-प्रदर्शन वाला एल्गोरिदम है जो डिसीजन ट्री एन्सेम्बल्स के लिए पार्शियल डिपेंडेंस प्लॉट्स, जॉइंट-PDPs और एनी-ऑर्डर-PDIVs की गणना को महत्वपूर्ण रूप से तेज करता है, जो scikit-learn जैसे मौजूदा तरीकों की तुलना में पांच गुना अधिक (पांच ऑर्डर्स ऑफ मैग्नीट्यूड तक) गति प्राप्त करता है।

मूल लेखक: Ron Wettenstein, Alexander Nadel, Udi Boker

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ron Wettenstein, Alexander Nadel, Udi Boker

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन रहस्यमय, रोबोट शेफ (एक Decision Tree Ensemble) है जो आपके द्वारा उपयोग की जाने वाली सामग्रियों के आधार पर यह तय करता है कि आपको क्या भोजन परोसना है। आप जानना चाहते हैं: "यदि मैं अधिक नमक का उपयोग करता हूँ, तो क्या सूप अधिक नमकीन हो जाएगा?" या "नमक और काली मिर्च मिलकर कैसे काम करते हैं?"

इस उत्तर को खोजने के लिए, डेटा वैज्ञानिक Partial Dependence Plots (PDPs) नामक उपकरणों का उपयोग करते हैं। इसे एक "क्या होगा अगर" (what-if) सिम्युलेटर के रूप में समझें। आप रोबोट को कहते हैं, "अपने सामान्य अवयवों को भूल जाओ, कल्पना करो कि हर ग्राहक ने ठीक 5 ग्राम नमक के साथ ऑर्डर दिया था," और फिर आप पूछते हैं, "औसत भोजन का अनुमान क्या है?" आप इसे 5g, 10g, 15g, इत्यादि के लिए करते हैं और एक रेखा खींचते हैं जो रुझान (trend) को दर्शाती है।

समस्या यह है कि इस सिमुलेशन को चलाने वाले वर्तमान उपकरण अविश्वसनीय रूप से धीमे हैं। यदि आपके पास एक विशाल डेटासेट है (जैसे 4,00,000 ग्राहक), तो पुराने तरीके ऐसे हैं जैसे समुद्र के किनारे रेत के हर एक कण को एक-एक करके गिनना। कुछ गणनाओं को पूरा होने में लाखों वर्ष लग सकते हैं।

यहाँ आता है WOODELF++, एक नया, सुपर-फास्ट एल्गोरिदम जिसे इस पेपर में पेश किया गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग करें:

1. पुराना तरीका: "ब्रूट फोर्स" पर्यटक (The "Brute Force" Tourist)

कल्पना कीजिए कि आप जानना चाहते हैं कि रोबोट नमक के प्रति कैसी प्रतिक्रिया देता है। पुराना तरीका (जो scikit-learn जैसे लोकप्रिय उपकरणों में उपयोग किया जाता है) एक ऐसे पर्यटक की तरह है जो रोबोट के पास जाता है, नमक को 5g में बदलता है, एक भविष्यवाणी मांगता है, उसे लिख लेता है, फिर नमक को 6g में बदलता है, फिर से पूछता है, और इसी तरह आगे बढ़ता रहता है।

समस्या: यदि आपके पास हजारों ग्राहक और सैकड़ों सामग्रियां हैं, तो रोबोट को हर एक सवाल के लिए अपने पूरे दिमाग को हजारों बार चलाना पड़ता है। यह थका देने वाला और धीमा है।

2. नया तरीका: "जादुई ब्लूप्रिंट" (The "Magic Blueprint" - WOODELF++)

लेखकों ने महसूस किया कि डिसीजन ट्री (रोबोट का दिमाग) वास्तव में रैंडम नहीं होते; वे सख्त नियमों (जैसे "यदि नमक > 5g, तो बाएं जाएं; यदि नहीं, तो दाएं जाएं") पर बने होते हैं।

रोबोट को बार-बार अपना दिमाग चलाने के लिए कहने के बजाय, WOODELF++ कुछ चतुर करता है:

यह रोबोट के दिमाग को "बुलियन लॉजिक ब्लूप्रिंट" (Boolean Logic Blueprint) में अनुवादित करता है। कल्पना कीजिए कि आप रोबोट के जटिल डिसीजन ट्री को "If/Then" नियमों के एक सरल, संक्षिप्त मानचित्र में बदल रहे हैं (जिसे गणितीय रूप से Weighted Disjunctive Normal Form या WDNF कहा जाता है)।
यह "लोकल एट्रिब्यूशन" (Local Attribution) का उपयोग करता है। पूरी दुनिया का सिमुलेशन करने के बजाय, यह मानचित्र के विशिष्ट "रास्तों" (paths) को देखता है। यह पूछता है, "यदि मैं इस विशिष्ट पथ पर केवल इस एक नियम को बदल दूँ, तो परिणाम कैसे बदलेगा?"
परिणाम: क्योंकि यह पूरे सिमुलेशन को दोबारा चलाने के बजाय ब्लूप्रिंट के साथ काम कर रहा है, यह एक ही बार में सभी ग्राहकों के लिए उत्तर की गणना कर सकता है।

3. WOODELF++ की तीन महाशक्तियाँ (Three Superpowers)

पेपर का दावा है कि यह नया तरीका एक "एकीकृत" (unified) उपकरण है, जिसका अर्थ है कि यह तीन विशिष्ट कार्य अन्य सभी से बहुत तेज़ी से करता है:

A. सिंगल-फीचर प्लॉट (PDP)

यह क्या करता है: दिखाता है कि एक सामग्री (जैसे नमक) औसत रूप से भोजन को कैसे प्रभावित करती है।
गति में सुधार: 4,00,000 पंक्तियों वाले डेटासेट पर, WOODELF++ वर्तमान सर्वश्रेष्ठ टूल (FastPD) की तुलना में 6 गुना तेज़ है और मानक टूल (scikit-learn) की तुलना में 1,00,000 गुना तेज़ है।
"फुल PDP" नवाचार: आमतौर पर, आपको परीक्षण करने के लिए विशिष्ट बिंदु चुनने होते हैं (जैसे 5g, 10g, 15g)। यदि रोबोट का कोई अजीब नियम है जो ठीक 12.3g पर सक्रिय होता है, तो आप उसे मिस कर सकते हैं। WOODELF++ एक "Full PDP" उत्पन्न कर सकता है जो रोबोट द्वारा वास्तव में उपयोग किए जाने वाले प्रत्येक थ्रेशोल्ड (threshold) की जांच करता है। यह सीढ़ियों के चरणों का अनुमान लगाने के बजाय सीढ़ी के हर एक कदम की जांच करने जैसा है।

B. टू-फीचर प्लॉट (Joint-PDP)

यह क्या करता है: दिखाता है कि दो सामग्रियां कैसे परस्पर क्रिया करती हैं (जैसे, "क्या नमक केवल तभी सूप को बेहतर बनाता है जब उसमें काली मिर्च भी हो?")।
गति में सुधार: यह गणना करना और भी कठिन है क्योंकि आपको नमक और काली मिर्च के हर संयोजन का परीक्षण करना होता है। WOODELF++ "ब्लूप्रिंट" लॉजिक का पुन: उपयोग करके इसे कुशलतापूर्वक संभालता है, जिससे यह प्रतिस्पर्धा की तुलना में 6 गुना तेज़ हो जाता है।

C. इंटरैक्शन डिटेक्टिव (Any-Order-PDIVs)

यह क्या करता है: यह बड़ा काम है। यह पता लगाने की कोशिश करता है कि सामग्रियों के समूह कैसे परस्पर क्रिया करते हैं। क्या नमक, काली मिर्च और लहसुन सभी एक अजीब तरीके से मिलकर काम करते हैं?
"लाखों साल" का अंतर: पेपर यहाँ एक चौंकाने वाला दावा करता है। एक बड़े डेटासेट के लिए, वर्तमान सर्वश्रेष्ठ टूल (FastPD) इन सभी इंटरैक्शन को कैलकुलेट करने में सैद्धांतिक रूप से 1,000,000 से अधिक वर्षों का समय लेगा।
WOODELF++ का कमाल: यह वही गणना 5 मिनट में कर देता है।
कैसे? पुराने उपकरण इस समस्या को एक्सपोनेंशियल (exponential) मानते हैं (हर नए इंग्रीडिएंट के साथ काम दोगुना हो जाता है)। WOODELF++ पेड़ों के भीतर "पाथ्स" (paths) को देखकर इस समस्या को तोड़ देता है, जिससे जटिलता एक्सपोनेंशियल से बदलकर बहुत अधिक प्रबंधनीय हो जाती है।

4. यह क्यों मायने रखता है (पेपर के अनुसार)

पेपर यह दावा नहीं करता कि यह सीधे तौर पर बीमारियों का इलाज करेगा या शेयर बाजार की भविष्यवाणी करेगा। इसके बजाय, यह दावा करता है कि यह एक कंप्यूटेशनल बॉटलनेक (computational bottleneck) को हल करता है।

पहुंच (Accessibility): यह बड़े डेटासेट पर जटिल स्पष्टीकरणों (जैसे "Full PDPs") को संभव बनाता है, जो पहले गणना करने में बहुत धीमे थे।
सटीकता (Accuracy): प्रत्येक स्प्लिट थ्रेशोल्ड की जांच करने की क्षमता के साथ, यह छिपे हुए पैटर्न (जैसे किसी विशिष्ट वेतन राशि पर अचानक धोखाधड़ी का जोखिम बढ़ना) को प्रकट कर सकता है जिन्हें मानक, सैंपल्ड प्लॉट्स मिस कर सकते हैं।
दक्षता (Efficiency): यह शुद्ध पायथन (Python) में चलता है और और भी तेज़ होने के लिए कंप्यूटर ग्राफिक्स कार्ड (GPUs) का भी उपयोग कर सकता है।

सारांश उपमा (Summary Analogy)

यदि पुराने तरीके पेड़ों के एक जंगल के हर एक पत्ते को एक-एक करके गिनने जैसे थे, तो WOODELF++ जंगल की सैटेलाइट फोटो लेने और पत्तियों को तुरंत गिनने के लिए एक फॉर्मूले का उपयोग करने जैसा है। यह केवल तेज़ी से नहीं गिनता; यह समस्या को देखने का तरीका बदल देता है, एक असंभव कार्य (लाखों वर्ष लेना) को एक मामूली कार्य (पाँच मिनट) में बदल देता है।

तकनीकी सारांश: WOODELF++

समस्या विवरण

डिसीजन ट्री एंसेम्बल्स (decision tree ensembles) वास्तविक दुनिया के अनुप्रयोगों में सर्वव्यापी हैं, फिर भी उनके भविष्यवाणियों की व्याख्या करना विश्वास और निर्णय लेने के लिए एक महत्वपूर्ण चुनौती बनी हुई है। मॉडलों की व्याख्या करने के लिए तीन प्राथमिक उपकरण हैं: पार्शियल डिपेंडेंस प्लॉट्स (PDPs), जॉइंट पार्शियल डिपेंडेंस प्लॉट्स (Joint-PDPs), और पार्शियल डिपेंडेंस इंटरेक्शन वैल्यूज (PDIVs)।

PDPs यह विज़ुअलाइज़ करते हैं कि एक एकल विशेषता (feature) औसत मॉडल भविष्यवाणी को कैसे प्रभावित करती है।
Joint-PDPs संयुक्त प्रभावों को प्रकट करने के लिए इसे दो विशेषताओं के युग्मों तक विस्तारित करते हैं।
PDIVs (विशेष रूप से "Any-Order" कार्य) डेटासेट की प्रत्येक पंक्ति के लिए सभी संभावित फीचर सबसेट्स में इंटरेक्शन प्रभावों को मात्रात्मक रूप से मापते हैं।

वर्तमान अत्याधुनिक (state-of-the-art) विधियाँ, जैसे कि scikit-learn और FastPD एल्गोरिदम (GLEX पैकेज में कार्यान्वित) में मौजूद विधियाँ, अत्यधिक कम्प्यूटेशनल जटिलता से ग्रस्त हैं। सहज (naive) दृष्टिकोण नमूनों (samples) और विशेषताओं की संख्या के साथ रैखिक रूप से स्केल करते हैं, लेकिन ट्री डेप्थ (tree depth) और शामिल इंटरेक्शन की विशेषताओं की संख्या के साथ तेजी से (exponentially) बढ़ते हैं। बड़े डेटासेट (जैसे 400,000 पंक्तियाँ) और जटिल इंटरेक्शन कार्यों (Any-Order-PDIVs) के लिए, मौजूदा विधियाँ या तो अव्यावहारिक रूप से धीमी हैं (दिनों या वर्षों तक लेती हैं) या वे अनुमानों (approximations) पर निर्भर करती हैं जो तीव्र विच्छेदन (sharp discontinuities) जैसे महत्वपूर्ण मॉडल व्यवहारों को मिस कर सकती हैं।

कार्यप्रणाली (Methodology)

लेखक डिसीजन ट्री एंसेम्बल्स पर PDP, Joint-PDP, और Any-Order-PDIVs की गणना के लिए एक एकीकृत और कुशल फ्रेमवर्क, WOODELF++ पेश करते हैं। यह दृष्टिकोण लेखकों के पिछले कार्य, WOODELF पर आधारित है, जो SHAP वैल्यूज की कुशलतापूर्वक गणना करने के लिए डिसीजन ट्री एंसेम्बल्स को Weighted Disjunctive Normal Form (WDNF) में प्रस्तुत Pseudo-Boolean (PB) फंक्शन्स के रूप में मॉडल करता है।

मुख्य तकनीकी नवाचार निम्नलिखित हैं:

WDNF और रेखीयता (Linearity) के माध्यम से एकीकरण:
लेखक PDP, Joint-PDP, और PDIV कार्यों को WDNF फॉर्मूला पर को-ऑपरेटिव-गेम मेट्रिक्स के रूप में तैयार करते हैं। WDNF प्रतिनिधित्व के भीतर व्यक्तिगत "क्यूब्स" (कंजंक्शन्स ऑफ लिटरेल्स) से परिणामों को एकत्रित करके जटिल वैश्विक स्पष्टीकरणों की गणना करने के लिए वे रेखीयता गुण (linearity property) का लाभ उठाते हैं। यह प्रत्येक सैंपल-फीचर संयोजन के लिए मॉडल का पुनर्मूल्यांकन करने की आवश्यकता को समाप्त करता है।
कुशल उपभोक्ता डेटासेट निर्माण (Efficient Consumer Dataset Construction):
PDPs और Joint-PDPs को कुशलतापूर्वक कंप्यूट करने के लिए, लेखक कॉम्पैक्ट "कंज्यूमर डेटासेट्स" ( $C$ ) का निर्माण करते हैं जो लोकल-एट्रिब्यूशन एल्गोरिदम को ग्लोबल डिपेंडेंस प्लॉट्स की गणना करने की अनुमति देते हैं।
- PDPs के लिए, वे सैंपल किए गए फीचर वैल्यूज का प्रतिनिधित्व करने वाले $k$ पंक्तियों वाला एक डेटासेट बनाते हैं।
- Joint-PDPs के लिए, वे एक नवीन निर्माण पेश करते हैं जो फीचर इंडेक्स को बाइनरी में एनकोड करके और np.tile एवं np.repeat ऑपरेशन्स का उपयोग करके डेटासेट के आकार को $O(k^2 f)$ से घटाकर $O(k^2 \log f)$ कर देता है, जिससे यह सुनिश्चित होता है कि सभी पेयरवाइज वैल्यू कॉम्बिनेशन बिना किसी अनावश्यक पंक्ति के प्रस्तुत हों।
फुल PDPs (Full PDPs):
यह पहचानते हुए कि सैंपल किए गए मानों ( $k$ ) वाले मानक PDPs संकीर्ण स्पाइक्स या सिंगल-वैल्यू प्रभावों (जैसे कि एक फ्रॉड मॉडल द्वारा विशिष्ट डिफॉल्ट सैलरी को फ्लैग करना) को मिस कर सकते हैं, लेखक Full PDPs का प्रस्ताव करते हैं। मनमाने सैंपलिंग के बजाय, Full PDPs ट्री नोड्स से सभी स्प्लिट थ्रेशोल्ड्स (split thresholds) का उपयोग करते हैं। चूंकि डिसीजन ट्री की भविष्यवाणियां थ्रेशोल्ड के बीच पीसवाइज़ कांस्टेंट (piecewise constant) होती हैं, इसलिए यह विधि न्यूनतम मूल्यांकन बिंदुओं के साथ एंसेम्बल के सटीक व्यवहार को कैप्चर करती है।
Any-Order-PDIVs के लिए जटिलता में कमी:
सबसे महत्वपूर्ण सैद्धांतिक योगदान Any-Order-PDIVs के लिए जटिलता में कमी है।
- Naive/FastPD: FastPD पेड़ों को स्वतंत्र रूप से प्रोसेस करता है, जिसके परिणामस्वरूप सबसे खराब स्थिति में $2^{2D}$ (जहाँ $D$ ट्री डेप्थ है) की जटिलता निर्भरता होती है।
- WOODELF++: प्रत्येक रूट-टू-लीफ पाथ को अलग से प्रोसेस करके और WDNF पर विशिष्ट PDIV मेट्रिक की संरचना का उपयोग करके, जटिलता निर्भरता को $4^D$ तक कम कर दिया गया है। यह अत्याधुनिक विधियों की तुलना में एक घातीय (exponential) सुधार है।
अनुमान (Approximation) और GPU सपोर्ट:
यह फ्रेमवर्क स्वाभाविक रूप से पाथ-डिपेंडेंट (Path-Dependent) अनुमानों का समर्थन करता है (जो बैकग्राउंड डेटासेट को खाली सेट करने के बराबर है) और इसे GPU एक्सेलरेशन के समर्थन के साथ शुद्ध पायथन (pure Python) में लागू किया गया है।

मुख्य योगदान (Key Contributions)

PDP और Joint-PDP में गति वृद्धि: WOODELF++ बड़े डेटासेट्स पर PDP और Joint-PDP कार्यों के लिए FastPD की तुलना में लगभग 6× की गति वृद्धि और scikit-learn की तुलना में पाँच क्रम की परिमाण (five orders of magnitude) तक की गति वृद्धि प्राप्त करता है।
Any-Order-PDIVs के लिए घातीय जटिलता में सुधार: लेखक प्रदर्शित करते हैं कि संतुलित पेड़ों के लिए, जटिलता इनपुट साइज में घातीय (FastPD का $2^{2D}$ ) से बदलकर बहुपद (polynomial) (WOODELF++ का $4^D$ ) हो जाती है। अनुभवजन्य रूप से, यह 400,000 नमूनों पर Any-Order-PDIVs के लिए रनटाइम को अनुमानित 1,000,000 वर्षों (FastPD) से घटाकर 5 मिनट (WOODELF++) कर देता है।
Full PDPs की शुरुआत: ट्री एंसेम्बल्स की पूर्ण पीसवाइज़-कांस्टेंट संरचना को कैप्चर करने के लिए एक नवीन विधि, जो सैंपल किए गए PDPs द्वारा मिस किए जाने वाले ओवरफिटिंग और मोनोटोनिसिटी उल्लंघन का पता लगाने में सक्षम है।
एकीकृत फ्रेमवर्क: यह पेपर अनुमानित PDP, सटीक PDP, और पाथ-डिपेंडेंट SHAP के बीच एक सरल संबंध स्थापित करता है, जो उन्हें एक एकल एल्गोरिथमिक फ्रेमवर्क के तहत एकीकृत करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो बड़े, व्यापक रूप से उपयोग किए जाने वाले डेटासेट्स पर WOODELF++ का मूल्यांकन किया: IEEE-CIS (472k पंक्तियाँ, 397 विशेषताएँ) और KDD Cup 1999 (4.9M पंक्तियाँ, 127 विशेषताएँ)। मॉडल को 100 पेड़ों और अधिकतम डेप्थ 6 के साथ HistGradientBoostingRegressor का उपयोग करके प्रशिक्षित किया गया था।

PDP प्रदर्शन: IEEE-CIS पर, WOODELF++ ने FastPD (99 सेकंड) और scikit-learn (58.5 मिनट) की तुलना में 13.1 सेकंड (GPU) में सटीक PDP (k=5) की गणना की।
Joint-PDP प्रदर्शन: Joint-PDPs (k=5) के लिए, WOODELF++ ने 130 सेकंड (FastPD) और अनुमानित 35 दिनों (scikit-learn) के मुकाबले 25 सेकंड (GPU) का समय लिया।
Any-Order-PDIVs: 10,000 नमूनों के साथ IEEE-CIS पर, WOODELF++ ने कार्य को 22.6 सेकंड (GPU) में पूरा किया। FastPD को अनुमानित रूप से 60,000 वर्षों की आवश्यकता थी।
सटीकता (Correctness): लेखकों ने सत्यापित किया कि WOODELF++ के आउटपुट scikit-learn और प्रत्यक्ष PDIV गणनाओं से अधिकतम 0.00001 के अंतर के साथ मेल खाते हैं।

महत्व (Significance)

यह पेपर दावा करता है कि WOODELF++ डिसीजन ट्री एंसेम्बल्स की व्याख्या को व्यावहारिक रूप से बदलने की क्षमता रखता है। Any-Order-PDIVs की जटिलता को अव्यवहारिक से व्यावहारिक में बदलकर, यह उन उच्च-क्रम (high-order) फीचर इंटरेक्शन के विश्लेषण को सक्षम बनाता है जो पहले कम्प्यूटेशनल रूप से असंभव थे। इसके अलावा, Full PDPs की शुरुआत विशेषज्ञों को ट्री मॉडल्स के सटीक निर्णय सीमाओं (decision boundaries) को विज़ुअलाइज़ करने की अनुमति देती है, जो सैंपल किए गए अनुमानों की सीमाओं से आगे जाती है। लेखक WOODELF++ को स्वास्थ्य सेवा, वित्त और पारिस्थितिकी जैसे क्षेत्रों में स्केलेबल, भरोसेमंद AI के लिए एक आवश्यक उपकरण के रूप में देखते हैं जहाँ गहरे मॉडल समझ की आवश्यकता होती है।