🤖 machine learning

Extending Explainable Ensemble Trees (E2Tree) to regression contexts

यह शोध पत्र 'एक्सप्लेनेबल एनसेंबल ट्रीज़' (E2Tree) पद्धति को, जिसे मूल रूप से वर्गीकरण (classification) के लिए डिज़ाइन किया गया था, असमानता मापों (dissimilarity measures) का लाभ उठाकर रिग्रेशन संदर्भों तक विस्तारित करता है ताकि प्रेडिक्टर-रिस्पॉन्स संबंधों और प्रेडिक्टर जुड़ावों दोनों को ग्राफिक रूप से प्रदर्शित किया जा सके, जिससे रैंडम फॉरेस्ट मॉडलों की पारदर्शिता बढ़ाई जा सके।

मूल लेखक: Massimo Aria, Agostino Gnasso, Carmela Iorio, Marjolein Fokkema

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Massimo Aria, Agostino Gnasso, Carmela Iorio, Marjolein Fokkema

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक रहस्य सुलझाने के लिए जासूसों की एक सुपर-स्मार्ट टीम (Random Forest) है जो मिलकर काम कर रही है। प्रत्येक जासूस सबूत के एक छोटे से हिस्से को देखता है और एक अनुमान लगाता है। जब वे सभी वोट करते हैं, तो उनका संयुक्त अनुमान अविश्वसनीय रूप से सटीक होता है। हालाँकि, क्योंकि वहाँ बहुत सारे जासूस हैं और वे सब एक-दूसरे के ऊपर बोल रहे हैं, यह बताना असंभव है कि उन्होंने अपने अंतिम निष्कर्ष तक बिल्कुल कैसे पहुँचा। यह टीम एक "ब्लैक बॉक्स" (black box) है—आपको उत्तर तो मिलता है, लेकिन आप उनके तर्क को नहीं देख पाते।

यह शोध पत्र एक नए टूल का परिचय देता है जिसे E2Tree (Explainable Ensemble Trees) कहा जाता है, जो एक अनुवादक (translator) के रूप में कार्य करता है। यह जासूसों की टीम के अराजक और जटिल निर्णयों को लेता है और उन्हें एक एकल, स्पष्ट, आसानी से पढ़े जाने वाले फ्लोचार्ट में व्यवस्थित करता है।

यहाँ इस शोध पत्र का विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है:

1. समस्या: "ब्लैक बॉक्स" (The Black Box)

मशीन लर्निंग की दुनिया में, Random Forest जैसे उपकरण चीजों की भविष्यवाणी करने (जैसे कि एक कार की कीमत कितनी होगी या एक पौधे के बढ़ने की गति कितनी होगी) में बहुत अच्छे हैं। लेकिन वे ऊन के एक विशाल, उलझे हुए गोले की तरह हैं। आप सिरे को खींच सकते हैं और परिणाम प्राप्त कर सकते हैं, लेकिन आप उसके अंदर के पैटर्न को नहीं देख सकते।

लक्ष्य: लेखक उस ऊन को बिना उसकी मजबूती खोए सुलझाना चाहते हैं। वे Random Forest की उच्च सटीकता को बनाए रखना चाहते हैं, लेकिन उसे एक सरल निर्णय वृक्ष (decision tree) जैसा बनाना चाहते हैं जिसे एक इंसान समझ सके।

2. समाधान: E2Tree

लेखकों ने पहले वर्गीकरण (classification) कार्यों (चीजों को श्रेणियों में छाँटना, जैसे "बिल्ली" बनाम "कुत्ता") के लिए E2Tree बनाया था। इस शोध पत्र में, उन्होंने E2Tree को रिग्रेशन (regression) कार्यों को संभालने के लिए सिखाया है।

रिग्रेशन की उपमा: चीजों को बक्सों में छाँटने के बजाय, रिग्रेशन एक विशिष्ट संख्या की भविष्यवाणी करने जैसा है, जैसे कि एक कार की सटीक गति या घर की कीमत।
जादुई ट्रिक: E2Tree केवल एक समय में एक वेरिएबल को नहीं देखता है। यह देखता है कि वेरिएबल्स आपस में कैसे "नृत्य" करते हैं। यह एक विशेष गणितीय ट्रिक का उपयोग करता है जिसे डिसिमिलैरिटी मैट्रिक्स (dissimilarity matrix) कहा जाता है।
- इसे एक बैठने के चार्ट की तरह समझें: कल्पना कीजिए कि आपके पास लोगों से भरा एक कमरा है। Random Forest ने पहले ही समान लोगों को विभिन्न समूहों में अलग-अलग मेजों पर समूहबद्ध कर दिया है। E2Tree यह देखता है कि दो विशिष्ट लोग उन अलग-अलग समूहों में कितनी बार एक ही मेज पर बैठे। यदि वे अक्सर एक साथ बैठे, तो वे "समान" हैं। यदि वे शायद ही कभी एक साथ बैठे, तो वे "अलग" हैं।

3. यह कैसे काम करता है (नुस्खा/Recipe)

शोध पत्र इस नए, स्पष्ट पेड़ (tree) को बनाने के लिए चरण-दर-चरण प्रक्रिया का वर्णन करता है:

समानता मापना (Measure Similarity): यह गणना करता है कि डेटा बिंदुओं के जोड़े (जैसे दो विशिष्ट कारें या दो विशिष्ट फूल) कितनी बार Random Forest के भीतर एक ही "समूह" में आते हैं।
"फिट" की जाँच करना (Check the "Fit"): यह जाँचता है कि क्या समूह समझ में आने वाले हैं। संख्याओं की भविष्यवाणी करने की दुनिया (रिग्रेशन) में, यह पूछता है: "क्या इस समूह के नंबर एक-दूसरे के करीब हैं?" यदि नंबर इधर-उधर बिखरे हुए हैं, तो वह समूह बहुत उपयोगी नहीं है।
पेड़ बनाना (Build the Tree): यह डेटा को विभाजित करना शुरू करता है, ठीक वैसे ही जैसे एक सामान्य पेड़ करता है, लेकिन यह विभाजित करने के लिए उन समानता स्कोर का उपयोग करता है।
रोकने के नियम (Stop Rules): इसे पता है कि कब विभाजन रोकना है। यह तब रुक जाता है जब समूह पहले से ही बहुत समान होते हैं या यदि उन्हें और अधिक विभाजित करने से परिणाम में कोई बदलाव नहीं आता (जैसे कि दो समूहों के लोगों की औसत ऊंचाई की तुलना करना, इससे पहले कि उन्हें और अधिक अलग करने का प्रयास किया जाए)।

4. प्रमाण: दो उदाहरण

लेखकों ने अपने नए "अनुवादक" का परीक्षण करने के लिए दो वास्तविक दुनिया के डेटासेट पर परीक्षण किया:

फूल का परीक्षण (Iris Dataset):
- उन्होंने अन्य मापों के आधार पर फूल की पंखुड़ी की लंबाई की भविष्यवाणी करने की कोशिश की।
- परिणाम: E2Tree ने जटिल तर्क को सफलतापूर्वक फिर से बनाया। इसने एक स्पष्ट मार्ग दिखाया: "यदि पंखुड़ी की चौड़ाई छोटी है AND प्रजाति X है, तो पंखुड़ी की लंबाई Y है।"
- सत्यापन: उन्होंने Random Forest द्वारा बनाए गए "मानचित्र" की तुलना E2Tree द्वारा बनाए गए "मानचित्र" से की। वे 90% समान थे, जिससे सिद्ध हुआ कि अनुवादक ने मूल अर्थ को नहीं खोया।
कार का परीक्षण (Auto MPG Dataset):
- उन्होंने वजन, इंजन के आकार और वर्ष के आधार पर एक कार कितने माइलेज (MPG) देती है, इसकी भविष्यवाणी करने की कोशिश की।
- परिणाम: E2Tree ने एक दृश्य मानचित्र (visual map) बनाया जो दिखाता है कि कैसे "भारी वजन" या "बड़ा इंजन" ईंधन दक्षता को कम करता है। इसने "If-Then" नियमों को स्पष्ट रूप से दिखाया (जैसे, "यदि कार भारी है AND पुरानी है, तो इसे कम MPG मिलता है")।
- सत्यापन: यहाँ तक कि अधिक जटिल डेटा (अधिक कार फीचर्स) के साथ भी, E2Tree का मानचित्र लगभग 75% बार Random Forest के तर्क से मेल खाता था।

5. यह क्यों महत्वपूर्ण है

शोध पत्र का दावा है कि E2Tree एक शक्तिशाली उपकरण है क्योंकि:

यह पारदर्शी है: यह एक भ्रमित करने वाले "ब्लैक बॉक्स" को एक स्पष्ट फ्लोचार्ट में बदल देता है।
यह सटीक है: यह मूल Random Forest की उच्च भविष्यवाणी शक्ति को बनाए रखता है।
यह संबंधों को दर्शाता है: यह केवल यह नहीं कहता कि "वजन महत्वपूर्ण है।" यह दिखाता है कि वजन अन्य कारकों (जैसे इंजन का आकार) के साथ कैसे परस्पर क्रिया करता है ताकि अंतिम परिणाम बन सके।

संक्षेप में: लेखकों ने एक पुल बनाया है जो सुपर-स्मार्ट लेकिन भ्रमित करने वाले "Random Forest" और स्पष्ट, तार्किक स्पष्टीकरण की मानवीय आवश्यकता के बीच स्थित है। उन्होंने साबित किया है कि यह पुल न केवल चीजों को श्रेणियों में छाँटने के लिए, बल्कि विशिष्ट संख्याओं की भविष्यवाणी करने के लिए भी काम करता है।

तकनीकी सारांश: रिग्रेशन संदर्भों में व्याख्यात्मक एन्सेम्बल ट्रीज़ (E2Tree) का विस्तार

समस्या विवरण

एन्सेम्बल विधियों, विशेष रूप से रैंडम फॉरेस्ट (RF) ने कमजोर शिक्षार्थियों (weak learners) के एकत्रीकरण के माध्यम से उच्च भविष्य कहनेवाला सटीकता प्रदान करके सुपरवाइज्ड लर्निंग में क्रांति ला दी है। हालाँकि, ये मॉडल "ब्लैक बॉक्स" के रूप में कार्य करते हैं, जिनमें यह स्पष्टता की कमी होती है कि वे इनपुट मानों को कैसे संसाधित करते हैं ताकि भविष्यवाणियाँ की जा सकें। यह अपारदर्शिता उपयोगकर्ता की समझ और विश्वास में बाधा डालती है, विशेष रूप से चिकित्सा और वित्त जैसे महत्वपूर्ण क्षेत्रों में। जबकि व्याख्यात्मकता के लिए मौजूदा दृष्टिकोण मौजूद हैं—जैसे कि अंतर्निहित व्याख्यात्मक मॉडल (उदाहरण के लिए, निर्णय वृक्ष) से लेकर पोस्ट-हॉक स्पष्टीकरण उपकरण (उदाहरण के लिए, वेरिएबल इम्पॉर्टेंस, शापली वैल्यूज़)—वे अक्सर मॉडल की सटीकता और विशेषताओं के बीच जटिल, गैर-रेखीय अंतःक्रियाओं को स्पष्ट करने की क्षमता के बीच संतुलन बनाने में संघर्ष करते हैं।

यह शोध पत्र संबोधित की जाने वाली विशिष्ट चुनौती एक्सप्लेनेबल एन्सेम्बल ट्रीज़ (E2Tree) कार्यप्रणाली का विस्तार है। मूल रूप से एरिया एट अल. (2024) द्वारा वर्गीकरण (classification) कार्यों के लिए प्रस्तावित E2Tree, प्रेडिक्टर प्रभावों और अंतर-प्रेडिक्टर संबंधों दोनों को ध्यान में रखते हुए RF मॉडलों का एक ग्राफिकल, ट्री-जैसे प्रतिनिधित्व प्रदान करता है। लेखक नोट करते हैं कि जबकि E2Tree ने वर्गीकरण RF को सफलतापूर्वक समझाया, एक रिग्रेशन संदर्भों (निरंतर परिणाम मॉडल) के लिए संगत कार्यप्रणाली गायब थी।

कार्यप्रणाली

शोध पत्र एक रिग्रेशन समस्याओं को संभालने के लिए E2Tree ढांचे के विस्तार का प्रस्ताव करता है। मुख्य उद्देश्य एक प्रशिक्षित रैंडम फॉरेस्ट रिग्रेशन मॉडल के निर्णय लेने वाले तर्क का निष्ठापूर्वक प्रतिनिधित्व करने वाला एक एकल, व्याख्यात्मक ट्री-जैसे ढांचे को प्राप्त करना है।

1. डिसिमिलैरिटी मैट्रिक्स (असमानता मैट्रिक्स) निर्माण

कार्यप्रणाली एक प्रशिक्षित RF मॉडल से प्राप्त डिसिमिलैरिटी मैट्रिक्स $D$ को परिभाषित करने से शुरू होती है। मान लीजिए $H = \{H_1, \dots, H_B\}$ एक आकार $n$ के नमूने पर प्रशिक्षित $B$ कमजोर शिक्षार्थियों का एक रैंडम फॉरेस्ट है। किसी भी दो अवलोकनों $u_i$ और $u_j$ के लिए, डिसिमिलैरिटी $d_{ij}$ को $1 - O_{ij}$ के रूप में परिभाषित किया जाता है, जहाँ $O_{ij}$ एक भारित सह-उपस्थिति (co-occurrence) माप है।

$O_{ij}$ यह मात्रा निर्धारित करता है कि कितनी बार अवलोकनों का एक जोड़ा पेड़ों के अनुक्रम में एक ही नोड में आता है, जिसे नोड $t$ में नोड $b$ के लिए स्थानीय गुडनेस-ऑफ-फिट माप $W(t)_{ij|b}$ द्वारा भारित किया जाता है:
$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$

2. रिग्रेशन-विशिष्ट गुडनेस-ऑफ-फिट

इस शोध पत्र का एक प्रमुख योगदान रिग्रेशन के लिए स्थानीय गुडनेस-ऑफ-फिट माप $W(t)_{ij|b}$ का अनुकूलन है। वर्गीकरण के संदर्भ में, यह माप शुद्धता (purity) पर आधारित था; रिग्रेशन में, लेखक नॉर्मलाइज्ड मीन स्क्वायर एरर (NMSE) का उपयोग करने का प्रस्ताव करते हैं:
$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$
जहाँ:

$MSE(t)_{ij|b}$ नोड $t$ पर माध्य वर्ग त्रुटि (mean square error) है।
$p(t)$ नोड $t$ में अवलोकनों का अनुपात है।
$MSE_{max}$ सैद्धांतिक अधिकतम MSE है, जो नोड के भीतर प्रतिक्रिया चर $Y$ के रेंज के आधार पर गणना की जाती है (जेकोबसन, 1969 के अनुसार): $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$ ।

स्थानीय फिट माप को इस प्रकार परिभाषित किया गया है:
$W(t)_{ij|b} = \begin{cases} 0 & \text{यदि } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{अन्यथा} \end{cases}$

3. ट्री निर्माण और स्टॉपिंग रूल्स

एल्गोरिदम डिसिमिलैरिटी मैट्रिक्स $D$ के आधार पर डेटा को पुनरावर्ती रूप से विभाजित करके E2Tree का निर्माण करता है। ओवरफिटिंग को रोकने और यह सुनिश्चित करने के लिए कि परिणामी ट्री संक्षिप्त (parsimonious) हो, लेखक मानक RF स्प्लिट्स के अलावा विशिष्ट स्टॉपिंग मानदंड पेश करते हैं:

NMSE थ्रेशोल्ड ( $\gamma$ ): एक नोड टर्मिनल हो जाता है यदि गणना किया गया $NMSE(t)_{ij|b}$ एक निर्दिष्ट थ्रेशोल्ड $\gamma$ (प्रयोगों में 0.05 निर्धारित) से नीचे गिर जाता है।
वितरण समानता (Distributional Equivalence): प्रत्येक संभावित स्प्लिट के लिए, यह सत्यापित करने के लिए कि क्या चाइल्ड नोड्स में अनुमानित मूल्यों के वितरण समान हैं, एक मैन-व्हिटनी टेस्ट किया जाता है। यदि वितरण महत्वपूर्ण रूप से भिन्न नहीं हैं, तो स्प्लिट को अस्वीकार कर दिया जाता है, और पैरेंट नोड को टर्मिनल माना जाता है।

मुख्य योगदान

मेथोडोलॉजिकल विस्तार: प्राथमिक योगदान वर्गीकरण से रिग्रेशन तक E2Tree का औपचारिक विस्तार है। इसमें NMSE का उपयोग करने के लिए स्थानीय गुडनेस-ऑफ-फिट मेट्रिक को पुनर्गठित करना शामिल है।
एकीकृत प्रतिनिधित्व: यह विधि एक एकल ट्री-जैसे ढांचे को प्रदान करती है जो प्रेडिक्टर्स के बीच जटिल अंतःक्रियाओं सहित रैंडम फॉरेस्ट के वैश्विक तर्क को कैप्चर करती है, जबकि मूल एन्सेम्बल की भविष्य कहनेवाला सटीकता को बनाए रखती है।
दोहरी स्पष्टीकरण क्षमता: परिणामी E2Tree दोनों ग्लोबल स्पष्टीकरण (पैटर्न और नियम जिनका मॉडल पालन करता है) और लोकल स्पष्टीकरण (विशिष्ट उदाहरणों के लिए विस्तृत तर्क) प्रदान करता है, जो ब्लैक-बॉक्स प्रदर्शन और मानवीय व्याख्यात्मकता के बीच के अंतर को पाटता है।
ओपन-सोर्स कार्यान्वयन: लेखक एक R पैकेज (e2tree) और कोड उपलब्धता प्रदान करते हैं, जो इस पद्धति की पुनरावृत्ति (reproducibility) और आगे के अनुप्रयोग को सुगम बनाता है।

प्रयोगात्मक परिणाम

लेखकों ने UCI मशीन लर्निंग रिपॉजिटरी से दो डेटासेट का उपयोग करके प्रस्तावित पद्धति को मान्य किया: Iris डेटासेट (पेटल लेंथ पर रिग्रेशन के लिए अनुकूलित) और Auto MPG डेटासेट (ईंधन दक्षता का अनुमान लगाना)।

Iris डेटासेट: E2Tree ने RF के सह-उपस्थिति मैट्रिक्स की संरचना को सफलतापूर्वक पुनर्गठित किया। मूल RF मैट्रिक्स ( $O_{ij}$ ) और E2Tree-अनुमानित मैट्रिक्स ( $\hat{O}_{ij}$ ) की तुलना करने वाले पदानुक्रमित क्लस्टर विश्लेषण ने लगभग 90% का फाउल्स-मैलोस इंडेक्स (FMI) दिया, जो क्लस्टरिंग संरचना में उच्च स्तर की समानता को दर्शाता है।
Auto MPG डेटासेट: बड़े आकार और गैर-रेखीय संबंधों के बावजूद, E2Tree ने निर्णय पथों को प्रभावी ढंग से विज़ुअलाइज़ किया। $O_{ij}$ और $\hat{O}_{ij}$ के हीटमैप की तुलना के परिणामस्वरूप लगभग 75% का FMI प्राप्त हुआ।
व्याख्यात्मकता: दोनों मामलों में, E2Tree स्पष्ट "If-Then" पथ प्रदान करता है। Auto MPG डेटा के लिए, ट्री ने डिस्प्लेसमेंट, वेट और हॉर्सपावर के MPG पर नकारात्मक प्रभावों और मॉडल ईयर और ओरिजिन के सकारात्मक प्रभावों को विज़ुअलाइज़ किया, जो ऐसी अंतर्दृष्टि प्रदान करता है जो मानक फिटेड RF मॉडल से सीधे उपलब्ध नहीं होती है।

महत्व और दावे

शोध पत्र का दावा है कि E2Tree यह सुनिश्चित करता है कि मशीन लर्निंग मॉडल एक समझने योग्य निर्णय लेने वाली प्रक्रिया प्रदान करके "सशक्तिकरण के उपकरण" बने रहें, बिना एन्सेम्बल की सटीकता से समझौता किए। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

एक एकल, सुसंगत ट्री संरचना के माध्यम से एन्सेम्बल प्रक्रिया की व्याख्या करता है।
अंतर्निहित रैंडम फॉरेस्ट की सटीकता प्रदर्शन को बनाए रखता है।
उन प्रेडिक्टर्स के बीच अंतःक्रियाओं को समझाने के लिए एक शक्तिशाली उपकरण प्रदान करता है जो अंतिम नोड भविष्यवाणियों को निर्धारित करते हैं।

लेखक निष्कर्ष निकालते हैं कि यह विस्तार वर्गीकरण और रिग्रेशन दोनों संदर्भों में व्याख्यात्मकता और स्पष्टीकरण संबंधी मुद्दों को संबोधित करता है। वे नोट करते हैं कि भविष्य के कार्य में अन्य एन्सेम्बल-ट्री पद्धतियों को सामान्य बनाना और E2Tree के परिणामों की मूल एन्सेम्बल आउटपुट के विरुद्ध निष्ठा (fidelity) का आकलन करने के लिए आगे के मेट्रिक्स विकसित करना शामिल है। शोध पत्र यह दावा नहीं करता है कि यह ब्लैक-बॉक्स मॉडल को प्रतिस्थापित करता है, बल्कि यह एक पारदर्शी, पोस्ट-हॉक स्पष्टीकरण परत प्रदान करता है जो मॉडल की उपयोगिता को सुरक्षित रखता है।