🤖 machine learning

PINE: Pruning Boosted Tree Ensembles with Conformal In-Distribution Prediction Equivalence

यह शोध पत्र PINE को प्रस्तुत करता है, जो ट्री एनसेम्बल्स (tree ensembles) के लिए एक नवीन प्रूनिंग विधि है जो एक नियंत्रणीय इन-डिस्ट्रीब्यूशन क्षेत्र के भीतर प्रेडिक्शन इक्विवेलेंस (prediction equivalence) की गारंटी देने के लिए कॉन्फॉर्मल कैलिब्रेशन का लाभ उठाती है, जिससे मौजूदा फेथफुल प्रूनिंग (faithful pruning) तकनीकों की तुलना में तुलनात्मक प्रेडिक्शन सटीकता बनाए रखते हुए 30% तक उच्च कंप्रेशन अनुपात प्राप्त होता है।

मूल लेखक: Haruki Yajima, Yusuke Matsui

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haruki Yajima, Yusuke Matsui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक रहस्य सुलझाने के लिए 30 विशेषज्ञ जासूसों की एक टीम है (एक "ट्री एन्सेम्बल") जो मिलकर काम कर रहे हैं। वे अविश्वसनीय रूप से सटीक हैं, लेकिन वे धीमे हैं, उन्हें वेतन पर रखना महंगा है, और वे ऑफिस में बहुत अधिक जगह घेरते हैं। आप कुछ जासूसों को नौकरी से निकालना चाहते हैं ताकि पैसा बचाया जा सके, लेकिन आप इस बात से डरे हुए हैं कि यदि आपने गलत जासूस को निकाल दिया, तो टीम गलत उत्तर देने लग सकती है।

यह PINE है जो इस समस्या को हल करता है।

यहाँ PINE कैसे काम करता है, इसकी कहानी सरल उपमाओं का उपयोग करके दी गई है:

समस्या: "परफेक्ट" बनाम "प्रैक्टिकल"

वर्तमान में, इस जासूस टीम को छोटा करने के दो तरीके हैं:

"सटीकता-प्रथम" दृष्टिकोण (The "Accuracy-First" Approach): आप उन जासूसों को निकाल देते हैं जो सबसे कम उपयोगी लगते हैं। इससे काफी पैसा बचता है (उच्च संपीड़न/compression), लेकिन कभी-कभी बची हुई टीम उन गलतियों को करने लगती है जो वे पहले नहीं करती थीं। यह उस विशेषज्ञ को निकालने जैसा है जो साल में केवल एक बार आता है, और बाद में आपको एहसास होता है कि वही एकमात्र व्यक्ति था जिसे उस विशिष्ट आपात स्थिति को संभालने का पता था।
"वफादार" दृष्टिकोण (The "Faithful" Approach - पुराना तरीका): आप वादा करते हैं कि नई, छोटी टीम ब्रह्मांड के हर एक संभावित परिदृश्य के लिए बिल्कुल वही उत्तर देगी, भले ही वे परिदृश्य कभी भी न देखे गए हों और कभी होंगे भी नहीं।
- चुनौती: इस वादे को निभाने के लिए, आप कई जासूसों को नहीं निकाल सकते। आपको पूरी टीम को बनाए रखना होगा, बस इस मामले में कि कोई अजीब, असंभव परिदृश्य (जैसे कि एक जासूस जो "विवाहित" भी है और "कभी विवाहित नहीं" भी है) सामने आ जाए। इसके परिणामस्वरूप बचत बहुत कम होती है।

PINE समाधान: "यथार्थवादी" गारंटी (The "Realistic" Guarantee)

PINE कहता है: "आइए काल्पनिक परिदृश्यों की चिंता करना छोड़ दें।"

यह वादा करने के बजाय कि टीम हर सैद्धांतिक संभावना के लिए परफेक्ट होगी, PINE वादा करता है कि वे केवल यथार्थवादी परिदृश्यों के लिए परफेक्ट होंगे—वे मामले जो वास्तव में वास्तविक दुनिया में होते हैं।

"प्लॉसिबल स्कोर" (The "Plausible Score" - वास्तविकता की जाँच)

PINE "वास्तविकता की जाँच" के रूप में कार्य करने के लिए एक विशेष उपकरण जिसे Chow-Liu tree कहा जाता है, का उपयोग करता है।

कल्पना कीजिए कि जासूसों के पास शहर का एक नक्शा है जो दिखाता है कि लोग वास्तव में कहाँ रहते हैं।
जब कोई नया मामला आता है, तो PINE जाँच करता है: "क्या यह मामला शहर के भीतर का लगता है?"
यदि मामला एक सामान्य, वास्तविक स्थिति है (जैसे कि एक व्यक्ति जिसकी सामान्य नौकरी और आयु है), तो इसे "लो स्कोर" (यह प्लॉसिबल/संभावित है) मिलता है।
यदि मामला अजीब या असंभव है (जैसे कि एक व्यक्ति जो 200 साल का है या जिसकी शिक्षा 500 साल की है), तो इसे "हाई स्कोर" (यह इम्पलॉसिबल/असंभावित है) मिलता है।

"कॉन्फ़ॉर्मल कैलिब्रेशन" (The "Conformal Calibration" - सुरक्षा जाल सेट करना)

PINE एक विशेष सांख्यिकीय तकनीक जिसे Conformal Prediction कहा जाता है, का उपयोग करके एक रेखा खींचता है।

आप PINE को कहते हैं: "मैं चाहता हूँ कि मैं 95% सुनिश्चित रहूँ कि जिन मामलों की हमें परवाह है, वे 'प्लॉसिबल' पक्ष की रेखा के अंदर हैं।"
PINE पिछले डेटा को देखता है और एक सीमा खींचता है। इस सीमा के अंदर सब कुछ "वास्तविक दुनिया" (Real World) है। इस सीमा के बाहर सब कुछ "अजीब/असंभव" है।
जादू: PINE केवल इस सीमा के अंदर के मामलों के लिए उत्तरों को बिल्कुल समान रखने का वादा करता है। अजीब चीजों के लिए, जो इस सीमा के बाहर हैं, उसे इससे कोई फर्क नहीं पड़ता कि उत्तर बदल जाते हैं।

परिणाम: फालतू को हटाना, ताकत को बनाए रखना

क्योंकि PINE असंभव परिदृश्यों (जैसे कि एक व्यक्ति जो विवाहित और अविवाहित दोनों है) को संभालने में ऊर्जा बर्बाद नहीं करता है, इसलिए यह पुराने "वफादार" तरीकों की तुलना में कई अधिक जासूसों को निकाल सकता है।

पेपर का दावा: 12 अलग-अलग डेटासेट्स पर परीक्षणों में, PINE सख्त "वफादार" तरीकों की तुलना में 30% तक अधिक टीम के आकार को कम करने में सक्षम रहा, जबकि वास्तविक दुनिया के डेटा पर सटीकता उतनी ही ऊँची रही।
समझौता (Trade-off): आप एक डायल (जिसे $\alpha$ $α$ कहा जाता है) को एडजस्ट कर सकते हैं।
- डायल को बहुत सख्त बनाने के लिए (कम $\alpha$ ): आप एक बड़ी टीम रखते हैं, लेकिन आप लगभग 100% आश्वस्त हैं कि वास्तविक मामलों के लिए उत्तर एकदम सही हैं।
- डायल को अधिक उदार बनाने के लिए (अधिक $\alpha$ ): आप और भी अधिक जासूसों को निकालते हैं, जिससे पैसा बचता है, और वास्तविक मामले में गलती का थोड़ा अधिक (लेकिन अभी भी नियंत्रित) जोखिम होता है।

सारांश

PINE को एक स्मार्ट मैनेजर के रूप में सोचें जो कहता है: "हमें अपनी टीम को ड्रैगन या समय यात्रा से लड़ने के लिए प्रशिक्षित करने की आवश्यकता नहीं है। वे चीजें अस्तित्व में नहीं हैं। आइए उन लोगों को निकाल दें जो केवल ड्रैगन से लड़ने के लिए जानते हैं, ताकि हम पैसा बचा सकें, जबकि यह वादा करते हुए कि हमारी टीम अभी भी हर वास्तविक अपराध को सुलझाएगी जो हमारे सामने आता है।"

यह कंपनियों को उनके महंगे AI मॉडल को महत्वपूर्ण रूप से छोटा करने की अनुमति देता है, बिना इस विश्वास को तोड़े कि मॉडल उस डेटा पर सही व्यवहार करेगा जो वास्तव में मायने रखता है।

तकनीकी सारांश: PINE – कॉन्फॉर्मल इन-डिस्ट्रीब्यूशन प्रेडिक्शन इक्विवेलेंस के साथ प्रूनिंग बूस्टेड ट्री एनसेम्बल्स

1. समस्या विवरण (Problem Statement)

ट्री एनसेबल विधियाँ, जैसे कि रैंडम फॉरेस्ट, ग्रेडिएंट-बूस्टेड डिसीजन ट्री (GBDT), और XGBoost, टेबुलर डेटा के लिए व्यापक रूप से उपयोग की जाती हैं क्योंकि इनका प्रेडिक्टिव प्रदर्शन और व्याख्यात्मकता (interpretability) बहुत मजबूत होती है। हालाँकि, बड़े एनसेम्बल्स उच्च इन्फरेंस लागत और मेमोरी फुटप्रिंट का कारण बनते हैं, जो डाउनस्ट्रीम कार्यों जैसे कि रोबस्टनेस वेरिफिकेशन और फेयरनेस चेक को जटिल बना देते हैं।

पोस्ट-हॉक एनसेबल प्रूनिंग (post-hoc ensemble pruning) एक मानक समाधान है, लेकिन मौजूदा विधियाँ संपीड़न (compression) और निष्ठा (fidelity/prediction equivalence) के बीच एक ट्रेड-ऑफ का सामना करती हैं:

सटीकता-उन्मुख प्रूनिंग (Accuracy-oriented pruning): वे विधियाँ जो सटीकता-संपीड़न ट्रेड-ऑफ के लिए अनुकूलित होती हैं, अक्सर भविष्यवाणियों के एक हिस्से को बदल देती हैं। निष्ठा की यह कमी निर्णय निरंतरता (decision consistency) को बाधित कर सकती है, विशेष रूप से उच्च-जोखिम वाले डोमेन (जैसे चिकित्सा, वित्त) में जहाँ डाउनस्ट्रीम वर्कफ़्लो विशिष्ट मॉडल आउटपुट पर निर्भर करते हैं।
निष्ठावान प्रूनिंग (Faithful pruning): FIPE (Emine et al., 2025) और बोर्न-अगेन ट्री एनसेम्बल्स (Vidal & Schiffer, 2020) जैसी विधियाँ पूरे इनपुट स्पेस में सभी इनपुट्स के लिए सटीक प्रेडिक्शन इक्विवेलेंस की गारंटी देती हैं। जबकि यह निर्णय निरंतरता सुनिश्चित करता है, दुर्लभ या आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) इनपुट्स के लिए भी भविष्यवाणियों को सुरक्षित रखने की आवश्यकता प्राप्त संपीड़न अनुपात (compression ratio) को गंभीर रूप से सीमित कर देती है।

मूल समस्या यह है कि कैसे उच्च संपीड़न दर प्राप्त की जाए और उच्च निष्ठा बनाए रखी जाए, बिना उन प्रतिबंधात्मक बोझ के जो व्यावहारिक रूप से देखे जाने वाले दुर्लभ या आउट-ऑफ-डिस्ट्रीब्यूशन इनपुट्स पर समानता सुनिश्चित करने के लिए आवश्यक होते हैं।

2. कार्यप्रणाली: PINE

लेखक PINE (प्रूनिंग विद इन-डिस्ट्रीब्यूशन इक्विवेलेंस) प्रस्तावित करते हैं, जो एक प्रूनिंग फ्रेमवर्क है जो केवल एक कैलिब्रेटेड इन-डिस्ट्रीब्यूशन (ID) क्षेत्र, $X_{ID}(\alpha)$ के भीतर प्रेडिक्शन इक्विवेलेंस की गारंटी देता है।

मुख्य अवधारणा (Core Concept)

PINE, निष्ठावान प्रूनिंग के प्रतिबंध को शिथिल (relax) करता है और समानता की गारंटी केवल उन इनपुट्स तक सीमित करता है जो डेटा वितरण के तहत "संभावित" (plausible) हैं। यह एक एकल हाइपरपैरामीटर, $\alpha$ (मिसकवरेज लेवल) पेश करता है, जो इस क्षेत्र के आकार को नियंत्रित करता है। विधि यह गारंटी देती है कि समान वितरण से लिए गए भविष्य के इनपुट के लिए, इस बात की संभावना कम से कम $1-\alpha$ है कि प्रून किया गया मॉडल मूल मॉडल की भविष्यवाणी से मेल खाएगा।

एल्गोरिथमिक पाइपलाइन (Algorithmic Pipeline)

PINE, FIPE द्वारा उपयोग किए जाने वाले इटरेटिव प्रूनर-ओरेकल (Pruner-Oracle) फ्रेमवर्क पर आधारित है, लेकिन यह ओरेकल के सर्च स्पेस को संशोधित करता है:

संभावित स्कोर की परिभाषा (Plausible Score Definition): एक स्कोर फंक्शन $s(x)$ परिभाषित किया जाता है जहाँ कम स्कोर डेटा वितरण के तहत उच्च संभाव्यता (likelihood) को दर्शाता है। इन-डिस्ट्रीब्यूशन क्षेत्र को $X_{ID}(\alpha) = \{x \in \mathcal{X} \mid s(x) \leq \tau(\alpha)\}$ के रूप में परिभाषित किया गया है।
चाउ-लिउ ट्री स्कोर (Chow-Liu Tree Score): पेपर एक चाउ-लिउ ट्री के नेगेटिव लॉग-लाइक्लीहुड को 'प्लॉसिबल स्कोर' के रूप में अपनाता है। निरंतर विशेषताओं (continuous features) को बिनों (bins) में विभाजित किया जाता है, और चाउ-लिउ ट्री जॉइंट डिस्ट्रीब्यूशन को एक ट्री स्ट्रक्चर के रूप में अनुमानित करता है। यह चुनाव महत्वपूर्ण है क्योंकि नेगेटिव लॉग-लाइक्लीहुड एक एडिटिव फॉर्म (रूट मार्जिनल + एज कंडीशनल टर्म्स) में डिकम्पोज़ होता है, जिससे $s(x) \leq \tau(\alpha)$ बाधा को कुशलतापूर्वक एक मिक्सड-इंटिजर लीनियर प्रोग्रामिंग (MILP) बाधा के रूप में एनकोड किया जा सकता है।
कॉन्फॉर्मल कैलिब्रेशन (Conformal Calibration): एक कैलिब्रेशन सेट $D_{cal}$ का उपयोग करके, थ्रेशोल्ड $\tau(\alpha)$ को स्प्लिट कॉन्फॉर्मल प्रेडिक्शन के माध्यम से निर्धारित किया जाता है। यह सुनिश्चित करता है कि एक्सचेंजैबिलिटी (exchangeability) के अनुमान के तहत, $X_{ID}(\alpha)$ क्षेत्र भविष्य के इनपुट्स को कम से कम $1-\alpha$ प्रायिकता के साथ कवर करता है।
इटरेटिव प्रूनिंग (Iterative Pruning):
- प्रूनर (Pruner): बढ़ते हुए बाधाओं के सेट पर प्रेडिक्शन इक्विवेलेंस को संतुष्ट करने के लिए ट्री वेट्स को अपडेट करता है।
- ओरेकल (Oracle): काउंटर-एग्जाम्पल्स (ऐसे इनपुट जहाँ भविष्यवाणियाँ भिन्न होती हैं) की खोज करता है, लेकिन अपनी खोज को केवल $X_{ID}(\alpha)$ क्षेत्र तक ही सीमित रखता है।
- यह प्रक्रिया तब तक दोहराई जाती है जब तक कि ID क्षेत्र के भीतर कोई काउंटर-एग्जाम्पल नहीं मिल जाता।

सैद्धांतिक गारंटी (Theoretical Guarantees)

प्रोबेबिलिस्टिक इक्विवेलेंस (Probabilistic Equivalence): एक्सचेंजैबिलिटी धारणा के तहत, PINE भविष्य के इनपुट के लिए मूल मॉडल की भविष्यवाणी से मेल खाने की संभावना के लिए $1-\alpha$ का निचला स्तर (lower bound) प्रदान करता है।
जटिलता (Complexity): ओरेकल द्वारा खोजे जाने वाले डिस्क्रीट स्टेट्स की संख्या $e^{\tau(\alpha)}$ द्वारा ऊपरी सीमाबद्ध (upper-bounded) है। चूंकि $\tau(\alpha)$ , $\alpha$ के सापेक्ष मोनोटोनिक है, इसलिए $\alpha$ को बढ़ाने (अधिक मिसकवरेज रेट की अनुमति देने) से सर्च स्पेस तेजी से (exponentially) कम हो जाता है, जिससे उच्च संपीड़न सुलभ होता है।

3. प्रमुख योगदान (Key Contributions)

PINE फ्रेमवर्क: एक नवीन प्रूनिंग विधि जो सख्त वैश्विक निष्ठा (global fidelity) के बजाय उच्च-संभावना वाली इन-डिस्ट्रीब्यूशन निष्ठा का ट्रेड-ऑफ करती है, जिससे निष्ठावान बेसलाइन की तुलना में काफी अधिक संपीड़न दर संभव होती है।
कॉन्फॉर्मल इंटीग्रेशन (Conformal Integration): इन-डिस्ट्रीब्यूशन क्षेत्र को परिभाषित करने के लिए स्प्लिट कॉन्फॉर्मल प्रेडिक्शन का उपयोग करने वाला पहला अनुप्रयोग, जो प्रेडिक्शन इक्विवेलेंस के लिए एक कठोर प्रोबेबिलिस्टिक बाउंड प्रदान करता है।
MILP-एम्बेडेबल स्कोरिंग (MILP-Embeddable Scoring): चाउ-लिउ ट्री नेगेटिव लॉग-लाइक्लीहुड का उपयोग करने का प्रस्ताव, जो फीचर डिपेंडेंसी को कैप्चर करने के लिए अभिव्यंजक (expressive) है और MILP एनकोडिंग के लिए कम्प्यूटेशनल रूप से कुशल भी है।
व्यवस्थित ट्रेड-ऑफ कंट्रोल (Systematic Trade-off Control): एकल पैरामीटर $\alpha$ के माध्यम से फिडेलिटी-कंप्रेशन ट्रेड-ऑफ को व्यवस्थित रूप से ट्यून करने का एक तंत्र।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 12 सार्वजनिक टेबुलर डेटासेट्स (जैसे Adult, COMPAS, Pima-Diabetes) पर XGBoost एनसेम्बल्स ( $M=30$ ट्री, डेप्थ $D=2$ ) का उपयोग करके PINE का मूल्यांकन किया।

संपीड़न बनाम निष्ठा (Compression vs. Fidelity): PINE, निष्ठावान प्रूनिंग बेसलाइन्स (FIPE) को महत्वपूर्ण रूप से पीछे छोड़ देता है। जैसे-जैसे $\alpha$ 0.05 से 0.8 तक बढ़ता है, औसत प्रूनिंग रेट ~45% से बढ़कर ~68% हो जाता है, जबकि औसत फिडेलिटी 99.15%–99.96% के बीच उच्च बनी रहती है। इसके विपरीत, FIPE ~44% की औसत प्रूनिंग रेट के साथ 100% फिडेलिटी प्राप्त करता है।
सटीकता-उन्मुख विधियों के साथ तुलना: हालांकि सटीकता-उन्मुख विधियाँ (IC, DREP, MDEP) टेस्ट एक्यूरेसी को बनाए रख सकती हैं, वे इन-डिस्ट्रीब्यूशन क्षेत्र के भीतर भी पर्याप्त फिडेलिटी ड्रॉप (अक्सर <90%) दिखाती हैं। PINE कैलिब्रेटेड क्षेत्र के भीतर लगभग पूर्ण निष्ठा बनाए रखता है।
कवरेज वैलिडेशन (Coverage Validation): एम्पिरिकल टेस्ट कवरेज $\hat{\pi}_{ID}$ , लक्षित $1-\alpha$ का बारीकी से अनुसरण करता है, जो स्प्लिट कॉन्फॉर्मल कैलिब्रेशन की प्रभावशीलता को प्रमाणित करता है।
स्केलेबिलिटी (Scalability): विधि ट्री की संख्या ( $M$ ) की तुलना में ट्री डेप्थ ( $D$ ) के प्रति अधिक संवेदनशील है। गहरे ट्री अधिक स्थानीयकृत निर्णय क्षेत्रों के कारण कम उपलब्ध संपीड़न की ओर ले जाते हैं, जबकि बड़े एनसेम्बल्स मुख्य रूप से ऑप्टिमाइजेशन रनटाइम को बढ़ाते हैं।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि PINE मॉडल संपीड़न में एक महत्वपूर्ण अंतर को संबोधित करता है: प्रभावी संपीड़न के लिए निष्ठा (fidelity) से समझौता किए बिना मौजूदा निष्ठावान विधियों की अक्षमता, और मानक प्रूनिंग विधियों की स्थिरता (consistency) सुनिश्चित करने की अक्षमता।

व्यावहारिक प्रभाव (Practical Impact): PINE अभ्यासकर्ताओं को निष्ठावान बेसलाइन्स की तुलना में 30% अधिक तक मॉडल को कंप्रेस करने की अनुमति देता है जबकि भविष्य के संभावित इनपुट्स पर निर्णय निरंतरता बनाए रखता है। यह विशेष रूप से उच्च-जोखिम वाले डोमेन के लिए मूल्यवान है जहाँ मॉडल आउटपुट डाउनस्ट्रीम वर्कफ़्लो को ट्रिगर करते हैं या ऑडिटेबिलिटी की आवश्यकता होती है।
सीमाएँ (Limitations): लेखक विनम्रतापूर्वक स्वीकार करते हैं कि गारंटी एक्सचेंजैबिलिटी धारणा (डिस्ट्रीब्यूशन शिफ्ट का न होना) पर निर्भर करती है। यदि डेटा वितरण बदल जाता है, तो गारंटी कमजोर हो सकती है। इसके अतिरिक्त, कम्प्यूटेशनल लागत MILP को हल करने से जुड़ी है, जो मल्टी-क्लास सेटिंग्स या बहुत गहरे ट्री के लिए महंगी हो सकती है।
निष्कर्ष (Conclusion): PINE प्रूनिंग के लिए एक सत्यापन योग्य, प्रोबेबिलिस्टिक दृष्टिकोण प्रदान करता है जो दक्षता और विश्वसनीयता के प्रतिस्पर्धी लक्ष्यों के बीच संतुलन बनाता है, जो "सटीक लेकिन असंगत" और "संगत लेकिन अनकंप्रेस्ड" के बीच के बाइनरी विकल्प से आगे बढ़ता है।