Confidence intervals for the random forest generalization error
यह शोध पत्र प्रदर्शित करता है कि रैंडम फॉरेस्ट के सामान्यीकरण त्रुटि (generalization error) के लिए विश्वास अंतराल (confidence intervals) को मानक प्रशिक्षण उपोत्पादों (training byproducts) से सीधे कुशलतापूर्वक परिकलित किया जा सकता है, जो डेटा विभाजन और पुन: प्रशिक्षण के एक कम लागत वाले विकल्प के रूप में अच्छा सांख्यिकीय कवरेज और अभिसरण दर (convergence rates) प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डेटा विज्ञान की दुनिया में, कंप्यूटरों से अक्सर अतीत में पाए गए पैटर्न के आधार पर भविष्य के बारे में भविष्यवाणी करने के लिए कहा जाता है। चाहे वह घर की कीमत का पूर्वानुमान लगाना हो, किसी चिकित्सीय स्थिति का निदान करना हो, या यह अनुमान लगाना हो कि कोई ग्राहक किसी सेवा का उपयोग करना बंद कर देगा या नहीं, ये प्रणालियाँ सूचना के बड़े सेटों पर प्रशिक्षित जटिल मॉडलों पर निर्भर करती हैं। इन उपकरणों का उपयोग करने वाले किसी भी व्यक्ति के लिए एक केंद्रीय चुनौती यह जानना है कि किसी भविष्यवाणी पर कितना भरोसा किया जाए। केवल इसलिए कि एक मॉडल उस डेटा पर अच्छा प्रदर्शन करता है जिस पर उसे प्रशिक्षित किया गया था, यह गारंटी नहीं देता कि वह नई, अनदेखी स्थितियों में भी अच्छा काम करेगा। इस विश्वसनीयता को मापने के लिए, वैज्ञानिक पारंपरिक रूप से अपने डेटा को दो हिस्सों में विभाजित करते हैं: एक मॉडल को सिखाने के लिए और दूसरा उसका परीक्षण करने के लिए। हालाँकि यह काम करता है, लेकिन यह एक धीमी और महंगी प्रक्रिया है जिसमें डेटा को आधा काटने और सटीकता की स्पष्ट तस्वीर पाने के लिए मॉडल को कई बार फिर से प्रशिक्षित करने की आवश्यकता होती है।
रैंडम फॉरेस्ट (random forest) के रूप में ज्ञात एक विशिष्ट प्रकार का मॉडल यह अनुमान लगाने के लिए कि वह कैसा प्रदर्शन करेगा, लंबे समय से एक चतुर शॉर्टकट प्रदान करता आया है। एक ऐसे जंगल की कल्पना करें जहाँ प्रत्येक पेड़ एक निर्णय लेने वाला है जिसे डेटा के थोड़े अलग संस्करण पर प्रशिक्षित किया गया है। इन पेड़ों के बढ़ने के तरीके के कारण, प्रत्येक व्यक्तिगत पेड़ प्रशिक्षण डेटा के एक छोटे, यादृच्छिक (random) हिस्से को अनदेखा कर देता है। इसका अर्थ यह है कि डेटासेट के प्रत्येक हिस्से के लिए, पेड़ों का एक समूह ऐसा होता है जिसने प्रशिक्षण के दौरान उसे कभी नहीं देखा। इन पेड़ों से फिर उस विशिष्ट जानकारी के बारे में भविष्यवाणी करने के लिए कहा जा सकता है, जो बिना डेटा को विभाजित किए या नया सिमुलेशन चलाए, सटीकता का एक अंतर्निहित परीक्षण प्रदान करता है। इस पद्धति को 'आउट-ऑफ-बैग एस्टीमेट' (out-of-bag estimate) के रूप में जाना जाता है, जो दशकों से एक मानक उपकरण रहा है, जो मॉडल की संभावित त्रुटि को दर्शाने वाले एक एकल अंक के लिए एक त्वरित, लगभग मुफ्त तरीका प्रदान करता है। हालाँकि, लंबे समय तक, यह पद्धति केवल एक एकल बिंदु अनुमान (point estimate) प्रदान करती थी, जिससे उपयोगकर्ता को उस संख्या के आसपास अनिश्चितता की सीमा का स्पष्ट बोध नहीं हो पाता था।
ब्राजील के इंसपる (Insper) इंस्टीट्यूट ऑफ एजुकेशन एंड रिसर्च के शोधकर्ता पाउलो सी. मार्केस एफ. द्वारा 2021 के अंत में प्रकाशित एक शोध पत्र में, इस एकल संख्या को पूर्ण विश्वास की एक पूरी सीमा में बदलने का एक तरीका प्रस्तावित किया गया है। लक्ष्य यह था कि रैंडम फॉरेस्ट प्रशिक्षण प्रक्रिया के मौजूदा उपोत्पादों (byproducts) का उपयोग करके एक कॉन्फिडेंस इंटरवल (confidence interval) यानी विश्वास अंतराल का निर्माण किया जा सके—एक सांख्यिकीय सीमा जो यह दर्शाती है कि वास्तविक त्रुटि दर कहाँ गिरने की संभावना है—बिना डेटा को विभाजित करने या मॉडल को फिर से प्रशिक्षित करने की भारी कम्प्यूटेशनल लागत के। शोधकर्ता का दृष्टिकोण प्रशिक्षण डेटा को, साथ ही इस रिकॉर्ड को कि किस पेड़ों ने किस डेटा को अनदेखा किया और उन पेड़ों ने क्या भविष्यवाणी की, एक पूर्ण पैकेज के रूप में मानता है। 'बूटस्ट्रैपिंग' (bootstrapping) नामक एक विशिष्ट सांख्यिकीय तकनीक का उपयोग करके इस पैकेज को बार-बार पुन: नमूना (resampling) लेकर, यह विधि संभावित त्रुटि दरों का एक वितरण (distribution) उत्पन्न करती है। यह एक कॉन्फिडेंस इंटरवल के निर्माण की अनुमति देता है जो मॉडल के प्रदर्शन की अनिश्चितता को दर्शाता है, और यह सब उसी डेटा का उपयोग करके किया जाता है जिसने मॉडल को प्रशिक्षित किया था।
शोध पत्र यह प्रदर्शित करता है कि यह पद्धति न केवल कम्प्यूटेशनल रूप से कुशल है बल्कि सांख्यिकीय रूप से भी सुदृढ़ है। रिग्रेशन कार्यों (regression tasks), जहाँ लक्ष्य एक निरंतर संख्या की भविष्यवाणी करना है, और वर्गीकरण कार्यों (classification tasks), जहाँ लक्ष्य वस्तुओं को श्रेणियों में छाँटना है, दोनों का उपयोग करते हुए व्यापक कंप्यूटर सिमुलेशन के माध्यम से, शोधकर्ता ने यह परीक्षण किया कि ये नए कॉन्फिडेंस इंटरवल वास्तव में कितनी बार वास्तविक त्रुटि दर को पकड़ते हैं। एक रिग्रेशन उदाहरण में, जिसमें दस इनपुट वेरिएबल्स के साथ एक जटिल गणितीय फलन शामिल था, और एक वर्गीकरण उदाहरण में, जिसमें बीस वेरिएबल्स शामिल थे, सिमुलेशन ने दिखाया कि इंटरवल ने ठीक उसी तरह काम किया जैसा कि इरादा था। जब शोधकर्ता ने 95 प्रतिशत विश्वास स्तर के लिए पूछा, तो हजारों सिम्युलेटेड परीक्षणों में से लगभग 95 प्रतिशत बार वास्तविक त्रुटि गणना की गई सीमा के भीतर आई। इसके अलावा, जैसे-जैसे प्रशिक्षण डेटा की मात्रा बढ़ी, इन इंटरवल्स की चौड़ाई एक अनुमानित दर से कम होती गई, जिससे पुष्टि हुई कि बड़े डेटासेट के साथ यह विधि अधिक सटीक हो जाती है।
इस पद्धति को वास्तविक दुनिया की समस्याओं पर काम करने के लिए सिद्ध करने हेतु, अध्ययन ने चार अलग-अलग डेटासेट पर इस तकनीक को लागू किया। पहला कारों की ईंधन दक्षता का एक क्लासिक संग्रह था, जहाँ मॉडल को वाहन की विशेषताओं के आधार पर माइल प्रति गैलन की भविष्यवाणी करनी थी। दूसरा, वैध संदेशों और स्पैम के बीच अंतर करने के लिए ईमेल का एक विशाल डेटासेट था। तीसरा, एम्स, आयोवा में घर की बिक्री का एक विस्तृत रिकॉर्ड था, जिसका उपयोग बिक्री की कीमतों की भविष्यवाणी करने के लिए किया गया था, और चौथा एक दूरसंचार कंपनी के ग्राहक व्यवहार को ट्रैक करने के लिए था ताकि यह पहचाना जा सके कि कौन से ग्राहक सेवा छोड़ सकते हैं। प्रत्येक डेटासेट के लिए, शोधकर्ता ने विभिन्न स्तरों की निश्चितता पर कॉन्फिडेंस इंटरवल की गणना की। उदाहरण के लिए, हाउसिंग डेटा के लिए, भविष्यवाणी त्रुटि का 95 प्रतिशत कॉन्फिडेंस इंटरवल लगभग तेईस हजार डॉलर से सत्ताईस हजार डॉलर के बीच था। स्पैम डिटेक्शन कार्य के लिए, त्रुटि दर का इंटरवल लगभग 4.1 प्रतिशत और 5.4 प्रतिशत के बीच एक तंग सीमा थी। इन परिणामों ने दिखाया कि यह पद्धति विविध, व्यावहारिक अनुप्रयोगों के लिए सार्थक, व्याख्या योग्य सीमाएँ प्रदान कर सकती है।
इस दृष्टिकोण का एक महत्वपूर्ण लाभ इसकी गति और सरलता है। क्योंकि यह रैंडम फॉरेस्ट के प्रारंभिक प्रशिक्षण के दौरान पहले से ही उत्पन्न डेटा पर निर्भर करता है, यह डेटा को बार-बार विभाजित करने और मॉडल को फिर से प्रशिक्षित करने की श्रमसाध्य प्रक्रिया से बचता है। शोधकर्ता ने एक मानक लैपटॉप कंप्यूटर पर इस प्रक्रिया के चलने के समय का परीक्षण किया और पाया कि चार हजार से अधिक ईमेल वाले सबसे बड़े डेटासेट के लिए भी, कॉन्फिडेंस इंटरवल उत्पन्न करने की पूरी प्रक्रिया में केवल एक सेकंड से थोड़ा अधिक समय लगा। यह दक्षता इस पद्धति को रोजमर्रा के उपयोग के लिए सुलभ बनाती है, जिससे डेटा वैज्ञानिक न्यूनतम अतिरिक्त प्रयास के साथ अपने मॉडलों की विश्वसनीयता को माप सकते हैं। यह कार्य इसकी एक अनूठी विशेषता को भी उजागर करता है: क्योंकि यह त्रुटियों के वितरण पर आधारित है, यह आसानी से परिणामों को समस्या की प्राकृतिक इकाइयों में अनुवादित कर सकता है, जैसे कि घर की कीमतों के लिए डॉलर या कारों के लिए माइल प्रति गैलन, जिससे अनिश्चितता को गैर-विशेषज्ञों के लिए समझना आसान हो जाता है।
शोध पत्र इस बात के साथ समाप्त होता है कि इन गणनाओं को करने के लिए कोड एक ओपन-सोर्स लाइब्रेरी के रूप में स्वतंत्र रूप से उपलब्ध है, जिससे अन्य लोग इस तकनीक को तुरंत लागू कर सकते हैं। एक मानक प्रशिक्षण प्रक्रिया के छिपे हुए उपोत्पादों को अनिश्चितता के एक मजबूत माप में बदलकर, यह कार्य मॉडल के सामान्यीकरण (generalization) की सीमाओं को समझने का एक सीधा मार्ग प्रदान करता है। यह पुष्टि करता है कि सही सांख्यिकीय उपकरणों के साथ, रैंडम फॉरेस्ट के प्रदर्शन के लिए कॉन्फिडेंस इंटरवल सीधे प्रशिक्षण डेटा से प्राप्त किए जा सकते हैं, जो यह मापने का एक विश्वसनीय, कम लागत वाला तरीका प्रदान करता है कि एक प्रेडिक्टिव मॉडल वास्तविक दुनिया में कितनी अच्छी तरह टिक पाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।