Challenges in the calibration of tree-based models for imbalanced classification
यह शोध पत्र यह प्रदर्शित करता है कि अंडरसैंपल किए गए असंतुलित डेटा पर प्रशिक्षित ट्री-आधारित मॉडलों को विश्लेषणात्मक रूप से कैलिब्रेट करने से अविश्वसनीय प्रवलता अनुमान और अप्रत्याशित पूर्वाग्रह उत्पन्न होते हैं, और इसके बजाय बीटा कैलिब्रेशन जैसी लर्निंग-आधारित कैलिब्रेशन विधियों के उपयोग का तर्क देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।
बड़ी तस्वीर: "रेसिपी" की समस्या
कल्पना कीजिए कि आप एक शेफ हैं जो एक बेहतरीन सूप बनाना सीखने की कोशिश कर रहे हैं। हालाँकि, आपका किचन बहुत असंतुलित है: आपके पास 10,000 आलू हैं लेकिन केवल 10 गाजर हैं। यदि आप रेसिपी सीखने के लिए एक कटोरा चखते हैं जिसमें 10,000 आलू और 10 गाजर हैं, तो आप कभी नहीं जान पाएंगे कि गाजर का स्वाद कैसा होता है। आप सोच लेंगे कि सूप 99.9% आलू है।
इसे ठीक करने के लिए, आप अंडरसैंपलिंग (undersampling) करने का निर्णय लेते हैं। आप अधिकांश आलू फेंक देते हैं ताकि आपके पास 50 आलू और 10 गाजर वाला एक कटोरा हो। अब, आपका ट्रेनिंग डेटा संतुलित है, और आप रेसिपी को बेहतर ढंग से सीख सकते हैं।
कैच (Catch): जब आप अंत में वास्तविक दुनिया के लिए सूप पकाते हैं (जहाँ वास्तव में 10,000 आलू हैं), तो आपकी स्वाद कलिकाएं (taste buds) अभी भी उस संतुलित कटोरे की आदी होती हैं। आप सोचते हैं कि सूप 50% गाजर है, लेकिन वास्तव में, यह अभी भी 99.9% आलू है। आपकी भविष्यवाणियाँ "पक्षपाती" (biased) हैं।
पुराना समाधान: "गणितीय सूत्र" (Math Formula)
लंबे समय से, डेटा वैज्ञानिकों ने इस समस्या को ठीक करने के लिए एक विशिष्ट गणितीय सूत्र (पेपर में समीकरण 1) का उपयोग किया था। विचार सरल था: "हम जानते हैं कि हमने 90% आलू फेंक दिए हैं। आइए बस अपनी भविष्यवाणी को एक संख्या से गुणा करें ताकि उन्हें गणितीय रूप से वापस 'जोड़ा' जा सके।"
इस पेपर के लेखक कहते हैं: "ऐसा करना बंद करें।"
उन्होंने पाया कि यह गणितीय सूत्र ट्री-बेस्ड मॉडल्स (Tree-Based Models) (जैसे रैंडम फॉरेस्ट) के लिए अच्छी तरह काम नहीं करता है। सूप को ठीक करने के बजाय, यह सूत्र स्वाद को बेहद अप्रत्याशित बना देता है।
खोजी गई दो मुख्य समस्याएँ
1. "नॉब" की समस्या (Predictors की संख्या)
कल्पना कीजिए कि आपका रैंडम फॉरेस्ट एक रहस्य सुलझाने की कोशिश करने वाले 500 जासूसों की एक टीम है।
- नियम: हर कदम पर, जासूसों को यह तय करने के लिए कि किस दिशा में जाना है, संकेतों (clues/predictors) की एक निश्चित संख्या को ही देखना चाहिए।
- प्रयोग: लेखकों ने एक "क्लू नॉब" (clue knob) घुमाया। कभी उन्होंने जासूसों को केवल 2 संकेत देखने दिए। कभी उन्हें 15 संकेत देखने दिए।
क्या हुआ?
जब उन्होंने पक्षपात (bias) को ठीक करने के लिए पुराने गणितीय सूत्र का उपयोग किया, तो अंतिम उत्तर इस बात पर निर्भर करता था कि जासूसों को कितने संकेतों को देखने की अनुमति दी गई थी।
- यदि उन्होंने 2 संकेतों को देखा, तो मॉडल ने 100 आग की भविष्यवाणी की।
- यदि उन्होंने 15 संकेतों को देखा, तो मॉडल ने 140 आग की भविष्यवाणी की।
उपमा (Analogy): यह लोगों के एक समूह से तरबूज का वजन बताने के लिए पूछने जैसा है। यदि आप उन्हें केवल रंग देखने के लिए कहते हैं, तो वे 10 पाउंड का अनुमान लगाते हैं। यदि आप उन्हें रंग, डंठल, थपथपाने पर आने वाली आवाज़ और बनावट देखने के लिए कहते हैं, तो वे 15 पाउंड का अनुमान लगाते हैं।
एक आदर्श दुनिया में, गणितीय सूत्र को इन अनुमानों को ठीक करना चाहिए था ताकि वे सभी एक ही वास्तविक वजन पर पहुँचें। लेकिन इसके बजाय, सूत्र ने अनुमानों को और अधिक बिखेर दिया। जासूसों ने जितने अधिक संकेतों का उपयोग किया, अंतिम अनुमान उतना ही ऊपर उछला।
2. "आश्चर्यजनक पक्षपात" (Sampling Rate)
आमतौर पर, हम सोचते हैं कि यदि आपके पास बहुत कम "अल्पसंख्यक" वस्तुएं (जैसे 10 गाजर) हैं, तो मॉडल उन्हें अनदेखा कर देगा और बहुत कम अनुमान लगाएगा।
- पुरानी धारणा: "डिसीजन ट्री अल्पसंख्यक वर्ग (minority class) को अनदेखा करते हैं।"
- पेपर की खोज: अपने प्रयोगों में, लेखकों ने पाया कि डिसीजन ट्री ने इसके विपरीत किया! उन्होंने अल्पसंख्यक वर्ग का अति-अनुमान (overestimate) किया।
उपमा: कल्पना कीजिए कि आप 1,000 मोतियों के जार में (990 नीले, 10 लाल) कितने लाल मोती हैं, इसका अनुमान लगाने की कोशिश कर रहे हैं। आप एक छोटा नमूना लेते हैं।
- अपेक्षित: आप शायद "शायद 1 या 2 लाल मोती" का अनुमान लगाएंगे (कम आंकना)।
- पेड़ों (Trees) ने क्या किया: पेड़ों ने नमूने को देखा और कहा, "वाह, लाल मोती तो हर जगह हैं! मुझे यकीन है कि यहाँ 50 लाल मोती हैं!"
लेखकों ने पाया कि जैसे-जैसे उन्होंने सैंपलिंग रेट (कितने आलू फेंके गए) को बदला, मॉडल का अति-अनुमान और भी खराब होता गया। गणितीय सूत्र ने इसे ठीक करने की कोशिश की, लेकिन क्योंकि पेड़ पहले से ही बहुत अधिक अनुमान लगा रहा था, इसलिए सूत्र ने अंतिम परिणाम को और भी अराजक बना दिया।
वास्तविक दुनिया का उदाहरण: जंगल की आग (Wildfires)
लेखकों ने अलबर्टा, कनाडा में जंगल की आग के बारे में वास्तविक डेटा के साथ इसका परीक्षण किया।
- जंगल की आग दुर्लभ होती है (गाजर की तरह)।
- उन्होंने पक्षपात को ठीक करने के लिए "गणितीय सूत्र" का उपयोग किया।
- परिणाम: इस बात पर निर्भर करते हुए कि उन्होंने "क्लू नॉब" (संकेतों की संख्या) को कैसे सेट किया या उन्होंने डेटा को कैसे सैंपल किया, मॉडल ने भविष्य की आग की संख्या में 40% तक का अंतर दिखाया।
- यह क्यों मायने रखता है: यदि कोई सरकारी एजेंसी इन मॉडलों का उपयोग यह तय करने के लिए करती है कि कहाँ फायर ट्रक भेजे जाएं, तो वे केवल कंप्यूटर कोड में एक सेटिंग बदलकर एक क्षेत्र में बहुत अधिक ट्रक भेज सकते हैं और दूसरे में कोई नहीं।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि "गणितीय सूत्र" (एनालिटिकल कैलिब्रेशन) इस विशिष्ट कार्य के लिए एक टूटा हुआ उपकरण है। यह एक ऐसी स्थिति पैदा करता है जहाँ:
- एक सेटिंग बदलना (जैसे संकेतों की संख्या) उत्तर को बदल देता है, भले ही उत्तर नहीं बदलना चाहिए।
- मॉडल कभी-कभी अल्पसंख्यक वर्ग को वास्तविक से अधिक सामान्य होने का अनुमान लगाता है, जिसे सूत्र ठीक करने में विफल रहता है।
समाधान: एक कठोर गणितीय सूत्र का उपयोग करने के बजाय, लेखक "लर्निंग" विधियों (जैसे बीटा कैलिब्रेशन) का उपयोग करने का सुझाव देते हैं। इसे एक स्वाद-परीक्षक (taste-tester) को काम पर रखने के रूप में सोचें जो वास्तव में अंतिम सूप को चखता है और सीखता है कि मसालों को कैसे समायोजित करना है, बजाय इसके कि वह कैलकुलेटर के साथ समायोजन की गणना करने की कोशिश करे।
एक वाक्य में सारांश
ट्री-बेस्ड मॉडल्स में "असंतुलित" डेटा को ठीक करने के लिए एक सरल गणितीय सूत्र का उपयोग करना काम नहीं करता है; यह भविष्यवाणियों को बेहद अस्थिर बना देता है और कभी-कभी दुर्लभ घटनाओं का अति-अनुमान भी करा देता है, इसलिए हमें पक्षपात को ठीक करने के लिए स्मार्ट, लर्निंग-आधारित तरीकों की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।