Focused PU learning from imbalanced data
यह शोध पत्र पॉजिटिव-अनलेबल (PU) लर्निंग के लिए एक नया फोकस्ड एम्पिरिकल रिस्क एस्टीमेटर प्रस्तावित करता है जो पॉजिटिव और अनलेबल उदाहरणों दोनों का उपयोग करके बाइनरी क्लासिफायर को प्रभावी ढंग से प्रशिक्षित करके अत्यधिक असंतुलित डेटासेट पर अत्याधुनिक प्रदर्शन प्राप्त करता है, जिसे नियंत्रित परिदृश्यों और वास्तविक दुनिया के वित्तीय गलत विवरण का पता लगाने में भी सफलतापूर्वक प्रमाणित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो साधारण पत्थरों के एक विशाल, अस्त-व्यस्त ढेर (अनलेबल डेटा) के भीतर कुछ दुर्लभ, छिपे हुए रत्नों (पॉजिटिव्स) को खोजने की कोशिश कर रहे हैं। समस्या यह है कि आपके पास केवल उन रत्नों की एक छोटी, अधूरी सूची है जिन्हें पहले किसी और ने खोजा था। बाकी का ढेर एक रहस्य है: इसमें ज्यादातर पत्थर हैं, लेकिन इसमें कई और रत्न भी शामिल हैं जिन्हें अभी तक देखा नहीं गया है।
यह PU लर्निंग (पॉजिटिव-अनलेबल लर्निंग) की दुनिया है। यह वास्तविक दुनिया में एक आम पहेली है, जैसे बैंकिंग में धोखाधड़ी का पता लगाना या बीमारी के जीन को पहचानना। आमतौर पर, मशीन लर्निंग जासूसों को यह सीखने के लिए "अच्छे लोगों" और "बुरे लोगों" दोनों की एक सूची की आवश्यकता होती है ताकि वे अंतर करना सीख सकें। लेकिन यहाँ, उनके पास केवल "अच्छे लोगों" की एक सूची है और मिश्रित वस्तुओं का एक विशाल थैला है।
समस्या: "देखने में कठिन" रत्न
लेखकों ने एक विशिष्ट, पेचीदा स्थिति देखी:
- रत्न दुर्लभ हैं: ढेर में रत्नों की तुलना में पत्थरों की संख्या बहुत अधिक है (इम्बैलेंस्ड डेटा)।
- रत्न छलावरण (Camouflaged) में हैं: कुछ छिपे हुए रत्न इतने अधिक रत्नों जैसे दिखते हैं कि मूल सूची बनाने वालों ने भी उन्हें मिस कर दिया। वे उन्हें पहचानने में बहुत कठिन थे।
मौजूदा अधिकांश डिटेक्टिव तरीके यह मान लेते हैं कि छिपे हुए रत्न बेतरतीब ढंग से बिखरे हुए हैं या आसानी से मिल जाते हैं। लेकिन वास्तव में, सबसे कठिन खोजे जाने वाले रत्न वे होते हैं जो पत्थरों जैसे दिखते हैं। जब डेटा असंतुलित होता है और "अच्छी" वस्तुएं छलावरण में होती हैं, तो मानक तरीके भ्रमित हो जाते हैं और विफल हो जाते हैं।
समाधान: एक "केंद्रित" आवर्धक लेंस (Magnifying Glass)
लेखक एक नई विधि प्रस्तावित करते हैं जिसे iFPU (इम्बैलेंस्ड फोकस्ड PU) कहा जाता है। इसे एक विशेष, "केंद्रित" आवर्धक लेंस के रूप में सोचें जो उनके साक्ष्य देखने के तरीके को बदल देता है।
हर गलती को समान रूप से मानने के बजाय, यह नई विधि फोकल लॉस (Focal Loss) नामक एक उपकरण का उपयोग करती है। यहाँ उपमा दी गई है:
- मानक लर्निंग: कल्पना कीजिए कि एक शिक्षक टेस्ट ग्रेड कर रहा है। यदि कोई छात्र आसान प्रश्न सही करता है, तो शिक्षक थोड़ा "अच्छा काम किया" कहता है। यदि वे कठिन प्रश्न गलत करते हैं, तो शिक्षक "फिर से प्रयास करें" कहता है। शिक्षक सभी प्रश्नों के साथ एक जैसा व्यवहार करता है।
- iFPU दृष्टिकोण: यह नया शिक्षक अधिक समझदार है। वे महसूस करते हैं कि आसान प्रश्नों को सही करना उबाऊ है और इससे ज्यादा मदद नहीं मिलती। लेकिन कठिन प्रश्नों को सही करना (या गलत करना) महत्वपूर्ण है। इसलिए, वे आसान चीजों को अनदेखा करते हैं और अपनी सारी ऊर्जा कठिन प्रश्नों पर केंद्रित करते हैं।
तकनीकी शब्दों में, यह विधि आसान उदाहरणों (स्पष्ट पत्थरों) का "भार कम" (down-weights) कर देती है और कठिन उदाहरणों (छलावरण वाले रत्नों) का "भार बढ़ा" (up-weights) देती है। यह कंप्यूटर को उन पेचीदा मामलों पर अतिरिक्त ध्यान देने के लिए मजबूर करता है जिनके छिपे हुए रत्न होने की सबसे अधिक संभावना है।
उन्होंने इसका परीक्षण कैसे किया
लेखकों ने केवल सिद्धांत की बात नहीं की; उन्होंने अपने नए जासूस का दो तरीकों से परीक्षण किया:
प्रशिक्षण मैदान (14 डेटासेट): उन्होंने 1- 14 अलग-अलग वास्तविक दुनिया के डेटासेट (जैसे मेडिकल रिकॉर्ड, क्रेडिट कार्ड डेटा और सैटेलाइट इमेज) लिए और समस्या का अनुकरण करने के लिए उनमें से कुछ "अच्छे" आइटम्स को कृत्रिम रूप से छिपा दिया। उन्होंने अपने मेथड का परीक्षण अन्य शीर्ष-स्तरीय डिटेक्टिव टूल्स के खिलाफ किया।
- परिणाम: उनका "केंद्रित" तरीका अन्य तरीकों की तुलना में लगातार अधिक छिपे हुए रत्न खोजने में सफल रहा, विशेष रूप से जब डेटा बहुत असंतुलित था और "अच्छे" आइटम्स को पहचानना कठिन था। इसने अन्य मौजूदा तरीकों के लगभग बराबर प्रदर्शन किया, लेकिन "छलावरण" वाले रत्नों को बेहतर ढंग से संभाला।
वास्तविक दुनिया का मामला (वित्तीय धोखाधड़ी): उन्होंने अपने मेथड को एक वास्तविक जीवन के परिदृश्य पर लागू किया: वित्तीय गलत विवरणों (कंपनी की रिपोर्टों में त्रुटियां या झूठ) को खोजना।
- चुनौती: ऑडिटर्स को अक्सर वर्षों बाद पता चलता है कि रिपोर्ट गलत है। इसलिए, AI को प्रशिक्षित करते समय, कई "गलत" रिपोर्ट अभी भी "अननोन" (अनलेबल) के रूप में लेबल की जाती हैं, और जो "गलत" रिपोर्ट ज्ञात हैं, वे बहुत दुर्लभ हैं।
- परिणाम: उनके मेथड ने पिछले अत्याधुनिक मॉडल्स को पछाड़ दिया। यह रिपोर्टों को रैंक करने में बेहतर था ताकि मानव ऑडिटर्स सबसे संदिग्ध रिपोर्टों को पहले ढूंढ सकें।
मुख्य निष्कर्ष
यह पेपर कंप्यूटर को सिखाने का एक स्मार्ट तरीका पेश करता है कि सामान्य वस्तुओं के समुद्र में दुर्लभ, छिपी हुई चीजों को कैसे खोजा जाए, विशेष रूप से तब जब वे छिपी हुई चीजें सामान्य चीजों से अलग पहचानना कठिन हो। एक "केंद्रित" दृष्टिकोण का उपयोग करके जो आसान चीजों को अनदेखा करता है और कठिन, छलावरण वाले मामलों पर ध्यान केंद्रित करता है, यह विधि नियंत्रित परीक्षणों और वास्तविक दुनिया के वित्तीय धोखाधड़ी का पता लगाने, दोनों में बेहतर परिणाम प्राप्त करती है।
मुख्य सबक: यदि आप घास के ढेर में सुई की तलाश कर रहे हैं, और सुई घास के टुकड़े जैसी ही दिखती है, तो पूरे ढेर को बेतरतीब ढंग से स्कैन न करें। एक ऐसे टूल का उपयोग करें जो विशेष रूप से घास के उन हिस्सों को उजागर करता है जो सुई हो सकते हैं, और स्पष्ट घास को अनदेखा करता है। यही वह काम है जो यह पेपर करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।