Statistical Hypothesis Testing for Information Value (IV)
यह शोध पत्र सूचना मान (IV) फीचर चयन के लिए पारंपरिक अनुभवजन्य थ्रेशोल्ड के स्थान पर जेफ्रीज डायवर्जेंस (Jeffreys divergence) पर आधारित एक सांख्यिकीय रूप से कठोर, नॉनपैरामीट्रिक परिकल्पना परीक्षण का प्रस्ताव करता है, जो विशेष रूप से असंतुलित और उच्च-आयामी परिवेशों में विश्वसनीय, व्याख्या योग्य निर्णय और एसिम्प्टोटिक गारंटी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक अपराध को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक संदिग्ध के बजाय, 300 संभावित गवाहों (फीचर्स) से भरा एक कमरा है। आपका लक्ष्य उन कुछ गवाहों को चुनना है जिन्होंने वास्तव में अपराध देखा और उन्हें अनदेखा करना है जो बस वहां खड़े होकर गप्पें मार रहे थे।
डेटा साइंस की दुनिया में, विशेष रूप से क्रेडिट कार्ड धोखाधड़ी का पता लगाने या ऋण चूक (loan defaults) की भविष्यवाणी करने के लिए, इस प्रक्रिया को फीचर सिलेक्शन (Feature Selection) कहा जाता है। सूचना मान (Information Value - IV) नामक एक टूल, जिसे दशकों से जासूसों द्वारा उपयोग किया जा रहा है, इनमें से एक लोकप्रिय उपकरण है।
पुराना तरीका: "मैजिक नंबर" का नियम
वर्षों से, जासूस यह तय करने के लिए एक सरल नियम का उपयोग करते आए हैं कि क्या किसी गवाह को सुनना लायक है। वे प्रत्येक गवाह के लिए एक स्कोर (IV) की गणना करते हैं।
- यदि स्कोर 0.1 से नीचे है, तो वे गवाह को अनदेखा कर देते हैं।
- यदि स्कोर 0.1 से ऊपर है, तो वे उनकी बात सुनते हैं।
समस्या यह है कि इस पेपर के लेखक बताते हैं कि 0.1 एक "मैजिक नंबर" है। कोई वास्तव में नहीं जानता कि यह 0.1 क्यों है। यह सिर्फ एक नियम है जिसे लोगों ने इसलिए इस्तेमाल किया क्योंकि यह अतीत में "काम करता हुआ लगा।" यह ऐसा ही है जैसे यह कहना कि, "यदि कोई संदिग्ध 5'10" से लंबा है, तो वह दोषी है," बिना किसी वास्तविक साक्ष्य के कि ऊंचाई का अपराध से क्या संबंध है।
यह नियम तब टूट जाता है जब डेटा "असंतुलित" (imbalanced) होता है। कल्पना कीजिए कि एक धोखाधड़ी के मामले में 99% लेनदेन ईमानदार हैं, और केवल 1% धोखाधड़ी है। इस परिदृश्य में, पुराना "मैजिक नंबर" नियम भ्रमित हो जाता है। यह अच्छे गवाहों को अनदेखा कर सकता है या, और भी बदतर, निर्दोष लोगों को संदिग्ध के रूप में चिह्नित कर सकता है (गलत अलार्म) क्योंकि संख्याएं झुकी हुई हैं।
नया तरीका: "जे-डाइवर्जेंस टेस्ट" (J-Divergence Test)
लेखकों (हेल्डर रोजास, सिरिलो अल्वेरेज़ और निलटन रोजास) ने अनुमान लगाना बंद करने और गणित का उपयोग करने का निर्णय लिया। उन्होंने इस मैजिक नंबर को बदलने के लिए एक औपचारिक सांख्यिकीय परीक्षण (formal statistical test) बनाया।
उन्होंने इसे कैसे किया, इसके लिए एक सरल उपमा (analogy) यहाँ दी गई है:
उपमा: तराजू के दो पक्ष
कल्पना कीजिए कि आपके पास लोगों के दो समूह हैं:
- समूह A: वे लोग जिन्होंने धोखाधड़ी की ( "बुरे" समूह)।
- समूह B: वे लोग जो ईमानदार थे ("अच्छे" समूह)।
आप जानना चाहते हैं कि क्या एक विशिष्ट फीचर (जैसे "दिन का समय") इन दोनों समूहों को अलग करता है।
- यदि "बुरे" समूह के लोग ज्यादातर रात में खरीदारी करते हैं और "अच्छे" समूह के लोग ज्यादातर सुबह खरीदारी करते हैं, तो वह फीचर एक बेहतरीन जासूस है।
- यदि दोनों समूह यादृच्छिक (random) समय पर खरीदारी करते हैं, तो वह फीचर बेकार है।
पुराना तरीका केवल अंतर को देखता था और कहता था: "क्या अंतर 0.1 से बड़ा होने के लिए पर्याप्त बड़ा है?"
नया तरीका (जे-डाइवर्जेंस टेस्ट) एक गहरा सवाल पूछता है: "क्या इन दो समूहों के बीच का अंतर सांख्यिकीय रूप से महत्वपूर्ण है, या यह केवल रैंडम शोर (noise) है?"
उन्होंने जेफ्रेज़ डाइवर्जेंस (Jeffreys Divergence) नामक एक गणितीय अवधारणा का उपयोग किया (इसे दो समूहों के बीच की दूरी को मापने के लिए एक बहुत ही सटीक रूलर/पैमाने के रूप में समझें)। उन्होंने गणितीय रूप से सिद्ध किया कि यदि आपके पास पर्याप्त डेटा है, तो यह रूलर एक अनुमानित पैटर्न (जैसे बेल कर्व) का पालन करता है।
क्योंकि वे पैटर्न को जानते हैं, वे एक p-वैल्यू (p-value) की गणना कर सकते हैं।
- पुराना तरीका: "क्या स्कोर > 0.1 है?" (अनुमान के आधार पर हाँ/नहीं)।
- नया तरीका: "क्या इस बात की संभावना कि यह संयोग से हुआ है, 0.01% से कम है?" (कठोर गणित के आधार पर हाँ/नहीं)।
यह क्यों मायने रखता है: धोखाधड़ी का जासूसी मामला
लेखकों ने अपने नए टूल का परीक्षण 4,70,000 से अधिक ई-कॉमर्स लेनदेन के वास्तविक डेटासेट पर किया, जहाँ केवल 0.3% वास्तव में धोखाधड़ी थी (एक बहुत ही "असंतुलित" स्थिति)।
- पुराना नियम (IV > 0.1): इसने 220 फीचर्स को बाहर कर दिया।
- नया नियम (J-Divergence Test): इसने 262 फीचर्स को बाहर कर दिया।
नए टेस्ट ने 42 अतिरिक्त फीचर्स खोज निकाले जिन्हें पुराने नियम ने मिस कर दिया था। ये 42 फीचर्स वास्तव में धोखाधड़ी पकड़ने में बहुत अच्छे थे! जब लेखकों ने इन अतिरिक्त फीचर्स का उपयोग करके एक कंप्यूटर मॉडल (LightGBM) को प्रशिक्षित किया, तो मॉडल अधिक सटीक हो गया और इसने कम गलतियाँ (विशेष रूप से, कम गलत अलार्म जहाँ ईमानदार ग्राहकों को ब्लॉक कर दिया गया था) कीं।
मुख्य निष्कर्ष (The Bottom Line)
पेपर का दावा है कि:
- पुराना "मैजिक नंबर" (0.1) अविश्वसनीय है, खासकर जब डेटा असंतुलित (जैसे धोखाधड़ी का पता लगाने में) होता है।
- उनका नया जे-डाइवर्जेंस टेस्ट एक वैज्ञानिक रूप से सिद्ध, नॉन-पैरामीट्रिक तरीका है यह तय करने का कि कौन से फीचर्स मायने रखते हैं।
- यह आपको एक p-वैल्यू देता है, जिससे आप जान सकते हैं कि आप अपने निर्णय पर कितने आश्वस्त हो सकते हैं।
- यह पुराने तरीके की तुलना में वास्तविक धोखाधड़ी परिदृश्यों में बेहतर काम करता है, अधिक उपयोगी सुराग ढूंढता है और गलत अलार्म को कम करता है।
उन्होंने एक मुफ्त पायथन टूल भी बनाया ताकि अन्य जासूस (डेटा वैज्ञानिक) इस नए, अधिक विश्वसनीय पैमाने का उपयोग कर सकें।
संक्षेप में: उन्होंने अनुमान लगाने वाले नियम को एक गणितीय रूप से कठोर परीक्षण से बदल दिया, जिससे डेटा के समुद्र में "असली संदिग्धों" को खोजना आसान हो गया, भले ही अपराध दुर्लभ हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।