NMINE: Normalized Mutual Information Neural Estimation
यह शोध पत्र NMINE को प्रस्तुत करता है, जो एक पूर्णतः न्यूरल नॉर्मलाइज्ड म्यूचुअल इंफॉर्मेशन एस्टिमेटर है जो निरंतर बहुआयामी चरों के लिए मौजूदा k-निकटतम पड़ोसी (k-nearest-neighbor) विधियों के अधिक सटीक और आयामी-मजबूत विकल्प के रूप में MINE-आधारित म्यूचुअल इंफॉर्मेशन एस्टिमेशन को न्यूरल मार्जिनल एंट्रॉपी लर्निंग के साथ जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि ब्रह्मांड में दो चीजें आपस में कितनी जुड़ी हुई हैं। शायद आप यह देख रहे हैं कि मौसम आपके मूड को प्रभावित करता है या आपके द्वारा लिए गए कदमों की संख्या इस बात से संबंधित है कि आपको कितनी भूख लगती है। डेटा साइंस की दुनिया में, एक विशेष उपकरण है जिसे म्युचुअल इंफॉर्मेशन (Mutual Information) कहा जाता है, जो एक सुपर-सेंसिटिव रडार की तरह काम करता है। एक साधारण रूलर की तरह नहीं जो केवल सीधी रेखाओं को मापता है, यह रडार छिपे हुए, टेढ़े-मेढ़े और जटिल संबंधों को पकड़ सकता है, चाहे वे सीधी रेखा में चल रहे हों या एक अराजक सर्पिल (chaotic spiral) में नाच रहे हों।
हालाँकि, इस रडार की एक पेचीदा खामी है: इसकी रीडिंग अनबाउंडेड (unbounded) होती है और उन "इकाइयों" पर निर्भर करती है जिन्हें आप माप रहे हैं। यह एक पंख के वजन की तुलना एक पहाड़ के वजन से करने जैसा है, जिसमें एक ऐसा तराजू है जो हर बार वस्तु बदलने पर "भारी" की अपनी परिभाषा बदल देता है। इन रीडिंग को निष्पक्ष और तुलनीय बनाने के लिए, वैज्ञानिक एक तरकीब का उपयोग करते हैं जिसे नॉर्मलाइजेशन (Normalization) कहा जाता है। जबकि कुछ नॉर्मलाइजेशन तरीके स्कोर को 0-से-1 की एक निश्चित सीमा में सिकोड़ देते हैं, इस शोध पत्र में उपयोग किया गया विशिष्ट दृष्टिकोण (असिमेट्रिक नॉर्मलाइजेशन) स्कोर को एक निश्चित बॉक्स में नहीं डालता है। इसके बजाय, यह कनेक्शनों की रैंकिंग को सुरक्षित रखता है, यह सुनिश्चित करता है कि यदि एक वेरिएबल दूसरे की तुलना में दूसरे को बेहतर समझाता है, तो स्कोर उस क्रम को स्पष्ट रूप से दर्शाता है, भले ही कच्चे नंबर 1 तक सीमित न हों। बड़ी चुनौती क्या है? जब आपके पास एक साथ कई वेरिएबल्स होते हैं (जैसे कि एक उच्च-आयामी पहेली), तो इन स्कोरों की गणना करने के लिए उपयोग किए जाने वाले पुराने उपकरण अक्सर भ्रमित, अस्थिर या बिल्कुल गलत हो जाते हैं।
यहीं पर शोधकर्ताओं की एक नई टीम एक ताज़ा विचार के साथ सामने आती है। वे एक विधि प्रस्तावित करते हैं जिसे NMINE (Normalized Mutual Information Neural Estimation) कहा जाता है, जो पुराने, भारी-भरकम उपकरणों को स्मार्ट, ट्रेन होने योग्य न्यूरल नेटवर्क की एक टीम से बदल देता है। पुराने तरीके में पड़ोसियों को गिनने के बजाय, उनका सिस्टम डेटा के आकार को सीधे "महसूस करने" के लिए सीखता है।
समस्या: "पड़ोसी" गिनने का खेल
लंबे समय तक, इन कनेक्शनों को मापने का मानक तरीका KSG विधि (क्रैस्कोव, स्टॉबौअर और ग्रासबर्गर के नाम पर) था। कल्पना कीजिए कि आप एक विशाल, बहु-मंजिला पुस्तकालय (जो उच्च-आयामी डेटा का प्रतिनिधित्व करता है) में हैं। यह देखने के लिए कि क्या दो किताबें आपस में संबंधित हैं, KSG विधि आपसे आपके लक्ष्य के पांच सबसे करीबी किताबों को खोजने और उन्हें गिनने के लिए कहती है। यह एक छोटे, एकल-मंजिला पुस्तकालय (निम्न आयाम) में बहुत अच्छा काम करता है। लेकिन जैसे-जैसे पुस्तकालय अधिक मंजिलों और गलियारों के साथ ऊंचा और चौड़ा होता जाता है (उच्च आयाम), उन "निकटतम" किताबों को खोजना एक दुस्वप्न बन जाता है। दूरियां अजीब हो जाती हैं, गणना अविश्वसनीय हो जाती है, और पूरा सिस्टम शोर-शराबे वाले और गलत परिणाम देने लगता है। यह भीड़ भरे स्टेडियम में अपने सबसे अच्छे दोस्त को खोजने की कोशिश करने जैसा है जहाँ आप केवल उन पांच लोगों को देखते हैं जो आपके सबसे करीब खड़े हैं; आप किसी अजनबी को सिर्फ इसलिए चुन सकते हैं क्योंकि वह संयोग से वहीं खड़ा था।
समाधान: न्यूरल नेटवर्क को डेटा को "महसूस करना" सिखाना
इस शोध पत्र के लेखकों, पेट्रा एरिकिनहारु, मार्को टूनोनेन और विले हौटामैकी ने पड़ोसियों को गिनना बंद करने और सारा काम करने के लिए एक न्यूरल नेटवर्क को प्रशिक्षित करने का निर्णय लिया। उनके तरीके, NMINE को एक टीम के रूप में सोचें जो रहस्य सुलझाने के लिए तीन अत्यधिक प्रशिक्षित जासूसों (न्यूरल नेटवर्क) की तरह काम करती है।
- द जॉइंट डिटेक्टिव (The Joint Detective): यह नेटवर्क दोनों वेरिएबल्स को एक साथ देखता है (मान लीजिए X और Y) और यह पता लगाने की कोशिश करता है कि वे एक-दूसरे के बारे में कितना "जानते" हैं। यह म्यूचुअल इंफॉर्मेशन का अनुमान लगाने के लिए डॉन्स्कर-वरियाड (Donsker–Varadhan) रिप्रेजेंटेशन नामक एक गणितीय चाल का उपयोग करता है।
- द सोलो डिटेक्टिव्स (The Solo Detectives): दो अन्य नेटवर्क X को अकेले और Y को अकेले देखते हैं। उनका काम प्रत्येक वेरिएबल के लिए एंट्रॉपी (Entropy) (अनिश्चितता या "आश्चर्य" का एक माप) का अनुमान लगाना है।
- द रेफरेंस ट्रिक (The Reference Trick): यहाँ चालाकी भरा हिस्सा है। डेटा के सटीक आकार का अनुमान लगाने के बजाय (जो कठिन है), ये नेटवर्क डेटा की तुलना एक सरल, समान "ब्लैंक कैनवास" (एक यूनिफॉर्म रेफरेंस डिस्ट्रीब्यूशन) से करते हैं। कल्पना करें कि आप एक सादे सफेद दीवार से अंतर मापकर एक जटिल पेंटिंग का वर्णन करने की कोशिश कर रहे हैं। यदि पेंटिंग दीवार से बहुत अलग है, तो इसमें उच्च जटिलता (एंट्रॉपी) है। न्यूरल नेटवर्क का उपयोग करके इस "अंतर" (डाइवर्जेंस) को मापकर, वे सटीक आकार जाने बिना गणितीय रूप से एंट्रॉपी को पुनः प्राप्त कर सकते हैं।
एक बार जब नेटवर्क कनेक्शन (म्युचुअल इंफॉर्मेशन) और व्यक्तिगत अनिश्चितताओं (एंट्रॉपी) का अनुमान लगा लेते हैं, तो वे उन्हें मिला देते हैं। यह शोध पत्र विशेष रूप से असिमेट्रिक नॉर्मलाइजेशन का उपयोग करता है, जो इस प्रश्न का उत्तर देता है: "Y का कितना हिस्सा X द्वारा समझाया गया है?" इसे इसलिए चुना गया क्योंकि यह कनेक्शनों की रैंकिंग को सुसंगत बनाए रखता है, यह सुनिश्चित करता है कि यदि X, Z की तुलना में Y का बेहतर भविष्यवक्ता है, तो स्कोर इसे स्पष्ट रूप से दर्शाता है।
उन्होंने क्या पाया: उच्च आयामों में अधिक स्मार्ट
टीम ने अपने नए न्यूरल जासूस का परीक्षण सिंथेटिक डेटा के साथ किया जो 1 से 8 आयामों के स्पेस में बिंदुओं के बादल (गौसियन डेटा) जैसा दिखता था।
- परिणाम: निचले आयामों (1 और 2) में, पुराने KSG तरीके ने सैद्धांतिक सत्य का बहुत बारीकी से पालन किया। हालाँकि, जैसे ही उन्होंने जटिलता को 4 और 8 आयामों तक बढ़ाया, KSG विधि बिखरने लगी। यह कनेक्शनों को बढ़ा-चढ़ाकर बताने लगा, यानी यह चिल्लाने लगा कि "वे पूरी तरह से जुड़े हुए हैं!" भले ही वे नहीं थे, खासकर जब वेरिएबल्स मजबूती से जुड़े हुए थे।
- न्यूरल एज (The Neural Edge): NMINE विधि, हालांकि थोड़ी रूढ़िवादी थी (यह उच्चतम आयामों में कनेक्शन की ताकत को थोड़ा कम आंकती थी), बहुत अधिक स्थिर रही। यह पुराने तरीके की तरह बहुत अधिक अस्थिर या शोर भरी नहीं हुई।
- आंकड़े: जब उन्होंने त्रुटि (अनुमान और वास्तविक मान के बीच का अंतर) को मापा, तो NMINE समग्र रूप से काफी बेहतर था। उदाहरण के लिए, 1-आयामी डेटा में, NMINE ने KSG की तुलना में त्रुटि को लगभग 74% कम कर दिया। कठिन 8-आयामी परीक्षण में भी, इसने त्रुटि को लगभग 47% कम कर दिया। एक सांख्यिकीय परीक्षण ने पुष्टि की कि यह सुधार केवल किस्मत नहीं था; यह एक वास्तविक, महत्वपूर्ण अंतर था।
उन्होंने डेटा पर भी एक त्वरित परीक्षण चलाया जो "स्टूडेंट-टी" डिस्ट्रीब्यूशन (जिसमें भारी पूंछ होती है, जिसका अर्थ है कि चरम आउटलेयर्स अधिक सामान्य हैं) जैसा दिखता है। हालांकि उनके पास तुलना करने के लिए कोई पूर्ण "सत्य उत्तर" नहीं था, फिर भी न्यूरल पद्धति ने दिखाया कि जैसे-जैसे कनेक्शन मजबूत होते गए, यह एक सहज, तार्किक प्रतिक्रिया देती रही, जिससे पता चलता है कि यह चिकनी (smooth) न होने वाले वास्तविक दुनिया के डेटा पर भी अच्छा काम कर सकती है।
यह क्यों मायने रखता है (और आगे क्या है)
शोध पत्र निष्कर्ष निकालता है कि जटिल, बहु-आयामी डेटा में कनेक्शन को मापने के लिए पुराने, कठोर पड़ोसी-गिनने वाले उपकरणों को लचीले, ट्रेन होने योग्य न्यूरल नेटवर्क से बदलना एक जीतने वाली रणनीति है। यह मॉलिक्यूलर डायनेमिक्स (अणुओं की गति का अध्ययन) और इंटरप्रिटेबल मशीन लर्निंग (AI निर्णय क्यों लेता है, इसे समझना) जैसे क्षेत्रों के लिए एक बड़ी बात है, जहाँ सूक्ष्म, गैर-रेखीय निर्भरता को समझना महत्वपूर्ण है।
हालाँकि, लेखक इसे "हल किया हुआ" मामला कहने में सावधान हैं। वे नोट करते हैं कि उनकी विधि के लिए कई न्यूरल नेटवर्क को प्रशिक्षित करने की आवश्यकता होती है, जिसमें पुराने तरीकों की तुलना में अधिक कंप्यूटर पावर और समय लगता है। वे यह भी बताते हैं कि उनका वर्तमान सेटअप उन्हें अलग-अलग प्रशिक्षित करता है, और भविष्य के कार्य में उन्हें और भी बेहतर बनाने के लिए उन सभी को एक साथ प्रशिक्षित करने का प्रयास किया जा सकता है। इसके अतिरिक्त, हालांकि यह विधि उनके द्वारा परीक्षण किए गए डेटा पर अच्छी तरह काम करती है, वे स्वीकार करते कि वास्तव में जंगली, गैर-गौसियन वास्तविक दुनिया के डेटासेट को संभालने के लिए और काम की आवश्यकता है।
संक्षेप में, NMINE हमारे डेटा को जोड़ने वाले अदृश्य धागों को मापने का एक आशाजनक नया तरीका प्रदान करता है, यह साबित करता है कि कभी-कभी, एक जटिल दुनिया में सच्चाई खोजने के लिए, आपको केवल एक रूलर के बजाय एक न्यूरल नेट की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।