Clustering data with values missing at random using scale mixtures of multivariate skew-normal distributions
यह शोधपत्र रैंडम मिसिंग वैल्यूज (missing values at random) वाले डेटा के मॉडल-आधारित क्लस्टरिंग के लिए एक संवर्धित EM-प्रकार के एल्गोरिदम का प्रस्ताव करता है, जो स्क्यूनेस (skewness), हेवी टेल्स (heavy tails) और अपूर्ण अवलोकनों को एक साथ संभालने के लिए मल्टीवेरिएट स्क्यू-नॉर्मल डिस्ट्रीब्यूशन के फाईनाइट मिक्सचर ऑफ स्केल मिक्सचर्स के विस्तार के माध्यम से कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो संदिग्धों को उनकी आदतों के आधार पर समूहों में बांटकर एक रहस्य सुलझाने की कोशिश कर रहे हैं। डेटा विज्ञान की दुनिया में, इसे "क्लस्टरिंग" (clustering) कहा जाता है। आमतौर पर, एक जासूस के पास एक आदर्श लाइनअप होता है जहाँ हर संदिग्ध सूचना की एक पूरी फाइल के साथ उपस्थित होता है। लेकिन वास्तविक दुनिया में, फाइलों के कई पन्ने गायब हो सकते हैं, स्याही फैल सकती है, या गवाह विवरण भूल सकते हैं। यह "लुप्त डेटा" (missing data) है। यदि आप लुप्त फाइलों को अनदेखा करके रहस्य सुलझाने की कोशिश करते हैं, तो आप सबसे महत्वपूर्ण सुराग खो सकते हैं। यदि आप अनुमान लगाने की कोशिश करते हैं कि क्या गायब है, तो आप गलती से एक ऐसे संदिग्ध का आविष्कार कर सकते हैं जो कभी अस्तित्व में ही नहीं था।
अधूरी और अव्यवस्थित जानकारी को समझने के लिए, वैज्ञानिक अक्सर एक "मिश्रण मॉडल" (mixture model) नामक उपकरण का उपयोग करते हैं। इसे अलग-अलग रंगों की कंचों (marbles) की एक थैली के रूप में सोचें। यदि आप हाथ अंदर डालकर एक कंचा निकालते हैं, तो आपको यह नहीं पता होता कि उसका रंग क्या है, लेकिन आप जानते हैं कि थैली में लाल, नीले और हरे रंग का मिश्रण है। लक्ष्य यह पता लगाना है कि थैली में कितने रंग हैं और एक "औसत" लाल कंचा कैसा दिखता है। लंबे समय तक, वैज्ञानिकों ने माना कि ये कंचे पूरी तरह से गोल और सममित थे, जैसे मानक पासे होते हैं। लेकिन वास्तविक दुनिया का डेटा अक्सर टेढ़ा-मेढ़ा होता है—कुछ कंचे खिंचे हुए होते हैं, या उनमें भारी पूंछ (heavy tails) होती है जहाँ चरम मान (extreme values) रहते हैं। इसे संभालने के लिए, वैज्ञानिकों ने "स्क्यू-नॉर्मल" (skew-normal) वितरण विकसित किया, जो खिंचे हुए, टेढ़े-मेढ़े कंचों की तरह हैं जो अजीब आकृतियों में ढलने के लिए झुक सकते हैं।
हालाँकि, एक समस्या थी: ये शानदार, खिंचे हुए कंचे तब तो बेहतरीन थे जब डेटा पूर्ण होता था, लेकिन जब फाइलों के पन्ने गायब होते थे, तो वे बिखर जाते थे। आप गायब हिस्सों को बस अनदेखा नहीं कर सकते थे, और अनुमान लगाना जोखिम भरा था। यह शोध पत्र उस अंतर को भरने का काम करता है। यह शक्तिशाली, खिंचे हुए "स्क्यू-नॉर्मल" कंचों को यह सिखाता है कि खेल के नियमों को तोड़े बिना लुप्त जानकारी को कैसे संभालना है।
लेखक, जो दक्षिण अफ्रीका, अमेरिका और इटली के सांख्यिकीविदों की एक टीम है, ने एक नया गणितीय इंजन बनाया है जिसे "फाइनाइट मिक्सचर ऑफ स्केल मिक्सचर्स ऑफ मल्टीवेरिएट स्क्यू-नॉर्मल" (FMSMSN) परिवार कहा जाता है। कल्पना कीजिए कि यह परिवार चार अलग-अलग प्रकार के खिंचे हुए, टेढ़े-मेढ़े कंचों वाला एक टूलबॉक्स है: मानक स्क्यू-नॉर्मल, स्क्यू-टी (जो चरम आउटलेर्स को संभालता है), स्क्यू-स्लैश (जो और भी अधिक जंगली आउटलेर्स को संभालता है), और स्क्यू-वैरिएंस-गामा (सबसे अधिक लचीला)।
इस शोध की बड़ी सफलता यह है कि उन्होंने इस पूरे टूलबॉक्स का उपयोग तब भी करने का तरीका खोज निकाला है जब डेटा अधूरा हो। उन्होंने यह करने के लिए यह माना कि लुप्त डेटा "मिस्ड एट रैंडम" (MAR) है। जासूसी के शब्दों में, इसका अर्थ यह है कि कोई फाइल इसलिए गायब नहीं है क्योंकि संदिग्ध अपने बारे में कुछ विशिष्ट छिपा रहा है, बल्कि शायद इसलिए कि फाइल डाक में खो गई या गवाह व्यस्त था। लुप्त होने का कारण स्वयं उस गुप्त मान पर निर्भर नहीं है। इस धारणा के तहत, लेखकों ने एक नया सेट नियम (एक संशोधित एल्गोरिदम) निकाला है जो कंप्यूटर को समूहों को समझने के साथ-साथ गणितीय रूप से "खाली स्थानों को भरने" की अनुमति देता है, बजाय इसके कि वह केवल अनुमान लगाए या डेटा को फेंक दे।
यह देखने के लिए कि क्या उनका नया इंजन काम करता है, टीम ने कंप्यूटर सिमुलेशन की एक श्रृंखला चलाई। उन्होंने नकली डेटासेट बनाए जिनमें दो समूह थे, जिनमें से कुछ आपस में करीब थे और कुछ दूर। फिर उन्होंने जानबूझकर जानकारी का 0%, 20%, 40%, 60%, और यहाँ तक कि 80% हिस्सा यादृच्छिक (random) रूप से मिटा दिया। उन्होंने यह देखने के लिए अपने टूलबॉक्स के चारों प्रकार के कंचों का परीक्षण किया कि कौन सा समूहों को सही ढंग से ढूंढ सकता है और कंचों के सही आकार का अनुमान लगा सकता है।
परिणामों ने दिखाया कि जैसे-जैसे अधिक डेटा गायब होता गया, समूहों को ढूंढना सभी मॉडलों के लिए कठिन होता गया, जो कि अपेक्षित है। हालाँकि, अधिक जटिल और लचीले मॉडल (जैसे कि स्क्यू-वैरिएंस-गामा) ने 80% जानकारी गायब होने के बावजूद, डेटा के वास्तविक आकारों को पुनः प्राप्त करने में बेहतर प्रदर्शन किया। टीम ने पाया कि हालांकि डेटा गायब होने पर कोई भी मॉडल पूर्ण नहीं था, फिर भी उनकी नई विधि उन अधूरी पंक्तियों को सीधे हटाने की तुलना में कहीं अधिक श्रेष्ठ थी, जिससे उनके पास लगभग कोई डेटा ही नहीं बचता।
अंत में, शोधकर्ताओं ने अपने नए तरीके को सिमुलेशन लैब से बाहर निकालकर वास्तविक दुनिया के डेटा पर लागू किया: वैश्विक कार्बन डाइऑक्साइड (CO2) उत्सर्जन। उन्होंने दुनिया भर के देशों के लिए सात विभिन्न क्षेत्रों (जैसे बिजली, विनिर्माण और परिवहन) से उत्सर्जन को देखा। पेच यह था कि इस डेटासेट की 84% से अधिक पंक्तियाँ अधूरी थीं। यदि उन्होंने पुराने "गायब को हटा दो" वाले तरीके का उपयोग किया होता, तो उन्हें लगभग पूरा डेटासेट फेंकना पड़ता। इसके बजाय, उन्होंने अपने नए एल्गोरिदम का उपयोग किया।
एल्गोरिदम ने देशों को दो स्पष्ट समूहों में सफलतापूर्वक वर्गीकृत किया। एक समूह में सामान्यतः कम उत्सर्जन वाले राष्ट्र शामिल थे, जैसे उत्तरी अफ्रीका के कुछ हिस्से, कनाडा और जापान। दूसरे समूह में उच्च उत्सर्जन वाले देश शामिल थे, जिसमें अमेरिका, चीन, भारत और ग्लोबल साउथ के कई देश शामिल थे। विश्लेषण ने आर्थिक विकास (GDP) में सुधार और बढ़ते कार्बन उत्सर्जन के बीच एक संबंध का सुझाव दिया, जिससे पता चलता है कि विकासशील अर्थव्यवस्थाओं को अक्सर विकास और पर्यावरणीय प्रभाव के बीच एक समझौते का सामना करना पड़ता है। अध्ययन यह निष्कर्ष निकालता है कि इस लचीले, लुप्त-डेटा-अनुकूल दृष्टिकोण का उपयोग करके, वैज्ञानिक अब बिखरे हुए, वास्तविक दुनिया के डेटा में पैटर्न को उजागर कर सकते हैं जो पहले असंभव था, जिससे मूल्यवान जानकारी को फेंके बिना वैश्विक रुझानों की एक स्पष्ट तस्वीर मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।