funOCLUST: Clustering Functional Data with Outliers

कल्पना कीजिए कि आपके पास स्पैगेटी का एक विशाल डिब्बा है। लेकिन ये केवल नूडल्स नहीं हैं; ये टेढ़ी-मेढ़ी, लहराती रेखाएं हैं जो तापमान में बदलाव, ट्रैफ़िक प्रवाह, या किसी पौधे के विकास जैसी चीजों को दर्शाती हैं। डेटा साइंस की दुनिया में, इन्हें फंक्शनल डेटा (functional data) कहा जाता है। समस्या क्या है? ये रेखाएं अनंत-आयामी (infinite-dimensional) हैं (इनमें अनंत बिंदु होते हैं), और ये बहुत बिखरी हुई हैं। कभी-कभी, एक नूडल में अजीब सा मोड़ आ जाता है, या अचानक आए तूफान से पूरा बैच ही बिगड़ जाता है, जिससे "आउटलेयर्स" (outliers) पैदा होते हैं जो उत्सव का मज़ा किरकिरा कर देते हैं।

यहाँ आता है funOCLUST, एक नया तरीका जिसे कैथरीन एम. क्लार्क और पॉल डी. मैकनिचोस द्वारा प्रस्तावित किया गया है। funOCLUST को एक सुपर-स्मार्ट, थोड़े गुस्सैल शेफ के रूप में सोचें जो इन स्पैगेटी नूडल्स को उनके आकार के आधार पर सही ढेरों में छाँटना चाहता है, लेकिन पहले, उन्हें उन अजीब, जले हुए या टूटे हुए टुकड़ों को बाहर निकालना होगा जो फिट नहीं बैठते।

बड़ा विचार: टेढ़ी-मेढ़ी रेखाओं को वेक्टर्स में बदलना

आप केवल एक मानक सॉर्टिंग मशीन में अनंत स्पैगेटी नहीं डाल सकते; यह बहुत जटिल है। लेखक एक चतुर ट्रिक का सुझाव देते हैं: वक्रों को समतल करना (flatten the curves)।

वे क्यूबिक बी-स्प्लाइन बेसिस (cubic B-spline basis) नामक चीज़ का उपयोग करते हैं। कल्पना कीजिए कि आप हर लहराती रेखा को उसके अनंत बिंदुओं के बजाय, संख्याओं की एक छोटी सूची (कोएफिशिएंट्स) द्वारा वर्णित करते हैं जो आपको विशिष्ट बिल्डिंग ब्लॉक्स का उपयोग करके उस रेखा को बनाने के निर्देश देते हैं। यह एक जटिल पेंटिंग को एक सरल रेसिपी कार्ड में बदलने जैसा है। एक बार जब वक्रों को संख्याओं की इन छोटी सूचियों (वेक्टर्स) में बदल दिया जाता है, तो समस्या को संभालना बहुत आसान हो जाता है।

"आउटलेयर" की खोज: लॉग-लाइक्लीहुड गेम

यहीं पर जादू होता है। लेखक एक मौजूदा विधि OCLUST (जो नियमित डेटा के लिए बनाई गई थी) को लेते हैं और इसे इन नए "रेसिपी कार्ड्स" के लिए अनुकूलित करते हैं।

एल्गोरिदम "अगर हम इसे हटा दें तो क्या होगा?" का खेल खेलता है:

1. यह वक्रों के पूरे समूह को देखता है।
2. यह पूछता है, "यदि मैं इस विशिष्ट वक्र को बाहर निकाल दूँ, तो क्या शेष समूह एक आदर्श, व्यवस्थित क्लस्टर की तरह दिखेगा?"
3. यह इसे सबसेट लॉग-लाइक्लीहुड (subset log-likelihood) के रूप में मापता है। इसे एक "सफाई स्कोर" (tidiness score) समझें। यदि किसी वक्र को हटाने से स्कोर में महत्वपूर्ण उछाल आता है, तो वह वक्र संभवतः गड़बड़ी करने वाला था।
4. एल्गोरिदम जाँचता है कि क्या "गड़बड़ी करने वाले" वक्र एक विशिष्ट गणितीय पैटर्न (एक शिफ्टेड और स्केल्ड बीटा डिस्ट्रीब्यूशन) का पालन करते हैं। यदि अजीब वक्र इस पैटर्न में फिट बैठते हैं, तो उन्हें आधिकारिक तौर पर आउटलेयर्स के रूप में बाहर कर दिया जाता है।

लेखकों ने गणितीय रूप से सिद्ध किया कि यदि वक्र एक मानक गौसियन मिक्सचर मॉडल (Gaussian mixture model) से उत्पन्न होते हैं, तो एक सामान्य वक्र को हटाने पर "सफाई स्कोर" एक अनुमानित तरीके से बदलता है। यदि स्कोर बहुत अधिक बदल जाता है, तो वह वक्र एक आउटलेयर है।

शोध पत्र क्या कहता है (और क्या नहीं कहता)

लेखकों ने अपने शेफ के कौशल का परीक्षण करने के लिए 100 सिम्युलेटेड डेटासेट्स चलाए। उन्होंने 8 अलग-अलग परिदृश्य बनाए, जिनमें सब कुछ मिलाया गया था:

• क्लस्टर्स (Clusters): कभी 2 समूह थे, तो कभी 5।
• जटिलता (Complexity): कुछ वक्र सरल थे (जैसे एक सीधी रेखा), अन्य जंगली थे (उभार और लहरों के साथ)।
• स्पैरसिटी (Sparsity): कभी डेटा घना था (बहुत सारे बिंदु), तो कभी विरल (बहुत सारे गायब बिंदु)।
• आउटलेयर्स (Outliers): उन्होंने दो प्रकार के गड़बड़ी करने वाले बनाए। कुछ "शिफ्ट-स्केल" (पूरी वक्र बड़ी हो गई या ऊपर खिसक गई) थे, और अन्य "हेवी-टेल" (रैंडम, जंगली त्रुटियां) थे।

परिणाम:

• हेवी-टेल एरर्स (Heavy-Tail Errors): जब डेटा में जंगली, रैंडम त्रुटियां (हेवी टेल्स) थीं, तो funOCLUST स्पष्ट विजेता था, जिसने funHDDC, T-funHDDC, और tkmeans जैसे प्रतिस्पर्धियों को पीछे छोड़ दिया।
• शिफ्ट-स्केल एरर्स (Shift-Scale Errors): जब आउटलेयर्स सामान्य वक्रों के शिफ्टेड या स्केल्ड संस्करण थे, तो tkmeans (एक ट्रिम्ड k-means विधि) वास्तव में थोड़ा बेहतर काम कर गया, हालांकि funOCLUST ने भी अपना स्थान बनाए रखा।
• वास्तविक दुनिया का परीक्षण 1 (पैदल यात्री ट्रैफ़िक): उन्होंने मेलबर्न में प्रति घंटा पैदल यात्री ट्रैफ़िक पर इसका परीक्षण किया। एल्गोरिदम कार्यदिवसों (workdays) को सप्ताहांत/छुट्टियों से सफलतापूर्वक अलग करने में सफल रहा। इसने 22 "आउटलेयर" दिनों की सही पहचान की, जिसमें न्यू ईयर डे, क्रिसमस और चाइनीज न्यू ईयर शामिल थे। ये वे दिन थे जहाँ ट्रैफ़िक पैटर्न सामान्य कार्यदिवस या सप्ताहांत के ढांचे में फिट नहीं बैठता था।
• वास्तविक दुनिया का परीक्षण 2 (NOx डेटा): उन्होंने बार्सिलोना में वायु प्रदूषण (NOx स्तर) के डेटा पर इसका परीक्षण किया। यह विधि मॉडल सेटिंग्स के आधार पर 0.51 और 0.86 के बीच करेक्ट क्लासिफिकेशन रेट (CCR) प्राप्त करने में सफल रही। सबसे अच्छा सेटिंग (EEE कोवेरियंस स्ट्रक्चर) 0.86 तक पहुँचा, जो अन्य शीर्ष विधियों के बराबर है।

जो यह पेपर खारिज करता है

लेखक सावधान रहते हैं कि उनकी विधि क्या नहीं है।

• वे स्पष्ट रूप से कहते हैं कि जबकि कुछ विधियाँ डेटा को "सबस्पेस" (विशिष्ट तरीके से आयामों को कम करना) में क्लस्टर करने की कोशिश करती हैं, funOCLUST पूरे फंक्शनल डोमेन को बरकरार रखता है। उनका तर्क है कि कभी-कभी आपको पूरे चित्र की आवश्यकता होती है, न कि केवल एक हिस्से की।
• वे नोट करते हैं कि उनकी विधि इस धारणा पर निर्भर करती है कि "रेसिपी कार्ड्स" (कोएफिशिएंट्स) एक मल्टीवेरिएट नॉर्मल डिस्ट्रीब्यूशन से आते हैं। यदि डेटा बहुत अधिक तिरछा (skewed) है या इसमें फिट नहीं बैठता है, तो विधि संघर्ष कर सकती है (हालांकि वे सुझाव देते हैं कि यह कई वास्तविक दुनिया के मामलों के लिए पर्याप्त मजबूत है)।
• वे यह दावा नहीं करते हैं कि यह सभी फंक्शनल डेटा के लिए एक "हल की गई समस्या" है। वास्तव में, उनके सिमुलेशन में, जब 5 क्लस्टर उच्च जटिलता और विरल डेटा के साथ थे, तो फॉल्स नेगेटिव रेट (आउटलेयर को पहचानने में चूक) बढ़कर 51% हो गया। वे स्वीकार करते हैं कि उन विशिष्ट, अव्यवस्थित स्थितियों में आउटलेयर्स का पता लगाना स्वाभाविक रूप से कठिन है।

निष्कर्ष

यह पेपर सुझाव देता है कि funOCLUST एक मजबूत (robust) नया उपकरण है। यह कोई जादुई छड़ी नहीं है जो सब कुछ तुरंत ठीक कर देती है, लेकिन यह एक बहुत मजबूत दावेदार है, खासकर जब डेटा शोर भरा हो या हेवी-टेल्ड एरर्स हों।

लेखक निष्कर्ष निकालते हैं कि यह फंक्शनल डेटा के लिए पहला विस्तार है। वे इसे एक कदम के रूप में देखते हैं। वे सुझाव देते हैं कि भविष्य में, इसे तिरछे डेटा (skewed data) को संभालने के लिए विस्तारित किया जा सकता है या यहाँ तक कि "रेसिपी" (बेसिस डिकंपोजिशन) को क्लस्टरिंग एल्गोरिदम के अंदर ही अनुमानित किया जा सकता है, न कि केवल एक पहले चरण के रूप में।

इसलिए, यदि आपके पास बिखरी हुई, लहराती स्पैगेटी का एक डिब्बा है और आपको जले हुए टुकड़ों को बाहर निकालते हुए उन्हें छाँटना है, तो funOCLUST एक ऐसा शेफ है जिसे काम पर रखने लायक है—बस यह उम्मीद न करें कि यह पूरी तरह से काम करेगा यदि स्पैगेटी बहुत अधिक अजीब है और रसोई बहुत अंधेरी है!