A monotonic MM-type algorithm for estimation of nonparametric finite mixture models with dependent marginals

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं जहाँ सुराग एक बिखरे हुए कमरे में फैले हुए हैं। सांख्यिकी (statistics) की दुनिया में, यह कमरा एक डेटासेट है, और सुराग फूलों के माप या जीन जैसे डेटा बिंदु (data points) हैं। अक्सर, ये सुराग केवल एक ही समूह के नहीं होते; वे कई अलग-अलग समूहों का एक मिला-जुला मिश्रण होते जो एक साथ छिपे होते हैं। इसे "मिश्रण मॉडल" (mixture model) कहा जाता है। जासूस का काम यह पता लगाना है कि कौन से सुराग किस समूह के हैं और वे समूह कैसे दिखते हैं।

आमतौर पर, सांख्यिकीविद यह मान लेते हैं कि प्रत्येक समूह में सुराग स्वतंत्र होते हैं, जैसे कि दराज में एक लाल मोजा और एक नीला मोजा ढूंढना जहाँ एक का रंग दूसरे के बारे में कुछ भी नहीं बताता है। लेकिन वास्तविक दुनिया में, चीजें शायद ही कभी इतनी सरल होती हैं। अक्सर, सुराग आपस में जुड़े होते हैं। यदि आपको एक लाल मोजा मिलता है, तो आपको एक मैचिंग लाल जूता मिलने की अधिक संभावना हो सकती है। यह "लिंक" या "निर्भरता" (dependence) इस रहस्य को सुलझाना और भी कठिन बना देती है। इसे संभालने के लिए, सांख्यिकीविद एक चतुर गणितीय उपकरण का उपयोग करते हैं जिसे "कोपुला" (copula) कहा जाता है। कोपुला को एक विशेष गोंद के रूप में सोचें जो व्यक्तिगत सुरागों को एक साथ चिपका देता है, जो ठीक से वर्णन करता है कि वे एक-दूसरे पर कैसे निर्भर हैं, बिना उन सुरागों के स्वरूप को बदले।

लंबे समय तक, इन "गोंद से जुड़े" रहस्यों को सुलझाना कंप्यूटरों के लिए एक बुरा सपना रहा है। एल्गोरिदम (वे चरण-दर-चरण निर्देश जिनका कंप्यूटर पालन करता है) या तो बहुत धीमे थे, या बहुत अनिश्चित थे, या वे एक लूप में फंस जाते थे, और कभी भी सबसे अच्छा उत्तर नहीं खोज पाते थे। उनमें एक महत्वपूर्ण विशेषता की कमी थी जिसे "मोनोटोनिसिटी" (monotonicity) कहा जाता है। कल्पना कीजिए कि आप कोहरे में एक पहाड़ पर चढ़ने की कोशिश कर रहे हैं। एक अच्छा एल्गोरिदम एक ऐसे हाइकर की तरह है जिसे गारंटी है कि वह हमेशा शिखर की ओर ऊपर की ओर कदम बढ़ाएगा, कभी पीछे नहीं फिसलेगा। पुराने तरीके ऐसे हाइकर की तरह थे जो कभी ऊपर जाते, फिर नीचे आते, फिर ऊपर जाते, जिससे यह जानना कठिन हो जाता था कि वे वास्तव में शीर्ष के करीब पहुँच रहे हैं या नहीं।

यह शोध पत्र एक नया, स्मार्ट हाइकर पेश करता है: एक "माइनोराइजेशन-मैक्सिमाइजेशन" (MM) एल्गोरिदम। लेखक, माइकल लेविन ने एक नियत (deterministic) विधि बनाई है जो एक ऐसे हाइकर की तरह काम करती है जिसके पास एक सटीक दिशा-सूचक यंत्र (compass) है। इस नए एल्गोरिदम द्वारा लिया गया हर एक कदम गारंटी के साथ उसे सर्वोत्तम संभव समाधान की ओर ले जाता है, कभी पीछे नहीं फिसलता। यह डेटा के खुरदरे किनारों को सुचारू बनाने और मिश्रित समूहों को सावधानीपूर्वक अलग करने का काम करता है, भले ही वे जटिल निर्भरताओं के साथ एक साथ चिपके हों। पेपर दिखाता है कि यह नई विधि कंप्यूटर सिमुलेशन और वास्तविक दुनिया के डेटा पर अच्छी तरह काम करती है, जो इन सांख्यिकीय गांठों को सुलझाने का एक विश्वसनीय तरीका प्रदान करती है जहाँ पिछले तरीके संघर्ष कर रहे थे।

नए एल्गोरिदम की कहानी

यह शोध पत्र एक विशिष्ट समस्या का समाधान करता है: जब डेटा बिंदु स्वतंत्र नहीं होते हैं, तो "फाइनाइट मिक्सचर मॉडल" (finite mixture model) के हिस्सों का अनुमान कैसे लगाया जाए। सरल शब्दों में, कल्पना कीजिए कि आपके पास तीन अलग-अलग जार से मिले हुए मार्बल्स (कंचे) का एक बैग है। आप जार को देख नहीं सकते, केवल मार्बल्स को देख सकते हैं। आप जानते हैं कि तीन जार (समूह/components) हैं, लेकिन आप यह नहीं जानते कि प्रत्येक जार में कौन से रंग के मार्बल्स हैं, और न ही आप जानते हैं कि कितने मार्बल्स किस जार से आए हैं (वजन/weights)। इसे और कठिन बनाने के लिए, मार्बल्स केवल यादृच्छिक रंग के नहीं हैं; एक मार्बल का रंग दूसरे के आकार से जुड़ा हो सकता है (निर्भरता/dependence)।

लेखक इस लिंक को मॉडल करने के लिए एक "कोपुला" का उपयोग करते हैं। कोपुला को एक रेसिपी के रूप में सोचें जो आपको बताती है कि अंतिम व्यंजन (joint density) बनाने के लिए व्यक्तिगत सामग्रियों (marginal densities) को कैसे मिलाया जाए। चुनौती यह है कि हमें सामग्री, रेसिपी, या अनुपात का पता नहीं है। हमारे पास केवल अंतिम व्यंजन (डेटा) है।

यह पेपर इसे हल करने के लिए एक नया एल्गोरिदम प्रस्तावित करता है। यह एक "MM" एल्गोरिदम है, जिसका अर्थ है "माइनोराइजेशन-मैक्सिमाइजेशन"। यह इस मनोरंजक उपमा के माध्यम से कैसे काम करता है, यहाँ दिया गया है:

कल्पना कीजिए कि आप कोहरे वाली घाटी (सर्वोत्तम समाधान) में उच्चतम बिंदु खोजने की कोशिश कर रहे हैं। आपके पास एक मानचित्र है, लेकिन यह थोड़ा धुंधला है।

1. पुराना तरीका: पिछले एल्गोरिदम किसी के अंदाज़ा लगाने वाले अगले कदम की तरह थे। कभी उन्होंने सही अंदाज़ा लगाया और ऊपर गए; कभी उन्होंने गलत अंदाज़ा लगाया और नीचे आ गए। उनके पास यह गारंटी नहीं थी कि वे शीर्ष के करीब पहुँच रहे हैं।
2. नया तरीका (यह पेपर): नया एल्गोरिदम एक "रैंप" (surrogate function) बनाता है जो वास्तविक इलाके के नीचे स्थित होता है। वह जानता है कि यदि वह रैंप पर चढ़ता है, तो इसकी गारंटी है कि वह जहाँ से शुरू हुआ था उससे ऊँचा होगा। वह उस रैंप के शीर्ष को पाता है, वहाँ एक कदम लेता है, और फिर एक नया, और भी ऊँचा रैंप बनाता है। क्योंकि वह हमेशा रैंप पर चढ़ता है, इसलिए गणितीय रूप से गारंटी है कि वह कभी पीछे नहीं जाएगा। यह "मोनोटोनिक" है।

पेपर सिद्ध करता है कि यह विधि मोनोटोनिक है। यह भी दिखाता है कि इसके द्वारा उत्पन्न घनत्व कार्यों (density functions - समूहों के आकार) का क्रम वास्तव में एक समाधान की ओर अभिसरित (converge) होता है।

इस पेपर ने क्या पाया

लेखक ने केवल एल्गोरिदम का आविष्कार नहीं किया; उन्होंने इसे यह देखने के लिए परीक्षण किया कि क्या यह वास्तव में काम करता है।

सिमुलेशन में:
शोधकर्ताओं ने एल्गोरिदम का परीक्षण करने के लिए नकली डेटा बनाया। उन्होंने डेटा बिंदुओं के तीन समूह बनाए जिनके आकार और लिंक अलग-अलग थे। उन्होंने 300, 500, 700 और 900 बिंदुओं के नमूना आकार का उपयोग किया।

• परिणाम: एल्गोरिदम बहुत अच्छी तरह से काम करता है। "ऑब्जेक्टिव फंक्शनल" (एक स्कोर जो समाधान की गुणवत्ता को मापता है) तेजी से गिरता है और स्थिर हो जाता है। तीसरे या चौथे चरण तक, एल्गोरिदम लगभग पूरा हो चुका था।
• सावधानी: पेपर नोट करता है कि एल्गोरिदम "लोकल" (स्थानीय) है। इसका मतलब है कि यह उस स्थान के पास का सर्वोत्तम समाधान ढूंढता है जहाँ से यह शुरू होता है। यदि आप गलत जगह से शुरू करते हैं, तो आप एक बड़ी पहाड़ी के बजाय एक छोटी पहाड़ी पर समाप्त हो सकते हैं। सिमुलेशन ने दिखाया कि यदि आप एक अच्छे अनुमान (k-means नामक विधि का उपयोग करके) के साथ शुरू करते हैं, तो परिणाम बेहतरीन होते हैं। लेकिन यदि आप एक खराब अनुमान (Gaussian mixture model का उपयोग करके) के साथ शुरू करते हैं, तो एल्गोरिदम एक उप-इष्टतम (suboptimal) स्थान में फंस सकता है।
• डेटा: सिमुलेशन में, एल्गोरिदम ने डेटा बनाने के लिए उपयोग किए गए वास्तविक मापदंडों को सफलतापूर्वक प्राप्त किया, जो यह सुझाव देता है कि यह एक "सुव्यवस्थित" (well-behaved) उपकरण है, भले ही पेपर स्वीकार करता है कि गणितीय रूप से मॉडल की विशिष्टता (identifiability) को सिद्ध करना अभी भी एक खुला प्रश्न है।

वास्तविक डेटा पर:
टीम ने प्रसिद्ध "Iris" डेटासेट पर एल्गोरिदम का परीक्षण किया, जिसमें तीन विभिन्न प्रजातियों के 150 फूलों के माप शामिल हैं। उन्होंने केवल दो विशेषताओं को देखा: सेपल की लंबाई (sepal length) और पंखुड़ी की लंबाई (petal length)।

• परिणाम: एल्गोरिदम ने लगभग सभी फूलों को सही ढंग से वर्गीकृत किया। केवल तीन फूलों को गलत वर्गीकृत किया गया।
• तुलना: यह एक मानक Gaussian mixture model (जिसने अधिक गलत वर्गीकरण किया) की तुलना में बेहतर था और एक अन्य उन्नत विधि (जो एक अलग तकनीक, Independent Component Analysis का उपयोग करती है) से थोड़ा बेहतर था, जिसने सात फूलों को गलत वर्गीकृत किया। पेपर सुझाव देता है कि यह दिखाता है कि नई विधि प्रतिस्पर्धी और प्रभावी है।

यह पेपर क्या नहीं करता है

इस नए उपकरण की सीमाओं को जानना महत्वपूर्ण है।

• यह "Identifiability" के रहस्य को हल नहीं करता: पेपर स्पष्ट रूप से कहता है कि यह अभी तक ज्ञात नहीं है कि इस विशिष्ट प्रकार के मॉडल (कोपुला और गैर-पैरामीट्रिक भागों के साथ) का गणितीय रूप से अद्वितीय होना निश्चित है या नहीं। दूसरे शब्दों में, हम निश्चित रूप से नहीं जानते कि क्या केवल एक सही उत्तर है या कई अलग-अलग उत्तर हैं जो एक जैसे दिखते हैं। एल्गोरिदम एक अच्छा उत्तर ढूंढता है, लेकिन पेपर यह दावा नहीं करता है कि यह एकमात्र संभावित उत्तर है।
• यह उच्च आयामों (high dimensions) को आसानी से नहीं संभालता: पेपर स्वीकार करता है कि कई चरों (variables) वाले डेटा के लिए इस विधि का उपयोग करना कठिन है। वर्तमान संस्करण कम-आयामी मामलों (जैसे 2D फूल का डेटा) के लिए सबसे अच्छा काम करता है। लेखक सुझाव देते हैं कि भविष्य के शोध को अधिक जटिल डेटा को संभालने के लिए विशिष्ट प्रकार के कोपुला (Archimedean copulas) का उपयोग करने की आवश्यकता हो सकती है, लेकिन यह भविष्य का काम है, इस पेपर का नहीं।
• यह खेल के नियमों को नहीं बदलता: एल्गोरिदम की अपनी "मोनोटोनिक" गारंटी बनाए रखने के लिए "बैंडविड्थ" (एक स्मूथिंग पैरामीटर) को स्थिर रखना आवश्यक है। यदि आप इसे हर चरण में "स्मार्टर" बनाने के लिए बैंडविड्थ को अपडेट करने का प्रयास करते हैं, तो आप इस गारंटी को खो देते है कि एल्गोरिदम हमेशा ऊपर की ओर बढ़ेगा। पेपर का तर्क है कि गणित को बनाए रखने के लिए इसे स्थिर रखना आवश्यक है, भले ही यह कम लचीला लगे।

निष्कर्ष

यह पेपर मिश्रित डेटा को सुलझाने का एक नया, विश्वसनीय तरीका प्रस्तुत करता है जहाँ हिस्से आपस में जुड़े हुए हैं। यह एक अस्थिर, कभी-कभी पीछे जाने वाले तरीके के स्थान पर एक स्थिर, ऊपर की ओर बढ़ने वाले तरीके को लाता है। हालांकि यह इन मॉडलों के बारे में हर सैद्धांतिक रहस्य को हल नहीं करता है, और हालांकि यह सबसे अच्छा काम करता है जब आप इसे एक अच्छी शुरुआत देते हैं, सिमुलेशन और वास्तविक दुनिया के फूल परीक्षण दिखाते हैं कि यह जटिल, निर्भर डेटा को समझने की कोशिश कर रहे सांख्यिकीविदों के लिए एक शक्तिशाली और प्रभावी उपकरण है। यह सांख्यिकी के जासूसी कार्य की दिशा में एक ठोस कदम है।