Handling Missingness and Censoring in Dirichlet Mixture Models

कल्पना कीजिए कि आप एक स्मूदी का वर्णन करने की कोशिश कर रहे हैं, लेकिन आप केवल उसके अंदर के कुछ फलों का ही स्वाद ले पा रहे हैं। शायद आप जानते हैं कि उसमें स्ट्रॉबेरी और केला है, लेकिन ब्लेंडर ने आम और कीवी को छिपा दिया है। डेटा साइंस की दुनिया में, इसे "कंपोजिशनल डेटा" (compositional data) कहा जाता है। यह वह जानकारी है जो बताती है कि हिस्से मिलकर एक पूर्ण चीज़ कैसे बनाते हैं, जैसे कि किसी रेसिपी के सामग्रियां या किसी चट्टान के रसायन। पेचीदा बात यह है कि ये हिस्से एक-दूसरे से बंधे हुए हैं: यदि आपके पास एक सामग्री अधिक है, तो आपके पास अन्य सामग्रियां स्वतः ही कम हो जाएंगी, क्योंकि उन्हें हमेशा 100% जोड़ना होगा। वैज्ञानिक इस डेटा का उपयोग यह समझने के लिए करते हैं कि पहाड़ कैसे बनते हैं या हवा कितनी प्रदूषित हो रही है। लेकिन एक बड़ी समस्या है: वास्तविक दुनिया का डेटा बहुत अव्यवस्थित होता है। कभी सेंसर खराब हो जाते हैं, कभी रसायन इतने सूक्ष्म होते हैं कि दिखाई नहीं देते, और कभी-कभी डेटा बस गायब हो जाता है। जब ऐसा होता है, तो सामान्य गणितीय उपकरण भ्रमित हो जाते हैं क्योंकि वे "लापता" टुकड़ों को हटाए बिना या रेसिपी को इस तरह बदले बिना कि वह अपरिचित हो जाए, उन्हें संभाल नहीं पाते।

यह शोध पत्र ठीक इसी सिरदर्द का समाधान करता है। लेखकों, जेसन पिल्ले और उनकी टीम ने, गणित करने का एक नया तरीका ईजाद किया है जो लापता टुकड़ों को फेंकता नहीं है। डेटा को उस आकार में जबरदस्ती फिट करने के बजाय जिसे वह पूरी तरह से नहीं अपना पाता, उन्होंने एक विशेष "जासूस" एल्गोरिदम बनाया है जो समूहों में डेटा को छाँटते समय यह अनुमान लगा सकता है कि लापता हिस्से क्या हो सकते हैं। इसे एक ऐसे पहेली की तरह समझें जहाँ कुछ टुकड़े गायब हैं; हार मानने के बजाय, जासूस आसपास के टुकड़ों के आकार का उपयोग करके यह पता लगाता है कि गायब टुकड़े वास्तव में कहाँ होने चाहिए, और यह सब करते हुए पहेली के मूल चित्र को भी सत्य बनाए रखता है। उन्होंने अपने इस जासूस का परीक्षण नकली डेटा (जिसमें कुछ हिस्से गायब थे) और चट्टानों तथा वायु प्रदूषण के वास्तविक डेटा पर किया। उन्होंने पाया कि उनका तरीका पुराने तरीके (जो केवल अव्यवस्थित डेटा को हटा देता था) की तुलना में सही समूहों को खोजने और श्रेणियों की सही संख्या चुनने में बहुत बेहतर है। यह अधूरे किस्सों को बिना कहानी खोए समझने का एक तरीका है।

समस्या: "लापता हिस्सा" वाली पहेली

विज्ञान में, हम अक्सर ऐसे डेटा के साथ काम करते हैं जो एक पूर्ण चीज़ का उसके हिस्सों के माध्यम से वर्णन करता है। कल्पना कीजिए कि एक चट्टान विभिन्न खनिजों से बनी है, या हवा का एक झोंका विभिन्न रसायनों से भरा है। नियम सरल है: सभी हिस्सों को 100% जोड़ना होगा। यदि चट्टान 50% क्वार्ट्ज है, तो वह बाकी सब मिलाकर केवल 50% ही हो सकती है। इसे "कंपोजिशनल डेटा" कहा जाता है।

समस्या तब आती है जब डेटा अधूरा होता है। हो सकता है कि किसी मशीन ने एक विशिष्ट खनिज को मापने में विफलता दिखाई हो, या कोई रसायन इतना धुंधला था कि दिखाई नहीं दिया, इसलिए संख्या छिपी हुई है। अतीत में, वैज्ञानिकों के पास दो बुरे विकल्प थे:

1. इसे फेंक दें: पूरे नमूने को हटा दें क्योंकि एक हिस्सा गायब है। इससे बहुत सारी जानकारी बर्बाद हो जाती है।
2. नकली बनाएं: गायब संख्या का अनुमान लगाएं और उसे भरने के लिए इस्तेमाल करें। यह परिणामों को धोखा दे सकता है और समूहों को गलत दिखा सकता है।

इस शोध पत्र के लेखकों ने एक तीसरा रास्ता खोजने की कोशिश की: एक ऐसा तरीका जो "सिम्प्लेक्स" (100% के नियम का गणितीय नाम) के भीतर रहे और लापता हिस्सों को सीधे संभाल सके, बिना उन्हें हटाने या नकली बनाने के।

समाधान: एक स्मार्ट जासूस एल्गोरिदम

लेखकों ने एक प्रसिद्ध गणितीय उपकरण का एक नया संस्करण विकसित किया है जिसे एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम कहा जाता है। आप इस एल्गोरिदम को एक सुपर-स्मार्ट जासूस के रूप में देख सकते हैं जो बिखरे हुए सुरागों के ढेर को अलग-अलग समूहों में छाँटने की कोशिश कर रहा है।

यहाँ यह नया तरीका कैसे काम करता है:

• सेटअप: जासूस जानता है कि चट्टानों या वायु नमूनों के विभिन्न "प्रकार" (जिन्हें क्लस्टर कहा जाता है) हैं, लेकिन वह अभी यह नहीं जानता कि कौन सा नमूना किस प्रकार का है।
• अनुमान (E-step): जब जासूस एक ऐसा नमूना देखता है जिसमें कुछ हिस्से गायब हैं, तो वह घबराता नहीं है। वह उन हिस्सों को देखता है जिन्हें वह देख सकता है और पूछता है, "यदि यह नमूना समूह A का हिस्सा है, तो लापता हिस्से संभवतः क्या होंगे?" वह समूह के नियमों के आधार पर लापता हिस्सों की संभावना की गणना करता है।
• अपडेट (M-step): उन अनुमानों का उपयोग करके, जासूस इस बात की अपनी समझ को अपडेट करता है कि समूह A और समूह B वास्तव में कैसे दिखते हैं।
• लूप: यह प्रक्रिया बार-बार दोहराई जाती है। हर लूप के साथ, अनुमान बेहतर होते जाते हैं, और समूह अधिक स्पष्ट होते जाते हैं।

जादू यह है कि यह सब एक साथ होता है। एल्गोरिदम लापता मानों का पता लगाता है और नमूनों को समूहों में छाँटता है, और यह सब करते हुए इस नियम का सम्मान करता है कि सब कुछ 100% जोड़ना होगा।

परीक्षण: सिमुलेशन और वास्तविक दुनिया के रहस्य

यह देखने के लिए कि उनका जासूस कितना अच्छा था, लेखकों ने दो प्रकार के परीक्षण किए।

1. सिमुलेशन लैब (नकली डेटा)
उन्होंने 1,000 नकली डेटासेट बनाए जहाँ उन्हें वास्तविक समूहों का पता था, लेकिन फिर उन्होंने अलग-अलग मात्रा में डेटा छिपा दिया (0% से 90% तक गायब)।

• परिणाम: जब 90% डेटा गायब था, तब भी उनका तरीका आश्चर्यजनक सटीकता के साथ नमूनों को छाँट सका।
• तुलना: उन्होंने इसकी तुलना पुराने तरीके से की, जो केवल अधूरे नमूनों को हटा देता था। जब डेटा गायब था, तो पुराना तरीका समूहों की सही संख्या खोजने में विफल रहा। हालाँकि, नया तरीका (डेटा बहुत कम होने पर भी) समूहों की सही संख्या (उनके परीक्षण में चार) को बहुत अधिक बार खोजने में सफल रहा।
• सेंसरिंग (Censoring): उन्होंने "सेंसर किए गए" डेटा का भी परीक्षण किया, जहाँ एक मान इसलिए छिपा हुआ है क्योंकि वह मापने योग्य सीमा से बहुत छोटा है (जैसे कि डिटेक्शन लिमिट से नीचे का रसायन)। नए तरीके ने लापता डेटा की तरह ही इसे भी कुशलता से संभाला।

2. वास्तविक दुनिया के रहस्य
उन्होंने अपने तरीके को दो वास्तविक डेटासेट पर लागू किया ताकि देखा जा सके कि क्या यह वास्तविक वैज्ञानिक पहेलियों को हल कर सकता है।

• रहस्य 1: पृथ्वी का मेंटल (जेनोलिथ्स - Xenoliths)
  उन्होंने पृथ्वी के गहरे हिस्से से निकली चट्टानों के 1,256 नमूनों का विश्लेषण किया। इन चट्टानों के 33% माप गायब थे क्योंकि उन्हें अलग-अलग स्थानों से अलग-अलग उपकरणों का उपयोग करके एकत्र किया गया था।

  • निष्कर्ष: एल्गोरिदम ने चट्टानों को चार अलग-अलग समूहों में विभाजित किया। ये समूह वास्तविक भूवैज्ञानिक प्रकारों से पूरी तरह मेल खाते थे। उदाहरण के लिए, एक समूह मैग्नीशियम और सिलिकॉन से समृद्ध (पेरिडोटाइट्स) था जो पृथ्वी की पपड़ी के प्राचीन स्थिर हिस्सों से था, जबकि दूसरे में अधिक लोहा और क्रोमियम था। इस पद्धति ने बिना किसी अधूरे नमूने को हटाए इन चट्टानों के प्रकारों को सफलतापूर्वक पहचाना।

• रहस्य 2: हमारी सांस लेती हवा (PM2.5)
  उन्होंने अमेरिकी वायु गुणवत्ता प्रणाली के डेटा का अध्ययन किया, जो हवा में मौजूद सूक्ष्म कणों को ट्रैक करती है। इस डेटा में दोनों तरह के मान थे—लापता मान और "सेंसर किए गए" मान (ऐसे रसायन जो मापने के लिए बहुत छोटे थे)।

  • निष्कर्ष: एल्गोरिदम ने वायु प्रदूषण के चार स्पष्ट प्रकार पाए।
    • समूह 1: ठंडी हवा जिसमें सल्फेट और नाइट्रेट की अधिकता थी (अक्सर औद्योगिक उत्सर्जन से)।
    • समूह 2: कार्बन और नाइट्रेट का मिश्रण।
    • समूह 3: गर्म हवा जहाँ प्रदूषण का एक बहुत बड़ा हिस्सा अज्ञात था (अवशिष्ट भाग बहुत बड़ा था), जो यह संकेत देता है कि ऐसे अदृश्य कण मौजूद हैं जो प्रकाश को अच्छी तरह से अवशोषित नहीं करते।
    • समूह 4: गर्म हवा जो ऑर्गेनिक कार्बन (जैसे धुआं या निकास) से भरी थी, जो शहरों में आम है।
  • अंतर्दृष्टि: इस पद्धति ने दिखाया कि गर्म मौसम में प्रदूषण का संयोजन बदल जाता है, और इसका एक बड़ा हिस्सा ऐसी चीजों से बना होता है जिन्हें सेंसर देख भी नहीं पाते। यह वैज्ञानिकों को एक नया सुराग देता है कि हवा में किन चीजों की तलाश करनी चाहिए।

यह क्यों महत्वपूर्ण है

यह शोध पत्र सुझाव देता है कि हमें खराब डेटा को फेंकने या नकली नंबर भरने के बीच चुनाव करने की आवश्यकता नहीं है। एक ऐसा मॉडल बनाकर जो खेल के नियमों (100% योग) को समझता है और लापता हिस्सों को संभाल सकता है, वैज्ञानिक अव्यवस्थित डेटा से स्पष्ट उत्तर प्राप्त कर सकते हैं।

लेखकों ने पाया कि उनका तरीका पुराने "खराब डेटा को हटाने" वाले दृष्टिकोण की तुलना में समूहों की सही संख्या खोजने और नमूनों को सही ढंग से छाँटने में बेहतर है। हालांकि यह शोध पत्र यह दावा नहीं करता है कि यह दुनिया की हर समस्या को हल कर देगा, लेकिन यह दिखाता है कि चट्टानों और वायु गुणवत्ता के लिए, यह नया जासूस एक शक्तिशाली उपकरण है। यह शोधकर्ताओं को पूरी तस्वीर देखने की अनुमति देता है, भले ही कुछ हिस्से अंधेरे में छिपे हों।