The Dirichlet Process as sampling distribution

महान सांख्यिकीय पहेली: जब डेटा स्नैपशॉट्स के रूप में आता है

कल्पना कीजिए कि आप एक विशाल शहर में मौसम को समझने की कोशिश कर रहे हैं, लेकिन आपके पास सुपरकंप्यूटर से प्राप्त निरंतर डेटा का कोई प्रवाह नहीं है। इसके बजाय, आपके पास विभिन्न मोहल्लों के पुराने, हाथ से बने मौसम मानचित्रों का एक ढेर है। कुछ मानचित्र बड़े, मोटे ब्लॉकों में तापमान दिखाते हैं; अन्य बहुत छोटे, सटीक वर्गों का उपयोग करते हैं। कुछ मानचित्र पूरे शहर को कवर करते हैं, जबकि अन्य केवल एक पार्क को दिखाते हैं। यह बेशियन नॉनपैरामेट्रिक्स (Bayesian nonparametrics) की दुनिया है, जो सांख्यिकी की एक शाखा है जो किसी चीज़ को एक कठोर, पूर्व-निर्धारित बॉक्स में डाले बिना वास्तविकता के "आकार" को समझने की कोशिश करती है।

आमतौर पर, सांख्यिकीविद डिरिचलेट प्रोसेस (Dirichlet Process - DP) को एक मास्टर शेफ के गुप्त नुस्खे की तरह इस्तेमाल करते हैं। वे कुछ नमूनों के आधार पर यह अनुमान लगाने के लिए इसका उपयोग करते हैं कि एक छिपा हुआ घटक (सच्चा डेटा वितरण) कैसा दिखता है। लेकिन यहाँ मोड़ यह है: इस शोध पत्र में, लेखक ने पटकथा उलट दी है। DP को सामग्री का अनुमान लगाने वाले नुस्खे के रूप में उपयोग करने के बजाय, वह DP को स्वयं वह सामग्री मानता है जिसने डेटा बनाया है। वह पूछता है: "यदि ये बिखरे हुए, अलग-अलग दिखने वाले मानचित्र एक ही अदृश्य मशीन द्वारा बनाए गए थे, तो वह मशीन कैसी दिखती है?" यह विभिन्न प्रकार के कुकी शेप्स के ढेर को देखने और उस सटीक रेसिपी और कुकी कटर के आकार का पता लगाने जैसा है जिसने उन सभी को बनाया है।

शोध का बड़ा विचार: नुस्खे को उल्टा करना

इस अध्ययन में, लुइस ई. नियेटो-बराजस (Luis E. Nieto-Barajas) प्रसिद्ध डिरिचलेट प्रोसेस को लेता है और इसे एक सैंपलिंग डिस्ट्रीब्यूशन (sampling distribution) के रूप में उपयोग करता है। सामान्यतः, इस प्रक्रिया का उपयोग एक "प्रायर" (prior) के रूप में किया जाता है—डेटा देखने से पहले इस बारे में एक शुरुआती अनुमान कि डेटा कैसा हो सकता है। लेकिन यहाँ, लेखक DP को वास्तविक डेटा जनरेटर के रूप में मानता है। वह कल्पना करता है कि हिस्टोग्रामों (वे बार चार्ट जो दिखाते हैं कि चीजें कितनी बार होती हैं) का एक संग्रह केवल यादृच्छिक रूप से नहीं आया; वे सभी एक एकल डिरिचलेट प्रोसेस से "जन्म" ले चुके थे।

लक्ष्य उस मशीन को रिवर्स-इंजीनियर करना है। यदि हमारे पास इन हिस्टोग्रामों का एक समूह है, तो क्या हम उस मशीन की दो मुख्य सेटिंग्स का पता लगा सकते हैं जिसने उन्हें बनाया?

1. सेंटरिंग मेजर ($F_0$): इसे "औसत" आकार या लक्ष्य ब्लूप्रिंट के रूप में सोचें जिसे मशीन कॉपी करने की कोशिश करती है।
2. प्रिसिजन पैरामीटर ($c$): यह मशीन की "फसस" या "कड़ाई" की तरह है। एक उच्च $c$ का अर्थ है कि मशीन बहुत सख्त है और ऐसे प्रतिरूप बनाती है जो ब्लूप्रिंट के लगभग समान दिखते हैं। एक कम $c$ का अर्थ है कि मशीन लापरवाह है और विविध, जंगली प्रतिरूप बनाती है।

शोध पत्र तर्क देता है कि जबकि DP निरंतर डेटा (जैसे चिकनी वक्र रेखाओं) को मॉडल करने के लिए बेहतरीन है, इसके पथ वास्तव में डिस्क्रीट (discrete) होते हैं (चिकनी रेखाओं के बजाय उछाल या जंप से बने होते हैं)। इसे आमतौर पर निरंतर डेटा के लिए एक समस्या के रूप में देखा जाता है, लेकिन लेखक इसे एक विशेषता में बदल देते हैं। उनका सुझाव है कि चूंकि हिस्टोग्राम पहले से ही डिस्क्रीट ब्लॉकों (बिन्स) से बने होते हैं, इसलिए DP सीधे उन्हें मॉडल करने के लिए एक आदर्श उपकरण है।

चुनौती: अलग-अलग मानचित्र, एक पहेली

जटिल हिस्सा यह है कि वास्तविक दुनिया में, ये हिस्टोग्राम हमेशा एक सीध में नहीं होते। एक हिस्टोग्राम के बिन्स 1 यूनिट चौड़े हो सकते हैं, जबकि दूसरे के 1.5 यूनिट चौड़े हो सकते हैं। वे अलग-अलग सेटों के पहेली के टुकड़ों की तरह हैं। इसे हल करने के लिए, लेखक एक "कॉमन पार्टीशन" (common partition) बनाता है। कल्पना करें कि आप उन सभी अलग-अलग मानचित्रों को एक के ऊपर एक रखते हैं ताकि उस सबसे छोटे, विस्तृत ग्रिड को खोज सकें जो उन सभी में फिट बैठता है। प्रत्येक मूल हिस्टोग्राम को फिर इस नए, साझा ग्रिड में अनुवादित किया जाता है। यह गणित को तुलना करने की अनुमति देता है, भले ही मूल सेब अलग-अलग आकारों में कटे हों।

गणित का जादू: मल्टीनोमियल प्रोसेस

मशीन की सेटिंग्स ($c$ और $F_0$) का पता लगाने के लिए, लेखक एक चालाकी भरा तरीका अपनाता है। वह समस्या को एक नए चर $G$ का उपयोग करके फिर से लिखता है, जो केवल सेंटरिंग मेजर को प्रिसिजन से गुणा है ($G = c \times F_0$)। यह समस्या को संभालने के लिए बहुत आसान बना देता है।

सीधे आकार का अनुमान लगाने के बजाय, वह एक मल्टीनोमियल प्रोसेस (Multinomial Process) को प्रायर के रूप में उपयोग करता है। यदि डिरिचलेट प्रोसेस एक जादुई थैले की तरह है जिसमें अनंत रंगों की मार्बल्स हो सकती हैं, तो मल्टीनोमियल प्रोसेस एक निश्चित, ज्ञात संख्या वाली मार्बल्स के थैले की तरह है। यह गणित को पूरी तरह से फिट बैठता है क्योंकि डेटा का कुल "द्रव्यमान" (mass) स्थिर होता है। इसे एक जियोमेट्रिक डिस्ट्रीब्यूशन (Geometric distribution) (यह अनुमान लगाने का तरीका कि थैले में कितनी मार्बल्स हैं) के साथ जोड़कर, वह एक पूर्ण सांख्यिकीय मॉडल बनाता है।

समीकरणों को हल करने के लिए, वह एक कंप्यूटर पद्धति का उपयोग करता है जिसे MCMC (मार्कोव चेन मोंटे कार्लो) कहा जाता है। आप इसे एक अंधे अंधे व्यक्ति के रूप में सोच सकते हैं जो एक अंधे पहाड़ पर घूम रहा है, उच्चतम शिखर (सबसे संभावित उत्तर) को खोजने के लिए छोटे कदम उठा रहा है। वह हर कदम पर ढलान की जांच करता है और तय करता है कि आगे बढ़ना है या वापस मुड़ना है। लेखक को सावधान रहना पड़ा क्योंकि संख्याएं बहुत छोटी हो सकती हैं और कंप्यूटर त्रुटियां पैदा कर सकती हैं, इसलिए उसने अपने "कदम के आकार" को सावधानीपूर्वक ट्यून किया ताकि यह सुनिश्चित हो सके कि खोजकर्ता फंस न जाए या खाई में न गिर जाए।

परिणाम: सिमुलेशन और वास्तविक जीवन

लेखक ने अपने विचार का दो तरीकों से परीक्षण किया:

1. सिमुलेशन (अभ्यास सत्र):
उसने दो बेल कर्व्स (सांख्यिकी में एक सामान्य आकार) के मिश्रण का उपयोग करके नकली डेटा बनाया। उसने इस डेटा से 10 अलग-अलग हिस्टोग्राम बनाए, जिनमें से कुछ में 50 डेटा पॉइंट्स थे और कुछ में 100।

• परिदृश्य A: सभी हिस्टोग्राम एक ही ग्रिड का उपयोग करते थे। मॉडल सफलतापूर्वक अनुमान लगाने में सफल रहा कि "फसस" पैरामीटर ($c$) लगभग 74 था, जिसका 95% कॉन्फिडेंस इंटरवल [71, 79] था। इसने मूल आकार को लगभग पूरी तरह से पुनर्गठित किया, बस एक चरण-दर-चरण, ब्लॉक वाले तरीके से।
• परिदृश्य B: हिस्टोग्रामों में रैंडम, अलग-अलग ग्रिड थे। यह कठिन है, जैसे अलग-अलग बक्सों के पहेली के टुकड़ों को फिट करना। मॉडल फिर भी काम कर गया, $c$ का अनुमान लगभग 135 ([120, 153] की सीमा के साथ) लगाया। यह अराजकता को सुचारू करने और वास्तविक अंतर्निहित आकार को खोजने में सफल रहा।

2. वास्तविक डेटा (वास्तविक दुनिया का परीक्षण):
लेखक ने इसे मेक्सिको के वास्तविक श्रम डेटा पर लागू किया, जिसमें 2,478 नगर पालिकाओं (municipalities) में 8 वर्षों (2017-2024) के दौरान "आर्थिक रूप से सक्रिय जनसंख्या" (EAP) और "अनौपचारिक रूप से कार्यरत जनसंख्या" (IOP) को देखा गया।

• EAP डेटा: इन वर्षों के हिस्टोग्रामों की रेंज और बिन साइज अलग-अलग थे। उन्हें संरेखित करने के बाद, मॉडल ने पाया कि "फसस" पैरामीटर $c$ लगभग 91 ([78, 84] की सीमा) था। अनुमानित आकार ने दिखाया कि अधिकांश नगर पालिकाओं की लगभग 57% जनसंख्या आर्थिक रूप से सक्रिय है, जिसमें 56% और 58% के बीच एक पीक (शिखर) है।
• IOP डेटा: अनौपचारिक जनसंख्या के लिए, मॉडल ने $c$ को 127 ([98, 159] की सीमा) अनुमानित किया। एक दिलचस्प तथ्य सामने आया: लगभग 13% से 17% नगर पालिकाओं के लिए, 95% संभावना है कि उनकी कार्यरत जनसंख्या का लगभग 100% अनौपचारिक रूप से काम कर रहा है। लेखक नोट करता है कि यह मेक्सिको में कर राजस्व के लिए एक महत्वपूर्ण मुद्दा हो सकता है।

इसका क्या अर्थ है

यह शोध पत्र यह दावा नहीं करता है कि उसने सभी सांख्यिकी को हल कर दिया है, लेकिन यह डिरिचलेट प्रोसेस का उपयोग करने का एक नया, प्रभावी तरीका दिखाता है। केवल एक शुरुआती अनुमान के रूप में उपयोग करने के बजाय, हम इसका उपयोग डेटा कैसे बनता है, इसकी वास्तविक कहानी के रूप में कर सकते हैं। लेखक सिद्ध करता है कि एक सामान्य ग्रिड और मल्टीनोमियल प्रोसेस का उपयोग करके, हम बिखरे हुए, बेमेल हिस्टोग्रामों को ले सकते हैं और वास्तविकता की एक स्पष्ट, साझा तस्वीर निकाल सकते हैं।

लेखक स्वीकार करता है कि रास्ते में कुछ मुश्किलें भी हैं। मॉडल शून्य संख्याओं से नफरत करता है (आप एक ऐसा बिन नहीं रख सकते जिसमें बिल्कुल कुछ भी न हो), और बहुत छोटी संख्याएं कंप्यूटर को क्रैश कर सकती हैं। लेकिन एक बार जब आप इन मुद्दों को ठीक कर लेते हैं, तो यह विधि तेज़ है—एक मानक कंप्यूटर पर 20 सेकंड से भी कम समय में चलती है।

अंत में, यह कार्य बताता है कि जब हमारे पास दुनिया के विभिन्न, ब्लॉक वाले दृश्य होते हैं, तो डिरिचलेट प्रोसेस हमारे पास पूरी तस्वीर को स्पष्ट रूप से देखने के लिए सबसे अच्छा लेंस हो सकता है। यह एक याद दिलाता है कि कभी-कभी, बड़ी तस्वीर को समझने के लिए, आपको ब्लॉकों को सुचारू बनाने की कोशिश छोड़ देनी चाहिए और उन्हें गिनना शुरू करना चाहिए।