📊 statistics

Shifted asymmetric Laplace mixtures of experts

यह शोध पत्र रिग्रेशन और क्लस्टरिंग में विषमता (skewness), भारी पूंछ (heavy tails) और आउटलेयर्स को प्रभावी ढंग से संभालने के लिए शिफ्टेड एसिमेट्रिक लाप्लास वितरण पर आधारित एक रोबस्ट मिक्सचर ऑफ एक्सपर्ट्स (SALMoE) मॉडल प्रस्तावित करता है, जो पैरामीटर अनुमान के लिए एक हाइब्रिड EM-MM एल्गोरिदम का उपयोग करता है और सिमुलेशन तथा वास्तविक दुनिया के आर्थिक अनुप्रयोगों के माध्यम से गाऊसी मॉडलों पर इसकी श्रेष्ठता प्रदर्शित करता है।

मूल लेखक: Sphiwe B. Skhosana, Hien Duy Nguyen

प्रकाशित 2026-05-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sphiwe B. Skhosana, Hien Duy Nguyen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लोगों की एक जटिल भीड़ को समझने की कोशिश कर रहे हैं। सांख्यिकी (statistics) में, यह भीड़ आपका डेटा (data) है। आमतौर पर, जब सांख्यिकीविद् यह अनुमान लगाने की कोशिश करते हैं कि लोग कैसे व्यवहार करेंगे (जैसे कि वे कितना खर्च करते हैं या कितनी कार्बन उत्सर्जन करते हैं), तो वे एक "एक ही आकार सबके लिए उपयुक्त" (one-size-fits-all) दृष्टिकोण का उपयोग करते हैं। वे मान लेते हैं कि सभी एक ही सुचारू, सममित (symmetrical) बेल कर्व (bell curve) का पालन करते हैं। यह ऐसा ही है जैसे यह मान लेना कि एक कमरे में सभी लोग ठीक एक ही समय पर दोपहर का भोजन करते हैं, उतना ही भोजन करते हैं, और एक जैसा भोजन पसंद करते हैं।

लेकिन वास्तविक दुनिया में, लोग अव्यवस्थित होते हैं। कुछ भारी भोजन करते हैं, कुछ बहुत कम, कुछ अजीब समय पर खाते हैं, और कुछ के स्वाद बहुत विचित्र होते हैं। पुराने सांख्यिकीय मॉडल इस अव्यवस्था से भ्रमित हो जाते हैं, विशेष रूप से तब जब वहां "आउटलेयर्स" (outliers - वे लोग जो बाकी लोगों से बहुत अलग हैं) हों या जब डेटा "स्क्यूड" (skewed - एक तरफ झुका हुआ) हो।

यह शोध पत्र इस अव्यवस्था को संभालने का एक नया, स्मार्ट तरीका पेश करता है। यहाँ इसका विवरण दिया गया है:

1. समस्या: "गौसियन" (Gaussian) अंध बिंदु

लेखक बताते हैं कि अधिकांश मौजूदा मॉडल गौसियन (सामान्य) वितरण पर निर्भर करते हैं। इसे एक पूरी तरह से सममित सी-सॉ (seesaw) के रूप में सोचें। यदि आपका डेटा संतुलित है, तो यह बहुत अच्छा काम करता है। लेकिन यदि आपका डेटा एकतरफा (skewed) है या इसमें अत्यधिक उछाल (भारी पूंछ/outliers) है, तो यह सी-सॉ टूट जाता है। मॉडल लप्सइड (एकतरफा) डेटा को एक सममित आकार में फिट करने की कोशिश करता है, जिसके परिणामस्वरूप खराब फिट और गलत भविष्यवाणियां होती हैं।

2. समाधान: विशेषज्ञ विशेषज्ञों की एक टीम (MoE)

एक बड़े मॉडल के बजाय जो सब कुछ बताने की कोशिश करता है, लेखक मिक्सचर ऑफ एक्सपर्ट्स (Mixture of Experts - MoE) का उपयोग करते हैं।

उपमा: एक अस्पताल की कल्पना करें। इसके बजाय कि एक सामान्य चिकित्सक हर मरीज का इलाज करने की कोशिश करे, आपके पास विशेषज्ञों की एक टीम है: एक कार्डियोलॉजिस्ट, एक डर्मेटोलॉजिस्ट और एक न्यूरोलॉजिस्ट।
गेटिंग फंक्शन (Gating Function): यह एक "ट्राइएज नर्स" (triage nurse) है। जब कोई मरीज आता है, तो नर्स उनके लक्षणों (इनपुट डेटा) को देखती है और तय करती है कि कौन सा विशेषज्ञ सबसे उपयुक्त है।
विशेषज्ञ (Experts): प्रत्येक विशेषज्ञ (या "एक्सपर्ट") मरीजों के एक विशिष्ट समूह को संभालता है।

3. नया मोड़: "शिफ्टेड एसिमेट्रिक लैप्लेस" (Shifted Asymmetric Laplace - SAL)

समस्या यह है कि इन मॉडलों में "विशेषज्ञ" आमतौर पर यह मानते हैं कि मरीज सममित (Gaussian) हैं। लेखक इन विशेषज्ञों को शिफ्टेड एसिमेट्रिक लैप्लेस (SAL) विशेषज्ञों से बदलने का प्रस्ताव देते हैं।

उपमा: कल्पना कीजिए कि कार्डियोलॉजिस्ट अब एक कठोर रोबोट नहीं है। वे अब एक लचीले, आकार बदलने वाले विशेषज्ञ हैं जो एकतरफा मरीजों, चरम स्थितियों या अप्रत्याशित व्यवहार वाले मरीजों को संभाल सकते हैं।
यह क्यों मायने रखता है: SAL वितरण गणितीय रूप से गौसियन मॉडलों की तुलना में "स्क्यूनेस" (एकतरफापन) और "हेवी टेल्स" (चरम आउटलेयर्स) को बहुत बेहतर तरीके से संभालने के लिए डिज़ाइन किया गया है। यह विशेषज्ञों को एक ऐसे टूलकिट देने जैसा है जो वास्तव में मरीजों की अव्यवस्थित वास्तविकता के अनुकूल है।

4. इंजन: हाइब्रिड EM-MM एल्गोरिदम

इन नए विशेषज्ञों को उनका काम सिखाने के लिए, आपको एक प्रशिक्षण एल्गोरिदम की आवश्यकता होती है। पुराना तरीका (EM एल्गोरिदम) घने कोहरे में पहाड़ चढ़ने जैसा है; यह काम तो करता है, लेकिन यह फंस सकता है या बहुत धीमा हो सकता है, विशेष रूप से "गेटकीपर" (ट्राइएज नर्स) की गणना करते समय।

लेखकों ने एक हाइब्रिड EM-MM एल्गोरिदम विकसित किया है।

उपमा: कल्पना कीजिए कि आप वह पहाड़ चढ़ रहे हैं। "EM" हिस्सा आपका मुख्य चढ़ने वाला उपकरण है। "MM" (Minorization-Maximization) हिस्सा विशेष जूतों की एक जोड़ी है जो आपको फिसलन भरे, कठिन हिस्सों पर अतिरिक्त पकड़ देती है।
परिणाम: इन दोनों को मिलाकर, एल्गोरिदम पहाड़ पर तेजी से चढ़ता है और यह सुनिश्चित करता है कि आप कभी पीछे न फिसलें। यह शोध पत्र गणितीय रूप से सिद्ध करता है कि हर कदम के साथ, मॉडल बेहतर होता जाता है (लॉग-लाइक्लीहुड बढ़ता है), जो एक स्थिर और कुशल प्रशिक्षण प्रक्रिया की गारंटी देता है।

5. सिद्धांत का परीक्षण

लेखकों ने केवल बातें नहीं कीं; उन्होंने दो तरह से परीक्षण किया:

सिमुलेशन (Simulations): उन्होंने हर तरह की अव्यवस्था (एकतरफा, भारी पूंछ, आउटलेयर्स से भरपूर) के साथ नकली डेटा बनाया और अपने नए SALMoE मॉडल की तुलना पुराने GMoE (गौसियन) मॉडल से की।
- परिणाम: नया मॉडल लगातार पुराने मॉडल से बेहतर प्रदर्शन करता रहा, विशेष रूप से जब डेटा अव्यवस्थित था। यह अधिक मजबूत (robust) था, जिसका अर्थ है कि डेटा अजीब होने पर भी यह टूटा नहीं।
वास्तविक दुनिया का डेटा: उन्होंने अपने मॉडल को दो वास्तविक आर्थिक डेटासेट पर लागू किया:
1. CO2 उत्सर्जन बनाम GDP: उन्होंने 187 देशों में धन के संबंध में कार्बन उत्सर्जन का विश्लेषण किया। मॉडल ने देशों को दो समूहों में सफलतापूर्वक विभाजित किया: वे जिनमें विकास के सापेक्ष उच्च उत्सर्जन है (जैसे अमेरिका और चीन) और वे जिनमें कम उत्सर्जन है (जैसे नॉर्वे और स्वीडन)। इसने यह भी दिखाया कि जैसे-जैसे देश समृद्ध होते हैं, वे "कम उत्सर्जन" वाले समूह की ओर बढ़ते हैं, जो 'एनवायर्नमेंटल कुज्नेट्स कर्व' नामक एक ज्ञात आर्थिक सिद्धांत का समर्थन करता है।
2. GDP विकास: उन्होंने 88 देशों में आर्थिक विकास को देखा। मॉडल ने आर्थिक चालों के आधार पर OECD देशों को गैर-OECD देशों से सफलतापूर्वक अलग किया, भले ही डेटा अव्यवस्थित और एकतरफा (skewed) था।

सारांश

सरल शब्दों में, यह शोध पत्र कहता है: "अव्यवस्थित, एकतरफा डेटा को एक पूर्ण, सममित बॉक्स में फिट करने की कोशिश करना बंद करें। इसके बजाय, लचीले, आकार बदलने वाले विशेषज्ञों की एक टीम का उपयोग करें जो इस अव्यवस्था को संभाल सके, और उन्हें एक स्मार्ट, तेज़ एल्गोरिदम के साथ प्रशिक्षित करें।"

परिणामस्वरूप, यह एक ऐसा सांख्यिकीय उपकरण है जो अधिक सटीक है, आउटलेयर्स के प्रति अधिक मजबूत है, और जटिल आर्थिक एवं वास्तविक दुनिया के डेटा में छिपे हुए पैटर्न खोजने में बेहतर है।

तकनीकी सारांश: शिफ्टेड एसिमेट्रिक लाप्लास मिक्सचर ऑफ एक्सपर्ट्स (SALMoE)

समस्या विवरण
मिक्सचर ऑफ एक्सपर्ट्स (MoE) मॉडल रिग्रेशन और क्लस्टरिंग के लिए एक लचीला ढांचा प्रदान करते हैं, जो यह मानकर चलते हैं कि डेटा अज्ञात रिग्रेशन मॉडलों के एक सीमित सेट से उत्पन्न होता है, जहाँ मिक्सिंग प्रोबेबिलिटीज (गेटिंग फंक्शंस) को कोवेरिएट्स (covariates) पर निर्भर किया जाता है। हालाँकि, मानक MoE मॉडल आमतौर पर एक्सपर्ट डिस्ट्रीब्यूशन के लिए गॉसियन (Gaussian) धारणाओं पर निर्भर करते हैं। यह धारणा अक्सर उन वास्तविक दुनिया के डेटा के लिए अपर्याप्त होती है जिसमें विषमता (asymmetry), भारी पूंछ (heavy tails) और आउटलेर्स (outliers) मौजूद होते हैं, क्योंकि गॉसियन वितरण सममित (symmetric) होता है और ऐसी विसंगतियों के प्रति संवेदनशील होता है। जबकि पिछले कार्यों ने सममित भारी-पूंछ वाले डेटा (जैसे लाप्लास या स्टूडेंट-टी MoE) या स्क्यू-टी (skew-t) डिस्ट्रीब्यूशन का उपयोग करके विषम डेटा को संबोधित किया है, बाद वाला मॉडल कम्प्यूटेशनल जटिलता (computational intractability) से ग्रस्त है, विशेष रूप से EM एल्गोरिदम के एक्सपेक्टेशन-स्टेप (Expectation-step) में, जिससे अनुमान लगाना महंगा हो जाता है। एक ऐसा रोबस्ट MoE फ्रेमवर्क विकसित करने की आवश्यकता बनी हुई है जो गणितीय सुगमता (mathematical tractability) और कम्प्यूटेशनल दक्षता बनाए रखते हुए विषम और भारी-पूंछ वाले डेटा को संभाल सके।

कार्यप्रणाली (Methodology)
लेखक शिफ्टेड एसिमेट्रिक लाप्लास मिक्सचर ऑफ एक्सपर्ट्स (SALMoE) मॉडल प्रस्तावित करते हैं। इस ढांचे में, रिस्पॉन्स वेरिएबल की कंडीशनल डेंसिटी को $K$ एक्सपर्ट कंपोनेंट्स के मिश्रण के रूप में मॉडल किया जाता है, जहाँ प्रत्येक एक्सपर्ट एक शिफ्टेड एसिमेट्रिक लाप्लास (SAL) वितरण का अनुसरण करता है, और मिक्सिंग प्रोबेबिलिटीज को कोवेरिएट्स पर निर्भर मल्टीनोमियल लॉजिस्टिक गेटिंग फंक्शंस के माध्यम से मॉडल किया जाता है।

मुख्य कार्यप्रणाली घटक शामिल हैं:

स्टोकेस्टिक रिप्रेजेंटेशन (Stochastic Representation): SAL डिस्ट्रीब्यूशन का उपयोग इसके जनरललाइज्ड इनवर्स गॉसियन (GIG) डिस्ट्रीब्यूशन वाले स्टोकेस्टिक रिप्रेजेंटेशन के माध्यम से किया जाता है। विशेष रूप से, एक रैंडम वेरिएबल $Y$ एक SAL डिस्ट्रीब्यूशन का पालन करता है यदि $Y = \mu + \alpha V + Z\sqrt{V}$ , जहाँ $Z \sim N(0, \sigma)$ और $V \sim \text{Exp}(1)$ है। यह प्रतिनिधित्व मॉडल के पदानुक्रमित (hierarchical) निर्माण की अनुमति देता है।
हाइब्रिड EM-MM एल्गोरिदम: मॉडल के मापदंडों (parameters) का अनुमान लगाने के लिए, लेखक एक समर्पित हाइब्रिड एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) और मिनोराइजेशन-मैक्सिमाइजेशन (MM) एल्गोरिदम विकसित करते हैं।
- E-स्टेप: देखे गए डेटा और वर्तमान पैरामीटर अनुमानों के आधार पर लेटेंट कंपोनेंट इंडिकेटर्स और लेटेंट वेरिएबल्स $V$ (विशेष रूप से $E[1/V]$ , $E[V]$ , और $E[\log V]$ ) के कंडीशनल एक्सपेक्टेशन की गणना करता है।
- M-स्टेप (एक्सपर्ट पैरामीटर्स): अपेक्षित पूर्ण-डेटा लॉग-लाइकलहुड (complete-data log-likelihood) को मैक्सिमाइज करके रिग्रेशन कोएफिशिएंट्स ( $\beta_k$ ), स्क्यूनेस पैरामीटर्स ( $\alpha_k$ ), और स्केल पैरामीटर्स ( $\sigma_k$ ) को अपडेट करता है। इन मापदंडों के लिए क्लोज्ड-फॉर्म अपडेटिंग इक्वेशंस व्युत्पन्न की गई हैं।
- MM-स्टेप (गेटिंग पैरामीटर्स): गेटिंग पैरामीटर्स के लिए एम-स्टेप में आमतौर पर उपयोग किए जाने वाले इटरेटिवली रीवेटेड लीस्ट स्क्वायर्स (IRLS) के बजाय, लेखक एक वन-स्टेप MM अपडेट का उपयोग करते हैं। यह स्टेप Q-फंक्शन के गेटिंग योगदान के एक क्वाड्रेटिक मिनोराइज़र का उपयोग करता है, जो यह सुनिश्चित करता है कि प्रत्येक इटरेशन में ऑब्जर्व्ड लॉग-लाइकलहुड गैर-घटता (non-decreasing) रहे।
मॉडल सिलेक्शन और आइडेंटिफिएबिलिटी: पेपर विशिष्ट ऑर्डरिंग और नॉन-डेजेनरेसी स्थितियों के तहत SALMoE मॉडल की आइडेंटिफिएबिलिटी स्थापित करता है। कंपोनेंट्स की संख्या ( $K$ ) चुनने के लिए, लेखक बेयसियन इंफॉर्मेशन क्राइटेरियन (BIC), इंटीग्रेटेड क्लासिफिकेशन लाइकलहुड (ICL), और PanIC फ्रेमवर्क का मूल्यांकन करते हैं।
प्रेडिक्शन और क्लस्टरिंग: मॉडल स्पष्ट मीन (mean) और वेरिएंस फॉर्मूला के साथ प्रेडिक्टिव डिस्ट्रीबशंस प्रदान करता है। यह डेटा पॉइंट्स को एक्सपर्ट कंपोनेंट्स में मैक्सिमम ए पोस्टेरिओरी (MAP) एलोकेशन के माध्यम से मॉडल-आधारित क्लस्टरिंग की सुविधा भी प्रदान करता है।

मुख्य योगदान और परिणाम

रोबस्टनेस (Robustness): सिमुलेशन अध्ययन दर्शाते हैं कि जब डेटा विषम, भारी-पूंछ वाला या आउटलेर्स से दूषित होता है, तो SALMoE मॉडल, गॉसियन MoE (GMoE) मॉडल की तुलना में काफी बेहतर प्रदर्शन करता है। SALMoE मॉडल कम रूट मीन स्क्वेर्ड एरर (RMSE) और उच्च क्लस्टरिंग सटीकता (एडजस्टेड रैंड इंडेक्स और मिसक्लासिफिकेशन एरर द्वारा मापा गया) बनाए रखता है, जहाँ GMoE मॉडल विफल हो जाता है।
कम्प्यूटेशनल दक्षता: प्रस्तावित हाइब्रिड EM-MM एल्गोरिदम कम्प्यूटेशनल रूप से सरल दिखाया गया है। गेटिंग पैरामीटर्स के लिए MM स्टेप का उपयोग करने से IRLS की इटरेटिव जटिलता से बचा जा सकता है, जबकि लॉग-लाइकलहुड में मोनोटोनिक वृद्धि की गारंटी मिलती है।
अनुप्रयोगात्मक अनुप्रयोग (Empirical Application): मॉडल को दो वास्तविक आर्थिक डेटासेट्स पर लागू किया गया है:
1. CO2 उत्सर्जन: 187 देशों में प्रति व्यक्ति CO2 उत्सर्जन और प्रति व्यक्ति GDP के बीच संबंध का विश्लेषण। SALMoE मॉडल ने दो अलग-अलग एक्सपर्ट समूहों की पहचान की, जिससे पता चला कि उच्च GDP ग्रोथ प्रोफाइल वाले देश (जैसे USA, चीन) निम्न-उत्सर्जन समूहों (जैसे नॉर्वे, स्वीडन) की तुलना में अलग उत्सर्जन डायनेमिक्स प्रदर्शित करते हैं, जो एनवायर्नमेंटल कुज्नेट्स कर्व हाइपोथीसिस के अनुरूप है।
2. GDP ग्रोथ: 88 देशों (OECD बनाम गैर-OECD) में GDP ग्रोथ रेट की जांच। मॉडल ने सफलतापूर्वक लेटेंट स्ट्रक्चर को रिकवर किया, जिससे पता चला कि मानव पूंजी (स्कूली शिक्षा) का गैर-OECD देशों के लिए महत्वपूर्ण सकारात्मक प्रभाव है, लेकिन OECD देशों के लिए इसका प्रभाव नगण्य और सांख्यिकीय रूप से महत्वहीन है।
मॉडल सिलेक्शन: सिमुलेशन अध्ययन सुझाव देता है कि जबकि BIC, ICL और PanIC सामान्य रूप से अच्छा प्रदर्शन करते हैं, ICL और PanIC के विशिष्ट कॉन्फ़िगरेशन स्क्यू और हेवी-टेल्ड डेटा के लिए सही कंपोनेंट्स की संख्या चुनने में थोड़े अधिक प्रभावी होते हैं।

महत्व और दावे
पेपर का दावा है कि SALMoE मॉडल मौजूदा रोबस्ट MoE मॉडल्स के मुकाबले एक गणितीय रूप से सुलभ और कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है, विशेष रूप से स्क्यू-टी (skew-t) एक्सपर्ट डिस्ट्रीबशंस की जटिलता को दूर करता है। MoE की लचीलेपन को SAL डिस्ट्रीब्यूशन की मजबूती के साथ जोड़कर, यह मॉडल नॉन-गॉसियन फीचर्स जैसे स्क्यूनेस और आउटलेर्स की उपस्थिति में रिग्रेशन और क्लस्टरिंग के लिए एक व्यावहारिक समाधान प्रदान करता है। लेखक इस बात पर जोर देते हैं कि हाइब्रिड EM-MM एल्गोरिदम स्थिर अभिसरण (stable convergence) सुनिश्चित करता है और मॉडल का प्रदर्शन व्यापक सिमुलेशन और वास्तविक-डेटा अनुप्रयोगों के माध्यम से प्रमाणित है। कार्य यह निष्कर्ष निकालता है कि भविष्य के विस्तार नॉन-पैरामीट्रिक गेटिंग फंक्शंस और मल्टीवेरिएट रिस्पॉन्स वेरिएबल्स की खोज कर सकते हैं, लेकिन वर्तमान योगदान पैरामीट्रिक SALMoE फ्रेमवर्क और इसके अनुमान गुणों को स्थापित करने पर केंद्रित है।