📊 statistics

Shrinkage Estimators in Finite Mixture of Mixed Generalized Estimating Equations

यह शोध पत्र मिश्रित सामान्यीकृत अनुमानित समीकरणों (mixed generalized estimating equations) के परिमित मिश्रण मॉडल (finite mixture models) के मापदंडों का अनुमान लगाने के लिए दंडित संभावना (penalized likelihood) पर आधारित एक पुनरावृत्ति संकुचन भारित न्यूनतम वर्ग (iterative shrinkage weighted least squares) एल्गोरिदम का प्रस्ताव करता है, जो जनसंख्या विषमता (population heterogeneity) को संबोधित करता है जहाँ मानक रैखिक मिश्रित मॉडल विफल हो जाते हैं, और मोंटे कार्लो सिमुलेशन के माध्यम से विधि के प्रदर्शन को मान्य करता है।

मूल लेखक: Sajjad Nezamdoust, Farzad Eskandari

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sajjad Nezamdoust, Farzad Eskandari

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लोगों की एक बड़ी, शोर भरी भीड़ को समझने की कोशिश कर रहे हैं। एक मानक सांख्यिकीय मॉडल (standard statistical model) में, आप यह मान सकते हैं कि भीड़ में हर व्यक्ति लगभग एक ही प्रकार का है, बस ऊंचाई या वजन में थोड़े अंतर के साथ। आप पूरे समूह का वर्णन करने के लिए एक बड़ी औसत रेखा खींचते हैं।

लेकिन क्या होगा यदि वह भीड़ वास्तव में कई अलग-अलग उपसमूहों से बनी हो? शायद आपके पास बास्केटबॉल खिलाड़ियों का एक समूह, जॉकी (jockeys) का एक समूह और सुमो पहलवानों का एक समूह आपस में मिला हुआ है। यदि आप इस भीड़ में "औसत" व्यक्ति का वर्णन करने के लिए एक एकल रेखा खींचने की कोशिश करते हैं, तो वह एक गड़बड़ी बन जाएगी। आप न तो बास्केटबॉल खिलाड़ियों का सटीक वर्णन कर पाएंगे, न ही जॉकी का और न ही सुमो पहलवानों का। आपको यह समझने की आवश्यकता है कि भीड़ विभिन्न प्रकार के लोगों का एक मिश्रण (mixture) है।

यही वह मुख्य समस्या है जिसे यह शोध पत्र हल करता है। लेखक, सज्जाद नेज़मंडौस्त और फरज़ाद एस्कैंडारी, ऐसे डेटा पर काम कर रहे हैं जो कई छिपे हुए समूहों (एक "Finite Mixture") से आता है जहाँ उन समूहों के भीतर प्रत्येक व्यक्ति का अपना अनूठा, दोहराव वाला पैटर्न (एक "Mixed Model") होता है।

यहाँ उनके समाधान का एक सरल विवरण दिया गया, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) का जाल

यह शोध पत्र तर्क देता है कि जब डेटा छिपे हुए उपसमूहों (heterogeneity) वाली आबादी से आता है, तो मानक मॉडल विफल हो जाते हैं। यह एक ऐसे पैर पर एक ही जोड़ी जूते फिट करने जैसा है जो वास्तव में तीन अलग-अलग पैरों का एक संग्रह है जिन्हें आपस में चिपकाया गया है। मॉडल भ्रमित हो जाता है, और भविष्यवाणियां खराब होती हैं।

2. समाधान: एक "स्मार्ट" सॉर्टिंग हैट (Sorting Hat)

लेखक इन छिपे हुए समूहों को परिभाषित करने वाले नंबरों (पैरामीटर्स) का अनुमान लगाने का एक नया तरीका प्रस्तावित करते हैं। वे अपने तरीके को Finite Mixture of Mixed Generalized Estimating Equations के भीतर Shrinkage Estimators कहते हैं।

आइए इस तकनीकी शब्दावली को तोड़ते हैं:

Finite Mixture: यह स्वीकार करना कि भीड़ अलग-अलग उपसमूहों (जैसे बास्केटबॉल खिलाड़ी बनाम जॉकी) से बनी है।
Mixed Model: यह स्वीकार करना कि उन समूहों के भीतर, व्यक्तियों के अपने व्यक्तिगत "अजीबोगरीब व्यवहार" या रैंडम प्रभाव (random effects) होते हैं (जैसे किसी विशिष्ट खिलाड़ी का खराब घुटना उसकी ऊंचाई के माप को प्रभावित कर सकता है)।
Shrinkage (सिकुड़न): यह एक जादुई ट्रिक है। कल्पना कीजिए कि आप किसी व्यक्ति की ऊंचाई का अनुमान लगा रहे हैं। यदि आप केवल एक माप देखते हैं, तो आप बहुत गलत हो सकते हैं। "Shrinkage" एक अनुमान लगाने और उसे धीरे से एक समझदारी भरे औसत के करीब लाने जैसा है। यह मॉडल को रैंडम शोर या अजीब आउटलेयर्स (outliers) से बहुत अधिक उत्साहित होने से रोकता है। यह अत्यधिक अनुमानों को एक अधिक यथार्थवादी केंद्र की ओर "सिकोड़ता" (shrink) है।

3. उपकरण: तीन अलग-अलग "सिकुड़ने" वाली तकनीकें

लेखकों ने इस "सिकुड़ने" के तीन विशिष्ट तरीकों का परीक्षण किया, उनकी तुलना एक टूलबॉक्स में तीन अलग-अलग उपकरणों की तरह की:

Ridge Regression: इसे एक कोमल, स्थिर हाथ के रूप में सोचें। यह सभी अनुमानों को केंद्र की ओर थोड़ा खींचता है, लेकिन यह उनमें से किसी को भी शून्य नहीं बनाता है। यह एक ऊबड़-खाबड़ सड़क को चिकना करने जैसा है ताकि उस पर गाड़ी चलाना आसान हो जाए, लेकिन सड़क वहीं रहती है।
Lasso Regression: यह एक अधिक आक्रामक उपकरण है। यह केवल अनुमानों को केंद्र की ओर नहीं खींचता; यह उन्हें पूरी तरह से काट भी सकता है (उन्हें शून्य बना सकता है)। यह एक मूर्तिकार द्वारा मूर्ति के अनावश्यक हिस्सों को तराशने जैसा है। यदि कोई विशिष्ट कारक (जैसे बेसबॉल में "स्टोल बेस") वास्तव में वेतन के लिए मायने नहीं रखता है, तो Lasso उसे समीकरण से पूरी तरह हटा देता है।
Elastic Net: यह दोनों दुनियाओं का सबसे अच्छा मेल है। यह एक हाइब्रिड टूल है जो Ridge की कोमल स्मूथिंग और Lasso की आक्रामक कटिंग को जोड़ता है। यह एक स्विस आर्मी नाइफ की तरह है जो डेटा की आवश्यकता के आधार पर स्मूथ भी कर सकता है और काट भी सकता है।

4. प्रक्रिया: Iterative Weighted Least Squares (IWLS)

वे वास्तव में उत्तर कैसे पाते हैं? वे Iterative Weighted Least Squares नामक एक एल्गोरिदम का उपयोग करते हैं।

कल्पना कीजिए कि आप एक डगमगाती मेज पर किताबों का ढेर संतुलित करने की कोशिश कर रहे हैं।

आप किताबें रखते हैं (एक अनुमान लगाते हैं)।
मेज डगमगाती है (डेटा शोर भरा है)।
आप इस आधार पर किताबों को समायोजित करते हैं कि वे कैसे गिरीं (त्रुटि की गणना करते हैं)।
आप उन्हें फिर से रखते हैं, लेकिन इस बार आप किताबों को इस आधार पर अलग वजन देते हैं कि पिछली बार वे कितनी स्थिर थीं।
आप इस प्रक्रिया को तब तक बार-बार दोहराते हैं जब तक कि किताबों का ढेर पूरी तरह से संतुलित न हो जाए और डगमगाना बंद न कर दे।

लेखकों ने इस संतुलन बनाने की प्रक्रिया में अपने "Shrinkage" उपकरणों को जोड़ा ताकि अंतिम परिणाम और भी अधिक स्थिर हो सके।

5. परीक्षण: द सिमुलेशन लैब

अपने तरीके को साबित करने के लिए, लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने हजारों कंप्यूटर सिमुलेशन (Monte Carlo simulations) चलाए।

उन्होंने ज्ञात "छिपे हुए समूहों" और "रैंडम क्वर्क्स" के साथ नकली डेटा बनाया।
उन्होंने "collinearity" पेश की, जो लगभग एक जैसे दिखने वाले दो चरों (variables) के होने जैसा है (जैसे ऊंचाई को इंच और सेंटीमीटर में मापना)। यह आमतौर पर कंप्यूटर को भ्रमित कर देता है।
उन्होंने इस अव्यवधित डेटा के खिलाफ अपने तीन उपकरणों (Ridge, Lasso, Elastic Net) का परीक्षण किया।

परिणाम:
शोध पत्र का दावा है कि Lasso और Elastic Net ने आमतौर पर Ridge की तुलना में बेहतर प्रदर्शन किया। वे विशेष रूप से तब अधिक सटीक थे जब डेटा बहुत अव्यवधित था या जब वेरिएबल्स अत्यधिक सह-संबंधित (correlated) थे। "बेसबॉल सैलरी" के उदाहरण में, Lasso और Elastic Net विधियों ने प्रदर्शन आंकड़ों के आधार पर खिलाड़ियों के वेतन के लिए अधिक विश्वसनीय भविष्यवाणियां दीं।

सारांश

यह शोध पत्र मूल रूप से कह रहा है: "जब आपके पास अलग-अलग उपसमूहों और व्यक्तिगत विचित्रताओं वाली एक जटिल भीड़ हो, तो एक साधारण औसत का उपयोग न करें। हमारे नए 'Shrinkage' तरीके का उपयोग करें जो आपके अनुमानों को धीरे से सच्चाई की ओर खींचता है। और यदि आपको एक उपकरण चुनना है, तो Elastic Net या Lasso शोर को अलग करने और वास्तविक पैटर्न खोजने का सबसे विश्वसनीय तरीका लगता है।"

उन्होंने अपने तरीके को सिम्युलेटेड डेटा और बेसबॉल खिलाड़ी के वेतन और स्कूली लड़कियों की ऊंचाई जैसे वास्तविक दुनिया के उदाहरणों पर परखा, जिससे यह पता चलता है कि उनका तरीका पुराने तरीकों की तुलना में सिग्नल (signal) को शोर (noise) से अधिक प्रभावी ढंग से अलग करने में मदद करता है।

तकनीकी सारांश: फाइनाइट मिक्सचर ऑफ मिक्स्ड जेनेरेटेड एस्टिमेटिंग इक्वेशंस में श्रिंकेजेज एस्टिमेटर्स

समस्या विवरण
यह शोध पत्र उन विषम जनसंख्याओं (heterogeneous populations) से प्राप्त डेटा को मॉडल करने की चुनौती को संबोधित करता है जहाँ उप-समूहों के भीतर व्यक्ति दोहराव वाले मापन या रैंडम प्रभावों के कारण सहसंबंध (correlation) प्रदर्शित करते हैं। मानक लीनियर मिक्स्ड मॉडल (LMM) एक एकल सजातीय जनसंख्या संरचना मानते हैं, जो तब अनुपयुक्त होता है जब अंतर्नियता (underlying population) विभिन्न प्रतिगमन मापदंडों (regression parameters) वाले विशिष्ट उप-समूहों से बनी होती है। जबकि फाइनाइट मिक्सचर मॉडल (FMM) जनसंख्या विषमता को संभालते हैं और लीनियर मिक्स्ड मॉडल विषय-के-भीतर सहसंबंध को संभालते हैं, मौजूदा साहित्य अक्सर इन्हें अलग-अलग मानता है। लेखक एक फाइनाइट मिक्सचर-मिक्स्ड मॉडल (FMMM) के लिए मापदंडों के अनुमान में एक अंतराल की पहचान करते हैं, जो दोनों विशेषताओं को जोड़ता है: लीनियर मिक्स्ड मॉडल का एक मिश्रण। इसके अतिरिक्त, उच्च-आयामी सेटिंग्स में या जब भविष्यवक्ताओं (predictors) के बीच बहु-सहसंबंध (multicollinearity) मौजूद हो, तो मानक अनुमान विधियाँ (जैसे मैक्सिमम लाइकलीहुड या मानक लीस्ट स्क्वायर्स) अस्थिर या अक्षम अनुमान दे सकती हैं। यह शोध पत्र पैरामीटर स्थिरता और चयन में सुधार के लिए श्रिंकेज अनुमान तकनीकों को FMMM ढांचे में एकीकृत करने वाला एक समाधान प्रस्तावित करता है।

कार्यप्रणाली
लेखक लीस्ट स्क्वायर प्रिंसिपल के साथ श्रिंकेज मेथड्स के संयोजन पर आधारित एक नवीन अनुमान ढांचा प्रस्तावित करते हैं। मुख्य कार्यप्रणाली में निम्नलिखित चरण शामिल हैं:

मॉडल परिभाषा: FMMM को इस प्रकार परिभाषित किया गया है जहाँ कारक स्तर $t$ पर $i$ -वें अवलोकन के लिए रिस्पॉन्स वेरिएबल $y_{ti}$ , $K$ लीनियर मिक्स्ड घटकों का एक मिश्रण है। प्रत्येक घटक $j$ में फिक्स्ड इफेक्ट्स $\beta_j$ , रैंडम इफेक्ट्स $\alpha_{tj}$ , और मिक्सिंग प्रोबेबिलिटीज $\pi_j$ होते हैं। मॉडल रैंडम इफेक्ट्स और एरर के लिए नॉर्मल डिस्ट्रीब्यूशन मानता है।
इटरेटिव वेटेड लीस्ट स्क्वायर्स (IWLS): रेज़ाज़देह आदि (2020) के कार्य पर आधारित, लेखक FMMM के लिए IWLS एल्गोरिदम को अनुकूलित करते हैं। चूंकि एरर का वेरिएंस स्थिर नहीं है और मिश्रण संरचना पर निर्भर करता है, इसलिए मॉडल को कोवेरिएंस स्ट्रक्चर ( $\Sigma^{-1/2}$ ) से प्राप्त वेटिंग मैट्रिक्स का उपयोग करके रूपांतरित किया जाता है। एल्गोरिदम मिक्सिंग प्रोबेबिलिटीज ( $\pi$ ) और फिक्स्ड इफेक्ट वेक्टर्स ( $\beta$ ) का अनुमान लगाने के लिए वेटेड लीस्ट स्क्वायर्स ऑब्जेक्टिव फंक्शन से प्राप्त नॉर्मल इक्वेशंस को हल करके पुनरावृत्ति (iteratively) करता है।
श्रिंकेज इंटीग्रेशन: संभावित बहु-सहसंबंध और ओवरफिटिंग को संबोधित करने के लिए, लेखक IWLS ऑब्जेक्टिव फंक्शन में तीन विशिष्ट श्रिंकेज एस्टिमेटर्स को शामिल करते हैं:
- रिज रिग्रेशन (Ridge Regression): लीस्ट स्क्वायर्स मानदंड में एक $L_2$ पेनल्टी ( $\sum \beta^2$ ) जोड़ता है।
- लासो रिग्रेशन (Lasso Regression): स्पर्सिटी (sparsity) उत्पन्न करने के लिए एक $L_1$ पेनल्टी ( $\sum |\beta|$ ) जोड़ता है।
- इलास्टिक नेट (Elastic Net): दोनों $L_1$ और $L_2$ पेनल्टी को जोड़ता है।
  ऑब्जेक्टिव फंक्शन को मिक्सिंग प्रोबेबिलिटीज द्वारा भारित (weighted) पेनल्टी टर्म्स को शामिल करने के लिए संशोधित किया जाता है।
ट्यूनिंग पैरामीटर चयन: श्रिंकेज मेथड्स के लिए रेगुलराइजेशन पैरामीटर्स का चयन क्रॉस-वैलिडेशन (CV) विधि का उपयोग करके किया जाता है।
मूल्यांकन मीट्रिक: प्रस्तावित एस्टिमेटर्स के प्रदर्शन का मूल्यांकन मोंटे कार्लो सिमुलेशन के माध्यम से गणना किए गए जनरलाइज्ड मीन स्क्वायर एरर (GMSE) का उपयोग करके किया जाता है।

प्रमुख योगदान

मॉडल फॉर्मूलेशन: शोध पत्र ने फाइनाइट मिक्सचर-मिक्स्ड मॉडल (FMMM) को औपचारिक रूप से परिभाषित किया है और इसके मैट्रिक्स नोटेशन, एक्सपेक्टेशन और वेरिएंस-कोवेरिएंस स्ट्रक्चर को व्युत्पन्न किया है।
एल्गोरिद्मिक एक्सटेंशन: यह IWLS एल्गोरिदम का विस्तार करता है, जो पहले मानक मिश्रण मॉडलों के लिए उपयोग किया जाता था, ताकि फिक्स्ड इफेक्ट्स के इटरेटिव अनुमान में सीधे श्रिंकेज पेनल्टी को शामिल करके इसे अधिक जटिल FMMM संदर्भ में लागू किया जा सके।
तुलनात्मक विश्लेषण: यह अध्ययन FMMM ढांचे के भीतर रिज, लासो और इलास्टिक नेट एस्टिमेटर्स का एक व्यवस्थित तुलना प्रदान करता है, जो इस विशिष्ट मॉडल प्रकार के लिए पूर्व साहित्य में व्यापक रूप से कवर नहीं किया गया है।

परिणाम
लेखकों ने प्रस्तावित विधियों का मूल्यांकन करने के लिए व्यापक मोंटे कार्लो सिमुलेशन आयोजित किए और दो वास्तविक दुनिया के डेटासेट का विश्लेषण किया:

सिमुलेशन अध्ययन:
- सिमुलेशन विभिन्न सैंपल साइज ( $n=50, 100, 200$ ), प्रेडिक्टर डायमेंशन ( $p=8, 12$ ), और कोरिलेशन लेवल ( $\rho = 0.75, 0.90, 0.99$ ) के साथ चलाए गए।
- प्रदर्शन: परिणाम संकेत देते हैं कि GMSE के मामले में लासो (Lasso) और इलास्टिक नेट (Elastic Net) सामान्यतः रिज रिग्रेशन की तुलना में बेहतर प्रदर्शन करते हैं, विशेष रूप से जैसे-जैसे बहु-सहसंबंध ( $\rho$ ) का स्तर बढ़ता है।
- कंपोनेंट संवेदनशीलता: प्रदर्शन मिश्रण घटकों की संख्या ( $K$ ) के आधार पर थोड़ा भिन्न था। $K=3$ के लिए, इलास्टिक नेट ने श्रेष्ठ प्रदर्शन दिखाया, जबकि $K=2, 4, 5, 6$ के लिए, लासो अक्सर इलास्टिक नेट और रिज की तुलना में बेहतर प्रदर्शन करता रहा।
- उच्च कोलिनेरिटी: बहुत उच्च सहसंबंध ( $\rho=0.99$ ) वाले परिदृश्यों में, रिज एस्टिमेटर का GMSE काफी बढ़ गया, जबकि लासो और इलास्टिक नेट मजबूत (robust) बने रहे।
वास्तविक डेटा अनुप्रयोग:
- बेसबॉल सैलरी: 337 खिलाड़ियों के 1992 के वेतन का विश्लेषण करते हुए, लेखकों ने लॉग(सैलरी) को रिस्पॉन्स के रूप में उपयोग किया। रिज (25.471) की तुलना में लासो और इलास्टिक नेट ने कम GMSE (क्रमशः 16.955 और 17.035) दिया।
- स्कूलगर्ल्स हाइट: 20 लड़कियों के विकास डेटा का विश्लेषण करते हुए, लासो और इलास्टिक नेट ने फिर से रिज (21.349) की तुलना में कम GMSE (क्रमशः 19.777 और 19.896) प्रदर्शित किया।

महत्व और दावे
शोध पत्र का दावा है कि IWLS दृष्टिकोण को श्रिंकेज मेथड्स के साथ संयोजित करने से फाइनाइट मिक्सचर-मिक्स्ड मॉडल में मापदंडों के अनुमान के लिए एक मजबूत ढांचा प्रदान होता है। लेखक तर्क देते हैं कि उनका प्रस्तावित इटरेटिव श्रिंकेज दृष्टिकोण जनसंख्या की विषमता और व्यक्तियों के भीतर सहसंबंध को एक साथ प्रभावी ढंग से संभालता है।

प्राथमिक महत्व इस अनुभवजन्य निष्कर्ष में निहित है कि श्रिंकेज मेथड्स (विशेष रूप से लासो और इलास्टिक नेट) FMMM मापदंडों के अनुमान के लिए मानक रिज रिग्रेशन की तुलना में बेहतर सटीकता और स्थिरता प्रदान करते हैं, विशेष रूप से बहु-सहसंबंध की उपस्थिति में। यह अध्ययन रेज़ाज़देह आदि (2020) के कार्य के विस्तार के रूप में खुद को स्थापित करता है, जो उनके IWLS कार्य को रेगुलराइजेशन को शामिल करने के लिए विस्तारित करता है, जिससे जटिल डेटा संरचनाओं के लिए एक व्यावहारिक समाधान मिलता है जो सामाजिक विज्ञान, चिकित्सा और अर्थशास्त्र में आम हैं जहाँ जनसंख्या उप-समूह और रैंडम प्रभाव दोनों मौजूद होते हैं। लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि उनके सिमुलेशन परिणाम FMMM संदर्भों में बेहतर पैरामीटर अनुमान के लिए इन श्रिंकेज एस्टिमेटर्स को अपनाने का समर्थन करते हैं।