📊 statistics

Robust inference in inflated beta regression

यह शोध पत्र इन्फ्लेटेड बीटा रिग्रेशन मॉडलों के लिए रोबस्ट अनुमानकों (robust estimators) और संबद्ध अनुमान उपकरणों का प्रस्ताव करता है ताकि पारंपरिक मैक्सिमम लाइकलीहुड एस्टीमेशन की आउटलेर्स के प्रति संवेदनशीलता को प्रभावी ढंग से कम किया जा सके और ढांचे की व्याख्यात्मकता को सुरक्षित रखा जा सके।

मूल लेखक: Francisco Felipe Queiroz, Silvia Lopes de Paula Ferrari

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Francisco Felipe Queiroz, Silvia Lopes de Paula Ferrari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि लोगों का एक समूह कितना पाई (pie) खाएगा। अधिकांश लोग थोड़ा सा खाते हैं (0% और 100% के बीच), लेकिन कुछ लोग कुछ भी नहीं खाते और कुछ बहुत कम लोग पूरा पाई खा जाते हैं।

सांख्यिकी (statistics) में, इसे "बॉर्डर के साथ निरंतर अनुपातों" (continuous proportions with boundaries) को मॉडल करना कहा जाता है। इस काम के लिए मानक उपकरण को इन्फ्लेटेड बीटा रिग्रेशन (Inflated Beta Regression) कहा जाता है। इस उपकरण को एक बहुत ही संवेदनशील, उच्च-सटीक तराजू के रूप में सोचें। यह तब खूबसूरती से काम करता है जब डेटा साफ हो और नियमों का पालन करता हो।

हालाँकि, यह शोध पत्र एक बड़ी खामी की पहचान करता है: यह तराजू आउटलेयर्स (outliers - असामान्य डेटा) द्वारा आसानी से छला जा सकता है।

समस्या: "चरमराहट वाला पहिया" (The Squeaky Wheel Effect) प्रभाव

वास्तविक दुनिया में, डेटा हमेशा आदर्श नहीं होता है। कभी-कभी आपको एक "खराब सेब" मिलता है—एक ऐसा डेटा पॉइंट जो अजीब, गलत या बस एक चरम विसंगति है (जैसे कि एक शहर जिसने अपनी पूरी आबादी के मरने की 100% रिपोर्ट दी क्योंकि वहां केवल एक ही मामला था)।

लेखक बताते हैं कि मानक विधि (मैक्सिमम लाइकलीहुड एस्टीमेशन) एक ऐसे व्यक्ति की तरह है जो कमरे में मौजूद हर आवाज को समान रूप से सुनता है। यदि एक व्यक्ति चिल्लाता है (आउटलेयर), तो सुनने वाला व्यक्ति अपनी पूरी राय उस चीख के अनुसार बदल देता है। यह पूरे समूह के बारे में गलत निष्कर्षों की ओर ले जाता है।

समाधान: "स्मार्ट फिल्टर" (The Smart Filter)

लेखक एक नया, रोबस्ट (robust - मजबूत) तरीका प्रस्तावित करते हैं। उस संवेदनशील श्रोता के बजाय एक स्मार्ट फिल्टर लगाने की कल्पना करें।

यह भीड़ की बात सुनता है: यदि 95% डेटा कहता है "A", तो फिल्टर भी "A" से सहमत होता है।
यह चीख को अनदेखा करता है: यदि एक डेटा पॉइंट चिल्लाकर "Z" कहता है, तो फिल्टर समझ जाता है, "यह पैटर्न में फिट नहीं बैठता," और उसे बहुत कम महत्व देता है। यह एक अजीब डेटा पॉइंट को औसत बिगाड़ने नहीं देता।
यह लचीला है: फिल्टर में एक "संवेदनशीलता नॉब" (जिसे ट्यूनिंग कॉन्स्टेंट, $\alpha$ $α$ कहा जाता है) होता है।
- यदि डेटा साफ है, तो नॉब शून्य पर सेट होता है, और फिल्टर बिल्कुल पुराने, मानक तरीके की तरह काम करता है (ताकि आप सटीकता न खोएं)।
- यदि डेटा अव्यवस्थित है, तो नॉब को घुमाया जाता है, और फिल्टर अजीब आउटलेयर्स को अनदेखा करना शुरू कर देता है।

उन्होंने इसे कैसे बनाया

लेखकों को इस फिल्टर को शून्य से बनाना पड़ा क्योंकि अन्य प्रकार के डेटा के लिए उपयोग किए जाने वाले मानक "स्मार्ट फिल्टर" इस विशिष्ट "पाई खाने वाले" परिदृश्य के लिए काम नहीं करते थे।

दो-भागों वाली पहेली: डेटा के दो भाग हैं: "जीरो/वन" वाला भाग (क्या उन्होंने कुछ नहीं खाया या सब कुछ खा लिया?) और "बीच का" भाग (उन्होंने कितना खाया?)।
नवाचार: उन्होंने एक ऐसी विधि बनाई जो दोनों भागों को एक साथ संभालती है लेकिन प्रत्येक के लिए अलग-अलग "स्मार्ट फिल्टर" का उपयोग करती है। उन्होंने एक डेटा-संचालित एल्गोरिदम (Data-Driven Algorithm) का भी आविष्कार किया जो स्वचालित रूप से संवेदनशीलता नॉब को घुमाता है। यह डेटा की जांच करता है: "क्या यह साफ है? बहुत बढ़िया, मानक विधि का उपयोग करें। क्या यह अव्यवस्थित है? फिल्टर को बढ़ा दें।"

प्रमाण: सिमुलेशन और वास्तविक जीवन

लेखकों ने अपने नए तरीके का परीक्षण दो तरीकों से किया:

सिमुलेशन लैब: उन्होंने नकली डेटा बनाया और फिर जानबूझकर उसमें खराब नंबरों (आउटलेयर्स) के साथ उसे "जहरीला" बना दिया।
- परिणाम: पुरानी विधि विफल हो गई, जिससे बेहद गलत उत्तर मिले। नया तरीका शांत और सटीक रहा, जिसने जहर (outliers) को अनदेखा कर दिया।
- एल्गोरिदम: स्वचालित नॉब-घुमाने वाला यंत्र पूरी तरह से काम कर गया। इसने नॉब को केवल तभी बढ़ाया जब डेटा जहरीला था और जब डेटा साफ था तो इसे शून्य पर रखा।
वास्तविक दुनिया का परीक्षण: उन्होंने ब्राजील के 200 शहरों में COVID-19 मृत्यु दर के बारे में वास्तविक डेटा देखा।
- एक शहर में 100% मृत्यु दर थी (क्योंकि वहां केवल एक मामला था, और वह व्यक्ति मर गया)। यह एक बड़ा आउटलेयर था।
- पुराना तरीका: मानक विधि इस एक शहर से भ्रमित हो गई। इसने जनसंख्या के आकार और शिक्षा स्तर का मृत्यु दर पर प्रभाव डालने वाले अपने निष्कर्षों को बदल दिया।
- नया तरीका: रोबस्ट विधि ने देखा कि वह एक शहर एक विसंगति था। उसने उसके प्रभाव को कम कर दिया। इसके द्वारा प्राप्त परिणाम बहुत समान थे जो आपको तब मिलते जब आप उस एक अजीब शहर को सूची से मैन्युअल रूप से हटा देते। यह सुझाव देता है कि नया तरीका अधिक विश्वसनीय है क्योंकि इसमें आपको डेटा को मैन्युअल रूप से हटाने की आवश्यकता नहीं है; यह "अजीबपन" को स्वचालित रूप से संभाल लेता है।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र एक नया सांख्यिकीय उपकरण पेश करता है जो अधिक मजबूत और स्मार्ट है। यह पुराने तरीकों की सरलता को बनाए रखता है लेकिन खराब डेटा के खिलाफ एक ढाल भी जोड़ता है।

यदि आपका डेटा साफ है: तो यह पुराने तरीके की तरह ही काम करता है।
यदि आपके डेटा में आउटलेयर्स हैं: तो यह शोर को अनदेखा करता है और आपको वास्तविक संकेत देता है।

लेखकों ने एक मुफ्त सॉफ्टवेयर पैकेज (R में) भी प्रदान किया ताकि अन्य शोधकर्ता कुछ खराब सेबों से गुमराह हुए बिना अपने डेटा का विश्लेषण करने के लिए इस "स्मार्ट फिल्टर" का उपयोग कर सकें।

तकनीकी सारांश: इन्फ्लेटेड बीटा रिग्रेशन में सुदृढ़ अनुमान (Robust Inference)

समस्या विवरण
इन्फ्लेटेड बीटा रिग्रेशन मॉडल सीमा मानों (शून्य या एक) वाले निरंतर अनुपातों (continuous proportions) के विश्लेषण के लिए एक मानक उपकरण है, जैसे कि संक्रमण दर या बजट आवंटन। हालांकि यह व्यापक रूप से अपनाया जाता है, मानक अनुमान (inference) अधिकतम संभावना अनुमान (Maximum Likelihood Estimation - MLE) पर निर्भर करता है। जैसा कि बाइनरी रिग्रेशन (डिस्क्रीट घटक) और बीटा रिग्रेशन (कंटीन्यूअस घटक) दोनों के साहित्य में स्थापित किया गया है, MLE आउटलेयर्स (outliers) के प्रति अत्यधिक संवेदनशील है। आउटलेयर्स मापदंडों के अनुमानों को गंभीर रूप से विकृत कर सकते हैं और भ्रामक निष्कर्षों की ओर ले जा सकते हैं। मानक बीटा रिग्रेशन (जैसे MDPDE और SMLE) या बाइनरी डेटा के मौजूदा सुदृढ़ अनुमानकर्ता (robust estimators) सभी मापदंड मानों के लिए अच्छी तरह से परिभाषित नहीं हो पाते हैं, विशेष रूप से तब जब अनबाउंडेड (unbounded) बीटा घनत्वों (densities) का मामला हो, या वे इन्फ्लेटेड मॉडल की विशिष्ट संरचनात्मक जटिलता को संबोधित नहीं करते हैं, जो एक डिस्क्रीट मिश्रण घटक को बीटा घटक के साथ जोड़ता है।

कार्यप्रणाली (Methodology)
लेखक शून्य-या-एक इन्फ्लेटेड बीटा रिग्रेशन मॉडल में सुदृढ़ अनुमान के लिए एक ढांचा प्रस्तावित करते हैं, जो मॉडल के दोनों घटकों (डिस्क्रीट और कंटीन्यूअस) को एक साथ सुदृढ़ अनुमान तकनीकों तक विस्तारित करता है।

मॉडल संरचना: प्रतिक्रिया चर (response variable) $Y$ एक शून्य-या-एक इन्फ्लेटेड बीटा वितरण का अनुसरण करता है, जो $c \in \{0, 1\}$ पर एक डिजेनरेट वेरिएबल और $(0, 1)$ पर एक बीटा-वितरित वेरिएबल का मिश्रण है। मॉडल के मापदंडों को सीमा की प्रायिकता ( $\vartheta$ ), सशर्त माध्य ( $\mu$ ), और परिशुद्धता ( $\phi$ ) के लिए लिंक फंक्शन के माध्यम से सहचरों (covariates) से जोड़ा जाता है।
सुदृढ़ अनुमानकर्ता (Robust Estimators): शोधपत्र दो विशिष्ट अनुमानकर्ताओं, M-LSE और M-LME को प्रस्तुत करता है, जो एक अनुमान समीकरण प्रणाली $U(y; \upsilon) = 0$ $U (y; υ) = 0$ को हल करते हैं। ये अनुमानकर्ता डिस्क्रीट और कंटीन्यूअस घटकों को एक एकीकृत ढांचे के भीतर अलग-अलग उपचार देते हैं:
- डिस्क्रीट भाग: लेखक बाइनरी घटक (शून्य या एक को देखने की प्रायिकता को मॉडल करने के लिए) के लिए मिनिमम डेंसिटी पावर डाइवर्जेंस एस्टीमेटर (MDPDE) का उपयोग करते हैं। यह दृष्टिकोण उन अवलोकनों को कम महत्व (downweight) देता है जिनमें देखे गए और अनुमानित प्रायिकताओं के बीच बड़े अंतर होते हैं।
- कंटीन्यूअस भाग: अनबाउंडेड बीटा घनत्वों के मुद्दे को संबोधित करने के लिए जहाँ मानक सुदृढ़ अनुमानकर्ता (SMLE और MDPDE) अच्छी तरह से परिभाषित नहीं हो सकते हैं, लेखक प्रतिक्रिया चर के लॉजिट रूपांतरण ( $Y^* = \log(Y/(1-Y))$ $Y^{*} = lo g (Y / (1 - Y))$ ) का उपयोग करते हैं।
  - M-LSE: डिस्क्रीट भाग के लिए MDPDE को कंटीन्यूअस भाग के लिए लॉगिट सरोगेट मैक्सिमम लाइकलीहुड एस्टीमेटर (LSMLE) के साथ जोड़ता है।
  - M-LME: डिस्क्रीट भाग के लिए MDPDE को कंटीन्यूअस भाग के लिए लॉगिट मिनिमम डेंसिटी पावर डाइवर्जेंस एस्टीमेटर (LMDPDE) के साथ जोड़ता है।
- लॉगिट स्केल पर कार्य करके, ये अनुमानकर्ता यह सुनिश्चित करते हैं कि घनत्व वर्ग (density class) पावर रूपांतरणों के तहत बंद (closed) रहे, जिससे यह गारंटी मिलती है कि अनुमानकर्ता सभी मापदंड मानों के लिए सुपरिभाषित हैं।
डेटा-संचालित ट्यूनिंग (Data-Driven Tuning): एक प्रमुख पद्धतिगत योगदान दोनों घटकों के लिए ट्यूनिंग स्थिरांक $\alpha$ का चयन करने के लिए एक डेटा-संचालित एल्गोरिदम (जो मूल रूप से बीटा रिग्रेशन के लिए प्रस्तावित किया गया था) का अनुकूलन है। यह एल्गोरिदम उस सबसे छोटे $\alpha$ (जो MLE के सबसे करीब है) की खोज करता है जो अनुमानों में स्थिरता बनाए रखता है, जिससे दूषित डेटा की अनुपस्थिति में पूर्ण दक्षता सुनिश्चित होती है और दूषित डेटा की उपस्थिति में सुदृढ़ता प्रदान की जाती है।
अनुमान (Inference): लेखक अपने प्रस्तावित अनुमानकर्ताओं की एसिम्प्टोटिक नॉर्मैलिटी (asymptotic normality) को व्युत्पन्न करते हैं और परिकल्पना परीक्षण के लिए सुदृढ़ वाल्ड-टाइप टेस्ट (Wald-type tests) विकसित करते हैं। वे मानक त्रुटियों की गणना करने के लिए एक विधि भी प्रदान करते हैं जो संयुक्त अनुमान (joint inference) को ध्यान में रखती है, भले ही पॉइंट अनुमान अलग-अलग गणना किए गए हों।

प्रमुख योगदान

इन्फ्लेटेड मॉडलों का विस्तार: यह कार्य विशेष रूप से शून्य-या-एक इन्फ्लेटेड बीटा रिग्रेशन मॉडल के लिए सुदृढ़ अनुमान विधियों का प्रस्ताव करने वाला पहला कार्य है, जो डिस्क्रीट और कंटीन्यूअस घटकों के मिश्रण से उत्पन्न होने वाली अनूठी चुनौतियों को संबोधित करता है।
सुपरिभाषित अनुमानकर्ता: लॉगिट रूपांतरण और LSMLE एवं LMDPDE के विशिष्ट निर्माणों का उपयोग करके, प्रस्तावित अनुमानकर्ता पिछले सुदृढ़ तरीकों (MDPDE/SMLE) की सीमाओं को दूर करते हैं जो अनबाउंडेड बीटा घनत्वों के लिए सुपरिभाषित नहीं थे।
एकीकृत ढांचा: शोधपत्र एक पूर्ण अनुमान ढांचा प्रदान करता है, जिसमें पॉइंट एस्टीमेशन, एसिम्प्टोटिक वेरिएंस-कोवेरिएंस मैट्रिक्स, और सुदृढ़ वाल्ड-टाइप टेस्ट शामिल हैं, जिसे एक R पैकेज में लागू किया गया है।
अनुकूली ट्यूनिंग (Adaptive Tuning): दोनों घटकों के लिए ट्यूनिंग स्थिरांकों को चुनने के लिए एक डेटा-संचालित एल्गोरिदम का अनुप्रयोग यह अनुमति देता है कि विधि स्वचालित रूप से स्वच्छ डेटा होने पर MLE पर वापस आ जाए, जिससे दक्षता और सुदृढ़ता के बीच संतुलन बना रहता है।

अनुभवजन्य परिणाम (Empirical Results)
लेखकों ने सिमुलेशन अध्ययन और वास्तविक डेटा अनुप्रयोग के माध्यम से M-LSE और M-LME के प्रदर्शन का मूल्यांकन किया:

सिमुलेशन: डिस्क्रीट भाग, कंटीन्यूअस भाग, या दोनों में 5% संदूषण (contamination) वाले परिदृश्यों में, मानक MLE ने गंभीर पूर्वाग्रह (bias) और उच्च रूट मीन स्क्वेर्ड एरर (RMSE) प्रदर्शित किया। इसके विपरीत, सुदृढ़ अनुमानकर्ताओं ने कम पूर्वाग्रह और निम्न RMSE बनाए रखा, और असंकटित (uncontaminated) डेटा में MLE के समान प्रदर्शन किया (जहाँ एल्गोरिदम ने $\alpha \approx 0$ चुना) और संदूषित परिदृश्यों में MLE की तुलना में काफी बेहतर प्रदर्शन किया (TMSE अनुपात MLE की तुलना में 34 गुना तक कम था)।
परिकल्पना परीक्षण: सुदृढ़ वाल्ड-टाइप टेस्ट्स ने संदूषण के तहत नाममात्र 5% स्तर के करीब प्रतिगमन दर (rejection rate) बनाए रखी, जबकि मानक वाल्ड टेस्ट्स ने या तो अत्यधिक टाइप I त्रुटियों (लगभग 100% रिजेक्शन रेट) या शून्य शक्ति (power) का प्रदर्शन किया।
वास्तविक डेटा अनुप्रयोग: इस विधि को 201 ब्राजील के 200 शहरों में कोविड-19 केस फेटैलिटी रेट पर लागू किया गया। डेटा में एक प्रमुख आउटलेयर (एक शहर जिसमें एक मामला और एक मृत्यु थी) मौजूद था। MLE के परिणाम इस अवलोकन से अत्यधिक प्रभावित थे, जिसने सहचर प्रभावों (जैसे HDI) के महत्व और परिमाण को बदल दिया। सुदृढ़ अनुमानकर्ताओं (M-LSE) ने इस आउटलेयर को कम महत्व दिया, जिससे ऐसे परिणाम प्राप्त हुए जो आउटलेयर को मैन्युअल रूप से हटाने वाले विश्लेषण के अनुरूप थे, जो बिना किसी मनमाने डेटा विलोपन के विश्वसनीय अनुमान प्रदान करने की विधि की क्षमता को दर्शाता है।

महत्व
शोधपत्र का दावा है कि जबकि आउटलेयर्स को संभालने के लिए लचीले मॉडल मौजूद हैं, वे अक्सर अनावश्यक जटिलता लाते हैं और व्याख्यात्मकता की कमी रखते हैं। प्रस्तावित दृष्टिकोण मानक इन्फ्लेटेड बीटा मॉडल की व्याख्यात्मकता और संरचना को बनाए रखता है, जबकि केवल अनुमान प्रक्रिया को एक सुदृढ़ विकल्प से बदल देता है। लेखक इस बात पर जोर देते हैं कि उनका कार्य एक महत्वपूर्ण अंतर को भरता है क्योंकि यह सीमाबद्ध निरंतर डेटा (bounded continuous data) के इन्फ्लेटेड मॉडलों के लिए पहली सुदृढ़ अनुमान विधियाँ प्रदान करता है। सिमुलेशन परिणाम और वास्तविक दुनिया का अनुप्रयोग प्रदर्शित करते हैं कि प्रस्तावित अनुमानकर्ता प्रभावी रूप से आउटलेयर्स के प्रभाव को कम करते हैं, जिससे मानक अधिकतम संभावना अनुमान (MLE) से उत्पन्न होने वाले भ्रामक निष्कर्षों को रोका जा सकता है जो अक्सर दूषित डेटा की उपस्थिति में होते हैं।

समस्या: "चरमराहट वाला पहिया" (The Squeaky Wheel Effect) प्रभाव

समाधान: "स्मार्ट फिल्टर" (The Smart Filter)

उन्होंने इसे कैसे बनाया

प्रमाण: सिमुलेशन और वास्तविक जीवन

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर