Bandwidth-free nonparametric density estimation for grouped data

तकनीकी सारांश: समूहीकृत डेटा के लिए बैंडविड्थ-मुक्त गैर-पैरामीट्रिक घनत्व अनुमान (Density Estimation)

समस्या विवरण
कई वैज्ञानिक और व्यावहारिक संदर्भों में—प्रायोगिक रिपोर्टों में अनिश्चितता से लेकर गोपनीयता संबंधी बाधाओं और गैर-डिटेक्ट्स (non-detects) तक—डेटा पारंपरिक व्यक्तिगत-अवलोकन प्रारूप में उपलब्ध नहीं होता है। इसके बजाय, डेटा "समूहीकृत" (grouped) रूप में एकत्र किया जाता है, जहाँ केवल विशिष्ट अंतरालों (bins) के भीतर अवलोकनों की आवृत्ति ही ज्ञात होती है। चुनौती यह है कि बिना किसी पूर्व पैरामीट्रिक ज्ञान के, इन समूहीकृत गणनाओं से अंतर्निहित गैर-समूहीकृत संभाव्यता घनत्व फलन (PDF) का अनुमान कैसे लगाया जाए।

मौजूदा गैर-पैरामीट्रिक दृष्टिकोण, जैसे कि समूहीकृत डेटा के लिए अनुकूलित कर्नेल घनत्व अनुमानक (kernel density estimators), बैंडविड्थ चयन पर एक महत्वपूर्ण निर्भरता से ग्रस्त हैं, जो अनुमान की सुगमता (smoothness) और सटीकता को काफी प्रभावित करता है। इसके अलावा, मानक गैर-पैरामीट्रिक विधियों में अक्सर समूहीकृत डेटा लागू करने पर पहचान क्षमता (identifiability) की कमी होती है; अर्थात, कई अलग-अलग अंतर्निहित घनत्व एक ही समूहीकृत आवृत्ति वितरण उत्पन्न कर सकते हैं।

कार्यप्रणाली: मीन-एडजस्टेड लॉग-कॉन्केव (MALC) अनुमान
लेखक एक पूरी तरह से स्वचालित, बैंडविड्थ-मुक्त गैर-पैरामीट्रिक विधि प्रस्तावित करते हैं जिसे यूनिवेरिएट निरंतर समूहीकृत डेटा के लिए 'मीन-एडजस्टेड लॉग-कॉन्केव' (MALC) घनत्व अनुमान कहा जाता है। यह विधि इस धारणा पर आधारित है कि अंतर्निहित घनत्व लॉग-कॉन्केव (अर्थात, $f(x) = \exp(\phi(x))$ जहाँ $\phi$ एक अवतल या concave फलन है) है। यह श्रेणी कई लोकप्रिय वितरणों (जैसे Gaussian, Gamma, Weibull) को समाहित करती है, जबकि यह प्रतिबंधात्मक पैरामीट्रिक धारणाओं से बचने के लिए पर्याप्त व्यापक बनी रहती है।

MALC एल्गोरिदम तीन मुख्य चरणों में आगे बढ़ता है:

1. EM के माध्यम से मीन रिकवरी: चूंकि अज्ञात डेटा का वास्तविक माध्य (mean) अज्ञात होता है, लेखक पहले इसका अनुमान लगाते हैं। वे अनुमान लगाने के उद्देश्य से एक Gaussian वितरण मान लेते हैं और समूहबद्ध डेटा के लिए एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम लागू करते हैं ताकि माध्य ($\hat{\mu}_n$) का मैक्सिमम लाइकलीहुड एस्टीमेटर (MLE) प्राप्त किया जा सके। सैद्धांतिक परिणाम दर्शाते हैं कि कुलबैक-लीब्लर (KL) डाइवर्जेंस के तहत, वास्तविक लॉग-कॉन्केव घनत्व $f_0$ के सबसे निकटतम Gaussian घनत्व का माध्य भी समान होता है। फलस्वरूप, भले ही वास्तविक वितरण Gaussian न हो, यह चरण जनसंख्या माध्य की अत्यधिक सटीक रिकवरी प्रदान करता है, जिसका त्रुटि स्तर ग्रिड की चौड़ाई ($\delta$) द्वारा सीमित है।

2. डिस्क्रीट लॉग-कॉन्केव अनुमान: देखे गए बिन्स के अनुभवजन्य प्रायिकता (empirical probabilities) को एक डिस्क्रीट लॉग-कॉन्केव प्रोबेबिलिटी मास फंक्शन (PMF) प्राप्त करने के लिए स्मूथ किया जाता है। इसे डिस्क्रीटली कॉनकेव फलनों पर एक दंडित (penalized) लॉग-लाइक्लीहुड को अधिकतम करके प्राप्त किया जाता है, जिसमें logConDiscr R पैकेज का उपयोग किया जाता है। यह चरण एक अद्वितीय डिस्क्रीट PMF ($\hat{p}_n$) प्रदान करता है जो KL के अर्थ में देखे गए समूहीकृत आवृत्तियों के सबसे निकटतम लॉग-कॉन्केव सन्निकटन (approximation) है।

3. कन्वोल्यूशन और अनग्रुपिंग (Ungrouping): एक निरंतर घनत्व को पुनः प्राप्त करने के लिए, विधि एक यादृच्छिक चर $X_{n,\delta}$ का निर्माण करती है जो डिस्क्रीट लॉग-कॉन्केव चर (जो $\hat{p}_n$ पर आधारित है) और $[0, \delta)$ पर समर्थित एक निरंतर परटर्बेशन (perturbation) चर $Z_{n,\delta}$ का कन्वोल्यूशन (convolution) है। इस परटर्बेशन को (बीटा वितरण का उपयोग करके) इस प्रकार पैरामीटराइज किया जाता है कि परिणामी कन्वोल्यूशन का माध्य रिकवर किए गए माध्य $\hat{\mu}_n$ के बराबर हो। अंत में, logcondens पैकेज का उपयोग करके इस कन्वोल्यूशन के नमूनों से एक निरंतर लॉग-कॉन्केव घनत्व का MLE निकाला जाता है। यह चरण प्रभावी रूप से डेटा को "अनग्रुप" करता है, जिससे उस निरंतर लॉग-कॉन्केव घनत्व की खोज की जाती है जो कन्वोल्वेड वितरण के सबसे निकट है।

प्रमुख सैद्धांतिक योगदान

• पहचान क्षमता और निरंतरता (Identifiability and Consistency): शोध पत्र यह स्थापित करता है कि हालांकि समूहीकृत डेटा से लॉग-कॉन्केव घनत्व को पुनः प्राप्त करने की समस्या आम तौर पर गैर-पहचान योग्य (non-identifiable) है, प्रस्तावित MALC एस्टीमेटर एक अद्वितीय सीमा (limit) की ओर अभिसरित (converge) होता है। जैसे-जैसे नमूना आकार $n \to \infty$ और ग्रिड की चौड़ाई $\delta \to 0$ होती है, एस्टीमेटर वास्तविक अंतर्निहित घनत्व के साथ सुसंगत (consistent) पाया जाता है, बशर्ते कि वास्तविक घनत्व लॉग-कॉन्केव हो।
• बैंडविड्थ-मुक्त प्रकृति: कर्नेल-आधारित विधियों के विपरीत, MALC दृष्टिकोण के लिए उपयोगकर्ता को स्मूथिंग पैरामीटर या बैंडविड्थ चुनने की आवश्यकता नहीं होती है, जिससे यह पूरी तरह से स्वचालित हो जाता है।
• मजबूती (Robustness): सैद्धांतिक और सिमुलेशन परिणाम संकेत देते हैं कि लॉग-कॉन्केव धारणा मजबूत है; विधि तब भी अच्छा प्रदर्शन करती है जब वास्तविक अंतर्निहित वितरण सख्ती से लॉग-कॉन्केव नहीं होता है, विशेष रूप से छोटे से मध्यम नमूना आकार के लिए।

परिणाम और मूल्यांकन
MALC के प्रदर्शन का मूल्यांकन तीन कर्नेल-आधारित प्रतिस्पर्धियों—Blower and Kelsall (2002), BinnedNP (Barreiro Ures et al., 2019a), और KernSmooth (Wand et al., 2025)—के विरुद्ध व्यापक सिमुलेशन के माध्यम से किया गया।

• सिमुलेशन अध्ययन: विभिन्न वितरणों (दोनों लॉग-कॉन्केव जैसे Gamma और Chi-square, और गैर-लॉग-कॉन्केव जैसे Log-normal और Student's $t$) और विभिन्न नमूना आकारों ($10^2$ से $10^6$) और ग्रिड चौड़ाई के माध्यम से, MALC ने लगातार सबसे कम $L_2$ त्रुटि प्राप्त की। इसने छोटे-नमूना शासन (small-sample regimes) में श्रेष्ठ प्रदर्शन किया और कर्नेल-आधारित विधियों की तुलना में ग्रिड की चौड़ाई में बदलाव के प्रति अधिक स्थिरता (कम संवेदनशीलता) प्रदर्शित की।
• वास्तविक दुनिया का अनुप्रयोग: विधि को छह देशों (कनाडा, यूएसए, जापान, दक्षिण कोरिया, नॉर्वे, ऑस्ट्रेलिया) के 0–110 आयु वर्ग के समूहीकृत मृत्यु दर डेटा पर लागू किया गया। परिणामों ने सफलतापूर्वक आयु-विशिष्ट मृत्यु दर घनत्व और हज़ार्ड फंक्शन (hazard functions) का अनुमान लगाया, जो अपेक्षित जनसांख्यिकीय पैटर्न को प्रकट करते हैं, जैसे कि यूएसए की तुलना में जापान और नॉर्वे में उच्च जीवन प्रत्याशा। विधि ने सुचारू, गैर-घटते हज़ार्ड फंक्शन अनुमान भी प्रदान किए, जो लॉग-कॉन्केव घनत्वों के गुणों के अनुरूप हैं।

महत्व और दावे
लेखक दावा करते हैं कि MALC पारंपरिक समूहीकृत डेटा विश्लेषण के लिए एक मजबूत, स्वचालित विकल्प प्रदान करता है। इसका प्राथमिक महत्व बैंडविड्थ चयन की आवश्यकता को समाप्त करना है, जो गैर-पैरामीट्रिक अनुमान में अस्थिरता और उपयोगकर्ता-निर्भरता का एक सामान्य स्रोत है। यह विधि उन परिदृश्यों में विशेष रूप से मूल्यवान है जहाँ तकनीकी या गोपनीयता संबंधी बाधाओं के कारण डेटा स्वाभाविक रूप से समूहीकृत होता है, और जहाँ अंतर्निहित वितरण अज्ञात या जटिल होता है।

शोध पत्र विनम्रतापूर्वक सीमाओं को नोट करता है: वर्तमान कार्यान्वयन यूनिवेरिएट डेटा और समान ग्रिड चौड़ाई तक सीमित है। इसके अतिरिक्त, हालांकि यह विधि लॉग-कॉन्केविटी को मानती है, यह स्वीकार करती है कि परिणामी एस्टीमेटर मूल समूहीकृत डेटा की सटीक बिन संभावनाओं (bin probabilities) को पूरी तरह से संरक्षित नहीं कर सकता है (compatibility), हालांकि सिमुलेशन बताते हैं कि यह ट्रेड-ऑफ अनुकूल समग्र घनत्व अनुमान प्रदान करता है। भविष्य के कार्य के रूप में गैर-समान ग्रिड और मल्टीवेरिएट सेटिंग्स में इस विधि के विस्तार की पहचान की गई है।