Nonparametric Estimation of Extropy, Rényi Extropy, and Tsallis Extropy: Almost Sure Convergence and Asymptotic Normality

तकनीकी सारांश: एक्सट्रॉपी, रेनी एक्सट्रॉपी और त्सालिस एक्सट्रॉपी का गैर-पैरामीट्रिक अनुमान

समस्या विवरण
यद्यपि सूचना सिद्धांत में एंट्रॉपी (entropy) लंबे समय से अनिश्चितता के प्राथमिक माप के रूप में कार्य करती रही है, लेकिन यह मुख्य रूप से उन घटनाओं से जुड़ी अनिश्चितता पर जोर देती है जो घटित होती हैं, और अक्सर दुर्लभ या गैर-घटित होने वाली घटनाओं की भूमिका की अनदेखी करती है। एक्सट्रॉपी (extropy) एक पूरक परिप्रेक्ष्य प्रदान करती है जो इस बात की मात्रा निर्धारित करती है कि क्या नहीं हुआ, जिससे यह कम-संभावना वाले परिणामों के प्रति विशेष रूप से संवेदनशील हो जाती है। एक्सट्रॉपी और इसके सामान्यीकरणों (रेनी और त्सालिस एक्सट्रॉपी) के बढ़ते अनुप्रयोगों के बावजूद—जैसे कि जोखिम विश्लेषण, वित्त और मशीन लर्निंग के क्षेत्रों में—उनके गैर-पैरामीट्रिक अनुमान के लिए एक कठोर सैद्धांतिक आधार का अभाव था। विशेष रूप से, इस कार्य से पूर्व, शैनन, रेनी और त्सालिस एक्सट्रॉपी के लिए प्लग-इन अनुमानकों (plug-in estimators) की लगभग निश्चित निरंतरता (almost sure consistency) और स्पर्शोन्मुख सामान्यता (asymptotic normality) के संबंध में कोई स्थापित परिणाम नहीं थे।

कार्यप्रणाली
यह शोध पत्र परिमित असतत यादृच्छिक चरों (finite discrete random variables) पर आधारित एक्सट्रॉपी मापों के गैर-पैरामीट्रिक अनुमान के लिए एक एकीकृत स्पर्शोन्मुख सिद्धांत विकसित करके इस कमी को दूर करता है।

1. सामान्य ढांचा: लेखक पहले एक सामान्य कार्यात्मक $\phi$-एक्सट्रॉपी, $F(p) = \sum_{i \in I} \phi(p_i)$ को परिभाषित करता है, जहाँ $\phi: (0, 1) \to \mathbb{R}$ एक दो बार निरंतर अवकलनीय (twice continuously differentiable) फलन है। यह ढांचा शैनन, रेनी और त्सालिस एक्सट्रॉपी को विशेष मामलों के रूप में समाहित करता है।
2. अनुमान रणनीति: अध्ययन प्लग-इन अनुमानकों का उपयोग करता है। एक वितरण $p$ से प्राप्त $X_1, \dots, X_n$ के i.i.d. नमूने को देखते हुए, अनुभवजन्य वितरण (empirical distribution) $\hat{p}_n$ का निर्माण किया जाता है। विभिन्न एक्सट्रॉपी के लिए अनुमानक संबंधित कार्यात्मक परिभाषाओं में $\hat{p}_n$ को प्रतिस्थापित करके प्राप्त किए जाते हैं।
3. सैद्धांतिक व्युत्पत्ति: मुख्य कार्यप्रणाली अनुभवजन्य कार्यात्मक $F(\hat{p}_n)$ के स्पर्शोन्मुख व्यवहार को व्युत्पन्न करने में निहित है। माध्य मान प्रमेय (mean value theorem) को लागू करके और बहुपद नियम (multinomial law) के स्पर्शोन्मुख गॉसियन सीमा का लाभ उठाकर, लेखक स्थापित करता है:
   • लगभग निश्चित अभिसरण (Almost Sure Convergence): अनुभवजन्य और वास्तविक संभावनाओं के बीच के अंतर के सुप्रीमम (supremum) का उपयोग करके अभिसरण की दरों को व्युत्पन्न किया जाता है।
   • स्पर्शोन्मुख सामान्यता (Asymptotic Normality): प्लग-इन अनुमानकों के लिए एक सेंट्रल लिमिट थ्योरम (CLT) स्थापित किया गया है, जो स्पर्शोन्मुख प्रसरण (asymptotic variances) के लिए स्पष्ट सूत्र प्रदान करता है।
4. विशिष्ट अनुप्रयोग: सामान्य परिणामों को निम्नलिखित के लिए सीमा नियमों (limit laws) को व्युत्पन्न करने के लिए विशिष्ट बनाया गया है:
   • शैनन एक्सट्रॉपी ($J(p)$)
   • मध्यवर्ती कार्यात्मक $S_\alpha(p) = \sum (1-p_i)^\alpha$
   • रेनी एक्सट्रॉपी ($J_{R,\alpha}(p)$)
   • त्सालिस एक्सट्रॉपी ($J_{T,\alpha}(p)$)

मुख्य परिणाम
यह शोध पत्र जैसे-जैसे नमूना आकार $n \to \infty$ होता है, प्लग-इन अनुमानकों के लिए निम्नलिखित सैद्धांतिक परिणाम स्थापित करता है:

• लगभग निश्चित अभिसरण: अनुमानक वास्तविक मानों की ओर लगभग निश्चित रूप से अभिसरित होते हैं। शोध पत्र अभिसरण की दर पर स्पष्ट सीमाएं प्रदान करता है, जो यह दर्शाता है कि $|F(\hat{p}_n) - F(p)|$ अनुभवजन्य संभावनाओं के अधिकतम विचलन के समानुपाती पद द्वारा सीमित है।
• स्पर्शोन्मुख सामान्यता: सामान्यीकृत अंतर $\sqrt{n}(F(\hat{p}_n) - F(p))$ एक सामान्य यादृच्छिक चर $N(0, \sigma^2_F(p))$ की ओर वितरित होता है। शोध पत्र शैनन, रेनी और त्सालिस एक्सट्रॉपी के लिए स्पर्शोन्मुख प्रसरण $\sigma^2_F(p)$ के लिए बंद-रूप (closed-form) अभिव्यक्तियाँ व्युत्पन्न करता है। ये सूत्र वास्तविक संभावनाओं $p_i$ और जनरेटिंग फलनों के अवकलजों पर निर्भर करते हैं।
• पूर्वाग्रह गुण (Bias Properties): लेखक नोट करता है कि हालांकि प्लग-इन अनुमानक परिमित नमूनों में पक्षपाती (biased) होते हैं, लेकिन पूर्वाग्रह $O(n^{-1})$ के क्रम का होता है। फलस्वरूप, अपरिष्कृत (uncorrected) और पूर्वाग्रह-सुधारित (bias-corrected) अनुमानक स्पर्शोन्मुख रूप से समकक्ष होते हैं, और व्युत्पन्न स्पर्शोन्मुख परिणाम दोनों पर लागू होते हैं।

सिमुलेशन अध्ययन
अपने सैद्धांतिक निष्कर्षों को मान्य करने के लिए, $r=5$ श्रेणियों वाले एक बहुपद वितरण (multinomial distribution) का उपयोग करके एक व्यापक सिमुलेशन अध्ययन किया गया।

• अभिसरण: अध्ययन ने पुष्टि की कि $n \ge 100$ के नमूना आकार के लिए, अनुमानक अपने वास्तविक मानों की ओर अभिसरित होते हैं और 95% विश्वास अंतराल (confidence intervals) अनुमानित रूप से सिकुड़ते हैं।
• सामान्यता (Normality): $n=2000$ के लिए हिस्टोग्राम और Q-Q प्लॉट ने मानक सामान्य वितरण के साथ उत्कृष्ट सहमति प्रदर्शित की, जो स्पर्शोन्मुख सामान्यता परिणामों की पुष्टि करती है।
• पैरामीटर संवेदनशीलता: सिमुलेशन ने रेखांकित किया कि पैरामीटर $\alpha$ का चयन परिमित-नमूना परिवर्तनशीलता (finite-sample variability) को प्रभावित करता है। $\alpha < 1$ (दुर्लभ घटनाओं पर जोर देने वाले) वाले अनुमानकों ने $\alpha > 1$ (प्रमुख घटनाओं पर जोर देने वाले) की तुलना में अधिक परिवर्तनशीलता प्रदर्शित की।
• पूर्वानुमान अनुप्रयोग: अध्ययन ने पूर्वानुमान संदर्भों में इन अनुमानकों की उपयोगिता को स्पष्ट किया, यह सुझाव देते हुए कि विश्वसनीय अनुमान के लिए कम से कम $n=100$ का नमूना आकार अनुशंसित है और $\alpha$ का चयन विशिष्ट जोखिम क्षमता (जैसे, दुर्लभ-घटना जागरूकता बनाम प्रमुख परिणाम फोकस) के अनुरूप होना चाहिए।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह शैनन, रेनी और त्सालिस एक्सट्रॉपी अनुमानकों की निरंतरता और सामान्यता के लिए पहले एकीकृत स्पर्शोन्मुख सिद्धांत के रूप में एक महत्वपूर्ण सैद्धांतिक रिक्तता को भरता है। इनके योगदान का महत्व निम्नलिखित में निहित है:

1. सांख्यिकीय अनुमान को सक्षम बनाना: स्पर्शोन्मुख प्रसरणों की स्पष्ट व्युत्पत्ति एक्सट्रॉपी-आधारित मापों के लिए विश्वास अंतराल बनाने की अनुमति देती है, जिससे कठोर सांख्यिकीय परीक्षण और अनिश्चितता का परिमाणीकरण सुगम होता है।
2. व्यावहारिक आधार: सिमुलेशन के माध्यम से अपने अनुमानकों को मान्य करके, यह शोध पत्र पोर्टफोलियो जोखिम मूल्यांकन, अनिश्चितता के तहत निर्णय लेने और विश्वसनीयता इंजीनियरिंग जैसे वास्तविक दुनिया के परिदृश्यों में एक्सट्रॉपी-आधारित मापों को लागू करने के लिए एक ठोस आधार प्रदान करता है।
3. एंट्रॉपी के पूरक के रूप में: यह कार्य एंट्रॉपी के एक द्वैत माप (dual measure) के रूप में एक्सट्रॉपी की भूमिका को सुदृढ़ करता है, जो उन प्रणालियों में अनिश्चितता का आकलन करने के लिए एक अधिक मजबूत ढांचा प्रदान करता है जहाँ कम-संभावना, उच्च-प्रभाव वाली घटनाएं महत्वपूर्ण होती हैं।

लेखक का निष्कर्ष है कि जबकि वर्तमान कार्य परिमित असतत वर्णमाला (finite discrete alphabets) पर केंद्रित है, भविष्य के शोध दिशाओं में गणनीय अनंत वर्णमाला (countably infinite alphabets) तक इन परिणामों का विस्तार करना और बेहतर परिमित-नमूना प्रदर्शन के लिए बूटस्ट्रैप-आधारित प्रसरण अनुमानकों को विकसित करना शामिल है।