On the statistical analysis of grouped data: when Pearson $χ^2$ and other divisible statistics are not goodness-of-fit tests

तकनीकी सारांश: समूहीकृत डेटा के सांख्यिकीय विश्लेषण पर

समस्या विवरण
समूहीकृत डेटा (grouped data) का सांख्यिकीय विश्लेषण, विशेष रूप से उन व्यवस्थाओं (regimes) में जहाँ बिनों की संख्या ($K$) अधिक है और अपेक्षित आवृत्तियों की संख्या कम या मध्यम है ($T/K \to c \in (0, \infty)$), महत्वपूर्ण चुनौतियों को प्रस्तुत करता है। इस "विरल" (sparse) व्यवस्था में, शास्त्रीय अनंतकालीन सिद्धांत (classical asymptotic theory)—जो यह मानता है कि आवृत्तियाँ एक गाऊसी सीमा (Gaussian limit) की ओर संचित होती हैं—लागू होने में विफल रहता है। यह शोध पत्र मौजूदा सुफिटनेस-ऑफ-फिट (GoF) परीक्षणों, जैसे कि पीयर्सन्स $\chi^2$, लाइकलीहुड रेशियो (likelihood ratio), और स्पेक्ट्रल सांख्यिकी (spectral statistics) की सीमाओं को संबोधित करता है, जब उन्हें ऐसे डेटा पर लागू किया जाता है। एक केंद्रीय समस्या जो पहचानी गई है वह यह है कि कई मानक विभाज्य सांख्यिकी (divisible statistics) शून्य परिकल्पना (null hypothesis) से स्थानीय (समीपवर्ती) विचलन का पता लगाने की शक्ति नहीं रखते हैं, विशेष रूप से जब मापदंडों (parameters) का अनुमान लगाया जाता है। इसके अतिरिक्त, निरंतर डेटा के लिए उपलब्ध एम्पिरिकल प्रोसेस थ्योरी (empirical process theory) के समान समूहीकृत डेटा के लिए साहित्य में एक एकीकृत सैद्धांतिक ढांचा का अभाव है।

कार्यप्रणाली (Methodology)
लेखक एक विशिष्ट यादृच्छिक माप (random measure) के रैखिक फलन (linear functionals) के रूप में विभाज्य सांख्यिकी के निरूपण पर आधारित एक एकीकृत सैद्धांतिक ढांचे का प्रस्ताव करते हैं।

1. एकीकृत निरूपण: शोध पत्र विभाज्य सांख्यिकी के वर्ग को पुनर्गठित करता है। इन्हें केवल देखे गए और अपेक्षित आवृत्तियों के फलनों के योग के रूप में देखने के बजाय, उन्हें एक यादृच्छिक माप $v_{\theta, K}$ के रैखिक फलनों के रूप में व्यक्त किया जाता है:
   $$v_{\theta, K}(g_\theta) = \frac{1}{\sqrt{K}} \sum_{k=1}^K g_\theta(x_k, \nu(x_k))$$
   जहाँ $g_\theta$ एक हिल्बर्ट स्पेस $L^2(\mu_{\theta, K})$ से संबंधित है। यह निर्माण पीयर्सन्स $\chi^2$, लाइकलीहुड रेशियो, और स्पेक्ट्रल सांख्यिकी को एक एकल फंक्शन-पैरामेट्रिक एम्पिरिकल प्रोसेस के तहत एकीकृत करता है।

2. समीपवर्ती विकल्पों (Contiguous Alternatives) के तहत अनंतकालीन सिद्धांत: विश्लेषण यह मानता है कि देखी गई आवृत्तियाँ स्वतंत्र पॉइसन यादृच्छिक चर (independent Poisson random variables) हैं। लेखक इन सांख्यिकीओं का विश्लेषण समीपवर्ती विकल्पों के अनुक्रमों के तहत करते हैं, जिन्हें एक कार्यात्मक दिशा $h(x)$ द्वारा परिभाषित किया जाता है। वे इन विकल्पों के तहत सांख्यिकीओं के सीमित माध्य (limiting mean) और प्रसरण (variance) को व्युत्पन्न करते हैं।

3. मापदंड अनुमान और प्रक्षेपण (Parameter Estimation and Projection): मापदंडों $\theta$ के अनुमान (जैसे, मैक्सिमम लाइकलीहुड एस्टीमेशन, MLE) के साथ सांख्यिकीओं के विश्लेषण का एक महत्वपूर्ण घटक है। लेखक प्रदर्शित करते हैं कि मापदंड अनुमान के प्रभाव को एक प्रक्षेपण ऑपरेटर $\Pi$ द्वारा अभिलक्षित किया जा सकता है। अनुमानित मापदंडों वाला सांख्यिकी, $v_{\hat{\theta}, K}(g_{\hat{\theta}})$, मूल रूप से $v_{\theta, K}(\Pi g_\theta)$ के तुल्य है, जहाँ $\Pi g_\theta$ स्कोर फंक्शन के लंबवत मूल फलन $g_\theta$ का प्रक्षेपण है।

4. बेहतर परीक्षणों का निर्माण:

   • भारित रैखिक सांख्यिकी (Weighted Linear Statistics): लेखक किसी भी विभाज्य सांख्यिकी को आवृत्ति विचलन $(\nu(x) - m_\theta(x))$ के साथ सहसंबंधित घटक और एक लंबवत (orthogonal) घटक में विभाजित करते हैं। वे सिद्ध करते हैं कि लंबवत घटक प्रसरण में योगदान देता है लेकिन विकल्पों के तहत अनंतकालीन बदलाव (power) में नहीं। फलस्वरूप, वे केवल भारित रैखिक घटक को बनाए रखकर "बेहतर" सांख्यिकी का निर्माण करते हैं।
   • आंशिक योग प्रक्रियाएं (Partial Sums Processes): GoF के लिए पर्याप्तता (सभी समीपवर्ती विकल्पों का पता लगाने के लिए) प्राप्त करने हेतु, लेखक एक स्कैनिंग परिवार के उपसमुच्चयों पर आंशिक योगों की प्रक्रियाओं का उपयोग करते हैं। यह समस्या को एक प्रक्षिप्त ब्राउनियन मोशन (projected Brownian motion) के विश्लेषण में बदल देता है।
   • वितरण-मुक्त रूपांतरण (Distribution-Free Transformation): विभिन्न मॉडलों के लिए बूटस्ट्रैपिंग की गणना-गहन प्रक्रियाओं से बचने के लिए, लेखक एक ज्ञात, मॉडल-मुक्त सीमित वितरण वाले मानक प्रक्रिया (स्वतंत्र ब्राउनियन ब्रिजेस का एक अनुक्रम) में प्रक्षिप्त प्रक्रिया को रूपांतरित करने के लिए एक यूनिटरी ऑपरेटर $U_p$ का उपयोग करते हैं।

प्रमुख योगदान और परिणाम

• विभाज्य सांख्यिकी का एकीकरण: यह शोध पत्र स्थापित करता है कि विविध सांख्यिकी (पीयर्सन्स $\chi^2$, लाइकलीहुड रेशियो, स्पेक्ट्रल सांख्यिकी) एक ही अंतर्निहित यादृच्छिक माप के रैखिक फलन हैं, जो एक एकीकृत अनंतकालीन उपचार की अनुमति देते हैं।
• एकल सांख्यिकी की अपर्याप्तता: एक प्राथमिक सैद्धांतिक निष्कर्ष यह है कि विरल व्यवस्था में, कोई भी एकल विभाज्य सांख्यिकी सुफिटनेस-ऑफ-फिट के लिए पर्याप्त नहीं है। विशेष रूप से, यदि फलन $C(x; \Pi g_\theta)$ (जो विकल्पों के तहत बदलाव निर्धारित करता है) शून्य है, तो परीक्षण में कोई अनंतकालीन शक्ति (asymptotic power) नहीं होती है।
• C-समरूप सांख्यिकी (C-Homogeneous Statistics) की विफलता: लेखक सिद्ध करते हैं कि "C-समरूप" सांख्यिकी (जहाँ $C(x; g_\theta)$ स्थिर है), जिसमें पीयर्सन्स $\chi^2$ और कैश सांख्यिकी शामिल हैं, अनुमानित मापदंडों के साथ यूनिफॉर्मिटी (स्थिर बैकग्राउंड) के परीक्षण के विरुद्ध शून्य अनंतकालीन शक्ति रखती हैं। यह स्पष्ट करता है कि ये परीक्षण विरल डेटा (जैसे एक्स-रे स्पेक्ट्रा) में विचलन का पता लगाने में क्यों विफल रहते हैं।
• भारित रैखिक सांख्यिकी का प्रभुत्व: यह दिखाया गया है कि कोई भी विभाज्य सांख्यिकी एक संगत भारित रैखिक सांख्यिकी द्वारा डोमिनेट (dominated) होती है। सांख्यिकी के असंबद्ध घटक को हटाकर, एक ऐसा परीक्षण बनाया जा सकता है जिसकी शक्ति या तो अधिक या बराबर हो।
• MLE के माध्यम से शक्ति लाभ: इस अंतर्ज्ञान के विपरीत कि मापदंडों का अनुमान लगाने से शक्ति कम होती है, यह शोध पत्र दिखाता है कि पैरामेट्रिक परिवार के लंबवत विकल्पों के लिए, MLE के माध्यम से मापदंडों का अनुमान लगाना वास्तव में ज्ञात मापदंडों वाले सरल परिकल्पनाओं के परीक्षण की तुलना में परीक्षण की शक्ति को बढ़ा सकता है।
• वितरण-मुक्त परीक्षण: यह शोध पत्र यूनिटरी ऑपरेटरों का उपयोग करके समूहीकृत डेटा के लिए अनंतकालीन रूप से वितरण-मुक्त GoF परीक्षण बनाने की एक विधि प्रदान करता है। यह मॉडल-विशिष्ट सिमुलेशन की आवश्यकता को समाप्त करते हुए मानक क्रिटिकल वैल्यूज (जैसे, कोलमोगोरोव वितरण) के उपयोग की अनुमति देता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह निरंतर डेटा के लिए उपलब्ध एम्पिरिकल प्रोसेस थ्योरी के समानांतर समूहीकृत डेटा विश्लेषण के लिए एक एकीकृत दृष्टिकोण प्रदान करके एक अंतराल को भरता है। लेखक तर्क देते हैं कि "विरल" व्यवस्था ($T/K \to c$) भौतिकी (कण गणना), खगोल विज्ञान (फोटॉन गणना), और पारिस्थितिकी (प्रजातियों की विविधता) जैसे क्षेत्रों में सामान्य है, और शास्त्रीय गाऊसी सीमाओं को थोपने के लिए समूहीकृत विधियों का उपयोग करना अनावश्यक और संभावित रूप से हानिकारक है।

इस कार्य का महत्व निम्नलिखित में निहित है:

1. सीमाओं का निदान: यह औपचारिक रूप से समझाता है कि पीयर्सन्स $\chi^2$ जैसे व्यापक रूप से उपयोग किए जाने वाले परीक्षण विरल व्यवस्था में क्यों विफल होते हैं, विशेष रूप से एक्स-रे खगोल विज्ञान (चांद्र वेधशाला के डेटा का उपयोग करके प्रदर्शित) में गैर-समान बैकग्राउंड का पता लगाने के लिए।
2. समाधान प्रदान करना: यह सीमाओं को दूर करने के लिए अधिक शक्तिशाली विकल्प (भारित रैखिक सांख्यिकी और आंशिक योग फलन) और एक कंप्यूटेशनल ढांचा (वितरण-मुक्त रूपांतरण) प्रदान करता है।
3. सैद्धांतिक अंतर्दृष्टि: यह प्रकट करता है कि मापदंड अनुमान द्वारा पेश की गई "यादृच्छिकता" को गणितीय रूप से अलग और हटाया जा सकता है, जिससे सरल और अधिक शक्तिशाली परीक्षण सांख्यिकी प्राप्त होती है।

लेखक निष्कर्ष निकालते हैं कि उनका ढांचा पॉइसन रिग्रेशन और गैर-समान रूप से वितरित डेटा के लिए अनुमानित टूलकिट का विस्तार करता है, जो शास्त्रीय, अक्सर अमान्य, अनंतकालीन धारणाओं पर निर्भर किए बिना उच्च-आयामी, विरल समूहीकृत डेटा के विश्लेषण के लिए एक कठोर आधार प्रदान करता है।