Maximum-of-Differences Test for Comparing Multivariate K-Sample Distributions

यहाँ वेई लैन, लॉन्ग फेंग, रनज़े ली और चह-लिंग त्साई के शोध पत्र "Maximum-of-Differences Test for Comparing Multivariate K-Sample Distributions" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एक बहुभिन्नरूपी (multivariate) परिवेश में $K$ नमूनों (samples) के वितरणों की तुलना करने की मौलिक सांख्यिकीय समस्या का समाधान करता है। यह समस्या बायोइन्फॉर्मेटिक्स, अर्थशास्त्र, वित्त और मशीन लर्निंग (जैसे, ट्रांसफर लर्निंग, डेटाबेस मिलान और जीन सेट विश्लेषण) जैसे विविध क्षेत्रों में उत्पन्न होती है।

मुख्य चुनौतियाँ:

• उच्च आयामीता (High Dimensionality): मौजूदा विधियाँ अक्सर तब संघर्ष करती हैं जब आयाम $p$, नमूना आकार $n$ के सापेक्ष बड़ा होता है (जिसे "आयामीता का अभिशाप" या "curse of dimensionality" कहा जाता है)।
• गैर-प्राचलिक प्रकृति (Non-Parametric Nature): कई शास्त्रीय परीक्षण (जैसे हॉटेलिंग का $T^2$) प्राचलिक मान्यताओं (जैसे बहुभिन्नरूपी सामान्यता) पर निर्भर करते हैं या केवल माध्य/सहप्रसरण (mean/covariance) की समानता पर ध्यान केंद्रित करते हैं, जिससे वे सामान्य वितरण संबंधी अंतरों का पता लगाने में विफल रहते हैं।
• प्रतिगमन संदर्भ (Regression Context): अधिकांश मौजूदा गैर-प्राचलिक K-नमूना परीक्षणों में सहचरों (covariates) का लेखा-जोखा नहीं होता है, जो उन्हें प्रतिगमन सेटिंग्स के लिए अनुपयुक्त बनाता है जहाँ समूहों के बीच त्रुटि वितरणों की समानता का परीक्षण करना आवश्यक होता है।
• ग्राफ-आधारित सीमाएँ: हालांकि ग्राफ-आधारित विधियाँ (जैसे मिनिमम स्पैनिंग ट्री) मौजूद हैं, लेकिन वे उच्च आयामीता या $K > 2$ नमूनों के मामले में अक्सर गणनात्मक जटिलता या शक्ति (power) संबंधी समस्याओं का सामना करती हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन मैक्सिमम-ऑफ-डिफरेंसेज (MOD) परीक्षण और एक कोवेरिएंस-एडजस्टेड (CA-MOD) संस्करण प्रस्तावित करते हैं। कार्यप्रणाली तीन मुख्य चरणों में आगे बढ़ती है:

A. डेटा जुड़ाव और प्रायिकता अनुमान (Data Connection and Probability Estimation)

1. एकत्रीकरण (Pooling): $K$ नमूनों के सभी अवलोकनों को एक ही सेट में एकत्रित किया जाता है।
2. दूरी और जुड़ाव (Distance & Connection): युग्मवार यूक्लिडियन दूरियाँ ($\|X_i - X_j\|$) गिनी जाती हैं। दो अवलोकनों को तब "जुड़ा हुआ" माना जाता है यदि उनकी दूरी एक पूर्व-निर्धारित थ्रेशोल्ड $\tau$ से कम हो।
3. अंतर्गत/बाह्य प्रायिकता (Within/Between Probabilities): प्रत्येक अवलोकन $i$ के लिए, लेखक दो प्रायिकताएँ ज्ञात करते हैं:
   • $\hat{p}_{in}^i$: $i$ के समान नमूने के भीतर जुड़े हुए अवलोकनों का अनुपात।
   • $\hat{p}_{bet}^i$: अन्य नमूनों में जुड़े हुए अवलोकनों का अनुपात।
4. अंतर सांख्यिकी (Difference Statistic): शून्य परिकल्पना ($H_0$: सभी $K$ वितरण समान हैं) के तहत, जुड़ाव की प्रायिकता नमूने के बावजूद समान होनी चाहिए। अतः, अंतर $\hat{p}_{bet}^i - \hat{p}_{in}^i$ शून्य के करीब होना चाहिए।

B. MOD परीक्षण सांख्यिकी (The MOD Test Statistic)

परीक्षण सांख्यिकी $T_\tau$ को सभी अवलोकनों के मानकीकृत वर्ग अंतरों के अधिकतम (maximum) के रूप में परिभाषित किया गया है:
$$T_\tau = \max_{1 \le i \le n} \frac{(\hat{p}_{bet}^i - \hat{p}_{in}^i)^2}{\text{Var}(\hat{p}_{bet}^i - \hat{p}_{in}^i)}$$

• अनंतस्पर्शी वितरण (शून्य के तहत) (Asymptotic Distribution - Null): $H_0$ के तहत, $T_\tau$ मानक सामान्य और टाइप I एक्सट्रीम वैल्यू वितरणों के सह-संबंधित भारित योगों के अधिकतम के रूप में अभिसरित होता है। क्योंकि इस वितरण का कोई बंद रूप (closed form) नहीं है, इसलिए क्रिटिकल मानों का अनुमान एक संख्यात्मक प्रतिकृति विधि (अनुमानित सहप्रसरण आव्यूह के साथ बहुभिन्नरूपी सामान्य वेक्टर उत्पन्न करके) के माध्यम से लगाया जाता है।

C. CA-MOD परीक्षण (कोवेरिएंस-एडजस्टेड) (The CA-MOD Test)

संख्यात्मक प्रतिकृति विधि के गणनात्मक बोझ और कच्चे सांख्यिकीय आंकड़ों की जटिल सहसंबंध संरचना से बचने के लिए:

1. सहप्रसरण प्रोफाइलिंग (Covariance Profiling): लेखक मानकीकृत सांख्यिकियों के सहप्रसरण आव्यूह $\hat{\Sigma}$ का अनुमान लगाते हैं।
2. व्हाइटनिंग (Whitening): वे सांख्यिकियों को सहसंबंध हटाने के लिए $\hat{\Sigma}^{-1/2}$ का उपयोग करके रूपांतरित करते हैं।
3. CA-MOD सांख्यिकी: $T^{adj}_\tau = \max_{1 \le i \le n} (M^{adj}_{i,\tau})^2$, जहाँ $M^{adj}$ कोवेरिएंस-एडजस्टेड सांख्यिकी है।
4. अनंतस्पर्शी वितरण (शून्य के तहत) (Asymptotic Distribution - Null): सौम्य स्थितियों (धनात्मक निश्चितता $\Sigma$ के तहत) के अंतर्गत, $T^{adj}_\tau$ एक टाइप I एक्सट्रीम वैल्यू वितरण की ओर अभिसरित होता है। यह सिमुलेशन के बिना सीधे क्रिटिकल मानों की गणना करने की अनुमति देता है।

D. बहुभिन्नरूपी प्रतिगमन तक विस्तार (Extension to Multivariate Regression)

इस ढांचे को बहुभिन्नरूपी प्रतिगमन मॉडलों में त्रुटि वितरणों की समानता का परीक्षण करने के लिए विस्तारित किया गया है:
$$X_i^{(k)} = \beta^{(k)}W_i^{(k)} + \epsilon_i^{(k)}$$
परीक्षणों को साधारण न्यूनतम वर्ग (OLS) अनुमान से प्राप्त अवशेषों (residuals) ($\hat{\epsilon}$) पर लागू किया जाता है, जिससे सहचरों (covariates) के समायोजन के बाद वितरणों की तुलना संभव होती है।

E. ट्यूनिंग पैरामीटर चयन (Tuning Parameter Selection)

थ्रेशोल्ड $\tau$ अत्यंत महत्वपूर्ण है। लेखक सैद्धांतिक रूप से व्युत्पन्न करते हैं कि $\tau$ को विशिष्ट विकल्पों के तहत परीक्षण की शक्ति (power) को अधिकतम करने के लिए चुना जाना चाहिए। वे $\tau$ को युग्मवार दूरियों $\|X_i - X_j\|$ के माध्यिका (median) पर सेट करने की सिफारिश करते हैं, जो 50% क्वांटाइल के अनुरूप है।

3. प्रमुख योगदान (Key Contributions)

1. नवीन परीक्षण सांख्यिकी: MOD और CA-MOD परीक्षणों का परिचय, जो ग्राफ किनारों या माध्य वेक्टरों के बजाय युग्मवार जुड़ाव प्रायिकताओं पर आधारित "मैक्सिमम-ऑफ-डिफरेंसेज" दृष्टिकोण का उपयोग करते हैं।
2. सैद्धांतिक कठोरता (Theoretical Rigor):
   • दोनों शून्य और वैकल्पिक परिकल्पनाओं के तहत अनंतस्पर्शी निरंतरता (asymptotic consistency) को सिद्ध किया।
   • स्थापित किया कि CA-MOD, टाइप I एक्सट्रीम वैल्यू वितरण की ओर अभिसरित होता है, जिससे व्यावहारिक कार्यान्वयन सुलभ होता है।
   • निश्चित और उच्च-आयामी सेटिंग्स ($p, n$ से बड़ा हो सकता है) में प्रयोज्यता प्रदर्शित की।
3. प्रतिगमन विस्तार: मौजूदा साहित्य के अंतराल को भरते हुए, बहुभिन्नरूपी प्रतिगमन मॉडलों के लिए गैर-प्राचलिक K-नमूना परीक्षण को सफलतापूर्वक अनुकूलित किया।
4. मजबूती (Robustness): ये परीक्षण बाइनरी कनेक्शन संकेतकों ($I(\|X_i - X_j\| \le \tau)$) पर निर्भर करते हैं, जो इन्हें भारी-पूंछ वाले वितरणों (heavy-tailed distributions) और आउटलेर्स के प्रति मजबूत बनाता है, और विशिष्ट प्राचलिक मान्यताओं पर निर्भर नहीं करता है।

4. परिणाम (Results)

लेखकों ने विधियों को मान्य करने के लिए व्यापक सिमुलेशन अध्ययन और वास्तविक-डेटा विश्लेषण किए।

सिमुलेशन अध्ययन (Simulation Studies)

• आकार नियंत्रण (Size Control): दोनों MOD और CA-MOD ने विभिन्न नमूना आकारों ($n$) और आयामों ($p$) में, जिसमें $p > n$ के मामले भी शामिल थे, टाइप I त्रुटि दर (nominal 0.05 स्तर के करीब) को अच्छी तरह से नियंत्रित किया।
• शक्ति प्रदर्शन (Power Performance):
  • माध्य बदलाव (Mean Shift): माध्य बदलावों के लिए MOD और CA-MOD, विशेष ग्राफ-आधारित परीक्षणों (जैसे GEC/WEC) के तुलनीय या थोड़े कम प्रभावी रहे, लेकिन प्रतिस्पर्धी थे।
  • सहप्रसरण और वितरण बदलाव (Covariance & Distribution Shifts): CA-MOD ने सहप्रसरण बदलावों और सामान्य वितरण अंतरों का पता लगाने में सभी प्रतिस्पर्धी विधियों (EC, GEC, WEC, GLP, और MMCM सहित) को काफी बेहतर प्रदर्शन किया।
  • K-नमूना ($K>2$): $K=6$ के लिए, CA-MOD और MOD, सहप्रसरण और वितरण बदलावों का पता लगाने में GLP और MMCM परीक्षणों से बेहतर थे।
  • प्रतिगमन सेटिंग: प्रतिगमन संदर्भों में, CA-MOD ने अन्य विधियों की तुलना में अवशेषों में वितरण संबंधी अंतरों का पता लगाने के लिए बेहतर शक्ति बनाए रखी।

वास्तविक डेटा विश्लेषण (Real Data Analysis)

• अनुप्रयोग: चीनी शेयर बाजार में "सप्ताह के दिन का प्रभाव" (सोमवार से शुक्रवार के रिटर्न की तुलना) के लिए परीक्षण किया गया।
• निष्कर्ष:
  • सहचरों के बिना: p-मान 0.199 (MOD) और 0.247 (CA-MOD) थे।
  • मार्केट इंडेक्स एडजस्टमेंट (प्रतिगमन) के साथ: p-मान 0.140 (MOD) और 0.151 (CA-MOD) थे।
  • निष्कर्ष: किसी भी परीक्षण ने शून्य परिकल्पना को खारिज नहीं किया, जो सप्ताह के दिन के प्रभाव के प्रमाण की कमी को दर्शाता है, और सुधार के बाद चीनी शेयर बाजार की दक्षता का समर्थन करता है।

5. महत्व (Significance)

• बहुमुखी प्रतिभा (Versatility): प्रस्तावित परीक्षण स्थिर और उच्च आयामों में बहुभिन्नरूपी K-नमूना तुलनाओं को संभालने और बहुभिन्नरूपी प्रतिगमन मॉडलों में सहजता से विस्तारित होने की अपनी अद्वितीय क्षमता के लिए विशिष्ट हैं।
• गणनात्मक दक्षता (Computational Efficiency): CA-MOD परीक्षण एक क्लोज्ड-फॉर्म अनंतस्पर्शी वितरण (टाइप I एक्सट्रीम वैल्यू) प्रदान करता है, जिससे कच्चे MOD परीक्षण के लिए आवश्यक गणनात्मक रूप से गहन पुन: नमूनाकरण (resampling) विधियों की आवश्यकता समाप्त हो जाती है।
• व्यावहारिक उपयोगिता: यह विधि आउटलेर्स और भारी पूंछ (heavy tails) के प्रति मजबूत है, जो इसे वास्तविक दुनिया के वित्तीय और जैविक डेटा के लिए उपयुक्त बनाती है जहाँ सामान्यता की धारणाएं अक्सर विफल हो जाती हैं।
• सैद्धांतिक प्रगति: यह ग्राफ-आधारित गैर-प्राचलिक परीक्षण और उच्च-आयामी सांख्यिकीय अनुमान के बीच के अंतर को पाटता है, जो सरल माध्य या विचरण परिवर्तनों से परे जटिल वितरण संबंधी बदलावों का पता लगाने के लिए एक शक्तिशाली उपकरण प्रदान करता है।