First versus full or first versus last: U-statistic change-point tests under fixed and local alternatives

यहाँ हेरोल्ड डेहलिंग, डैनियल वोगल और मार्टिन वेन्डलर के शोध पत्र "First versus Full versus First versus Last: U-Statistic Change-Point Tests under Fixed and Local Alternatives" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र एक स्थिर स्टोकेस्टिक प्रक्रिया (stationary stochastic process) के पैरामीटर $\theta$ में संरचनात्मक परिवर्तनों (structural breaks) का पता लगाने के लिए U-सांख्यिकी (U-statistics) पर आधारित CUSUM-प्रकार के चेंज-पॉइंट परीक्षणों के निर्माण और तुलना को संबोधित करता है।

जब शास्त्रीय CUSUM परीक्षण (जो नमूना माध्य का उपयोग करता है) को सामान्य पैरामीटर्स (जो U-सांख्यिकी द्वारा अनुमानित होते हैं) के लिए विस्तारित किया जाता है, तो एक संभावित चेंज-पॉइंट $k$ पर टेस्ट स्टैटिस्टिक बनाने के लिए दो अलग-अलग दृष्टिकोण उभरते हैं:

1. First-vs-Full ($T_1$): यह पहले $k$ अवलोकनों ($\hat{\theta}_{1:k}$) पर आधारित एस्टीमेटर की तुलना संपूर्ण नमूने ($\hat{\theta}_{1:n}$) पर आधारित एस्टीमेटर से करता है।
2. First-vs-Last ($T_2$): यह पहले $k$ अवलोकनों ($\hat{\theta}_{1:k}$) पर आधारित एस्टीमेटर की तुलना शेष $n-k$ अवलोकनों ($\hat{\theta}_{(k+1):n}$) पर आधारित एस्टीमेटर से करता है।

हालाँकि ये दोनों दृष्टिकोण रैखिक सांख्यिकी (जैसे नमूना माध्य) के लिए समान हैं, लेकिन गैर-रैखिक U-सांख्यिकी के लिए ये भिन्न होते हैं। लेखक इस बात की जांच करते हैं कि क्या ये अंतर केवल परिमित-नमूना (finite-sample) के आर्टिफैक्ट्स हैं या क्या इनसे मौलिक रूप से भिन्न स्पर्शोन्मुखी व्यवहार (asymptotic behaviors) और शक्ति गुण (power properties) उत्पन्न होते हैं, विशेष रूप से फिक्स्ड अल्टरनेटिव्स (जहाँ परिवर्तन का परिमाण $n \to \infty$ होने पर लुप्त नहीं होता) के तहत।

2. कार्यप्रणाली (Methodology)

लेखक तीन व्यवस्थाओं (regimes) के तहत दो टेस्ट स्टैटिस्टिक्स के स्पर्शोन्मुखी व्यवहार का विश्लेषण करते हैं:

• शून्य परिकल्पना (Null Hypothesis - $H_0$): कोई परिवर्तन नहीं होता है।
• लोकल अल्टरनेटिव्स (Local Alternatives): वितरण थोड़ा बदल जाता है ताकि पैरामीटर का अंतर $O(n^{-1/2})$ के क्रम का हो।
• फिक्स्ड अल्टरनेटिव्स (Fixed Alternatives): वितरण महत्वपूर्ण रूप से बदल जाता है (पैरामीटर अंतर स्थिर होता है)।

मुख्य परिभाषाएँ:
मान लीजिए $h$ एक सममित कर्नेल फंक्शन (symmetric kernel function) है। U-सांख्यिकी को इस प्रकार परिभाषित किया जाता है:
$$U_n = \binom{n}{2}^{-1} \sum_{1 \le i < j \le n} h(X_i, X_j)$$
टेस्ट स्टैटिस्टिक्स को इस प्रकार परिभाषित किया गया है:
$$T_1(h) = \max_{1 \le k \le n} \frac{k}{\sqrt{n}} |U_{1:k} - U_{1:n}|$$
$$T_2(h) = \max_{1 \le k \le n} \frac{k(n-k)}{n^{3/2}} |U_{1:k} - U_{(k+1):n}|$$

सैद्धांतिक ढांचा (Theoretical Framework):

• होफडिंग डिकंपोजिशन (Hoeffding Decomposition): लेखक U-सांख्यिकी के रैखिक और डिजेनरेट घटकों को अलग करने के लिए होफडिंग डिकंपोजिशन का उपयोग करते हैं।
• कमजोर निर्भरता (Weak Dependence): परिणाम दृढ़ रूप से स्थिर (strongly stationary) अनुक्रमों के लिए प्राप्त किए गए हैं जो नियर एपोच डिपेंडेंस (Near Epoch Dependence - NED) शर्तों (विशेष रूप से P-NED) को पूरा करते हैं, जो भारी-पूंछ वाले वितरणों (heavy-tailed distributions) और अल्प-दूरी की निर्भरता (short-range dependence) की अनुमति देते हैं।
• लिमिट प्रोसेसेज (Limit Processes): $H_0$ और लोकल अल्टरनेटिव्स के तहत, इन प्रक्रियाओं को $n^{-1/2}$ द्वारा स्केल किया जाता है। फिक्स्ड अल्टरनेटिव्स के तहत, उन्हें $n^{-1}$ द्वारा स्केल किया जाता है।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

A. शून्य और लोकल अल्टरनेटिव्स के तहत स्पर्शोन्मुखी तुल्यता

• परिणाम: शून्य परिकल्पना और लोकल अल्टरनेटिव्स के अनुक्रमों के तहत, दोनों टेस्ट स्टैटिस्टिक्स स्पर्शोन्मुखी रूप से तुल्य (asymptotically equivalent) हैं।
• निहितार्थ: $T_1$ और $T_2$, जब लॉन्ग-रन वेरिएंस द्वारा स्टूडेंटाइज्ड (studentized) किए जाते हैं, तो ब्राउनियन ब्रिज के सुप्रीमम ($\sup |B(t)|$) के रूप में अभिसरित होते हैं। फलस्वरूप, उनके क्रिटिकल वैल्यू और बड़े नमूनों में स्पर्शोन्मुखी शक्ति (asymptotic power) समान होती है। यही कारण है कि बड़े $n$ (जैसे $n=4000$) के लिए सिमुलेशन परिणाम शक्ति में नगण्य अंतर दिखाते हैं।

B. फिक्स्ड अल्टरनेटिव्स के तहत विचलन

• परिणाम: फिक्स्ड अल्टरनेटिव्स के तहत, दोनों सांख्यिकी अलग-अलग नियत सीमा फलनों (deterministic limit functions) में अभिसरित होती हैं, जिन्हें $\Psi_1(t)$ और $\Psi_2(t)$ कहा जाता है।
• मानदंड: दोनों परीक्षणों की सापेक्ष शक्ति एक मात्रा द्वारा निर्धारित होती है जिसे एसेन्ट्रिसिटी (eccentricity) ($\rho_{FG}$) कहा जाता है:
  $$\rho_{FG} = \theta_{FG} - \frac{\theta_F + \theta_G}{2}$$
  जहाँ:
  • $\theta_F = E[h(X, X')]$ (परिवर्तन से पहले का पैरामीटर)
  • $\theta_G = E[h(Y, Y')]$ (परिवर्तन के बाद का पैरामीटर)
  • $\theta_{FG} = E[h(X, Y')]$ (मिश्रित पैरामीटर)
• पावर रैंकिंग नियम (Power Ranking Rule):
  1. यदि $\text{sign}(\rho_{FG}) = \text{sign}(\theta_G - \theta_F)$, तो First-vs-Full परीक्षण अधिक शक्तिशाली है।
  2. यदि $\text{sign}(\rho_{FG}) \neq \text{sign}(\theta_G - \theta_F)$, तो First-vs-Last परीक्षण अधिक शक्तिशाली है।
  3. यदि $\rho_{FG} = 0$, तो दोनों परीक्षण समान रूप से शक्तिशाली हैं (यह तब होता है जब U-सांख्यिकी पूर्णतः रैखिक होती है)।

C. विशिष्ट अनुप्रयोग

लेखक चार सामान्य U-सांख्यिकी के लिए स्पष्ट स्थितियाँ व्युत्पन्न करते हैं:

1. गिनी का मीन डिफरेंस ($h(x,y) = |x-y|$):

   • नॉर्मल डिस्ट्रीब्यूशन में स्केल परिवर्तनों के लिए, $\rho_{FG} \ge 0$ है।
   • निष्कर्ष: यदि स्केल बढ़ता है ($\theta_G > \theta_F$), तो First-vs-Full बेहतर है। यदि स्केल घटता है, तो First-vs-Last बेहतर है। यह परिवर्तन के स्थान या वितरण के आकार से स्वतंत्र है।

2. सैंपल वेरिएंस ($h(x,y) = (x-y)^2/2$):

   • $\rho_{FG} = \frac{1}{2}(\mu_F - \mu_G)^2 \ge 0$ है।
   • निष्कर्ष: यदि मीन में कोई परिवर्तन नहीं है, तो दोनों परीक्षण समान रूप से शक्तिशाली हैं। यदि मीन में परिवर्तन है, तो रैंकिंग गिनी के मीन डिफरेंस वाले नियम का पालन करती है (वेरिएंस बढ़ने के लिए First-vs-Full बेहतर, घटने के लिए First-vs-Last बेहतर)।

3. सैंपल कोवेरिएंस (Sample Covariance):

   • वेरिएंस के समान, कोवेरिएंस भी मीन शिफ्ट के गुणनफल पर निर्भर करता है। समान रैंकिंग तर्क लागू होता है।

4. केंडल का ताऊ (Kendall's Tau):

   • पिछले मामलों के विपरीत, $\rho_{FG}$ सहसंबंध संरचना (correlation structure) के आधार पर धनात्मक, ऋणात्मक या शून्य हो सकता है।
   • निष्कर्ष: "बेहतर" परीक्षण पूरी तरह से विशिष्ट सहसंबंध परिवर्तन पर निर्भर करता है। उदाहरण के लिए, यदि सहसंबंध सकारात्मक मान से शून्य तक घटता है, तो First-vs-Full बेहतर हो सकता है; यदि यह सकारात्मक से नकारात्मक में बदलता है, तो रैंकिंग उलट सकती है।

D. निरंतरता (Consistency) और अनुमान

• निरंतरता (Consistency): दोनों परीक्षण सुसंगत (consistent) हैं (शक्ति $\to 1$) यदि $\theta_F \neq \theta_G$ या $\rho_{FG} \neq 0$ हो। उल्लेखनीय रूप से, भले ही पैरामीटर $\theta$ स्थिर रहे (जैसे वेरिएंस स्थिर है लेकिन मीन बदल जाता है), परीक्षण अभी भी परिवर्तन का पता लगा सकते हैं यदि $\rho_{FG} \neq 0$ हो।
• चेंज-पॉइंट अनुमान: लेखक ऐसी स्थितियों का विवरण देते हैं जिनमें argmax एस्टीमेटर्स ($\hat{\tau}$) सुसंगत होते हैं। वे दिखाते हैं कि $\theta_F, \theta_G,$ और $\rho_{FG}$ के कुछ संयोजनों के लिए, एस्टीमेटर असंगत (inconsistent) हो सकता है (गलत स्थान पर अभिसरित हो सकता है), जो यह रेखांकित करता है कि टेस्ट स्टैटिस्टिक का चुनाव न केवल पता लगाने की शक्ति बल्कि स्थानीयकरण सटीकता (localization accuracy) को भी प्रभावित करता है।

4. महत्व और व्यावहारिक निहितार्थ

1. विवाद का समाधान: यह शोध पत्र इस बहस को समाप्त करता है कि क्या First-vs-Last सार्वभौमिक रूप से श्रेष्ठ है। यह प्रदर्शित करता है कि कोई भी एक दृष्टिकोण समान रूप से बेहतर नहीं है; इष्टतम विकल्प परिवर्तन की दिशा और विशिष्ट कर्नेल गुणों पर निर्भर करता है।
2. लघु नमूना मार्गदर्शन: जबकि बड़े $n$ के लिए स्पर्शोन्मुखी तुल्यता बनी रहती है, यह शोध पत्र उन मध्यम-स्तर के नमूनों के लिए दिशा-निर्देश प्रदान करता जहाँ शक्ति में अंतर काफी अधिक होता है।
3. डेटा-संचालित चयन: लेखक डेटा का विश्लेषण करने से पहले यह तय करने के लिए एक सरल, गणना योग्य मानदंड ($\rho_{FG}$ बनाम $\theta_G - \theta_F$) प्रदान करते हैं कि किस परीक्षण का उपयोग करना चाहिए।
4. वास्तविक दुनिया का अनुप्रयोग: लेखक अपने निष्कर्षों को कोलोराडो रिवर डिस्चार्ज डेटा (लीज़ फेरी बनाम कामो) पर लागू करते हैं।
   • लीज़ फेरी श्रृंखला (बांध निर्माण के बाद) के लिए, वेरिएंस कम हुआ। First-vs-Last परीक्षण ने 0.019 के p-वैल्यू के साथ परिवर्तन का सही ढंग से पता लगाया, जबकि First-vs-Full मार्जिनल (0.076) था।
   • दोनों श्रृंखलाओं के बीच सहसंबंध के लिए, First-vs-Full अधिक शक्तिशाली था (p-वैल्यू 0.006 बनाम 0.02)।
   • यह वास्तविक दुनिया का उदाहरण पुष्टि करता है कि "सर्वश्रेष्ठ" परीक्षण संरचनात्मक ब्रेक की प्रकृति के आधार पर बदल जाता है।

निष्कर्ष

यह शोध पत्र स्थापित करता है कि हालांकि First-vs-Full और First-vs-Last CUSUM परीक्षण शून्य और लोकल अल्टरनेटिव्स के तहत स्पर्शोन्मुखी रूप से तुल्य हैं, वे फिक्स्ड अल्टरनेटिव्स के तहत अलग व्यवहार प्रदर्शित करते हैं। कर्नेल फंक्शन की एसेन्ट्रिसिटी (eccentricity) शक्ति रैंकिंग के लिए निर्णायक कारक है। चिकित्सकों को केवल एक विधि का उपयोग करने के बजाय, परिवर्तन की अपेक्षित दिशा और विशिष्ट कर्नेल गुणों का मूल्यांकन करना चाहिए ताकि पता लगाने की शक्ति को अधिकतम किया जा सके, विशेष रूप से सीमित नमूनों में।