Model Checking for Regressions Based on Weighted Residual Processes with Diverging Number of Predictors

यहाँ युए हू, हाईकी ली और सिन्टाओ ज़िया के शोध पत्र "Model Checking for Regressions Based on Weighted Residual Processes with Diverging Number of Predictors" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उच्च-आयामी प्रतिगमन (high-dimensional regression) परिवेश में मॉडल विनिर्देश परीक्षण (model specification testing) (सत्यता की जाँच/goodness-of-fit) की महत्वपूर्ण चुनौती को संबोधित करता है, जहाँ भविष्यवक्ताओं (predictors) की संख्या ($d$) और मापदंडों (parameters) की संख्या ($p$), नमूना आकार ($n$) के साथ बढ़ती (diverge होती) है।

• संदर्भ: शोधकर्ताओं को अक्सर यह सत्यापित करने की आवश्यकता होती है कि क्या एक पैरामीट्रिक रिग्रेशन मॉडल $Y = m(X, \beta) + \varepsilon$ सशर्त माध्य फलन (conditional mean function) को सही ढंग से निर्दिष्ट करता है।
• मौजूदा विधियों की सीमाएँ:
  • शास्त्रीय इंटीग्रेटेड कंडिशनल मोमेंट (ICM) परीक्षण (जैसे, बिएरेन्स, 1982) निश्चित-आयामी (fixed-dimensional) परिवेश में अच्छा प्रदर्शन करता है, लेकिन उच्च-आयामी परिवेश में विफल हो जाता है।
  • अपभ्रंश (Degeneracy): जैसे-जैसे $d \to \infty$ होता है, ICM सांख्यिकी (statistic) का सीमित नुल (null) और वैकल्पिक (alternative) वितरण, कर्नेल वेट्स (kernel weights) में अंतर-बिंदु दूरियों के संकेंद्रण (concentration) के कारण, स्थिर स्थिरांकों (fixed constants) में अपभ्रंश हो जाता है।
  • बूटस्ट्रैप विफलता (Bootstrap Failure): ICM परीक्षण के नुल वितरण को अनुमानित करने के लिए उपयोग किया जाने वाला मानक वाइल्ड बूटस्ट्रैप (wild bootstrap) भी उच्च आयामों में उसी अपभ्रक्त स्थिरांक की ओर अभिसरित होता है। इससे गंभीर आकार विरूपण (size distortion) (गलत टाइप I त्रुटि दर) और पर्याप्त शक्ति हानि (power loss) होती है।

2. कार्यप्रणाली (Methodology)

लेखक एक भारित अवशेष प्रक्रियाओं (weighted residual processes) पर आधारित एक नवीन विनिर्देश परीक्षण प्रस्तावित करते हैं जो उच्च-आयामी कोवेरिएट स्पेस से एक एक-आयामी स्थान में एकीकरण डोमेन को स्थानांतरित करके 'डाइमेंशनलिटी कर्ज़' (curse of dimensionality) से बचता है।

A. प्रस्तावित परीक्षण सांख्यिकी ($WICM_n$)

ICM की तरह उच्च-आयामी कोवेरिएट वेक्टर $X$ पर एकीकरण करने के बजाय, प्रस्तावित विधि एक वास्तविक-मान वाले वेट फंक्शन $g(X)$ का उपयोग करती है और एक स्केलर पैरामीटर $t$ पर एकीकरण करती है।

1. अवशेष प्रक्रिया (Residual Process): केंद्रित वेट फंक्शन $g_0(X) = g(X) - E[g(X)]$ को परिभाषित करें। परीक्षण एक अवशेष एम्पिरिकल प्रक्रिया का निर्माण करता है:
   $$\hat{U}_n(t) = \frac{1}{\sqrt{n}} \sum_{i=1}^n \{g(X_i) - \bar{g}\} [\cos(t\hat{\varepsilon}_i) + \sin(t\hat{\varepsilon}_i)]$$
   जहाँ $\hat{\varepsilon}_i$ फिट किए गए अवशेष (residuals) हैं।
2. एकत्रीकरण (Aggregation): परीक्षण इस प्रक्रिया को एक सम वेट फंक्शन $\phi(t)$ (जैसे, मानक सामान्य घनत्व) का उपयोग करके $t$ पर एकत्रित करता है:
   $$WICM_n = \int_{\mathbb{R}} |\hat{U}_n(t)|^2 \phi(t) dt$$
3. आयामी कमी (Dimensionality Reduction): $g(X)$ को एक स्केलर प्रोजेक्शन के रूप में उपयोग करके, एकीकरण को एक आयाम तक कम कर दिया जाता है, जिससे उच्च-आयामी दूरियों से जुड़े भारों के घातांकीय क्षय (exponential decay) से बचा जा सकता है।

B. स्मूथ रेसिडुअल बूटस्ट्रैप (Smooth Residual Bootstrap)

चूँकि $WICM_n$ का सीमित नुल वितरण अज्ञात त्रुटि वितरण पर निर्भर करता है और स्पर्शोन्मुख रूप से पिवोटल (asymptotically pivotal) नहीं है, इसलिए लेखक क्रिटिकल वैल्यूज को अनुमानित करने के लिए एक स्मूथ रेसिडुअल बूटस्ट्रैप का प्रस्ताव करते हैं:

1. केंद्रित अवशेषों को पुन: नमूना (resampling) लेकर और एक स्मूथिंग पैरामीटर $v_n$ के साथ एक छोटा शोर (noise) जोड़कर बूटस्ट्रैप त्रुटियाँ $\varepsilon^*_{i,j}$ उत्पन्न करें।
2. बूटस्ट्रैप प्रतिक्रियाएँ $Y^*_{i,j}$ का निर्माण करें और मापदंडों का पुन: अनुमान लगाएँ।
3. बूटस्ट्रैप परीक्षण सांख्यिकी $WICM^*_n$ की गणना करें।
4. क्रिटिकल वैल्यू निर्धारण के लिए अनुभवजन्य वितरण (empirical distribution) बनाने हेतु इसे दोहराएं।

C. वेट फंक्शन का चयन ($g(X)$)

स्थानीय विकल्पों (local alternatives) के विरुद्ध शक्ति (power) को अधिकतम करने के लिए, शोध पत्र $g(X)$ के चयन के लिए डेटा-संचालित रणनीतियाँ प्रस्तावित करता है:

• दिशात्मक विकल्प (Directional Alternatives): यदि विकल्प एक विशिष्ट पैरामीट्रिक वर्ग से संबंधित है, तो $g(X)$ का निर्माण नुल और वैकल्पिक स्कोर फंक्शन के बीच के अंतर के आधार पर किया जाता है।
• गैर-पैरामीट्रिक विकल्प (Nonparametric Alternatives): नुल मॉडल के स्कोर फंक्शन से प्राप्त ऑर्थोनॉर्मल बेसिस (orthonormal basis) पर रिग्रेशन फंक्शन को प्रोजेक्ट करने के लिए फूरियर विस्तार (Fourier expansion) दृष्टिकोण का उपयोग किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. अपभ्रंश का समाधान (Resolution of Degeneracy): प्रस्तावित परीक्षण नुल और वैकल्पिक दोनों परिकल्पनाओं के तहत एक गैर-अपभ्रक्त सीमित वितरण (non-degenerate limiting distribution) बनाए रखता है, भले ही $p \to \infty$ हो।
2. उच्च आयामों में सैद्धांतिक वैधता:
   • एक शिथिल दर स्थिति (relaxed rate condition) $p^3 \log(n) / n \to 0$ के तहत नुल परिकल्पना के तहत स्पर्शोन्मुख सामान्यता (asymptotic normality) स्थापित की गई।
   • निश्चित विकल्पों के विरुद्ध निरंतरता (consistency) सिद्ध की गई।
   • $1/\sqrt{n}$ के पैरामीट्रिक दर पर नुल से विचलित होने वाले स्थानीय विकल्पों का पता लगाने की क्षमता प्रदर्शित की गई।
3. वैध बूटस्ट्रैप सन्निकटन: सिद्ध किया गया कि स्मूथ रेसिडुअल बूटस्ट्रैप उच्च-आयामी सेटिंग्स में नुल वितरण का निरंतर अनुमान लगाता है, जो वाइल्ड बूटस्ट्रैप की विफलता को ठीक करता है।
4. बेहतर दर स्थितियाँ: वैधता के लिए सैद्धांतिक स्थितियाँ हाल के साहित्य (जैसे, Tan et al., 2025) की तुलना में कमजोर हैं, जो सिद्धांत की प्रयोज्यता को व्यापक बनाती हैं।

4. परिणाम (Results)

सिमुलेशन अध्ययन (Simulation Studies)

लेखकों ने शास्त्रीय ICM परीक्षण और PCvM परीक्षण के विरुद्ध अपने प्रस्तावित परीक्षणों ($WICM^{(1)}_n$ दिशात्मक के लिए, $WICM^{(2)}_n$ गैर-पैरामीट्रिक के लिए) की तुलना करते हुए व्यापक सिमुलेशन किए।

• आकार नियंत्रण (Size Control): प्रस्तावित परीक्षणों ने विभिन्न आयामों ($p$) और नमूना आकारों ($n$) में नामित महत्व स्तर (0.05) को बनाए रखा। इसके विपरीत, जैसे-जैसे $p$ बढ़ा, ICM परीक्षण ने गंभीर आकार विरूपण (नुल को बहुत कम बार अस्वीकार करना) का सामना किया।
• शक्ति (Power):
  • प्रस्तावित परीक्षणों ने उच्च आयामों में ICM परीक्षण की तुलना में काफी अधिक शक्ति प्रदर्शित की।
  • जब विकल्प में एक विशिष्ट संरचना थी, तो $WICM^{(1)}_n$ (दिशात्मक) अन्य की तुलना में बेहतर रहा।
  • $WICM^{(2)}_n$ (गैर-पैरामीट्रिक) ने मजबूत प्रदर्शन दिखाया, विशेष रूप से जटिल, गैर-स्मूथ विकल्पों के लिए जहाँ आयामी कमी विधियाँ विफल रहीं।
  • PCvM परीक्षण ने मध्यम शक्ति दिखाई लेकिन उच्च-आयामी, गैर-संरचित सेटिंग्स में आम तौर पर प्रस्तावित विधियों से निम्न स्तर पर रहा।

वास्तविक डेटा अनुप्रयोग (Real Data Application)

इस विधि को Geographical Origin of Music डेटासेट (1,059 अवलोकन, 68 ऑडियो फीचर्स) पर लागू किया गया।

• कार्य: यह परीक्षण करना कि क्या एक रैखिक मॉडल अक्षांश (latitude) की भविष्यवाणी करने के लिए पर्याप्त है।
• परिणाम: प्रस्तावित परीक्षण ने $p$-वैल्यू $\approx 0$ दिया, जो रैखिक मॉडल को दृढ़ता से अस्वीकार करता है।
• विज़ुअलाइज़ेशन: स्कैटर प्लॉट्स ने गैर-रैखिक संबंधों की पुष्टि की, जो मॉडल मिसस्पेसिफिकेशन के निष्कर्ष को मान्य करता है कि एक अधिक लचीले मॉडल की आवश्यकता है।

5. महत्व (Significance)

यह शोध पत्र आधुनिक सांख्यिकीय कार्यप्रणाली में एक मौलिक अंतराल के लिए एक कठोर समाधान प्रदान करता है: उच्च-आयामी शासन में वैध मॉडल चेकिंग।

• व्यावहारिक प्रभाव: यह शोधकर्ताओं को एक विश्वसनीय उपकरण प्रदान करता है जो उन मामलों में शास्त्रीय ICM परीक्षणों पर भरोसा नहीं कर सकते जब $d$ बड़ा हो, जिससे मॉडल मिसस्पेसिफिकेशन के कारण भ्रामक वैज्ञानिक निष्कर्षों को रोका जा सकता है।
• सैद्धांतिक प्रगति: विचतित आयामों (diverging dimensions) में भारित अवशेष प्रक्रियाओं की स्पर्शोन्मुख विशेषताओं को स्थापित करके और एक स्मूथ बूटस्ट्रैप को मान्य करके, यह शोध पत्र फिक्स्ड-डायमेंशनल बाधाओं से परे विनिर्देश परीक्षण (specification testing) की सीमा का विस्तार करता है।
• मजबूती (Robustness): इस विधि के लिए यह आवश्यक नहीं है कि मूल रिग्रेशन में निम्न-आयामी संरचना (जैसे, सिंगल-इंडेक्स) हो, जिससे यह "बिग डेटा" युग में सामान्य पैरामीट्रिक मॉडल के लिए लागू हो जाता है।