Semi-supervised linear regression with missing covariates

यहाँ बेनेडिक्ट एम. राइसब्रो और थॉमस बी. बेरेट के शोध पत्र "Semi-supervised linear regression with missing covariates" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एक रैखिक मॉडल (linear model) में रिग्रेशन मापदंडों ($\beta^*$) के अनुमान की चुनौती को संबोधित करता है जहाँ:

1. लापता सहचर (Missing Covariates): लेबल वाले डेटासेट में भविष्यवक्ता चरों ($X$) में मान गायब हैं। यह अनुपलब्धता असंरचित (अनियमित, चरों के बीच स्वतंत्र) या संरचित (ब्लॉकवार, जहाँ चर समूहों में गायब होते हैं, जैसे कि MRI बनाम PET स्कैन जैसी विभिन्न डेटा मोडैलिटीज के कारण) हो सकती है।
2. अर्ध-पर्यवेक्षित सेटिंग (Semi-Supervised Setting): उपलब्ध डेटा में एक लेबल वाला डेटासेट ($L$) शामिल है जिसमें लापता सहचर हैं और एक अनलेबल डेटासेट ($U$) है जिसमें सहचर तो हैं लेकिन प्रतिक्रिया ($Y$) नहीं है।
3. लक्ष्य: ऐसे अनुमानकों (estimators) को विकसित करना जो अनुमान की सटीकता में सुधार करने के लिए अनलेबल डेटा का लाभ उठा सकें और इस समस्या के मौलिक सांख्यिकीय सीमाओं (minimax rates) को पूरी तरह से पर्यवेक्षित (fully supervised) सेटिंग्स के साथ तुलना करते हुए लक्षणित कर सकें।

लेखक इन प्रश्नों के उत्तर देने का प्रयास करते हैं:

• जब लेबल वाले नमूनों में सहचर गायब हों, तो अनलेबल डेटा का उपयोग कैसे किया जा सकता है?
• अनुपलब्धता के पैटर्न (संरचित बनाम असंरचित) इष्टतम प्रदर्शन को कैसे प्रभावित करते हैं?
• क्या प्रक्रियाएं दोनों सेटिंग्स के लिए इष्टतम हो सकती हैं?

2. कार्यप्रणाली (Methodology)

शोध पत्र कम-आयामी (low-dimensional) और उच्च-आयामी (high-dimensional) सेटिंग्स के लिए अलग-अलग अनुमानक प्रस्तावित करता है, जो साधारण अर्ध-पर्यवेक्षित (OSS) और आदर्श अर्ध-पर्यवेक्षित (ISS, जहाँ जनसंख्या सहप्रसरण $\Sigma$ ज्ञात है) परिदृश्यों को संभालते हैं।

A. कम-आयामी सेटिंग (Low-Dimensional Setting)

• अनुमानक निर्माण (Estimator Construction): लेखक प्रतिस्थापन (imputation) पर आधारित एक भारित न्यूनतम वर्ग (weighted least squares) अनुमानक प्रस्तावित करते हैं।
  • एक अनुपलब्धता पैटर्न $k$ के लिए जो सहचर $O_k$ को देखता है, वे लुप्त चरों $M_k$ को सशर्त अपेक्षा (conditional expectation) का उपयोग करके प्रतिस्थापित करते हैं: $\hat{X}_{M_k} = \hat{\Sigma}_{M_k O_k} \hat{\Sigma}_{O_k O_k}^{-1} X_{O_k}$।
  • अनुमानक $\hat{\beta}$ सभी पैटर्नों में वर्ग त्रुटियों के भारित योग को न्यूनतम करता है:
    $$\hat{\beta} = \arg \min_{\beta} \sum_{k=1}^K \sum_{i \in I_k} \hat{D}_k (Y_i - X_{O_k, i}^T \hat{P}_k \beta)^2$$
    जहाँ $\hat{P}_k$ अनुमानित सहप्रसरण $\hat{\Sigma}$ से प्राप्त प्रतिस्थापन मैट्रिक्स है, और $\hat{D}_k$ रीवेटिंग कारक (reweighting factors) हैं।
• रीवेटिंग (Reweighting): एक प्रमुख नवाचार रीवेटिंग चरण है। साधारण प्रतिस्थापन (जहाँ भार 1 सेट किया जाता है) उप-इष्टतम है। इष्टतम भार $D_k^*$ एक पूर्ण मामले (complete case) के प्रसरण और पैटर्न $k$ वाले मामले के प्रसरण का अनुपात है। लेखक इन भारों को डेटा से अनुमानित करने के लिए एक प्रक्रिया प्रदान करते हैं।
• सहप्रसरण अनुमान (Covariance Estimation):
  • OSS सेटिंग में, $\hat{\Sigma}$ को अनलेबल डेटा (और संभावित रूप से क्रॉस-फिटिंग के माध्यम से लेबल वाले डेटा) का उपयोग करके अनुमानित किया जाता है।
  • पर्यवेक्षित (Supervised) सेटिंग ($N=0$) में, वे $\Sigma$ और भारों को अनुमानित करने के लिए दो-चरणीय क्रॉस-फिटिंग (two-fold cross-fitting) का उपयोग करते हैं ताकि ओवरफिटिंग से बचा जा सके और नगण्य मापदंडों (nuisance parameters) के अनुमान और अंतिम अनुमानक के बीच स्वतंत्रता सुनिश्चित की जा सके।

B. उच्च-आयामी विरल सेटिंग (High-Dimensional Sparse Setting)

• अनुमानक निर्माण: लेखक लापता डेटा और अनलेबल नमूनों को संभालने के लिए डैंटज़ सेलेक्टर (Dantzig Selector) को अनुकूलित करते हैं।
  • वे उपलब्ध आंशिक अवलोकनों और अनलेबल डेटा का उपयोग करके $\gamma = \Sigma \beta^*$ और $\Sigma$ के लिए निष्पक्ष अनुमानक निर्मित करते हैं।
  • अनुमानक इस रैखिक प्रोग्राम को हल करता है:
    $$\hat{\beta} \in \arg \min_{\beta} \{ \|\beta\|_1 : \|\hat{\Sigma}\beta - \hat{\gamma}\|_\infty \leq \lambda \}$$
• नियमितीकरण (Regularization): ट्यूनिंग पैरामीटर $\lambda$ को लापतापन के पैटर्न के प्रभावी नमूना आकार और अनलेबल डेटा की उपस्थिति को ध्यान में रखते हुए सावधानीपूर्वक चुना जाता है।

3. मुख्य योगदान (Key Contributions)

1. नवीन अनुमानक (Novel Estimators):

   • कम-आयामी सेटिंग्स के लिए एक भारित प्रतिस्थापन अनुमानक पेश किया जो साधारण प्रतिस्थापन और मानक पर्यवेक्षित विधियों से बेहतर प्रदर्शन करता है।
   • ब्लॉकवाइज और असंरचित लापतापन के साथ अर्ध-सुपरवाइज्ड सेटिंग के लिए डैंटज़ सेलेक्टर का विस्तार किया।

2. मिनिमैक्स सिद्धांत (Minimax Theory - Upper and Lower Bounds):

   • गैर-एसिम्प्टोटिक बाउंड्स (Non-Asymptotic Bounds): दोनों अनुमानकों के लिए जोखिम (MSE) पर कठोर ऊपरी बाउंड प्रदान किए।
   • मिलते हुए लोअर बाउंड्स (Matching Lower Bounds): नए मिनिमैक्स लोअर बाउंड प्राप्त किए जो स्थिरांक कारकों तक ऊपरी बाउंड से मेल खाते हैं, जिससे दर इष्टतमता (rate optimality) सिद्ध होती है।
   • कन्जेक्चर का समाधान: Wang et al. (2019) द्वारा असंरचित लापतापन वाले उच्च-आयामी पर्यवेक्षित मामले में मिनिमैक्स दर के संबंध में दिए गए कन्जेक्चर को हल किया।

3. अनलेबल डेटा की उपयोगिता का लक्षण वर्णन:

   • यह प्रदर्शित किया कि अनलेबल डेटा अवलोकन की संभावना को प्रभावी ढंग से बढ़ाकर अभिसरण दर (convergence rate) में सुधार करता है।
   • कम-आयामी: दर $O(\frac{1}{\rho n_L})$ से सुधरकर $O(\frac{1}{\rho n_L} + \frac{1}{\rho^2 n_L + N})$ हो जाती है, जो $N$ के बड़े होने पर अवलोकन दर को $\rho$ से $\rho^{1/2}$ तक प्रभावी रूप से बढ़ा देती है।
   • आयाम न्यूनीकरण (Dimensionality Reduction): संरचित लापतापन (जैसे, मोनोटोनिक पैटर्न) में, अनलेबल डेटा आयाम में कमी की अनुमति देता है। यदि $p_0$ चर लेबल वाले डेटा के एक बड़े हिस्से में गायब हैं लेकिन अनलेबल डेटा में देखे जाते हैं, तो दर पूर्ण आयाम $p$ के बजाय $p_0$ पर निर्भर करती है।

4. सुरक्षा (Safety): प्रस्तावित अनुमानक "सुरक्षित" हैं, जिसका अर्थ है कि वे सबसे खराब स्थिति में भी सर्वश्रेष्ठ पर्यवेक्षित अनुमानक की तरह या उससे बेहतर प्रदर्शन करते हैं।

4. मुख्य परिणाम (Key Results)

कम-आयामी दरें (Low-Dimensional Rates)

मिनिमैक्स जोखिम इस प्रकार स्केल करता है:
$$\text{Risk} \asymp \sigma^2 \sum_{i=1}^p \frac{1}{\alpha_i} + \|\beta^*\|_2^2 \zeta$$
जहाँ $\alpha_i$ चर $i$ के लिए प्रभावी नमूना आकार को दर्शाता है, और $\zeta$ सहप्रसरण मैट्रिक्स के अनुमान की क्षमता पर निर्भर करता है (जो OSS में $1/N$ के साथ स्केल करता है)।

• असंरचित (Unstructured): दर $O(\frac{p}{\rho n_L} + \frac{p}{\rho^2 n_L + N})$ है।
• संरचित (Structured): दर मोडैलिटी आकार $h_g$ और क्रॉस-मोडैलिटी आकार $n_{g,h}$ पर निर्भर करती है। अनलेबल डेटा लापता ब्लॉक्स के दंड (penalty) को कम करता है।

उच्च-आयामी दरें (High-Dimensional Rates)

मिनिमैक्स जोखिम इस प्रकार स्केल करता है:
$$\text{Risk} \asymp \frac{s \log p}{\rho n_L} + \frac{s \log p}{\rho^2 n_L + N}$$

• यह पुष्टि करता है कि अनलेबल डेटा ($N$) की उपस्थिति दर को $\rho n_L$ से $\rho^2 n_L + N$ पर निर्भर होने से बदलकर, सहप्रवास संरचना के संबंध में "सूचना" को प्रभावी रूप से दोगुना कर देती है।
• संरचित लापतापन के लिए, दर विशिष्ट मोडैलिटी आकारों पर निर्भर करती है, जो यह दिखाती है कि अनलेबल डेटा लापता ब्लॉक्स के प्रभाव को कम कर सकता है।

अनुभवजन्य प्रदर्शन (Empirical Performance)

• सिमुलेशन: सिंथेटिक डेटा पर व्यापक सिमुलेशन दिखाते हैं कि प्रस्तावित अनुमानक निम्नलिखित से काफी बेहतर प्रदर्शन करते हैं:
  • पूर्ण मामला (Complete Case - CC) विश्लेषण।
  • साधारण प्रतिस्थापन (Mean, kNN, Random Forest)।
  • मौजूदा अर्ध-पर्यवेक्षित विधियाँ (जैसे, Azriel et al., 2022) जो लापतापन को अनदेखा करती हैं।
  • सेमीपैरामेट्रिक एफिशिएंट अनुमानक (Robins, Rotnitzky, Zhao) जो अक्सर इस विशिष्ट संदर्भ में अनलेबल डेटा का प्रभावी ढंग से लाभ उठाने में विफल रहते हैं।
• वास्तविक डेटा: सिंथेटिक लापतापन के साथ कैलिफोर्निया हाउसिंग डेटासेट पर लागू किया गया। OSS अनुमानक ने पूर्ण मामला विश्लेषण की तुलना में माध्य वर्ग त्रुटि (MSE) को काफी कम कर दिया, विशेष रूप से जब पूर्ण मामलों की संख्या कम थी।

5. महत्व (Significance)

• एक अंतर को भरना: यह कार्य लापता सहचर और अर्ध-पर्यवेक्षित शिक्षण को संयुक्त रूप से संबोधित करके एक महत्वपूर्ण सैद्धांतिक अंतर को भरता है। पिछला साहित्य इन दोनों को अलग-अलग समस्याओं के रूप में देखता था।
• व्यावहारिक प्रासंगिकता: इसके निष्कर्ष आधुनिक डेटा विज्ञान के लिए अत्यधिक प्रासंगिक हैं, विशेष रूप से स्वास्थ्य सेवा (विभिन्न परीक्षणों के कारण ब्लॉकवाइज लापतापन के साथ EHR डेटा) और मल्टी-मोडल लर्निंग में, जहाँ लेबल प्राप्त करना महंगा है लेकिन सहचर प्रचुर मात्रा में उपलब्ध हैं।
• सैद्धांतिक अंतर्दृष्टि: यह शोध पत्र इन सेटिंग्स के लिए पहले मिलते-जुलते ऊपरी और निचले बाउंड प्रदान करता है, जिससे यह स्पष्ट होता है कि अनलेबल डेटा वास्तव में कितना मदद करता है और किन परिस्थितियों में (जैसे, चरों के जोड़े को एक साथ देखना आवश्यक है)।
• कार्यप्रणाली में प्रगति: कम-आयामी सेटिंग्स में रीवेटिंग चरण का परिचय और लापता डेटा के लिए डैंटज़ सेलेक्टर का अनुकूलन, चिकित्सकों के लिए मजबूत, दर-इष्टतम उपकरण प्रदान करता है।

संक्षेप में, यह शोध पत्र स्थापित करता है कि अनलेबल डेटा केवल एक बोनस नहीं है, बल्कि रैखिक प्रतिगमन में लापता सहचरों के साथ इष्टतम दर प्राप्त करने के लिए एक मौलिक आवश्यकता है, जो प्रभावी नमूना आकार को बढ़ाकर और लापतापन पैटर्न के प्रभाव को कम करके समस्या की कठिनाई को प्रभावी ढंग से बदल देता है।