Finite-Sample Inference for Sparsely Permuted Linear Regression

तकनीकी सारांश: विरल रूप से क्रमपरिवर्तित रैखिक प्रतिगमन के लिए परिमित-नमूना अनुमान (Finite-Sample Inference for Sparsely Permuted Linear Regression)

समस्या विवरण
यह शोध पत्र रैखिक प्रतिगमन (linear regression) में सांख्यिकीय अनुमान की समस्या को संबोधित करता है जहाँ सहचरों (covariates) और प्रतिक्रियाओं (responses) के बीच का संबंध एक अज्ञात क्रमपरिवर्तन (permutation) द्वारा बाधित होता है। विशेष रूप से, लेखक इस मॉडल पर विचार करते हैं:
$$Y_{\text{obs}} = \Pi_0 X \beta_0 + \sigma_0 u_{\text{rel}}$$
जहाँ $Y_{\text{obs}} \in \mathbb{R}^n$ प्रेक्षित प्रतिक्रिया वेक्टर है, $X \in \mathbb{R}^{n \times p}$ एक नियतात्मक डिज़ाइन मैट्रिक्स है, $\beta_0 \in \mathbb{R}^p$ अज्ञात गुणांक वेक्टर है, और $\Pi_0$ एक अज्ञात $n \times n$ क्रमपरिवर्तन मैट्रिक्स है। शोर $u_{\text{rel}}$ मानक सामान्य वितरण (standard normal distribution) का अनुसरण करता है।

केंद्र बिंदु विरल रूप से क्रमपरिवर्तित (sparsely permuted) शासन (regime) पर है, जहाँ बेमेल (mismatches) की संख्या (आइडेंटिटी मैट्रिक्स $I_n$ और $\Pi_0$ के बीच हैमिंग दूरी) एक छोटे पूर्णांक $k$ द्वारा सीमित है (अर्थात, $d(\Pi_0, I_n) \leq k$)। यह शोध पत्र एक परिमित-नमूना सेटिंग में दो प्राथमिक अनुमानात्मक लक्ष्यों को हल करने का लक्ष्य रखता है:

1. परिकल्पना परीक्षण (Hypothesis Testing): यह निर्धारित करना कि क्या कोई बेमेल मौजूद है (परीक्षण $H_0: \Pi_0 \in \mathcal{P}_{n, k_0}$ बनाम $H_1: \Pi_0 \in \mathcal{P}_{n, k} \setminus \mathcal{P}_{n, k_0}$)।
2. विश्वास सेट (Confidence Sets): $\beta_0$ के लिए वैध विश्वास सेटों का निर्माण करना जो $\Pi_0$ के अनुमान में अनिश्चितता को ध्यान में रखते हैं।

कार्यप्रणाली (Methodology)
प्रस्तावित ढांचा रीप्रो सैंपल्स विधि (repro samples method) को लोकलाइज़ेशन चरण (localization step) के साथ जोड़ता है ताकि क्रमपरिवर्तन स्थान $\mathcal{ P}_{n,k}$ की संय kombinatorical जटिलता को संभाला जा सके, जो $n$ के साथ फैक्टोरियल रूप से बढ़ता है।

1. रीप्रो सैंपल्स के माध्यम से लोकलाइज़ेशन:
   संपूर्ण क्रमपरिवर्तन स्थान को खोजने के बजाय, लेखक एक डेटा-निर्भर उम्मीदवार सेट $\mathcal{C}(L) \subset \mathcal{P}_{n,k}$ उत्पन्न करते हैं। यह $L$ कृत्रिम शोर वेक्टर्स $u^*_1, \dots, u^*_L \sim N(0, I_n)$ उत्पन्न करके और प्रत्येक के लिए एक अनुकूलन समस्या को हल करके प्राप्त किया जाता है:
   $$\hat{\Pi}_\ell = \arg\min_{\Pi \in \mathcal{P}_{n,k}} \|(I_n - M(\Pi X, u^*_\ell))Y_{\text{obs}}\|_2^2$$
   जहाँ $M(\cdot)$ ऑर्थोगोनल प्रोजेक्शन मैट्रिक्स है। उम्मीदवार सेट को $\mathcal{C}(L) = \{\hat{\Pi}_1, \dots, \hat{\Pi}_L\}$ के रूप में परिभाषित किया गया है। सैद्धांतिक परिणाम बताते हैं कि यदि $L$ पर्याप्त बड़ा है, तो $\mathcal{C}(L)$ उच्च संभावना के साथ वास्तविक $\Pi_0$ को शामिल करता है, और बहिष्करण (exclusion) की संभावना $L$ के साथ बहुपद (polynomially) रूप से घटती है।

2. कंप्यूटेशनल सरोगेट (स्कोर-वेटेड LAP):
   क्रमपरिवर्तनों पर लीस्ट-स्क्वायर्स ऑब्जेक्टिव को हल करना कम्प्यूटेशनल रूप से कठिन है। लेखक एक स्कोर-वेटेड लीनियर असाइनमेंट प्रॉब्लम (LAP) को सरोगेट के रूप में प्रस्तावित करते हैं। कॉस्ट मैट्रिक्स $\Omega$ को ऑफ-डायगोनल असाइनमेंट को दंडित करने और डायगोनल मिलान को पुरस्कृत करने के लिए बनाया गया है, जिसमें एक स्पर्सिटी-प्रेरित (sparsity-inducing) पद शामिल है। इस सरोगेट समस्या को हंगरियन एल्गोरिदम का उपयोग करके $O(n^3)$ समय में सटीक रूप से हल किया जाता है। शोध पत्र सिद्ध करता है कि विशिष्ट परिमित-नमूना स्थितियों के तहत, इस LAP का समाधान उच्च संभावना के साथ मूल लीस्ट-स्क्वायर्स ऑब्जेक्टिव के ग्लोबल मिनिमाइज़र के साथ मेल खाता है।

3. परिमित-नमूना अनुमान प्रक्रियाएं:

• क्रमपरिवर्तन परीक्षण (Permutation Testing): क्रमपरिवर्तन की विरलता (sparsity) का परीक्षण करने के लिए एक कंडीशनल मोंटे कार्लो टेस्ट विकसित किया गया है। टेस्ट स्टैटिस्टिक $D(Y)$, बेस्ट-फिटिंग क्रमपरिवर्तन और आइडेंटिटी के बीच हैमिंग दूरी को मापता है। क्रिटिकल वैल्यू को लोकलाइज्ड नल सेट $\hat{\mathcal{P}}_{n, k_0} = \mathcal{C}(L) \cap \mathcal{P}_{n, k_0}$ पर यूनिफॉर्म रूप से कैलिब्रेट किया जाता है, जो कि कंडीशनल डिस्ट्रीब्यूशन का उपयोग करता है जो नज़ेंस पैरामीटर्स ($\beta, \sigma$) को समाप्त करता है।
• गुणांक अनुमान (Coefficient Inference): $\beta_0$ के लिए विश्वास सेटों का निर्माण $\mathcal{C}(L)$ के सभी $\Pi \in \mathcal{C}(L)$ पर मानक $F$-सांख्यिकी आधारित कॉन्फिडेंस रीजन के यूनियन को लेकर किया जाता है। यह "लोकलली सिमुल्टेनियस" दृष्टिकोण यह सुनिश्चित करता है कि जब तक वास्तविक संरेखण (alignment) $\mathcal{C}(L)$ के भीतर है, तब तक कवरेज वैध रहे।

प्रमुख योगदान

• सैद्धांतिक गारंटी: शोध पत्र के सभी घटकों के लिए गैर-एसिम्प्टोटिक गारंटी प्रदान करता है।
  • थ्योरम 4.1: स्थापित करता है कि $\mathcal{C}(L)$ की मिसकवरेज प्रायिकता रीप्रो सैंपल्स $L$ की संख्या के साथ बहुपद रूप से घटती है।
  • थ्योरम 4.3: सिद्ध करता है कि प्रस्तावित परीक्षण लोकलाइज़ेशन इवेंट की स्थिति में, परिमित नमूनों में स्तर $\alpha$ पर टाइप-I एरर को नियंत्रित करता है।
  • थ مورد 4.4: प्रदर्शित करता है कि $\beta_0$ के लिए यूनियन-आधारित विश्वास सेट, लोकलाइज़ेशन प्रायिकता से संबंधित एक लुप्त होने वाले त्रुटि पद के साथ नाममात्र कवरेज प्राप्त करता है।
  • थ्योरम 4.5: प्रस्तावित कुशल स्कोर-वेटेड LAP और मूल कॉम्बिनेटोरियल लीस्ट-स्क्वायर्स समस्या के बीच उच्च-संभावना समानता प्रदान करता है।
• कंप्यूटेशनल दक्षता: खोज को लोकलाइज्ड सेट तक सीमित करके और हंगरियन एल्गोरिदम का उपयोग करके, यह विधि फैक्टोरियल जटिलता से बचती है और सैंपल आकार के साथ बहुपद रूप से ($O(n^3)$) स्केल करती है।
• विस्तार: कार्यप्रणाली को आंशिक रूप से क्रमपरिवर्तित डिजाइनों (जहाँ केवल उप-समूह के सहचर बेमेल हैं) और रिज-रेगुलराइज्ड क्रमपरिवर्तित प्रतिगमन को संभालने के लिए विस्तारित किया गया है।

परिणाम

• सिमुलेशन: विभिन्न सैंपल साइज ($n$), बेमेल काउंट ($k$), और शोर स्तरों ($\sigma_0$) में व्यापक सिमुलेशन सैद्धांतिक गुणों की पुष्टि करते हैं।
  • उम्मीदवार सेट का आकार प्रबंधनीय रहता है, और वास्तविक क्रमपरिवर्तन उच्च आवृत्ति के साथ शामिल होता है।
  • क्रमपरिवर्तन परीक्षण वैध टाइप-I एरर नियंत्रण बनाए रखता है (जब $k=0$ हो तो रिजेक्शन रेट $\leq 0.05$) और बेमेल बढ़ने के साथ बढ़ती शक्ति (power) प्रदर्शित करता है।
  • $\beta_0$ के लिए विश्वास सेट, सभी शासन में नाममात्र कवरेज (जैसे, 95%) के करीब अनुभवजन्य कवरेज प्राप्त करते हैं, जिनका वॉल्यूम अत्यधिक रूढ़िवादी नहीं होता है।
• वास्तविक-डेटा अनुप्रयोग: इस पद्धति को बीजिंग वायु-गुणवत्ता डेटा (PM2.5 सांद्रता बनाम मौसम संबंधी सहचर) पर लागू किया गया।
  • एक परिदृश्य में जहाँ कृत्रिम रूप से स्थानीय बेमेल (3-घंटे की विंडो के भीतर 8% पंक्तियों को शफल किया गया) पेश किए गए थे, पद्धति ने बिना बेमेल की नल परिकल्पना को सफलतापूर्वक खारिज कर दिया।
    कम्प्यूटेशनल रूप से अप्रभावित परिदृश्य में, उम्मीदवार सेट आइडेंटिटी मैट्रिक्स में सिमट गया, और नल परिकल्पना को खारिज नहीं किया गया, जो व्यवहार में टाइप-I एरर नियंत्रण की पुष्टि करता है।

महत्व
शोध पत्र दावा करता है कि यह क्रमपरिवर्तन जैसे असतत, कॉम्बिनेटोरिकल पैरामीटर्स वाले सांख्यिकीय मॉडलों में सटीक परिमित-नमूना वैधता (exact finite-sample validity) के लिए एक सामान्य और कम्प्यूटेशनल रूप से व्यवहार्य आधार प्रदान करता है। पारंपरिक एसिम्प्टोटिक दृष्टिकोणों या चयनात्मक अनुमान विधियों के विपरीत, जो क्रमपरिवर्तन चयन की नॉन-पॉलीहेड्रल प्रकृति के साथ संघर्ष करते हैं, यह ढांचा:

1. स्थानीय एसिम्प्टोटिक्स या स्मूथ लाइकलीहुड एक्सपेंशन पर निर्भरता से बचता है।
2. हाइपोथीसिस टेस्टिंग और पैरामीटर एस्टीमेशन दोनों के लिए कठोर परिमित-नमूना त्रुटि नियंत्रण प्रदान करता है।
3. संरेखण अनिश्चितता की उपस्थिति में सांख्यिकीय सिद्धांत और कम्प्यूटेशनल व्यवहार्यता के बीच के अंतर को पाटता है।

लेखक इस कार्य को एक समाधान के रूप में प्रस्तुत करते हैं जब डेटा पेयरिंग आंशिक रूप से अज्ञात या दूषित होती है, जो गोपनीयता-संरक्षण डेटा एकीकरण और रिकॉर्ड लिंकेज में एक सामान्य समस्या है।