Toward Scalable and Valid Conditional Independence Testing with Spectral Representations

तकनीकी सारांश: स्पेक्ट्रल निरूपणों के साथ स्केलेबल और वैध सशर्त स्वतंत्रता परीक्षण की ओर

समस्या विवरण
सशर्त स्वतंत्रता (CI) परीक्षण, जो यह निर्धारित करने का कार्य है कि क्या यादृच्छिक चर $X$ और $Y$, $Z$ के दिए होने पर स्वतंत्र हैं ($H_0: X \perp\!\!\perp Y | Z$), कारण अनुमान (causal inference), फीचर चयन और ग्राफिकल मॉडलिंग में मौलिक है। हालांकि, नॉनपैरामेट्रिक परिवेश में, CI परीक्षण को मौलिक रूप से चुनौतीपूर्ण माना जाता है। शाह और पीटर्स (2020) ने स्थापित किया कि कोई भी परीक्षण सभी सशर्त स्वतंत्र वितरणों में समान रूप से (uniformly) टाइप I त्रुटि को नियंत्रित नहीं कर सकता है जबकि सभी विकल्पों के विरुद्ध शक्ति (power) बनाए रख सके। फलस्वरूप, मौजूदा विधियाँ प्रतिबंधात्मक संरचनात्मक धारणाओं (जैसे, स्मूथनेस, ज्ञात सशर्त वितरण, या विशिष्ट रिग्रेशन दर) पर निर्भर करती हैं ताकि वैधता प्राप्त की जा सके।

जबकि आंशिक सहप्रसरण ऑपरेटरों (जैसे, KCIT, RCIT) का उपयोग करने वाली कर्नेल-आधारित विधियाँ एक सिद्धांतवादी दृष्टिकोण प्रदान करती हैं, वे उच्च-आयामी सेटिंग्स में सीमित अनुकूलन क्षमता और खराब स्केलेबिलिटी से ग्रस्त हैं। इसके विपरीत, मॉडल-X या स्थानीय क्रमपरिवर्तन (local permutation) परीक्षण जैसी विधियों को $P(X|Z)$ के बारे में मजबूत धारणाओं या डेटा की स्मूथनेस की आवश्यकता होती है, जो व्यवहार में लागू नहीं हो सकती हैं। एक ऐसी विधि की आवश्यकता है जो कर्नेल विधियों की सैद्धांतिक कठोरता को आधुनिक निरूपण शिक्षण (representation learning) की स्केलेबिलिटी और अनुकूलन क्षमता के साथ जोड़ सके।

कार्यप्रणाली
लेखक SpectralCIT प्रस्तावित करते हैं, जो एक ढांचा है जो शास्त्रीय कर्नेल परीक्षणों की सीमाओं को दूर करने के लिए स्पेक्ट्रल निरूपण शिक्षण का लाभ उठाता है। मुख्य विचार आंशिक सहप्रसरण ऑपरेटर $\Sigma_{X\dot{Y} \cdot Z}$ के अग्रणी स्पेक्ट्रल फीचर्स (सिंगुलर फंक्शन्स) के भाग को सीखना है, जहाँ $\dot{Y} = (Y, Z)$, और इन सीखे गए निरूपणों का उपयोग करके एक सरल, स्केलेबल परीक्षण सांख्यिकी (test statistic) का निर्माण करना है।

1. स्पेक्ट्रल निरूपण शिक्षण (Spectral Representation Learning):
   विधि का लक्ष्य आंशिक ऑपरेटर के रैंक-$d$ ट्रंकेटेड सिंगुलर वैल्यू डीकंपोजिशन (SVD) को सीखना है। अनकंडीशनल कोवेरियेंस अनुमान के विपरीत, आंशिक ऑपरेटर में एक अवशेषीकरण (residualization) पद शामिल होता है जो सीधे तौर पर अवलोकन योग्य नहीं होता है। वे इसे एक द्वि-स्तरीय अनुकूलन समस्या (bi-level optimization problem) के रूप में तैयार करते हैं:
   • बाहरी समस्या (Outer Problem): आंशिक ऑपरेटर के अग्रणी सिंगुलर फंक्शन्स को अनुमानित करने के लिए फीचर मैप्स $u_\theta(X)$ और $v_\theta(Y, Z)$ को सीखना।
   • आंतरिक समस्या (Inner Problem): ट्रेस के चक्रीय गुण से प्राप्त एक लो-रैंक सहायक समस्या के माध्यम से $Z$ पर सशर्तता को अप्रत्यक्ष रूप से संभालने के लिए एक फीचर मैप $w_\theta(Z)$ को सीखना।

सीखने का उद्देश्य एक कंट्रास्टिव लॉस (contrastive loss) है जो ऑपरेटर अनुमान त्रुटि के हिल्बर्ट-श्मिड्ट नॉर्म से व्युत्पन्न है, जिसे ऑर्थोनॉर्मलिटी बाधाओं के साथ नियमित (regularize) किया गया है ताकि सीखे गए फीचर्स सुव्यवस्थित (well-conditioned) रहें। एल्गोरिदम $\theta$ द्वारा पैरामीटराइज़्ड न्यूरल नेटवर्क का उपयोग करता है और मिनी-बैचेस पर स्टोकेस्टिक ग्रेडिएंट डिसेंट के माध्यम से अनुकूलन करता है।

2. परीक्षण सांख्यिकी निर्माण (Test Statistic Construction):
   एक बार जब प्रशिक्षण सेट पर प्रतिनिधित्व $\hat{u}_\theta, \hat{v}_\theta, \hat{w}_\theta$ सीख लिए जाते हैं, तो परीक्षण सांख्यिकी को एक होल्ड-आउट टेस्ट सेट पर गणना किया जाता है। सांख्यिकी को इस प्रकार परिभाषित किया गया है:
   $$\hat{T}_n = n \| \hat{C}_{\hat{U}_\theta \hat{V}_\theta} - \hat{C}_{\hat{U}_\theta \hat{W}_\theta} \hat{C}_{\hat{W}_\theta \hat{V}_\theta} \|_F^2$$
   जहाँ $\hat{C}$ सीखे गए फीचर्स के एम्पिरिकल क्रॉस-कोवेरियेंस मैट्रिसेस को दर्शाता है। यह सांख्यिकी सीखे गए स्पेक्ट्रल सबस्पेस में $Z$ को ध्यान में रखने के बाद $X$ और $Y$ के बीच अवशिष्ट निर्भरता (residual dependence) को मापती है।

3. सैद्धांतिक गारंटी (Theoretical Guarantees):

   • वैधता (शून्य परिकल्पना): शून्य परिकल्पना के तहत और हल्के नियमितता संबंधी धारणाओं (फीचर्स की सब-गौसियनता) के तहत, लेखक सिद्ध करते हैं कि यदि निरूपण शिक्षण त्रुटि ($E_{val}$) शून्य हो जाती है, तो $\hat{T}_n$ $d^2$ डिग्री ऑफ फ्रीडम के साथ ची-स्क्वायर वितरण में अभिसरित (converge) होता है। यह बिना क्रमपरिवर्तन (permutation) के मानक ची-स्क्वायर क्रिटिकल वैल्यूज के उपयोग की अनुमति देता है।
   • शक्ति (वैकल्पिक परिकल्पना): परीक्षण की शक्ति (power) सीखे गए निरूपणों की गुणवत्ता ($E_{pow}$) द्वारा नियंत्रित होती है। लेखक स्थापित करते हैं कि परीक्षण उच्च शक्ति प्राप्त करता है यदि सिग्नल स्ट्रेंथ (आंशिक ऑपरेटर का हिल्बर्ट-श्मिड्ट नॉर्म) निरूपण त्रुटि और सांख्यिकीय अनुमान त्रुटि द्वारा निर्धारित थ्रेशोल्ड से अधिक हो।

प्रमुख योगदान

1. एल्गोरिद्मिक नवाचार: आंशिक सहप्रसरण ऑपरेटरों के अग्रणी स्पेक्ट्रल फीचर्स का अनुमान लगाने के लिए एक स्केलेबल, द्वि-स्तरीय कंट्रास्टिव लर्निंग एल्गोरिदम का परिचय, जो शास्त्रीय कर्रल विधियों की अनुकूलन क्षमता और स्केलेबिलिटी की बाधाओं को दूर करता है।
2. सैद्धांतिक विश्लेषण: परीक्षण प्रदर्शन से जुड़े प्रतिनिधित्व शिक्षण त्रुटि का एक व्यापक सैद्धांतिक ढांचा। पेपर टाइप I त्रुटि नियंत्रण (एसिम्प्टोटिक ची-स्क्वायर वैधता) और शक्ति के लिए गारंटी प्रदान करता है, जो सिग्नल स्ट्रेंथ, निरूपण गुणवत्ता और नमूना आकार के बीच के ट्रेड-ऑफ को स्पष्ट करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक डेटा (पोस्ट-नॉनलीन मॉडल और उच्च-आयामी नॉनस्मूथ वेरिएंट सहित) और वास्तविक दुनिया के डेटा (ब्रेस्ट कैंसर हिस्टोलॉजी और जीन एक्सप्रेशन) पर व्यापक प्रयोग। परिणाम दर्शाते हैं कि SpectralCIT वहां भी मजबूत टाइप I त्रुटि नियंत्रण और उच्च शक्ति बनाए रखता है जहां कर्नेल-आधारित विधियां विफल हो जाती हैं या अपनी वैधता खो देती हैं।

परिणाम

• सिंथेटिक बेंचमार्क: विभिन्न कंडीशनिंग आयामों ($d_Z \in [50, 300]$) वाले पोस्ट-नॉनलीन मॉडल में, SpectralCIT ने उच्च शक्ति प्राप्त करते हुए नाममात्र स्तर ($\alpha=0.05$) पर टाइप I त्रुटि को लगातार नियंत्रित किया। इसके विपरीत, KCIT, RCIT और GCIT जैसी विधियां उच्च आयामों में टाइप I त्रुटि नियंत्रण में विफल रहीं, और DGCIT ने नियंत्रण पूरी तरह से खो दिया।
• नॉनस्मूथ डेटा: एक उच्च-आयामी, नॉनस्मूथ डेटा मॉडल पर जो स्थानीय क्रमपरिवर्तन परीक्षणों (NNLSCIT) की स्मूथनेस धारणाओं का उल्लंघन करने के लिए डिज़ाइन किया गया था, SpectralCIT मजबूत बना रहा, जबकि NNLSCIT टाइप I त्रुटि नियंत्रण में पूर्ण विफलता का शिकार हुआ।
• स्केलेबिलिटी: पाया गया कि SpectralCIT उच्च-आयामी सेटिंग्स में KCIT की तुलना में लगभग $2\times$ तेज़ है, क्योंकि इसकी जटिलता $N \times N$ कर्नेल मैट्रिक्स गणनाओं के बजाय ट्रंकेशन आयाम $d$ में लो-रैंक ऑपरेशंस द्वारा नियंत्रित होती है।
• वास्तविक दुनिया का अनुप्रयोग: ब्रेस्ट कैंसर डेटा (TCGA-BRCA) पर लागू करते हुए, इस विधि ने परीक्षण किया कि क्या आणविक प्रोफाइल ($X$), उत्तरजीविता ($Y$) की भविष्यवाणी करने के लिए हिस्टोलॉजिकल इमेज फीचर्स ($Z$) से परे प्रोग्नोस्टिक जानकारी प्रदान करते हैं। जबकि लीनियर मॉडल और अन्य CI परीक्षणों ने शून्य को खारिज करने में विफलता दिखाई, SpectralCIT ने इसे दृढ़ता से खारिज किया, जिससे जटिल गैर-रेखीय निर्भरता का पता चला जिसकी पुष्टि एक XGBoost मॉडल द्वारा की गई।

महत्व और दावे
पेपर का दावा है कि यह "स्केलेबल CI परीक्षण की ओर एक सिद्धांतवादी और सांख्यिकीय रूप से सुदृढ़ राह" प्रदान करता है। कर्नेल-आधारित सिद्धांत को आधुनिक निरूपण शिक्षण के साथ जोड़कर, SpectralCIT वैधता और स्केलेबिलिटी के बीच महत्वपूर्ण ट्रेड-ऑफ को संबोधित करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण प्रतिबंधात्मक संरचनात्मक धारणाओं (जैसे लिप्सचिट्ज़ निरंतरता) या $P(X|Z)$ के एक्सेस की आवश्यकता नहीं करता है। इसके बजाय, वैधता, प्रतिनिधित्व शिक्षण की गुणवत्ता पर निर्भर है, जो एक ऐसी स्थिति है जिसे शिक्षण प्रक्रिया के माध्यम से नियंत्रित किया जा सकता है। यह कार्य सुझाव देता है कि निर्भरता ऑपरेटरों के स्पेक्ट्रल स्ट्रक्चर को सीखना, नॉनपैरामेट्रिक कंडीशनल इंडिपेंडेंस टेस्टिंग में "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) को दूर करने के लिए एक व्यवहार्य रणनीति है।