तकनीकी सारांश: अनुकूली स्पेक्ट्रल श्रिंकेज के माध्यम से ओवरफिटेड उच्च-आयामी मैट्रिक्स गुणनखंडन (Overfitted high-dimensional matrix factorizations via adaptive spectral shrinkage)

समस्या विवरण (Problem Statement)

उच्च-आयामी सेटिंग्स में (जहाँ परिवेशी आयाम $p$ बड़ा होता है, अक्सर नमूना आकार $n$ से अधिक होता है) सहप्रसरण मैट्रिसेस (covariance matrices) का अनुमान लगाना सांख्यिकी में एक मौलिक चुनौती है। मानक कारक मॉडल (factor models) सहप्रसरण मैट्रिक्स $\Theta$ को एक निम्न-रैंक घटक ($\Lambda\Lambda^\top$) और एक विकर्ण अवशेष घटक ($\Sigma$) में विभाजित करते हैं। एक महत्वपूर्ण कठिनाई गुप्त आयाम (latent dimension) $k$ का चयन करना है। यह चयन विशेष रूप से चुनौतीपूर्ण होता है जब कारक मॉडल केवल अनुमानित रूप से लागू होता है या निम्न सिग्नल-टू-नॉइज़ अनुपात (SNR) वाले परिदृश्यों में होता है।

मौजूदा दृष्टिकोण एक ट्रेड-ऑफ का सामना करते हैं:

1. स्पेक्ट्रल विधियाँ (जैसे, PCA-आधारित अनुमानक) गणनात्मक रूप से कुशल हैं लेकिन अक्सर खराब अनुमान सटीकता से ग्रस्त होती हैं जब गुप्त घटक शोर (noise) की तुलना में महत्वपूर्ण रूप से बड़े नहीं होते हैं, और उनमें औपचारिक अनिश्चितता मात्रा निर्धारण (uncertainty quantification) का अभाव होता है।
2. बायेसियन ओवरफिटेड फैक्टर मॉडल एक ऊपरी सीमा $H$ को निर्दिष्ट करते हैं और अनावश्यक कारकों को हटाने के लिए संरचित श्रिंकेज प्रायर (shrinkage priors) का उपयोग करते हैं। प्रभावी होने के बावजूद, ये विधियाँ आमतौर पर महंगी मार्कोव चेन मोंटे कार्लो (MCMC) सैंपलिंग (जैसे, रिवर्सिबल जंप MCMC या गिब्स सैंपलर) पर निर्भर करती हैं, जो उच्च आयामों में धीमी अभिसरण (convergence) और मिक्सिंग से ग्रस्त हो सकती है। वेरिएशनल सन्निकटन (Variational approximations) गति तो प्रदान करते हैं लेकिन अक्सर अनिश्चितता को कम करके आंकते हैं।
3. हाइब्रिड दृष्टिकोण जो स्पेक्ट्रल प्री-एस्टिमेशन के साथ बायेसियन अनुमान को जोड़ते हैं, वे अस्तित्व में हैं लेकिन उनमें अनुकूलन योग्य रैंक चयन या विभिन्न परिणामों के लिए बदलते SNR के अनुकूल होने की तंत्र की कमी है।

कार्यप्रणाली: आइगनबेज़ (EigenBayes)

लेखक EigenBayes का प्रस्ताव करते हैं, जो स्पेक्ट्रल अनुमानकों की गणनात्मक दक्षता को बायेसियन विधियों के अनिश्चितता मात्रा निर्धारण और अनुकूलन योग्य श्रिंकेज के साथ जोड़ता है। मुख्य कार्यप्रणाली इस प्रकार है:

1. स्पेक्ट्रल इनिशियलाइजेशन (Spectral Initialization): विधि एक अतिरंजित गुप्त आयाम $H$ (जहाँ $H \geq k$) का उपयोग करके गुप्त कारकों का अनुमान लगाने से शुरू होती है। डेटा मैट्रिक्स $Y$ के अग्रणी लेफ्ट सिंगुलर वेक्टर्स (left singular vectors) से प्राप्त $\hat{M}$ का प्रारंभिक अनुमान, $\sqrt{n}$ द्वारा स्केल किया गया है।
2. सरोगेट बायेसियन रिग्रेशन (Surrogate Bayesian Regression): पूर्ण संयुक्त पोस्टीरियर (joint posterior) को सैंपल करने के बजाय, यह विधि गुप्त कारकों को स्थिर ( $\hat{M}$ पर आधारित) मानती है और लोडिंग मैट्रिक्स $\Lambda$ तथा अवशेष विचरण (residual variances) $\Sigma$ का अनुमान $p$ स्वतंत्र सरोगेट बायेसियन लीनियर रिग्रेशन कार्यों के माध्यम से लगाती है।
   • $j$-वें परिणाम के लिए मॉडल है: $y^{(j)} = \hat{M}\lambda_j + \epsilon_j$।
   • एक कंजुगेट नॉर्मल-इनवर्स गामा प्रायर (Normal-Inverse Gamma prior) $\lambda_j$ और $\sigma_j^2$ के लिए रखा गया है।
   • महत्वपूर्ण रूप से, प्रायर में हाइपरपैरामीटर्स $\tau_j^2$ (परिणाम-विशिष्ट) और $\psi_l^2$ (घटक-विशिष्ट) शामिल हैं जो श्रिंकेज को नियंत्रित करते हैं।
3. अनुकूली हाइपरपैरामीटर कैलिब्रेशन (एम्पेरिकल बेज़ - Empirical Bayes): हाइपरपैरामीटर्स को एक एम्पेरिकल बेज़ मोमेंट-मैचिंग रणनीति के माध्यम से ट्यून किया जाता है। प्रक्रिया स्पेक्ट्रल अनुमानों के साथ लोडिंग्स के अपेक्षित परिमाण को कैलिब्रेट करती है और ओवरएस्टिमेटेड गुप्त आयाम के प्रभाव को ठीक करती है।
   • शोर स्तर (noise level) का अनुमान $(H+1)$-वें सिंगुलर मान ($d_{H+1}$) का उपयोग करके लगाया जाता है, जो ओवरफिटेड घटकों में बल्क नॉइज़ का प्रतिनिधित्व करता है।
   • श्रिंकेज पैरामीटर्स $\hat{\psi}_l^2$ को शोर फ्लोर (noise floor) को घटाने के बाद, $l$-वें घटक द्वारा स्पष्ट किए गए परिवर्तनशीलता के सापेक्ष योगदान के आनुपातिक रूप से सेट किया जाता है।
   • पैरामीटर्स $\hat{\tau}_j^2$ प्रत्येक परिणाम के सिग्नल-टू-नॉइज़ अनुपात के अनुकूल होते हैं।
4. पोस्टीरियर फैक्टरिज़ेशन और अनिश्चितता मात्रा निर्धारण: स्पेक्ट्रल अनुमान पर निर्भर होने के कारण, पोस्टीरियर वितरण परिणामों के बीच फैक्टरइज़ (factorize) हो जाता है, जिससे अनुमान $p$ स्वतंत्र रिग्रेशन में बदल जाता है। यह एम्बैरेसिंगली पैरेलल (embarrassingly parallel) गणना को सक्षम बनाता है।
   • वैध फ्रीक्वेंटिस्ट कवरेज सुनिश्चित करने के लिए, रॉ पोस्टीरियर में अंडर-कवरेज को ठीक करने के लिए एक पोस्टीरियर वेरिएंस इन्फ्लेशन फैक्टर $\rho > 1$ लागू किया जाता है, जो Chattopadhyay et al. (2024) के कार्य से लिया गया है।
   • परिणामी पोस्टीरियर MCMC के बिना कोवेरियंस प्रविष्टियों और गुप्त कारकों के पूर्ण अनिश्चितता मात्रा निर्धारण की अनुमति देता है।

प्रमुख योगदान (Key Contributions)

• गणना दक्षता (Computational Efficiency): EigenBayes एक सरोगेट रिग्रेशन फ्रेमवर्क का उपयोग करके MCMC को दरकिनार करता है, जो इसे ओवरफिटेड बायेसियन फैक्टर मॉडल्स (जैसे, MGSP) की तुलना में काफी तेज़ बनाता है, जबकि पूर्ण अनिश्चितता मात्रा निर्धारण बनाए रखता है।
• अनुकूली रैंक चयन (Adaptive Rank Selection): यह विधि स्वतः ही अनावश्यक गुप्त घटकों (वास्तविक रैंक $k$ से परे) को शून्य तक श्रिंक कर देती है। सैद्धांतिक परिणाम दिखाते हैं कि रेडंडेंट (redundant) घटकों के लिए श्रिंकेज पैरामीटर्स के एम्पेरिकल बेज़ अनुमान तेजी से शून्य की ओर अभिसरित होते हैं, जो स्पष्ट मॉडल चयन के बिना वास्तविक रैंक के अनुकूल होते हैं।
• विषमता अनुकूलन (Heterogeneity Adaptation): दृष्टिकोण विभिन्न परिणामों (चरों) और गुप्त आयामों के बीच बदलते सिग्नल-टू-नॉइज़ अनुपात के अनुकूल होता है, जो शोर वाले चरों के लिए मजबूत श्रिंकेज और सूचनात्मक चरों के लिए कमजोर श्रिंकेज प्रदान करता है।
• सैद्धांतिक गारंटी (Theoretical Guarantees): शोध पत्र स्थापित करता है:
  • स्वचालित रैंक अनुकूलन: रेडंडेंट घटकों के लिए प्रायर वेरिएंस एसिम्प्टोटिक रूप से शून्य हो जाता है।
  • संगति (Consistency): पॉइंट एस्टिमेटर निम्न-रैंक और पूर्ण कोवेरियंस मैट्रिसेस के लिए अनुकूल अभिसरण दर प्राप्त करता है, जो एसिम्प्टोटिक रूप से एक ऑरेकलल स्पेक्ट्रल एस्टिमेटर की तरह व्यवहार करता है जिसे वास्तविक रैंक ज्ञात है।
  • अनिश्चितता मात्रा निर्धारण: पॉइंट एस्टिमेटर के लिए एक सेंट्रल लिमिट थ्योरम (CLT) सिद्ध किया गया है, और एक बर्नस्टीन-वॉन मिसेस (Bernstein-von Mises) परिणाम प्रेरित पोस्टीरियर वितरण के एसिम्प्टोटिक व्यवहार को स्पष्ट करता है, जो ओवरफिटेड फैक्टर मॉडल्स में एम्पेरिकल बेज़ अनुमान के लिए पहले औपचारिक फ्रीक्वेंटिस्ट औचित्य में से एक प्रदान करता है।

परिणाम (Results)

संख्यात्मक प्रयोग (Numerical Experiments):
लेखकों ने EigenBayes की तुलना कई अत्याधुनिक विकल्पों से की: Barigozzi & Cho (2018), प्रिंसिपल कंपोनेंट (PC) एस्टिमेटर्स, Rockova & George (2016) (ROTATE), Chattopadhyay et al. (2024) (FABLE), और Bhattacharya & Dunson (2011) (MGSP)।

• सटीकता (Accuracy): Eigen-Bayes ने विभिन्न परिदृश्यों, जिनमें सघन (dense), विषम (heterogeneous), और स्पार्स लोडिंग संरचनाएं शामिल हैं, में कोवेरियंस मैट्रिक्स के पुनर्निर्माण में अत्याधुनिक सटीकता प्राप्त की। इसने प्रतिस्पर्धियों को पछाड़ दिया, विशेष रूप से निम्न नमूना आकार वाली सेटिंग्स और जब गुप्त आयाम को ओवरएस्टिमेट किया गया था।
• मजबूती (Robustness): विधि $H$ के चुनाव के प्रति उल्लेखनीय रूप से मजबूत थी। भले ही $H$ को रूढ़िवादी रूप से (जैसे, $\lfloor \sqrt{p} \rfloor$) सेट किया गया हो, Eigen-Bayes ने लगभग उतना ही अच्छा प्रदर्शन किया जितना कि यदि वास्तविक रैंक ज्ञात होता, जबकि प्रतिस्पर्धी अक्सर $H$ बढ़ने पर अपने प्रदर्शन में गिरावट दिखाते थे।
• अनिश्चितता मात्रा निर्धारण: अंतराल अनुमान (interval estimation) के संदर्भ में, Eigen-Bayes ने कोवेरियंस प्रविष्टियों के लिए सटीक फ्रीक्वेंटिस्ट कवरेज (नाममात्र स्तरों के करीब) प्रदान किया। इसके विपरीत, FABLE ने गैर-नगण्य अंडर-कवरेज दिखाया, और MGSP ने उच्च-आयामी सेटिंग्स में अंडर-कवरेज दिखाया।

जीनोमिक्स अनुप्रयोग (Genomics Application):
ImmGen माइक्रोएरे डेटासेट (628 नमूने, 5000 जीन) पर लागू होने पर, Eigen-Bayes ने विस्तृत रेंज ऑफ लेटेंट डायमेंशन में प्रतिस्पर्धियों की तुलना में बेहतर आउट-ऑफ-सैंपल प्रेडिक्टिव परफॉरमेंस (लॉग-लाइक्लीहुड द्वारा मापा गया) प्रदर्शित किया।

• गति (Speed): Eigen-Bayes, MGSP की तुलना में कई गुना तेज़ था, जिसमें मॉडल फिटिंग में प्रति रेप्लिकेशन लगभग 30 मिनट के मुकाबले औसतन 1 सेकंड से भी कम समय लगा।

महत्व और दावे (Significance and Claims)

लेख दावा करता है कि Eigen-Bayes उन अभ्यासकर्ताओं के लिए एक सम्मोहक विकल्प प्रदान करता है जो उच्च-आयामी फैक्टर विश्लेषण से निपट रहे हैं जहाँ गुप्त आयाम को निर्दिष्ट करना कठिन है या सिग्नल-टू-नॉइज़ अनुपात कम है। स्पेक्ट्रल विधियों की गति को बायेसियन दृष्टिकोणों के अनुकूलन क्षमता और अनिश्चितता मात्रा निर्धारण के साथ जोड़कर, यह मौजूदा ओवरफिटेड बायेसियन मॉडल्स की गणनात्मक बाधाओं को संबोधित करता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य इस संदर्भ में एम्पेरिकल बेज़ अनुमान के लिए एक औपचारिक फ्रीक्वेंटिस्ट सैद्धांतिक औचित्य प्रदान करता है, यह प्रदर्शित करते हुए कि विधि अनुकूल अभिसरण दरों पर निम्न-रैंक संरचना को पुनः प्राप्त करती है और एसिम्प्टोटिक रूप से वैध अनिश्चितता अंतराल प्रदान करती है। इस पद्धति को एक मजबूत समाधान के रूप में प्रस्तुत किया गया है जो वास्तविक रैंक को जानने की आवश्यकता को कम करता है जबकि उच्च सटीकता और गणनात्मक स्केलेबिलिटी बनाए रखता है।

लेख निष्कर्ष निकालता है कि इसमें भविष्य की दिशाएं और सीमाएं भी हैं, जैसे गैर-गाऊसी डेटा (जैसे, काउंट या बाइनरी डेटा) के लिए ढांचे का विस्तार करना, व्यक्तिगत मैट्रिक्स प्रविष्टियों के लिए श्रिंकेज को स्थानीयकृत करना, और निर्भरता संरचनाओं (श्रृंखला या स्थानिक सहसंबंध) को संभालना, लेकिन यह दावा नहीं करता है कि ये विस्तार वर्तमान में साकार किए गए हैं।