Geometric bias in eigenspace perturbation under random heterogeneous noise

तकनीकी सारांश: यादृच्छिक विषम शोर के तहत आइगेनस्पेस परभिकरण में ज्यामितीय पूर्वाग्रह (Geometric Bias)

समस्या विवरण
स्पेक्ट्रल विधियाँ, जो यादृच्छिक परिक्रमों (perturbations) के तहत प्रमुख आइगेनस्पेस की स्थिरता पर निर्भर करती हैं, उच्च-आयामी शोर वाले डेटा से निम्न-आयामी संरचना निकालने के लिए मौलिक हैं। शास्त्रीय रूप से, इन आइगेनस्पेस की स्थिरता को डेविस-काहन (Davis-Kahan) और वेडिन (Wedin) प्रमेयों द्वारा मापा जाता है। ये प्रमेय शोर के ऑपरेटर नॉर्म और प्रासंगिक स्पेक्ट्रल गैप्स का उपयोग करके आइगेनस्पेस त्रुटि को सीमित करते हैं। जबकि ये 'वर्स्ट-केस' (worst-case) सीमाएँ किसी भी नियत (deterministic) परिक्रम के लिए सटीक हैं, लेखक तर्क देते हैं कि निम्न-रैंक वाले सिग्नल के संदर्भ में, जो यादृच्छिक शोर से दूषित है, ये सीमाएँ "व्यर्थ" (wasteful) हैं। शास्त्रीय सीमाएँ सिग्नल की ज्यामिति और शोर के वितरण के बीच सूक्ष्म अंतःक्रिया को पकड़ने में विफल रहती हैं जब शोर विषम (heterogeneous) होता है (अर्थात, प्रविष्टियों के स्वतंत्र लेकिन गैर-एकसमान विचरण/variances होते हैं)।

यह शोध $\tilde{A} = A + E$ प्रकार के सिग्नल-प्लस-नॉइज़ मैट्रिसेस के स्पेक्ट्रल परिक्रम को संबोधित करता है, जहाँ $A$ एक नियत रैंक-$r$ सिग्नल है और $E$ एक सममित यादृच्छिक शोर मैट्रिक्स है जिसका एक अनिश्चित, विषम विचरण प्रोफाइल $\Sigma = (\sigma_{ij}^2)$ है। मुख्य समस्या यह समझना है कि विचरण प्रोफाइल कैसे अनुभवजन्य आइगेनवेक्टर्स (empirical eigenvectors) में एक व्यवस्थित, नियत ज्यामितीय पूर्वाग्रह (geometric bias) उत्पन्न करता है जो शास्त्रीय परिक्रम सीमाओं के लिए अदृश्य है।

कार्यप्रणाली
लेखक गैर-एसिम्प्टोटिक (non-asymptotic) परिक्रम सीमाएँ व्युत्पन्न करने के लिए रैंडम मैट्रिक्स थ्योरी तकनीकों और नियत विश्लेषण के संयोजन का उपयोग करते हैं। मुख्य पद्धतिगत घटक शामिल हैं:

1. क्वाड्रेटिक वेक्टर समीकरण (QVE): विश्लेषण सामान्य विग्नर-टाइप मैट्रिसेस के लिए विकसित QVE ढांचे का लाभ उठाता है। लेखक शोर मैट्रिक्स के रेज़ोलवेंट (resolvent/Green's function) $G(z) = (zI - E)^{-1}$ का अनुमान लगाने के लिए QVE के नियत समाधान $\Phi(z)$ का उपयोग करते हैं।
2. आइसोट्रोपिक लोकल लॉज (Isotropic Local Laws): शोध पत्र सूक्ष्म आइसोट्रोपिक लोकल लॉज स्थापित करता है, जो किसी भी नियत वेक्टर्स के लिए यादृच्छिक रेज़ोलवेंट $G(z)$ और इसके नियत सन्निकटन $\Phi(z)$ के बीच उच्च-संभाव्यता वाली सीमाओं को प्रदान करते हैं।
3. नियत सन्निकटन का विस्तार: लेखक बड़े $z$ (आउटलियर रिजीम में) के लिए $\Phi(z)$ के विस्तार द्वारा, विचरण प्रोफाइल के नियत योगदान को अलग करते हैं। विशेष रूप से, विस्तार $\Phi(z) \approx z^{-1}I + z^{-3}R + \varepsilon(z)$ यह प्रकट करता है कि विकर्ण मैट्रिक्स $R = \text{diag}(R_1, \dots, R_n)$, जहाँ $R_i = \sum_j \sigma_{ij}^2$, पूर्वाग्रह को नियंत्रित करता है।
4. ब्लॉकवाइज आइगेनवेक्टर समीकरण: प्रमाण रणनीति गैर-लक्ष्य सिग्नल दिशाओं और नल स्पेस (null space) पर आइगेनवेक्टर समीकरण $\tilde{A}\tilde{u}_s = \tilde{\lambda}_s \tilde{u}_s$ को प्रोजेक्ट करने में शामिल है। यह अपघटन त्रुटि को स्टोकेस्टिक उतार-चढ़ाव (लोकल लॉज द्वारा नियंत्रित) और नियत पूर्वाग्रह पदों (विचरण प्रोफाइल के साथ संरेखण द्वारा नियंत्रित) में विभाजित करता है।

प्रमुख योगदान और परिणाम
शोध पत्र ऑपरेटर नॉर्म और $2 \to \infty$ नॉर्म दोनों में अग्रणी आइगेनस्पेस के लिए निकट-इष्टतम (near-optimal), गैर-एसिम्प्टोटिक परिक्रम सीमाएँ व्युत्पन्न करता है। प्राथमिक योगदान हैं:

• ज्यामितीय पूर्वाग्रह की पहचान: लेखक प्रदर्शित करते हैं कि विषम शोर के तहत, अनुभवजन्य आइगेनवेक्टर्स एक व्यवस्थित पूर्वाग्रह से ग्रस्त होते हैं जो मैट्रिक्स $V = U^T R U$ द्वारा निर्धारित होता है, जहाँ $U$ जनसंख्या आइगेनवेक्टर्स (population eigenvectors) को समाहित करता है। भले ही जनसंख्या आइगेनवेक्टर्स मानक आंतरिक उत्पाद (inner product) में ऑर्थोगोनल हों, वे आम तौर पर $R$ द्वारा प्रेरित विचरण-भारित आंतरिक उत्पाद के संबंध में ऑर्थोगोनल नहीं होते हैं।
• त्रुटि पदों का अपघटन: व्युत्पन्न सीमाएँ स्पष्ट रूप से तीन अलग-अलग योगदानों को अलग करती हैं:
  1. मानक सिग्नल-टू-नॉइज़ अनुपात पद (जो $\|\text{E}\|/\lambda_k$ के समानुपाती है)।
  2. आइसोट्रोपिक लोकल लॉज द्वारा नियंत्रित स्टोकेस्टिक उतार-चढ़ाव (जो $M_D/\delta_k$ के समानुपाती है)।
  3. एक नियत ज्यामितीय पूर्वाग्रह पद ($B_k$) जो विचरण प्रोफाइल के साथ सिग्नल आइगेनस्पेस के संरेखण द्वारा निर्धारित होता है।
• स्पष्ट पूर्वाग्रह सूत्र: शीर्ष-$k$ आइगेनस्पेस के लिए, पूर्वाग्रह पद $B_k$ को $\|V_{JI}\|$ (शीर्ष-$k$ ब्लॉक और शेष धनात्मक स्पाइक्स के बीच अंतःक्रिया) और $\|V_{NK}\|$ (ऋणात्मक स्पाइक्स के साथ अंतःक्रिया) जैसी मात्राओं पर निर्भर दिखाया गया है, जो स्पेक्ट्रल गैप्स द्वारा स्केल किया गया है। सीमाएँ दिखाती हैं कि सजातीय सेटिंग्स ($R = cI$) में, ये पूर्वाग्रह पद लुप्त हो जाते हैं, जिससे लॉगरिदमिक कारकों तक ज्ञात परिणामों की प्राप्ति होती है।
• तीक्ष्णता और संख्यात्मक सत्यापन: शोध पत्र एक रैंक-2 मॉडल पर संख्यात्मक प्रयोग प्रदान करता है जो पुष्टि करता है कि ज्यामितीय पूर्वाग्रह एक नियत प्रभाव है, न कि एक यादृच्छिक आर्टिफैक्ट। आइगेनवेक्टर्स का अनुभवजन्य संरेखण सैद्धांतिक भविष्यवाणी $\Delta / (\lambda_1 \delta_1)$ से मेल खाता है, जहाँ $\Delta$ विचरण प्रोफाइल में विषमता को दर्शाता है।
• ओरेकल डी-बायसिंग (Oracle De-biasing): लेखक एक "ओरेकल" सुधार प्रक्रिया प्रस्तावित करते हैं जो अग्रणी $V_{JI}$-पूर्वाग्रह पद को हटा देती है। यह प्रक्रिया जनसंख्या आइगेनस्पेस का उपयोग करके QVE विस्तार द्वारा अनुमानित नियत योगदान को घटाती है। हालाँकि ओरेकल एस्टीमेटर सीधे लागू करने योग्य नहीं है (क्योंकि इसके लिए जनसंख्या मापदंडों की आवश्यकता होती है), यह सिद्ध करने के काम आता है कि पूर्वाग्रह हटाने योग्य है और स्टोकेस्टिक शोर से भिन्न है। एक "प्लग-इन" संस्करण पर चर्चा की गई है, हालांकि शोध पत्र कमजोर या क्लस्टर्ड स्पाइक्स के मामले में इसकी सीमाओं के संबंध में नोट करता है।

महत्ता और दावे
शोध पत्र यह दावा करता है कि वह 'वर्स्ट-केस' परिक्रम सिद्धांत से आगे बढ़कर एक विशिष्ट तंत्र—विचरण-प्रोफाइल प्रेरित ज्यामितीय पूर्वाग्रह—की पहचान करता है जिसे शास्त्रीय सीमाएँ अनदेखा कर देती हैं। लेखक कहते हैं कि उनके परिणाम महत्वपूर्ण हैं क्योंकि:

• वे विषम शोर वाले शासन (regimes) में आइगेनस्पेस स्थिरता का अधिक सटीक लक्षण वर्णन प्रदान करते हैं, जो विविध एज प्रोबेबिलिटी वाले स्टोकेस्टिक ब्लॉक मॉडल जैसे सांख्यिकीय मॉडलों में सामान्य है।
• वे प्रदर्शित करते हैं कि यादृच्छिक सेटिंग्स में शास्त्रीय सीमाओं की "व्यर्थता" केवल स्टोकेस्टिक अभिसरण (concentration) के कारण नहीं है, बल्कि एक नियत संरचनात्मक पूर्वाग्रह के कारण भी है।
• व्युत्पन्न सीमाएँ निकट-इष्टतम और गैर-एसिम्प्टोटिक हैं, जो शोर के योगदान को इस तरह से अलग करती हैं जो संभावित पूर्वाग्रह सुधार रणनीतियों की अनुमति देती है।

लेखक पूर्वाग्रह सुधार के व्यावहारिक कार्यान्वयन के संबंध में विनम्र बने रहते हैं, यह नोट करते हुए कि "प्लग-इन" डी-बायसिंग प्रक्रिया निम्न-रैंक स्पाइक्स के सटीक अनुमान की आवश्यकता और कम स्पेक्ट्रल गैप के मामले में सुधार मैट्रिसेस की संभावित खराब स्थिति (ill-conditioning) द्वारा सीमित है। वे स्पष्ट रूप से कहते हैं कि इष्टतम, पूरी तरह से डेटा-संचालित पूर्वाग्रह सुधार विधियों को विकसित करना भविष्य के कार्य के लिए छोड़ दिया गया है। शोध पत्र सभी समस्याओं को हल करने का दावा नहीं करता है, बल्कि एक विशिष्ट, यथार्थवादी शोर मॉडल के तहत आइगेनस्पेस परिक्रम की सैद्धांतिक समझ को परिष्कृत करता है।