$\lambda$-PSD: Scalable Approximate SNR-Optimised Polynomial Stein Discrepancies

तकनीकी सारांश: $\lambda$-PSD: स्केलेबल अनुमानित SNR-अनुकूलित बहुपद स्टीन विसंगतियाँ (Polynomial Stein Discrepancies)

समस्या विवरण
पॉलीनोमियल स्टीन विसंगतियाँ (PSD), लक्ष्य वितरण $p$ (जो केवल एक नॉर्मलाइजिंग कांस्टेंट के रूप में ज्ञात है) के लिए नमूना गुणवत्ता मापने और गुडनेस-ऑफ-फिट (GoF) परीक्षण करने हेतु कर्नेल स्टीन विसंगतियों (KSD) के एक स्केलेबल, लीनियर-टाइम विकल्प के रूप में उभरी हैं। जबकि PSDs, $Q$ क्रम के बहुपद फीचर्स (polynomial features) का उपयोग करके कर्नेल फंक्शन को प्रतिस्थापित करके कम्प्यूटेशनल लाभ प्रदान करते हैं, उनके सांख्यिकीय गुण अभी भी अपर्याप्त रूप से समझे गए हैं। विशेष रूप से, अनुभवजन्य साक्ष्य बताते हैं कि टेस्ट पावर (test power) बहुपद डिग्री $Q$ के चयन के प्रति अत्यधिक संवेदनशील है, जो अक्सर गैर-एकदिष्ट (non-monotonic) व्यवहार प्रदर्शित करती है जहाँ मध्यवर्ती मानों पर $Q$ खराब प्रदर्शन करता है। यह शोध पत्र एक मौलिक सैद्धांतिक सीमा की पहचान करता है: बहुपद डिग्री को बढ़ाने से मुख्य रूप से सिग्नल तो बढ़ता है, लेकिन वे पर्याप्त रूप से वेरिएंस (variance) को नियंत्रित नहीं कर पाते, जिससे एक ऐसी विफलता मोड उत्पन्न होती जहाँ गाऊसीं (Gaussian) सेटिंग्स के तहत सिग्नल-टू-नॉइज़ रेशियो का वर्ग ($SNR^2$) $Q$ के साथ तेजी से (exponentially) घटता है। यह क्षय मॉडल की जटिलता बढ़ने के साथ PSD-आधारित परीक्षणों की विश्वसनीयता को कमजोर करता है।

कार्यप्रणाली (Methodology)
लेखक स्टीन विसंगतियों के निर्माण को एक स्पष्ट $SNR^2$ मैक्सिमाइजेशन समस्या के रूप में पुनर्गठित करते हैं।

1. PSD का सैद्धांतिक विश्लेषण: शोध पत्र पहले मानक $L_1$-आधारित पॉलीनोमियल स्टीन विसंगति ($PSD_{L_1}$) का विश्लेषण करता है। गाऊसीं धारणाओं ($p = \mathcal{N}(0, I_d)$ और $q = \mathcal{N}(\delta, \sigma^2 I_d)$) के तहत संगत U-सांख्यिकी (U-statistic) और स्प्लिट-सैंपल z-सांख्यिकी के लिए $SNR^2$ के एसिम्प्टोटिक स्केलिंग को व्युत्पन्न करके, वे सिद्ध करते हैं कि $Q \to \infty$ होने पर $SNR^2$ तेजी से घटता है। यह उच्च-क्रम के बहुपद पदों में सिग्नल के सापेक्ष अनियंत्रित वेरिएंस के बढ़ने के कारण होता है।
2. SNR-अनुकूलित ढांचा (SNR-Optimised Framework): इसे संबोधित करने के लिए, लेखक स्टीन ऑपरेटर के आउटपुट के अपेक्षित मान के वर्ग और वेरिएंस के अनुपात को अधिकतम करने का प्रस्ताव करते हैं:
   $$\sup_h \frac{(\mathbb{E}_q[L_1 h(x)])^2}{\text{Var}_q[L_1 h(x)]}$$
   यह सूत्रीकरण स्टीन फीचर्स पर एक सामान्यीकृत रेले कोटिएंट (Rayleigh quotient) की ओर ले जाता है। सैद्धांतिक रूप से, इष्टतम समाधान में फीचर वेक्टर के पूर्ण कोवेरिएंस मैट्रिक्स का व्युत्क्रमण (inversion) शामिल है, जो कम्प्यूटेशनल रूप से अत्यधिक महंगा ($O(Q^3 d^6)$) है और उच्च आयामों में रैंक की कमी के कारण सांख्यिकीय रूप से दुर्बल (ill-posed) है।
3. $\lambda$-PSD (अनुमानित समाधान): स्केलेबिलिटी प्राप्त करने के लिए, लेखक $\lambda$-PSD पेश करते हैं। पूर्ण उच्च-आयामी फीचर स्पेस पर अनुकूलन करने के बजाय, वे अनुकूलन को अनवेटेड $PSD_{L_1}$ समाधान द्वारा स्पैन किए गए कम-आयामी सबस्पेस तक सीमित करते हैं।
   • वे $\Psi(X)$ पर आधारित स्टीन फीचर्स के एक वेक्टर को परिभाषित करते हैं जो मानक PSD के सैद्धांतिक रूप से इष्टतम गुणांकों पर आधारित है।
   • वे इन फीचर्स को पुन: भारित (reweight) करने के लिए एक अदिश वेट वेक्टर $\lambda \in \mathbb{R}^{Q+1}$ पेश करते हैं।
   • अनुकूलन समस्या इस घटाए गए सबस्पेस पर रेले कोटिएंट को अधिकतम करने वाले $\lambda$ को खोजने में बदल जाती है: $\sup_{\lambda} \frac{(\lambda^\top \mu_\Psi)^2}{\lambda^\top \Sigma_\Psi \lambda}$।
   • अनुभवजन्य कोवेरिएंस मैट्रिक्स $\hat{\Sigma}_\Psi$ में संख्यात्मक अस्थिरता से बचने और कुशलतापूर्वक समाधान करने के लिए, लेखक क्रॉस-एन्ट्रॉपी (CE) विधि पर आधारित एक स्टोकेस्टिक अनुकूलन रणनीति का उपयोग करते हैं। यह दृष्टिकोण $\lambda$ के लिए एक सैंपलिंग डिस्ट्रीब्यूशन को अनुकूल रूप से सीखता है, जो प्रभावी रूप से उन घटकों को छाँटकर (pruning) निहित नियमितीकरण (implicit regularization) करता है जो सिग्नल में बहुत कम योगदान देते हैं।

प्रमुख योगदान

• विफलता मोड का सैद्धांतिक लक्षण वर्णन: यह शोध पत्र पहला सैद्धांतिक लक्षण वर्णन प्रदान करता है जो यह दिखाता है कि गाऊसीं सेटिंग्स के तहत मानक PSDs का $SNR^2$ बहुपद डिग्री के साथ तेजी से घटता है, जो $Q$ के प्रति देखी गई संवेदनशीलता की व्याख्या करता है।
• SNR-अनुकूलित ढांचा: लेखक एक नया ढांचा प्रस्तावित करते हैं जो स्टीन विसंगति निर्माण को एक स्पष्ट $SNR^2$ मैक्सिमाइजेशन समस्या के रूप में मानता है, जिससे ध्यान केवल सिग्नल को अधिकतम करने से बदलकर सिग्नल-टू-नॉइज़ रेशियो को अनुकूलित करने पर केंद्रित हो जाता है।
• $\lambda$-PSD एस्टीमेटर: वे $\lambda$-PSD पेश करते हैं, जो एक स्केलेबल, अनुमानित एस्टीमेटर है जो गाऊसीं सेटिंग्स के तहत एक स्थिर $SNR^2$ प्राप्त करता है। यह नमूनों की संख्या के संबंध में रैखिक-समय जटिलता (linear-time complexity) बनाए रखते हुए बहुपद क्रम $Q$ के चयन के प्रति काफी बेहतर मजबूती प्रदर्शित करता है।
• व्यावहारिक कार्यान्वयन: शोध पत्र उच्च-आयामी U-सांख्यिकी के बूटस्ट्रैपिंग के कम्प्यूटेशनल ओवरहेड से बचने के लिए वन-सैंपल z-टेस्ट का उपयोग करके एक स्प्लिट-सैंपल टेस्टिंग फ्रेमवर्क का विवरण देता है, जिससे यह विधि बड़े पैमाने की सेटिंग्स में लागू करने योग्य बनती है।

परिणाम

• सैद्धांतिक स्थिरता: गाऊसीं सेटिंग्स के तहत, लेखक सिद्ध करते हैं कि $\lambda$-PSD मानक PSDs में अंतर्निहित घातीय $SNR^2$ पतन (collapse) से बचता है, और एक स्थिर $SNR^2$ प्राप्त करता है जो वितरणों के ची-स्क्वायर डाइवर्जेंस (chi-squared divergence) द्वारा सीमित है।
• अनुभवजन्य प्रदर्शन: सिमुलेशन अध्ययन दर्शाते हैं कि $\lambda$-PSD, मानक PSDs की तुलना में टेस्ट पावर में काफी सुधार करता है। महत्वपूर्ण रूप से, यह नमूनों की संख्या के संबंध में रैखिक-समय जटिलता बनाए रखते हुए प्रतिस्पर्धी गुडनेस-ऑफ-फिट परीक्षण प्रदर्शन प्राप्त करता है। यह विधि बहुपद डिग्री $Q$ के विशिष्ट चयन के प्रति कम संवेदनशीलता दिखाती है, जो पिछले कार्यों में देखे गए गैर-एकदिष्ट प्रदर्शन संबंधी मुद्दों को संबोधित करती है।

महत्व
यह शोध पत्र स्केलेबल स्टीन विसंगतियों के विकास में $SNR$-जागरूक डिजाइन के महत्वपूर्ण महत्व को रेखांकित करता है। यह पहचानकर कि मौजूदा PSD ढांचे गलत उद्देश्य (केवल सिग्नल, न कि सिग्नल-टू-नॉइज़ रेशियो) को अनुकूलित करते हैं, लेखक एक मजबूत और विश्वसनीय सांख्यिकीय परीक्षणों की ओर एक सिद्धांतपूर्ण मार्ग प्रदान करते हैं। प्रस्तावित $\lambda$-PSD एक व्यावहारिक समाधान प्रदान करता है जो सैद्धांतिक इष्टतमता और कम्प्यूटेशनल व्यवहार्यता के बीच के अंतर को पाटता है, जिससे बड़े पैमाने की बेयसियन गणना सेटिंग्स में प्रभावी गुडनेस-ऑफ-फिट परीक्षण संभव होता है जहाँ लक्ष्य वितरण केवल एक नॉर्मलाइजिंग कांस्टेंट के रूप में ज्ञात होते हैं।